액센처, 앤트로픽과 파트너십을 맺고 첫 번째 임베디드 AI 평가 도구 출시

다리오 아모데이의 AI 연구소에 독립적인 안전 평가자를 내재화하려는 시도가 구체화되고 있다: 앤트로픽은 기술 컨설팅 기업 액센추어의 직원들이 현지에 상주하여 자체 모델과 인력을 감사할 것이라고 발표했다.
블로그 게시글에 따르면, 앤트로픽은 1월 액센추어가 인수한 AI 전문 자회사인 Faculty가 “모델 평가 및 레드팀링, 정렬 평가 수행, 모델 안전장치 테스트”를 시작할 것이라고 밝혔다. 두 기관은 향후 5년 동안 이 이니셔티브에 최소 10억 달러를 투자할 것으로 예상한다.
액센추어를 선택한 앤트로픽은 많은 AI 관찰자와 금융 시장에 충격을 주어, 시간외 거래에서 컨설턴트의 주가가 8% 급등했다. 아모데이의 블로그 게시글을 계기로 시작된 내재적 평가자 논의는 주로 METR, 레드우드 리서치, 아폴로 리서치와 같은 전문 AI 안전 연구 그룹을 중심으로 이루어져 왔다. 이러한 초점은 특히 AI 안전과 정렬을 사명의 핵심에 두고 있는 앤트로픽에서 두드러지게 나타난다.
앤트로픽은 향후 몇 주 내에 추가 평가자가 발표될 것이며, 자체 자금으로 “내재적 평가의 요소를 시범 운영하는 방법”에 대해 METR 및 기타 비영리 조직과 논의 중이라고 확인했다.
액센추어가 최첨단 딥러닝 연구로 유명하지는 않지만, 앤트로픽은 대형 기업과 정부 기관에 AI를 도입하는 데 있어 해당 기업의 실무 경험을 중요한 장점으로 꼽았다. 또한, 현재의 AI 붐 이전에 설립된 대규모 상장기업으로서, 앤트로픽과 AI 연구소 주변의 복잡한 생태계로부터 더 높은 기능적 독립성을 유지하고 있다.
연구소는 현재 평가자의 접근 또는 통신 프로토콜에 대한 기준이 존재하지 않으며, 자체 접근 방식은 시간이 지남에 따라 진화할 것으로 예상한다고 밝혔다. 외부 평가는 이미 새로운 대규모 언어 모델의 출시 과정에서 주요 구성 요소이지만, 최근 사건들은 그 중요성을 더욱 높였다. 오픈AI와 앤트로픽이 배포한 AI 에이전트가 연구소 내부의 경보를 트리거하지 않고 외부 웹사이트에 해킹한 사건이 발생했다.
인공지능 개발에 대해 더 책임감 있는 접근 방식을 옹호하는 일부 비평가들은 아모데이의 자율 규제_scheme_가 AI 모델의 잘못에 대한 책임을 회피하려는 시도라고 본다. 앤트로픽은 이러한 평가자들이 “우리의 책임을 줄이지는 않지만, 이를 더 검증 가능하게 만드는 데 도움이 된다. 모델의 안전은 여전히 우리의 책임이다”라고 밝혔다.
관련 기사
AI 스타트업들이 수익성 성장을 가속화하고 있다
확립된 기업들과 신생 벤처들이 인공지능을 활용하기 위해 치열하게 경쟁하는 가운데, 다수의 AI 스타트업들은 매출이 단순히 증가하는 것을 넘어 급격히 가속화되고 있으며, 점점 더 짧은 기간 내에 후속 목표 달성을 이루고 있다고 보고합니다.다음 스타트업들은 이러한 플라이휠 성장의 일관된 패턴을 보여줍니다. 이들 기업이 모두 'ARR'이라는 용어를 사용하더라도 근본적인 지표는 각기 다르다는 점에 유의해야 합니다. 일부 기업은 연간 반복 수익(ARR
Anthropic의 수출 금지 조치가 계속되는 가운데 아시아의 AI 스타트업들이 Mythos와 유사한 모델을 공개하고 있다
수요일, 중국의 사이버 보안 기업 360이 앤트로픽의 마이토스와 직접 경쟁할 수 있는 AI 도구인 투룽펑(Tulongfeng)을 공개했다고 보도되었다. 이는 사이버 보안에 특화된 AI 모델로, 그 강력함 때문에 트럼프 행정부가 현재 비미국인들에게 마이토스와 더 제한된 버전인 페이블 5(Fable 5)의 사용을 금지하고 있다.같은 주 초반, 도쿄 기반 AI 스타트업 사카나 AI(Sakana AI)는 복어(blowfish)를 뜻하는 일본어에서 이
사이버보안 전문가들, 앤트로픽의 파블에 대한 안전장치 비판
Anthropic은 화요일 최신 모델인 Fable을 출시했으며, 이는 높은 기대를 모았던 사이버보안 중심 모델인 Mythos의 공개된 제한된 버전에 해당한다고 positioning했습니다.그러나 이러한 제한 사항들은 여러 사이버보안 연구자들과 전문가들의 불만을 불러일으켰으며, 그들은 온라인에서 우려를 표명했습니다.“[Fable]는 블로그 게시물 읽기와 같은 무해한 작업을 포함하여 사이버보안과 원격적으로 관련될 수 있는 모든 요청을 차단합니다
관련 특별 주제 추천
의견 (0)
0/500

다리오 아모데이의 AI 연구소에 독립적인 안전 평가자를 내재화하려는 시도가 구체화되고 있다: 앤트로픽은 기술 컨설팅 기업 액센추어의 직원들이 현지에 상주하여 자체 모델과 인력을 감사할 것이라고 발표했다.
블로그 게시글에 따르면, 앤트로픽은 1월 액센추어가 인수한 AI 전문 자회사인 Faculty가 “모델 평가 및 레드팀링, 정렬 평가 수행, 모델 안전장치 테스트”를 시작할 것이라고 밝혔다. 두 기관은 향후 5년 동안 이 이니셔티브에 최소 10억 달러를 투자할 것으로 예상한다.
액센추어를 선택한 앤트로픽은 많은 AI 관찰자와 금융 시장에 충격을 주어, 시간외 거래에서 컨설턴트의 주가가 8% 급등했다. 아모데이의 블로그 게시글을 계기로 시작된 내재적 평가자 논의는 주로 METR, 레드우드 리서치, 아폴로 리서치와 같은 전문 AI 안전 연구 그룹을 중심으로 이루어져 왔다. 이러한 초점은 특히 AI 안전과 정렬을 사명의 핵심에 두고 있는 앤트로픽에서 두드러지게 나타난다.
앤트로픽은 향후 몇 주 내에 추가 평가자가 발표될 것이며, 자체 자금으로 “내재적 평가의 요소를 시범 운영하는 방법”에 대해 METR 및 기타 비영리 조직과 논의 중이라고 확인했다.
액센추어가 최첨단 딥러닝 연구로 유명하지는 않지만, 앤트로픽은 대형 기업과 정부 기관에 AI를 도입하는 데 있어 해당 기업의 실무 경험을 중요한 장점으로 꼽았다. 또한, 현재의 AI 붐 이전에 설립된 대규모 상장기업으로서, 앤트로픽과 AI 연구소 주변의 복잡한 생태계로부터 더 높은 기능적 독립성을 유지하고 있다.
연구소는 현재 평가자의 접근 또는 통신 프로토콜에 대한 기준이 존재하지 않으며, 자체 접근 방식은 시간이 지남에 따라 진화할 것으로 예상한다고 밝혔다. 외부 평가는 이미 새로운 대규모 언어 모델의 출시 과정에서 주요 구성 요소이지만, 최근 사건들은 그 중요성을 더욱 높였다. 오픈AI와 앤트로픽이 배포한 AI 에이전트가 연구소 내부의 경보를 트리거하지 않고 외부 웹사이트에 해킹한 사건이 발생했다.
인공지능 개발에 대해 더 책임감 있는 접근 방식을 옹호하는 일부 비평가들은 아모데이의 자율 규제_scheme_가 AI 모델의 잘못에 대한 책임을 회피하려는 시도라고 본다. 앤트로픽은 이러한 평가자들이 “우리의 책임을 줄이지는 않지만, 이를 더 검증 가능하게 만드는 데 도움이 된다. 모델의 안전은 여전히 우리의 책임이다”라고 밝혔다.
AI 스타트업들이 수익성 성장을 가속화하고 있다
확립된 기업들과 신생 벤처들이 인공지능을 활용하기 위해 치열하게 경쟁하는 가운데, 다수의 AI 스타트업들은 매출이 단순히 증가하는 것을 넘어 급격히 가속화되고 있으며, 점점 더 짧은 기간 내에 후속 목표 달성을 이루고 있다고 보고합니다.다음 스타트업들은 이러한 플라이휠 성장의 일관된 패턴을 보여줍니다. 이들 기업이 모두 'ARR'이라는 용어를 사용하더라도 근본적인 지표는 각기 다르다는 점에 유의해야 합니다. 일부 기업은 연간 반복 수익(ARR
Anthropic의 수출 금지 조치가 계속되는 가운데 아시아의 AI 스타트업들이 Mythos와 유사한 모델을 공개하고 있다
수요일, 중국의 사이버 보안 기업 360이 앤트로픽의 마이토스와 직접 경쟁할 수 있는 AI 도구인 투룽펑(Tulongfeng)을 공개했다고 보도되었다. 이는 사이버 보안에 특화된 AI 모델로, 그 강력함 때문에 트럼프 행정부가 현재 비미국인들에게 마이토스와 더 제한된 버전인 페이블 5(Fable 5)의 사용을 금지하고 있다.같은 주 초반, 도쿄 기반 AI 스타트업 사카나 AI(Sakana AI)는 복어(blowfish)를 뜻하는 일본어에서 이
사이버보안 전문가들, 앤트로픽의 파블에 대한 안전장치 비판
Anthropic은 화요일 최신 모델인 Fable을 출시했으며, 이는 높은 기대를 모았던 사이버보안 중심 모델인 Mythos의 공개된 제한된 버전에 해당한다고 positioning했습니다.그러나 이러한 제한 사항들은 여러 사이버보안 연구자들과 전문가들의 불만을 불러일으켰으며, 그들은 온라인에서 우려를 표명했습니다.“[Fable]는 블로그 게시물 읽기와 같은 무해한 작업을 포함하여 사이버보안과 원격적으로 관련될 수 있는 모든 요청을 차단합니다





집






