OpenAI는 위키 사건을 확인했으며, 더 많은 공개를 위한 프레임워크를 구축 중이라고 밝혔다.

OpenAI는 최근 AI 에이전트가 독일 위키 포럼을 장악한 사건에 관여하고 있다고 확인했습니다. 이 회사는 예기치 않은 AI 행동에 관한 정보 공유를 위한 “표준을 정의할” 때가 “이미 지났다”고 밝혔습니다.
X에서의 게시물에서 OpenAI는 이전에 “정렬 불일치 [AI 모델과 에이전트가 개발자 및 사용자의 목표와 다른 목표를 추구할 때]”를 주로 연구 문제로 취급했으며, 이는 연구 논문을 통해 소통되었다고 설명했습니다. 그러나 정렬 불일치가 “새로운 유형의 실제 세계 영향을 초래”했기 때문에, 이 회사의 접근 방식은 “모델 능력의 새로운 단계에 맞게 확장”되어야 한다고 말했습니다.
금요일, 로이터는 OpenAI 에이전트가 테스트 환경을 탈출하여 “장악”한 희귀한 독일 위키 포럼을 다른 에이전트를 위한 메시지 보드로 전환했다고 보도했습니다. 또한 로이터는 OpenAI 최고 경영진이 수주 전에 이 사건을 인지했지만, OpenAI 에이전트가 Hugging Face 서버를 해킹한 별개 사건으로 인한 여파에 대응하는 동안 이를 숨겼다고 보도했습니다. (캘리포니아 주 검찰총장 Rob Bonta가 해킹 사건을 조사 중이라고 합니다.)
회사 대변인은 로이터에 OpenAI는 검토할 기회를 얻지 못한 보고서에 대한 주장이나 발견에 대해 “의미 있게 대응할 수 없다”고 말했지만, 회사의 법무팀이 조사를 방해하지 않았다고 고집했습니다.
최근 소셜 미디어 게시물에서 OpenAI는 “위키 사건”을 이미 공유한 다른 사례와 유사한 “정렬 불일치의 한 사례”로 간주했다고 말했습니다. 이 회사는 “Hugging Face 사건”과 대비했는데, 이는 “전통적인 보안 사건 대응 매뉴얼을 따랐습니다.”
이번 주 미디어 브리핑에서 비영리 연구실 Transluce의 설립자이자 CEO인 Jacob Steinhardt는 AI 연구소에서 개발하고 테스트하는 도구들이 “본질적으로 통제하기 어렵고 연구소 밖으로 유출될 위험이 크다”고 기자들에게 말했습니다. 따라서 Steinhardt는 “우리는 이 기술을 다른 고위험 과학 연구에 적용하는 것과 최소한 동일한 기준으로 평가해야 합니다”라고 주장했습니다.
OpenAI의 성명서는 또한 더 많은 표준의 필요성을 시사하며, OpenAI와 “더 큰 AI 커뮤니티” 모두 “교육, 평가 및 배포 과정에서 나타나는 정렬 불일치를 보고하는 방법에 대한 명확한 표준이 아직 없다”고 밝혔습니다. 여기에는 전통적인 보안 사건처럼 보이지 않지만 AI 행동과 미래 위험에 대한 통찰력을 제공할 수 있는 예외도 포함됩니다.
그 표준이 부재한 상황에서 OpenAI는 “프레임워크를 마련 중이며 향후 몇 주 내에 공유할 예정이며, 병행하여 전 세계 수십 개 정부 규제 기관과 이 문제들에 대해 협력하고 있습니다.”
OpenAI만이 이러한 문제를 다루고 있는 것은 아닙니다. Meta와 Anthropic 모두 에이전트가 부적절하게 행동한 사건을 인정했습니다.
관련 기사
OpenAI는 위키 사건을 확인했으며, 더 많은 공개를 위한 프레임워크를 구축 중이라고 밝혔다.
OpenAI는 최근 AI 에이전트가 독일 위키 포럼을 장악한 사건에 관여하고 있다고 확인했습니다. 이 회사는 예기치 않은 AI 행동에 관한 정보 공유를 위한 “표준을 정의할” 때가 “이미 지났다”고 밝혔습니다.X에서의 게시물에서 OpenAI는 이전에 “정렬 불일치 [AI 모델과 에이전트가 개발자 및 사용자의 목표와 다른 목표를 추구할 때]”를 주로 연구 문제로 취급했으며, 이는 연구 논문을 통해 소통되었다고 설명했습니다. 그러나 정렬 불일치가
Ramp의 데이터에 따르면 Anthropic은 이제 OpenAI보다 더 많은 기업 고객을 보유하고 있습니다.
Anthropic은 이번 달 핀테크 기업 Ramp의 AI 인덱스에 따르면 검증된 비즈니스 고객 수에서 OpenAI를 처음으로 앞질렀다.Ramp의 고객 지출 데이터에 따르면, 참여 기업의 34.4%가 Anthropic 서비스에 대해 지불하고 있으며 이는 다른 모든 AI 연구소를 앞서는 수치이고, 32.3%는 OpenAI에 대해 지불한다.이는 Anthropic이 선두를 차지한 첫 번째 사례이다.“Anthropic은 이미 금융, 기술, 전문 서
OpenAI, 주 법무장관들의 조사 대상에 오르다
주 법무장관들로 구성된 그룹이 오픈에이아이(OpenAI)에 대한 조사를 시작했다고 보도된다.월스트리트저널(WSJ)에 따르면, 이 회사는 금요일 뉴욕주 법무장관으로부터 소환장을 받았다. 이 요청은 광고 관행, 사용자 참여 및 유지, 모델의 아첨 현상(sycophancy), 소비자 및 건강 데이터 처리, 미성년자와 고령자 대우를 포함한 다양한 이슈에 관한 문서를 포함한다.TechCrunch은 오픈에이아이와 뉴욕주 법무장관 사무소에 논평을 요청했
관련 특별 주제 추천
의견 (0)
0/500

OpenAI는 최근 AI 에이전트가 독일 위키 포럼을 장악한 사건에 관여하고 있다고 확인했습니다. 이 회사는 예기치 않은 AI 행동에 관한 정보 공유를 위한 “표준을 정의할” 때가 “이미 지났다”고 밝혔습니다.
X에서의 게시물에서 OpenAI는 이전에 “정렬 불일치 [AI 모델과 에이전트가 개발자 및 사용자의 목표와 다른 목표를 추구할 때]”를 주로 연구 문제로 취급했으며, 이는 연구 논문을 통해 소통되었다고 설명했습니다. 그러나 정렬 불일치가 “새로운 유형의 실제 세계 영향을 초래”했기 때문에, 이 회사의 접근 방식은 “모델 능력의 새로운 단계에 맞게 확장”되어야 한다고 말했습니다.
금요일, 로이터는 OpenAI 에이전트가 테스트 환경을 탈출하여 “장악”한 희귀한 독일 위키 포럼을 다른 에이전트를 위한 메시지 보드로 전환했다고 보도했습니다. 또한 로이터는 OpenAI 최고 경영진이 수주 전에 이 사건을 인지했지만, OpenAI 에이전트가 Hugging Face 서버를 해킹한 별개 사건으로 인한 여파에 대응하는 동안 이를 숨겼다고 보도했습니다. (캘리포니아 주 검찰총장 Rob Bonta가 해킹 사건을 조사 중이라고 합니다.)
회사 대변인은 로이터에 OpenAI는 검토할 기회를 얻지 못한 보고서에 대한 주장이나 발견에 대해 “의미 있게 대응할 수 없다”고 말했지만, 회사의 법무팀이 조사를 방해하지 않았다고 고집했습니다.
최근 소셜 미디어 게시물에서 OpenAI는 “위키 사건”을 이미 공유한 다른 사례와 유사한 “정렬 불일치의 한 사례”로 간주했다고 말했습니다. 이 회사는 “Hugging Face 사건”과 대비했는데, 이는 “전통적인 보안 사건 대응 매뉴얼을 따랐습니다.”
이번 주 미디어 브리핑에서 비영리 연구실 Transluce의 설립자이자 CEO인 Jacob Steinhardt는 AI 연구소에서 개발하고 테스트하는 도구들이 “본질적으로 통제하기 어렵고 연구소 밖으로 유출될 위험이 크다”고 기자들에게 말했습니다. 따라서 Steinhardt는 “우리는 이 기술을 다른 고위험 과학 연구에 적용하는 것과 최소한 동일한 기준으로 평가해야 합니다”라고 주장했습니다.
OpenAI의 성명서는 또한 더 많은 표준의 필요성을 시사하며, OpenAI와 “더 큰 AI 커뮤니티” 모두 “교육, 평가 및 배포 과정에서 나타나는 정렬 불일치를 보고하는 방법에 대한 명확한 표준이 아직 없다”고 밝혔습니다. 여기에는 전통적인 보안 사건처럼 보이지 않지만 AI 행동과 미래 위험에 대한 통찰력을 제공할 수 있는 예외도 포함됩니다.
그 표준이 부재한 상황에서 OpenAI는 “프레임워크를 마련 중이며 향후 몇 주 내에 공유할 예정이며, 병행하여 전 세계 수십 개 정부 규제 기관과 이 문제들에 대해 협력하고 있습니다.”
OpenAI만이 이러한 문제를 다루고 있는 것은 아닙니다. Meta와 Anthropic 모두 에이전트가 부적절하게 행동한 사건을 인정했습니다.
OpenAI는 위키 사건을 확인했으며, 더 많은 공개를 위한 프레임워크를 구축 중이라고 밝혔다.
OpenAI는 최근 AI 에이전트가 독일 위키 포럼을 장악한 사건에 관여하고 있다고 확인했습니다. 이 회사는 예기치 않은 AI 행동에 관한 정보 공유를 위한 “표준을 정의할” 때가 “이미 지났다”고 밝혔습니다.X에서의 게시물에서 OpenAI는 이전에 “정렬 불일치 [AI 모델과 에이전트가 개발자 및 사용자의 목표와 다른 목표를 추구할 때]”를 주로 연구 문제로 취급했으며, 이는 연구 논문을 통해 소통되었다고 설명했습니다. 그러나 정렬 불일치가
Ramp의 데이터에 따르면 Anthropic은 이제 OpenAI보다 더 많은 기업 고객을 보유하고 있습니다.
Anthropic은 이번 달 핀테크 기업 Ramp의 AI 인덱스에 따르면 검증된 비즈니스 고객 수에서 OpenAI를 처음으로 앞질렀다.Ramp의 고객 지출 데이터에 따르면, 참여 기업의 34.4%가 Anthropic 서비스에 대해 지불하고 있으며 이는 다른 모든 AI 연구소를 앞서는 수치이고, 32.3%는 OpenAI에 대해 지불한다.이는 Anthropic이 선두를 차지한 첫 번째 사례이다.“Anthropic은 이미 금융, 기술, 전문 서
OpenAI, 주 법무장관들의 조사 대상에 오르다
주 법무장관들로 구성된 그룹이 오픈에이아이(OpenAI)에 대한 조사를 시작했다고 보도된다.월스트리트저널(WSJ)에 따르면, 이 회사는 금요일 뉴욕주 법무장관으로부터 소환장을 받았다. 이 요청은 광고 관행, 사용자 참여 및 유지, 모델의 아첨 현상(sycophancy), 소비자 및 건강 데이터 처리, 미성년자와 고령자 대우를 포함한 다양한 이슈에 관한 문서를 포함한다.TechCrunch은 오픈에이아이와 뉴욕주 법무장관 사무소에 논평을 요청했





집






