앤트로픽, 위험 증가에 따른 새로운 AI 안전장치 도입

Anthropic은 증가하는 안전 문제를 해결하기 위해 Claude AI 챗봇의 사용 정책을 업데이트했습니다. 이제 더 엄격한 사이버 보안 규정과 함께 Claude를 사용해 개발해서는 안 되는 위험한 무기의 범주를 명시적으로 설명합니다.
공식 발표 게시물에는 무기 정책의 변경 사항이 명시적으로 강조되어 있지는 않지만, 이전 사용 지침과 새 사용 지침을 비교해보면 중요한 업데이트가 이루어졌음을 알 수 있습니다. 이전에는 "인명 피해 또는 손실을 초래하도록 설계된 무기, 폭발물, 위험 물질 또는 기타 시스템을 생산, 개조, 설계, 판매 또는 배포"하는 데 Claude를 사용하는 것을 광범위하게 금지했습니다. 개정된 정책은 특히 생물학, 핵, 화학, 방사능(CBRN) 무기뿐만 아니라 고수익 폭발물 개발을 금지함으로써 이를 더욱 확대했습니다.
지난 5월, 앤트로픽은 새로운 클로드 오퍼스 4 모델 출시와 동시에 'AI 안전 레벨 3' 보호 기능을 도입했습니다. 이러한 보호 장치는 모델이 탈옥에 대한 저항력을 높이고 CBRN 무기를 만드는 데 도움이 되지 않도록 하기 위한 것입니다.
또한, 앤트로픽은 이번 발표에서 클로드가 사용자의 컴퓨터를 제어할 수 있는 컴퓨터 사용과 클로드를 개발자의 터미널에 직접 통합하는 클로드 코드와 같은 에이전트 AI 도구와 관련된 위험성을 인식하고 있습니다. "이러한 강력한 기능은 대규모 악용, 멀웨어 생성 및 사이버 공격 가능성을 포함한 새로운 위험을 초래할 수 있습니다."라고 회사는 말합니다.
관련 기사
- 앤트로픽, 군사 및 정보 용도의 새로운 클로드 서비스 출시
- 구글은 AI 무기를 개발하지 않겠다는 약속을 스크랩합니다.
이 AI 스타트업은 사용 정책에 "컴퓨터 또는 네트워크 시스템 손상 금지"라는 새로운 섹션을 추가하여 이러한 잠재적 위협을 해결하고 있습니다. 이 섹션에는 취약점 발견 또는 악용, 멀웨어 생성 또는 배포, 서비스 거부 공격용 도구 개발 및 이와 유사한 활동을 위해 Claude를 사용하는 것에 대한 규칙이 포함되어 있습니다.
또한, Anthropic은 정치적 콘텐츠에 관한 정책을 완화하고 있습니다. 정치 캠페인 및 로비와 관련된 모든 콘텐츠 제작을 금지하는 대신, 이제 "민주적 절차를 기만하거나 방해하거나 유권자 및 캠페인 타겟팅과 관련된 사용 사례"에만 클라우드를 사용하는 것을 금지할 것입니다. 또한, 개인 또는 고객에게 추천하는 데 Claude를 사용할 때 적용되는 모든 "고위험" 사용 사례에 대한 요구 사항은 내부 비즈니스 용도가 아닌 소비자 대면 시나리오에만 해당된다는 점을 명확히 했습니다.
관련 기사
워너 뮤직이 AI 귀속 스타트업 서룰 AI를 인수하다
워너 뮤직 그룹(WMG)은 수요일 Sureel AI라는 인공지능 속성 추적 스타트업을 인수한다고 확인했다. Sureel의 독점 기술은 음악 트랙에 대한 ‘AI DNA’를 생성하며, 이를 구성 요소로 분해하여 AI 모델이 이러한 요소를 어떻게 활용하는지 추적한다.이번 인수를 통해 WMG는 아티스트와 작곡가의 작품이 AI 생성 콘텐츠에서 어떻게 활용되거나 AI 모델 학습에 사용되는지를 모니터링하는 능력을 강화할 계획이다.“Sureel을 WMG에
아마존은 쇼핑용 알렉사를 출시하면서 루푸스를 후순위로 밀어붙이고 있다
아마존은 Alexa for Shopping을 출시하며, Rufus 쇼핑 챗봇과 Alexa+를 앱, 웹사이트 및 Echo Show 기기 전반에 걸쳐 통합했습니다.이 도우미는 제품 문의에 답변하고, 상품을 비교하며, 가격을 추적하고, 쇼핑 알림을 지원합니다. 또한 예약된 쇼핑 작업과 자격이 있는 자동 구매도 처리합니다.회사에 따르면, Alexa for Shopping은 Rufus의 제품 전문성과 Alexa+의 개인화된 도우미 컨텍스트를 결합합니
마이크로소프트, 애저, AI 기술이 캘리포니아 산불 위험에 맞서다
마이크로소프트는 AI 기반 산불 탐지 기술에 투자하고 있으며, CVP 겸 수석 데이터 과학자인 후안 라비스타 페레스가 환경 피해 완화 전략을 논의하고 있다.NASA에 따르면, 기후 변화는 지구상의 모든 사람에게 영향을 미치며, 기온 상승, 강수 패턴의 변화, 해수면 상승 등의 형태로 나타납니다.NASA는 인간 활동이 주된 원인으로 작용하여 지구가 전례 없는
관련 특별 주제 추천
의견 (1)
0/500
Les mises à jour de politique me rappellent que les IA comme Claude sont des outils qui peuvent avoir des utilisations à double tranchant. 🔧 C'est rassurant de voir les entreprises prendre des initiatives, mais une réglementation internationale ne serait-elle pas plus efficace contre certains dangers ? En tout cas, voilà un pas dans la bonne direction.

Anthropic은 증가하는 안전 문제를 해결하기 위해 Claude AI 챗봇의 사용 정책을 업데이트했습니다. 이제 더 엄격한 사이버 보안 규정과 함께 Claude를 사용해 개발해서는 안 되는 위험한 무기의 범주를 명시적으로 설명합니다.
공식 발표 게시물에는 무기 정책의 변경 사항이 명시적으로 강조되어 있지는 않지만, 이전 사용 지침과 새 사용 지침을 비교해보면 중요한 업데이트가 이루어졌음을 알 수 있습니다. 이전에는 "인명 피해 또는 손실을 초래하도록 설계된 무기, 폭발물, 위험 물질 또는 기타 시스템을 생산, 개조, 설계, 판매 또는 배포"하는 데 Claude를 사용하는 것을 광범위하게 금지했습니다. 개정된 정책은 특히 생물학, 핵, 화학, 방사능(CBRN) 무기뿐만 아니라 고수익 폭발물 개발을 금지함으로써 이를 더욱 확대했습니다.
지난 5월, 앤트로픽은 새로운 클로드 오퍼스 4 모델 출시와 동시에 'AI 안전 레벨 3' 보호 기능을 도입했습니다. 이러한 보호 장치는 모델이 탈옥에 대한 저항력을 높이고 CBRN 무기를 만드는 데 도움이 되지 않도록 하기 위한 것입니다.
또한, 앤트로픽은 이번 발표에서 클로드가 사용자의 컴퓨터를 제어할 수 있는 컴퓨터 사용과 클로드를 개발자의 터미널에 직접 통합하는 클로드 코드와 같은 에이전트 AI 도구와 관련된 위험성을 인식하고 있습니다. "이러한 강력한 기능은 대규모 악용, 멀웨어 생성 및 사이버 공격 가능성을 포함한 새로운 위험을 초래할 수 있습니다."라고 회사는 말합니다.
관련 기사
- 앤트로픽, 군사 및 정보 용도의 새로운 클로드 서비스 출시
- 구글은 AI 무기를 개발하지 않겠다는 약속을 스크랩합니다.
이 AI 스타트업은 사용 정책에 "컴퓨터 또는 네트워크 시스템 손상 금지"라는 새로운 섹션을 추가하여 이러한 잠재적 위협을 해결하고 있습니다. 이 섹션에는 취약점 발견 또는 악용, 멀웨어 생성 또는 배포, 서비스 거부 공격용 도구 개발 및 이와 유사한 활동을 위해 Claude를 사용하는 것에 대한 규칙이 포함되어 있습니다.
또한, Anthropic은 정치적 콘텐츠에 관한 정책을 완화하고 있습니다. 정치 캠페인 및 로비와 관련된 모든 콘텐츠 제작을 금지하는 대신, 이제 "민주적 절차를 기만하거나 방해하거나 유권자 및 캠페인 타겟팅과 관련된 사용 사례"에만 클라우드를 사용하는 것을 금지할 것입니다. 또한, 개인 또는 고객에게 추천하는 데 Claude를 사용할 때 적용되는 모든 "고위험" 사용 사례에 대한 요구 사항은 내부 비즈니스 용도가 아닌 소비자 대면 시나리오에만 해당된다는 점을 명확히 했습니다.
워너 뮤직이 AI 귀속 스타트업 서룰 AI를 인수하다
워너 뮤직 그룹(WMG)은 수요일 Sureel AI라는 인공지능 속성 추적 스타트업을 인수한다고 확인했다. Sureel의 독점 기술은 음악 트랙에 대한 ‘AI DNA’를 생성하며, 이를 구성 요소로 분해하여 AI 모델이 이러한 요소를 어떻게 활용하는지 추적한다.이번 인수를 통해 WMG는 아티스트와 작곡가의 작품이 AI 생성 콘텐츠에서 어떻게 활용되거나 AI 모델 학습에 사용되는지를 모니터링하는 능력을 강화할 계획이다.“Sureel을 WMG에
마이크로소프트, 애저, AI 기술이 캘리포니아 산불 위험에 맞서다
마이크로소프트는 AI 기반 산불 탐지 기술에 투자하고 있으며, CVP 겸 수석 데이터 과학자인 후안 라비스타 페레스가 환경 피해 완화 전략을 논의하고 있다.NASA에 따르면, 기후 변화는 지구상의 모든 사람에게 영향을 미치며, 기온 상승, 강수 패턴의 변화, 해수면 상승 등의 형태로 나타납니다.NASA는 인간 활동이 주된 원인으로 작용하여 지구가 전례 없는
Les mises à jour de politique me rappellent que les IA comme Claude sont des outils qui peuvent avoir des utilisations à double tranchant. 🔧 C'est rassurant de voir les entreprises prendre des initiatives, mais une réglementation internationale ne serait-elle pas plus efficace contre certains dangers ? En tout cas, voilà un pas dans la bonne direction.





집






