오픈AI, 프롬프트 주입 공격에 대비해 ChatGPT 보안 강화
OpenAI는 AI 시스템이 웹사이트 및 외부 애플리케이션과 상호작용할 때 발생하는 프롬프트 주입 공격의 위협이 증가함에 따라, ChatGPT를 위한 두 가지 새로운 고급 보안 기능을 도입했습니다. 이러한 공격을 통해 악의적인 행위자는 AI를 조작하여 유해한 행동을 수행하게 하거나 기밀 데이터를 유출시킬 수 있습니다. 두 가지 새로운 기능은 샌드박스 환경, URL 데이터 유출 방지 및 기타 다층적 보안 프로토콜을 포함하여 플랫폼의 기존 방어 체계를 강화합니다.

첫 번째 기능은 '락다운 모드(Lockdown Mode)'로, 일반 사용자보다는 엄격한 보안 요구 사항을 가진 사용자를 위해 설계된 선택적 고급 설정입니다. 이 모드는 ChatGPT가 외부 시스템과 통신하는 방식에 대해 엄격한 제어를 가함으로써 데이터 유출 위험을 크게 낮춥니다. 이 모드는 잠재적인 공격 경로가 될 수 있는 도구를 사전에 비활성화하거나 제한합니다. 예를 들어, 웹 브라우징 기능은 캐시된 콘텐츠에만 접근할 수 있으며, 강력한 보안 보장이 없는 기능은 완전히 비활성화됩니다.
현재 이 모드는 ChatGPT 엔터프라이즈, 교육, 헬스케어 및 교사 에디션에서 사용할 수 있습니다. 관리자는 대시보드 설정에서 특정 역할을 생성하여 이 모드를 활성화할 수 있으며, 락다운 모드가 활성화된 동안 허용되는 외부 애플리케이션과 작업을 정밀하게 정의할 수도 있습니다. OpenAI는 향후 몇 달 내에 일반 사용자도 이 모드를 이용할 수 있도록 할 계획입니다. 또한, 컴플라이언스 API 로그 플랫폼은 관리자가 애플리케이션 사용 및 데이터 공유 관행에 대한 규제 감사를 수행하는 데 도움을 줍니다.
두 번째 조치는 ChatGPT, ChatGPT Atlas 및 Codex 내의 고위험 기능에 일관되게 **"Elevated Risk(고위험)"** 라벨을 부착하여 잠재적 위협을 사용자에게 전달하는 방식을 표준화하는 것입니다.
OpenAI는 특정 인터넷 연결 기능이 AI의 유용성을 높여주지만, 여전히 현재 업계의 안전 장치만으로는 완전히 완화되지 않는 위험을 내포하고 있다고 설명했습니다. 이 라벨은 이러한 위험을 명확히 보여줌으로써, 특히 민감한 정보가 관련된 상황에서 사용자가 해당 기능을 사용할지 여부에 대해 정보에 입각한 결정을 내릴 수 있도록 돕습니다. 예를 들어, 개발자가 Codex에 대한 인터넷 접속을 활성화하면 인터페이스에 이 라벨이 표시되며, 이에 따른 변경 사항, 잠재적 위험, 적절한 사용 사례, 그리고 위험을 줄이기 위한 권장 사항이 상세히 안내됩니다.
관련 기사
인도의 기술 발전 추진이 가속화되는 가운데, 릴라이언스가 1,100억 달러 규모의 AI 투자 계획을 발표했다
인도의 릴라이언스(Reliance) 그룹 회장인 억만장자 무케시 암바니는 목요일, 향후 7년 동안 인도 전역에 AI 컴퓨팅 인프라를 구축하기 위한 10조 루피(약 1,100억 달러) 규모의 계획을 발표했다.목요일 뉴델리에서 열린 '인도 AI 임팩트 서밋(India AI Impact Summit)'에서 연설한 암바니 회장은 이번 투자가 기가와트급 데이터 센터
Zhiyuan WITA, 첫 규정 준수 신고로 ‘나체’ 로봇 상호작용 종료
체화 지능 분야가 중요한 이정표를 달성했습니다. 상하이 사이버공간관리국의 최근 발표에 따르면, 지위안(Zhiyuan)이 개발한 WITA 대형 모델이 신고 절차를 성공적으로 완료하여, 국내 최초로 규정을 준수하며 배포된 체화 지능 상호작용 대형 모델이 되었습니다.이번 성과는 단순한 허가 취득을 넘어선 의미를 지닙니다. WITA의 핵심 목적은 휴머노이드 로봇이
인류학 연구에 따르면, 정교하게 다듬어진 AI 콘텐츠가 인간의 사고력 저하와 관련이 있는 것으로 나타났다
AI가 구조가 탄탄하고 논리적으로 명확한 코드나 문서를 순식간에 생성하는 모습을 보면, 별다른 의심 없이 그대로 믿고 싶어지시나요? AI 분야 선도 기업인 Anthropic은 최근 ‘AI 유창성 지수(AI Fluency Index)’라는 제목의 연구 보고서를 발표했습니다. 약 1만 건의 익명 클로드(Claude ) 대화 샘플을 분석한 결과, 이 연구는 우려
관련 특별 주제 추천
의견 (0)
0/500
OpenAI는 AI 시스템이 웹사이트 및 외부 애플리케이션과 상호작용할 때 발생하는 프롬프트 주입 공격의 위협이 증가함에 따라, ChatGPT를 위한 두 가지 새로운 고급 보안 기능을 도입했습니다. 이러한 공격을 통해 악의적인 행위자는 AI를 조작하여 유해한 행동을 수행하게 하거나 기밀 데이터를 유출시킬 수 있습니다. 두 가지 새로운 기능은 샌드박스 환경, URL 데이터 유출 방지 및 기타 다층적 보안 프로토콜을 포함하여 플랫폼의 기존 방어 체계를 강화합니다.

첫 번째 기능은 '락다운 모드(Lockdown Mode)'로, 일반 사용자보다는 엄격한 보안 요구 사항을 가진 사용자를 위해 설계된 선택적 고급 설정입니다. 이 모드는 ChatGPT가 외부 시스템과 통신하는 방식에 대해 엄격한 제어를 가함으로써 데이터 유출 위험을 크게 낮춥니다. 이 모드는 잠재적인 공격 경로가 될 수 있는 도구를 사전에 비활성화하거나 제한합니다. 예를 들어, 웹 브라우징 기능은 캐시된 콘텐츠에만 접근할 수 있으며, 강력한 보안 보장이 없는 기능은 완전히 비활성화됩니다.
현재 이 모드는 ChatGPT 엔터프라이즈, 교육, 헬스케어 및 교사 에디션에서 사용할 수 있습니다. 관리자는 대시보드 설정에서 특정 역할을 생성하여 이 모드를 활성화할 수 있으며, 락다운 모드가 활성화된 동안 허용되는 외부 애플리케이션과 작업을 정밀하게 정의할 수도 있습니다. OpenAI는 향후 몇 달 내에 일반 사용자도 이 모드를 이용할 수 있도록 할 계획입니다. 또한, 컴플라이언스 API 로그 플랫폼은 관리자가 애플리케이션 사용 및 데이터 공유 관행에 대한 규제 감사를 수행하는 데 도움을 줍니다.
두 번째 조치는 ChatGPT, ChatGPT Atlas 및 Codex 내의 고위험 기능에 일관되게 **"Elevated Risk(고위험)"** 라벨을 부착하여 잠재적 위협을 사용자에게 전달하는 방식을 표준화하는 것입니다.
OpenAI는 특정 인터넷 연결 기능이 AI의 유용성을 높여주지만, 여전히 현재 업계의 안전 장치만으로는 완전히 완화되지 않는 위험을 내포하고 있다고 설명했습니다. 이 라벨은 이러한 위험을 명확히 보여줌으로써, 특히 민감한 정보가 관련된 상황에서 사용자가 해당 기능을 사용할지 여부에 대해 정보에 입각한 결정을 내릴 수 있도록 돕습니다. 예를 들어, 개발자가 Codex에 대한 인터넷 접속을 활성화하면 인터페이스에 이 라벨이 표시되며, 이에 따른 변경 사항, 잠재적 위험, 적절한 사용 사례, 그리고 위험을 줄이기 위한 권장 사항이 상세히 안내됩니다.
인도의 기술 발전 추진이 가속화되는 가운데, 릴라이언스가 1,100억 달러 규모의 AI 투자 계획을 발표했다
인도의 릴라이언스(Reliance) 그룹 회장인 억만장자 무케시 암바니는 목요일, 향후 7년 동안 인도 전역에 AI 컴퓨팅 인프라를 구축하기 위한 10조 루피(약 1,100억 달러) 규모의 계획을 발표했다.목요일 뉴델리에서 열린 '인도 AI 임팩트 서밋(India AI Impact Summit)'에서 연설한 암바니 회장은 이번 투자가 기가와트급 데이터 센터
Zhiyuan WITA, 첫 규정 준수 신고로 ‘나체’ 로봇 상호작용 종료
체화 지능 분야가 중요한 이정표를 달성했습니다. 상하이 사이버공간관리국의 최근 발표에 따르면, 지위안(Zhiyuan)이 개발한 WITA 대형 모델이 신고 절차를 성공적으로 완료하여, 국내 최초로 규정을 준수하며 배포된 체화 지능 상호작용 대형 모델이 되었습니다.이번 성과는 단순한 허가 취득을 넘어선 의미를 지닙니다. WITA의 핵심 목적은 휴머노이드 로봇이
인류학 연구에 따르면, 정교하게 다듬어진 AI 콘텐츠가 인간의 사고력 저하와 관련이 있는 것으로 나타났다
AI가 구조가 탄탄하고 논리적으로 명확한 코드나 문서를 순식간에 생성하는 모습을 보면, 별다른 의심 없이 그대로 믿고 싶어지시나요? AI 분야 선도 기업인 Anthropic은 최근 ‘AI 유창성 지수(AI Fluency Index)’라는 제목의 연구 보고서를 발표했습니다. 약 1만 건의 익명 클로드(Claude ) 대화 샘플을 분석한 결과, 이 연구는 우려





집






