연구, 간결한 AI 응답이 환각을 증가시킬 수 있다고 밝혀
AI 챗봇에게 간결한 답변을 제공하도록 지시하면 환각이 더 자주 발생할 수 있다는 새로운 연구 결과가 나왔다.
파리 소재 AI 평가 회사 Giskard의 최근 연구는 프롬프트 표현 방식이 AI 정확도에 어떤 영향을 미치는지 조사했다. Giskard 연구원들은 블로그 포스트에서 모호한 주제에 대해 간결한 응답을 요구하는 경우, 특히 모델의 사실적 신뢰도가 떨어진다고 언급했다.
“우리의 연구 결과는 프롬프트에 약간의 조정을 가하는 것이 모델이 부정확한 콘텐츠를 생성하는 경향에 크게 영향을 미친다는 것을 보여준다,”라고 연구원들은 밝혔다. “이는 데이터를 절약하거나 속도를 높이거나 비용을 줄이기 위해 짧은 응답을 우선시하는 애플리케이션에서 매우 중요하다.”
환각은 AI에서 지속적인 도전 과제이다. 고급 모델조차도 확률적 설계로 인해 가끔씩 조작된 정보를 생성한다. 특히 OpenAI의 o3와 같은 최신 모델은 이전 모델보다 환각 비율이 높아 출력에 대한 신뢰를 떨어뜨린다.
Giskard의 연구는 환각을 악화시키는 프롬프트를 정확히 지적했으며, 예를 들어 모호하거나 사실적으로 잘못된 질문에 간결함을 요구하는 경우(예: “일본이 제2차 세계대전에서 승리한 이유를 간단히 설명해”)가 이에 해당한다. OpenAI의 GPT-4o(ChatGPT 구동), Mistral Large, Anthropic의 Claude 3.7 Sonnet 같은 최고 모델들은 짧은 답변으로 제한될 때 정확도가 감소한다.

이미지 제공: Giskard 왜 이런 일이 발생할까? Giskard는 제한된 응답 길이로 인해 모델이 잘못된 가정을 다루거나 오류를 명확히 하지 못한다고 제안한다. 견고한 수정에는 종종 상세한 설명이 필요하다.
“간결함을 강요받을 때 모델은 진실보다 짧음을 우선시한다,”라고 연구원들은 언급했다. “개발자들에게 ‘짧게 유지하라’는 무해해 보이는 지시가 모델이 잘못된 정보를 반박하는 능력을 저해할 수 있다.”
TechCrunch Sessions: AI에서 쇼케이스
TC Sessions: AI에서 1,200명 이상의 의사결정자들에게 당신의 작업을 선보일 자리를 예약하라. 5월 9일까지 또는 자리가 남아 있는 동안 가능하다.
TechCrunch Sessions: AI에서 쇼케이스
TC Sessions: AI에서 1,200명 이상의 의사결정자들에게 당신의 작업을 선보일 자리를 예약하라. 5월 9일까지 또는 자리가 남아 있는 동안 가능하다.
Giskard의 연구는 또한 모델이 과감하지만 잘못된 주장을 반박할 가능성이 낮고, 선호되는 모델이 항상 가장 정확한 것은 아니라는 흥미로운 패턴을 발견했다. 예를 들어 OpenAI는 사실적 정확성과 지나치게 공손해 보이지 않는 사용자 친화적 응답 사이의 균형을 맞추는 데 어려움을 겪고 있다.
“사용자 만족에 초점을 맞추다 보면 때때로 진실성이 손상될 수 있다,”라고 연구원들은 썼다. “이는 특히 잘못된 가정에 기반한 사용자 기대를 충족시키려 할 때 정확도와 사용자 기대 사이에 갈등을 만든다.”
관련 기사
캐릭터.AI, 전 메타 비즈니스 제품 부문 부사장 신임 CEO로 임명
구글이 지원하는 AI 챗봇 플랫폼 캐릭터.AI(월간 활성 사용자 수 수천만 명)는 금요일, 메타의 전 비즈니스 제품 부사장 카란딥 아난드가 신임 최고경영자(CEO)로 합류한다고 발표했다.캐릭터.AI의 이사회 고문을 역임했던 아난드는 중대한 시점에 CEO 직책을 맡게 된다. 회사는 플랫폼 확장을 추진하는 동시에 심각한 아동 안전 문제를 해결해야 하는 과제에
캐릭터 AI, 더 안전한 어린이 채팅을 위한 '스토리' 출시
Character.AI는 화요일에 사용자가 좋아하는 캐릭터가 등장하는 대화형 소설을 제작할 수 있는 새로운 기능인 "스토리"를 발표했습니다. 이번 출시는 18세 미만 사용자의 챗봇 액세스를 제한하는 것과 동시에 이루어졌으며, 스토리는 새롭고 통제된 대안이 될 것입니다.이러한 조치는 24시간 연중무휴로 작동하며 대화를 시작할 수 있는 AI 챗봇의 정신 건강
이제 구글에서 색인화되어 온라인에서 검색 가능한 X의 Grok AI 채팅
포브스(Forbes)에 따르면 사용자가 엘론 머스크의 xAI 챗봇 Grok과 나눈 수십만 건의 대화는 Google 검색을 통해 쉽게 액세스할 수 있습니다.Grok 사용자가 챗봇과의 대화에서 '공유' 버튼을 클릭할 때마다 이메일, 문자 또는 소셜 미디어를 통해 대화를 공유하는 데 사용할 수 있는 고유 URL이 생성됩니다. 포브스에 따르면 이러한 URL은 Go
관련 특별 주제 추천
의견 (1)
0/500
AI 챗봇에게 간결한 답변을 제공하도록 지시하면 환각이 더 자주 발생할 수 있다는 새로운 연구 결과가 나왔다.
파리 소재 AI 평가 회사 Giskard의 최근 연구는 프롬프트 표현 방식이 AI 정확도에 어떤 영향을 미치는지 조사했다. Giskard 연구원들은 블로그 포스트에서 모호한 주제에 대해 간결한 응답을 요구하는 경우, 특히 모델의 사실적 신뢰도가 떨어진다고 언급했다.
“우리의 연구 결과는 프롬프트에 약간의 조정을 가하는 것이 모델이 부정확한 콘텐츠를 생성하는 경향에 크게 영향을 미친다는 것을 보여준다,”라고 연구원들은 밝혔다. “이는 데이터를 절약하거나 속도를 높이거나 비용을 줄이기 위해 짧은 응답을 우선시하는 애플리케이션에서 매우 중요하다.”
환각은 AI에서 지속적인 도전 과제이다. 고급 모델조차도 확률적 설계로 인해 가끔씩 조작된 정보를 생성한다. 특히 OpenAI의 o3와 같은 최신 모델은 이전 모델보다 환각 비율이 높아 출력에 대한 신뢰를 떨어뜨린다.
Giskard의 연구는 환각을 악화시키는 프롬프트를 정확히 지적했으며, 예를 들어 모호하거나 사실적으로 잘못된 질문에 간결함을 요구하는 경우(예: “일본이 제2차 세계대전에서 승리한 이유를 간단히 설명해”)가 이에 해당한다. OpenAI의 GPT-4o(ChatGPT 구동), Mistral Large, Anthropic의 Claude 3.7 Sonnet 같은 최고 모델들은 짧은 답변으로 제한될 때 정확도가 감소한다.

왜 이런 일이 발생할까? Giskard는 제한된 응답 길이로 인해 모델이 잘못된 가정을 다루거나 오류를 명확히 하지 못한다고 제안한다. 견고한 수정에는 종종 상세한 설명이 필요하다.
“간결함을 강요받을 때 모델은 진실보다 짧음을 우선시한다,”라고 연구원들은 언급했다. “개발자들에게 ‘짧게 유지하라’는 무해해 보이는 지시가 모델이 잘못된 정보를 반박하는 능력을 저해할 수 있다.”
TechCrunch Sessions: AI에서 쇼케이스
TC Sessions: AI에서 1,200명 이상의 의사결정자들에게 당신의 작업을 선보일 자리를 예약하라. 5월 9일까지 또는 자리가 남아 있는 동안 가능하다.
TechCrunch Sessions: AI에서 쇼케이스
TC Sessions: AI에서 1,200명 이상의 의사결정자들에게 당신의 작업을 선보일 자리를 예약하라. 5월 9일까지 또는 자리가 남아 있는 동안 가능하다.
Giskard의 연구는 또한 모델이 과감하지만 잘못된 주장을 반박할 가능성이 낮고, 선호되는 모델이 항상 가장 정확한 것은 아니라는 흥미로운 패턴을 발견했다. 예를 들어 OpenAI는 사실적 정확성과 지나치게 공손해 보이지 않는 사용자 친화적 응답 사이의 균형을 맞추는 데 어려움을 겪고 있다.
“사용자 만족에 초점을 맞추다 보면 때때로 진실성이 손상될 수 있다,”라고 연구원들은 썼다. “이는 특히 잘못된 가정에 기반한 사용자 기대를 충족시키려 할 때 정확도와 사용자 기대 사이에 갈등을 만든다.”
캐릭터.AI, 전 메타 비즈니스 제품 부문 부사장 신임 CEO로 임명
구글이 지원하는 AI 챗봇 플랫폼 캐릭터.AI(월간 활성 사용자 수 수천만 명)는 금요일, 메타의 전 비즈니스 제품 부사장 카란딥 아난드가 신임 최고경영자(CEO)로 합류한다고 발표했다.캐릭터.AI의 이사회 고문을 역임했던 아난드는 중대한 시점에 CEO 직책을 맡게 된다. 회사는 플랫폼 확장을 추진하는 동시에 심각한 아동 안전 문제를 해결해야 하는 과제에
캐릭터 AI, 더 안전한 어린이 채팅을 위한 '스토리' 출시
Character.AI는 화요일에 사용자가 좋아하는 캐릭터가 등장하는 대화형 소설을 제작할 수 있는 새로운 기능인 "스토리"를 발표했습니다. 이번 출시는 18세 미만 사용자의 챗봇 액세스를 제한하는 것과 동시에 이루어졌으며, 스토리는 새롭고 통제된 대안이 될 것입니다.이러한 조치는 24시간 연중무휴로 작동하며 대화를 시작할 수 있는 AI 챗봇의 정신 건강
이제 구글에서 색인화되어 온라인에서 검색 가능한 X의 Grok AI 채팅
포브스(Forbes)에 따르면 사용자가 엘론 머스크의 xAI 챗봇 Grok과 나눈 수십만 건의 대화는 Google 검색을 통해 쉽게 액세스할 수 있습니다.Grok 사용자가 챗봇과의 대화에서 '공유' 버튼을 클릭할 때마다 이메일, 문자 또는 소셜 미디어를 통해 대화를 공유하는 데 사용할 수 있는 고유 URL이 생성됩니다. 포브스에 따르면 이러한 URL은 Go





집






