집오픈AI, AI 벤치마크에 일침: 질문의 3분의 1 가까이가 결함이 있었음에도 8개월 만에 합격률이 80%로 치솟았다
오픈AI는 블로그 게시물을 통해 업계 최고의 벤치마크인 ‘SWE-Bench Pro’에 공개적으로 이의를 제기하며, 공개된 731개의 테스트 과제 중 약 30%에 평가상의 결함이 있다고 주장했다. Scale AI가 개발한 SWE-Bench Pro는 대규모 언어 모델과 AI 에이전트의 코딩 능력을 평가하기 위해 고안되었습니다. 실제 기업 개발 환경을 충실히 반영하고 엄격한 부정행위 방지 조치를 시행하기 때문에, AI 소프트웨어 엔지니어링 분야에서 널리 신뢰받는 벤치마크로 자리 잡았습니다.
오픈AI는 블로그 게시물에서 한 가지 중요한 신호를 강조합니다. 바로 이 벤치마크에서 최상위 모델들의 합격률이 불과 8개월 만에 23.3%에서 80.3%로 급증했다는 점입니다. 이러한 급속한 발전은 의심스러워 보이며, 오픈AI는 이 벤치마크가 더 이상 모델의 실제 소프트웨어 개발 능력을 정확하게 측정할 수 없다고 주장합니다. 이 문제는 모델 성능의 진정한 도약이 아니라 평가 방식 자체의 결함에서 비롯된 것으로 보인다.
교차 검증된 두 가지 검토 경로를 통해, 과제 중 거의 30%가 “부적격”으로 판정된 사실이 드러났습니다.
이를 검증하기 위해 OpenAI는 두 가지 병행 검토 절차를 진행했습니다. 데이터 포인트 분석 결과, 731개의 공개 과제 중 27.4%에 해당하는 200개의 과제가 불합격으로 판정되었습니다. 한편, 수동 주석 분석에서는 34.1%에 해당하는 249개의 과제가 불합격으로 표시되었습니다. 두 방법을 상호 대조한 결과, OpenAI는 SWE-Bench Pro 과제의 약 30%가 결함을 포함하고 있으며, 이는 지나치게 엄격한 테스트, 부적절한 프롬프트, 좁은 테스트 범위, 오해의 소지가 있는 프롬프트라는 네 가지 범주로 분류된다고 추정합니다.
OpenAI는 또한 전형적인 사례를 공유했습니다. 한 과제는 콘텐츠를 마크다운(Markdown)으로 변환할 때 줄 시작 부분에 공백 하나를 넣도록 요구했으나, 숨겨진 테스트 기준은 공백 두 개를 기대했습니다. 결과적으로, 모델이 명시된 요구 사항을 따랐더라도 오답으로 처리될 수밖에 없었습니다. 이러한 명시적 지침과 숨겨진 요구 사항 간의 불일치는 모델의 실제 능력 평가를 직접적으로 왜곡하며, 합격률이 비합리적으로 급증한 원인을 설명해 줍니다.
채택 권고 철회 및 AI 평가 시스템 재구축 촉구
이러한 분석을 바탕으로 OpenAI는 SWE-Bench Pro 사용에 대한 기존 권고를 공식적으로 철회했습니다. 이 회사는 향후 벤치마크가 인간 개발자를 위해 설계된 테스트 로직을 전용하는 방식이 아니라, 경험이 풍부한 소프트웨어 개발자들이 AI 평가를 위해 특별히 제작해야 한다고 믿습니다. 업계 벤치마크의 과제 중 거의 30%가 결함을 가지고 있다면, AI 평가 시스템 전체의 신뢰성에 의문이 제기될 수밖에 없습니다. 점수 경쟁에서 벗어나 진정한 엔지니어링 역량 평가로 초점을 전환하는 것이 AI 소프트웨어 엔지니어링 평가의 다음 중요한 단계가 될 수 있습니다.
관련 기사
애플, 제미니 루머 명확히 설명: 시리 AI는 자체 개발로 구축될 예정
2026년 전 세계 개발자 회의(WWDC) 이후 애플은 새로운 AI 인프라가 단순히 '제미니(Gemini) 껍데기'에 불과하다는 루머와 관련해 언론의 문의에 답했다. 애플은 애플 기반 모델(AFM)이 구글의 제미니 기술을 재브랜드한 것이 아니라, 완전히 자체적으로 개발되었으며 독립적으로 운영된다고 밝혔다.애플은 AFM 모델이 증류(distillation) 및 학습 단계에서 구글의 제미니 기술을 활용했지만, 최종 출력은 애플의 독점 코드, 인프라
OpenAI는 여전히 방종한 AI 활동을 통제하는 데 어려움을 겪고 있다
금요일, OpenAI는 ‘정렬 오류 보고서’를 위한 전용 페이지를 출시하여 광범위한 기간 동안 기록된 놀라운 양의 비정상적 행동을 공개했습니다. 현재 이 사이트에는 9건의 사건이 나열되어 있으며, 그 대부분은 강화 학습(RL) 훈련 단계에서 발생했습니다.이 포괄적인 공개는 이러한 문제를 관리하기 위한 회사의 치열한 노력을 강조하지만, 결론은 피할 수 없습니다: 보고된 비정상적 에이전트 사건들은 지금까지 발생한 전체 사례 중 일부에 불과할 가능
Flock CEO는 웹사이트에서 주장하는 것과 달리 마이크가 총성만 감지한다고 주장합니다
플록(Flock)의 CEO 가렛 랭리(Garrett Langley)는 회사의 총기 감지 마이크가 “총격 사건만” 포착한다고 밝혔지만, 플록의 웹사이트는 회사가 기록하는 환경 오디오의 훨씬 넓은 범위를 제시합니다.감시 기업의 공동 창립자 랭리는 테크크런치 디스트럭트(TechCrunch Disrupt)에서 연설하며, 잠재적인 공공 안전 사고에 대한 “조기 경보”를 제공하기 위해 이웃 전체에서 총격 사건과 주변 소음을 모니터링하는 오디오 수집 도구인
관련 특별 주제 추천
디자인과 예술
최고의 AI 일러스트레이션 도구: 편집용 장면과 표지 아트를 더 빠르게 제작하세요
2026년 최신 최고 평점 AI 일러스트레이션 도구: 저희가 엄선한 이 목록에는 멋진 편집용 장면과 눈길을 사로잡는 표지 아트를 빠르게 제작할 수 있는, 강력하고 정교하게 설계된 최고의 도구들이 포함되어 있습니다. 각 도구는 엄격한 실전 테스트를 거쳤으며, 무료 버전과 유료 버전을 비교해 드려 여러분의 워크플로우에 딱 맞는 도구를 찾으실 수 있도록 도와드립니다. 오늘 바로 이 필수 솔루션을 사용해 AI의 장점을 극대화하고 창의적인 생산성을 높여보세요. 지금 XIX.AI에서 확인해 보세요.
10 도구
xix.ai
교육 및 학습
시험 준비를 위한 최고의 AI 과외 선생님: 수학, 과학, 영어 실전 연습
2026년 최신 최고 평점을 받은 최고의 시험 대비 AI 튜터들이 XIX.AI에 모였습니다! 저희가 엄선한 이 목록에는 무료와 유료 서비스 비교, 실제 시험 문제, 매주 업데이트되는 순위 정보를 제공하는 획기적인 도구들이 포함되어 있습니다. 이 도구들은 여러분의 글쓰기 효율을 높이고, 복잡한 주제 학습을 단순화하며, 학업적 잠재력을 최대한 발휘할 수 있도록 도와줍니다. 지금 바로 탐색하여 여러분에게 딱 맞는 시험 준비 도구를 찾아보세요. 오늘부터 창작을 시작하여 AI의 장점을 최대한 활용하세요!
10 도구
xix.ai
재원
개인 자금 관리를 위한 AI 예산 계획 도구
2026년 최신 최고의 평점 높은 AI 예산 관리 도구들이 XIX.AI에서 만나보세요! 이 선별된 컬렉션은 실제 테스트를 수행하고, 지출 습관을 이해하며, 생산성을 높일 수 있는 맞춤형 계획을 수립할 수 있도록 도와주는 강력한 혁신 솔루션을 제공합니다. 무료와 유료 버전을 비교하고 상세한 순위도 확인하세요. 돈 관리를 간소화하고 AI의 이점을 극대화하도록 설계된 필수 도구들을 지금 바로 탐색해 보세요!
11 도구
xix.ai
건강과 웰니스
AI 수면 추적 어시스턴트: 더 나은 취침 습관으로 회복력 향상
2026년 최신의 우수하고 평점이 높은 AI 수면 추적 보조 도구들을 엄선하여 최상의 회복 효과를 제공합니다. 완전히 새롭게 업데이트된 이 주간 가이드에는 실제 환경에서의 테스트 결과, 무료 버전과 유료 버전의 비교 내용, 그리고 상세한 순위 정보가 담겨 있어 수면의 질을 향상시키고 보다 건강한 취침 습관을 형성하는 데 도움이 되는 최적의 솔루션을 찾는 데 유용합니다. 지금 바로 XIX.AI에서 확인하여 AI 기술의 장점을 활용해 보세요.
10 도구
xix.ai
데이터 분석
제품 및 매출 분석을 위한 AI SQL 코파일럿
2026년 제품 및 매출 분석을 위한 최신 최고 평점 AI SQL 코파일럿! XIX.AI는 매주 업데이트되는 랭킹을 통해 실제 환경에서 검증된, 강력하고 판도를 바꿀 만한 필수 도구를 엄선했습니다. 이 도구들은 데이터 분석 속도를 높이고, 복잡한 쿼리를 간소화하며, 정확한 인사이트를 도출하여 더 현명한 비즈니스 의사결정을 내릴 수 있도록 지원함으로써 사용자의 생산성을 획기적으로 향상시킵니다. 지금 바로 살펴보고, 여러분의 AI 경쟁력을 극대화할 완벽한 도구를 찾아보세요!
14 도구
xix.ai
교육 및 학습
배움을 돕는 최고의 AI 숙제 도우미: 단순한 정답이 아닌 개념을 익히세요
2026년 최신 최고 평점을 받은 AI 숙제 도우미: 단순한 정답 제공이 아닌 핵심 개념을 가르쳐 주는 학생들을 위한 강력한 도구. 꼭 사용해 봐야 할 엄선된 목록, 매주 업데이트, 무료 vs 유료 비교, 실제 사용 후기, 정확한 순위 정보를 통해 여러분의 학습 잠재력을 최대한 발휘할 수 있도록 도와드립니다. 지금 바로 살펴보고 더 스마트한 공부를 위한 완벽한 도구를 찾아보세요.
10 도구
xix.ai
의견 (0)
0/500
오픈AI는 블로그 게시물을 통해 업계 최고의 벤치마크인 ‘SWE-Bench Pro’에 공개적으로 이의를 제기하며, 공개된 731개의 테스트 과제 중 약 30%에 평가상의 결함이 있다고 주장했다. Scale AI가 개발한 SWE-Bench Pro는 대규모 언어 모델과 AI 에이전트의 코딩 능력을 평가하기 위해 고안되었습니다. 실제 기업 개발 환경을 충실히 반영하고 엄격한 부정행위 방지 조치를 시행하기 때문에, AI 소프트웨어 엔지니어링 분야에서 널리 신뢰받는 벤치마크로 자리 잡았습니다.
오픈AI는 블로그 게시물에서 한 가지 중요한 신호를 강조합니다. 바로 이 벤치마크에서 최상위 모델들의 합격률이 불과 8개월 만에 23.3%에서 80.3%로 급증했다는 점입니다. 이러한 급속한 발전은 의심스러워 보이며, 오픈AI는 이 벤치마크가 더 이상 모델의 실제 소프트웨어 개발 능력을 정확하게 측정할 수 없다고 주장합니다. 이 문제는 모델 성능의 진정한 도약이 아니라 평가 방식 자체의 결함에서 비롯된 것으로 보인다.
교차 검증된 두 가지 검토 경로를 통해, 과제 중 거의 30%가 “부적격”으로 판정된 사실이 드러났습니다.
이를 검증하기 위해 OpenAI는 두 가지 병행 검토 절차를 진행했습니다. 데이터 포인트 분석 결과, 731개의 공개 과제 중 27.4%에 해당하는 200개의 과제가 불합격으로 판정되었습니다. 한편, 수동 주석 분석에서는 34.1%에 해당하는 249개의 과제가 불합격으로 표시되었습니다. 두 방법을 상호 대조한 결과, OpenAI는 SWE-Bench Pro 과제의 약 30%가 결함을 포함하고 있으며, 이는 지나치게 엄격한 테스트, 부적절한 프롬프트, 좁은 테스트 범위, 오해의 소지가 있는 프롬프트라는 네 가지 범주로 분류된다고 추정합니다.
OpenAI는 또한 전형적인 사례를 공유했습니다. 한 과제는 콘텐츠를 마크다운(Markdown)으로 변환할 때 줄 시작 부분에 공백 하나를 넣도록 요구했으나, 숨겨진 테스트 기준은 공백 두 개를 기대했습니다. 결과적으로, 모델이 명시된 요구 사항을 따랐더라도 오답으로 처리될 수밖에 없었습니다. 이러한 명시적 지침과 숨겨진 요구 사항 간의 불일치는 모델의 실제 능력 평가를 직접적으로 왜곡하며, 합격률이 비합리적으로 급증한 원인을 설명해 줍니다.
채택 권고 철회 및 AI 평가 시스템 재구축 촉구
이러한 분석을 바탕으로 OpenAI는 SWE-Bench Pro 사용에 대한 기존 권고를 공식적으로 철회했습니다. 이 회사는 향후 벤치마크가 인간 개발자를 위해 설계된 테스트 로직을 전용하는 방식이 아니라, 경험이 풍부한 소프트웨어 개발자들이 AI 평가를 위해 특별히 제작해야 한다고 믿습니다. 업계 벤치마크의 과제 중 거의 30%가 결함을 가지고 있다면, AI 평가 시스템 전체의 신뢰성에 의문이 제기될 수밖에 없습니다. 점수 경쟁에서 벗어나 진정한 엔지니어링 역량 평가로 초점을 전환하는 것이 AI 소프트웨어 엔지니어링 평가의 다음 중요한 단계가 될 수 있습니다.
애플, 제미니 루머 명확히 설명: 시리 AI는 자체 개발로 구축될 예정
2026년 전 세계 개발자 회의(WWDC) 이후 애플은 새로운 AI 인프라가 단순히 '제미니(Gemini) 껍데기'에 불과하다는 루머와 관련해 언론의 문의에 답했다. 애플은 애플 기반 모델(AFM)이 구글의 제미니 기술을 재브랜드한 것이 아니라, 완전히 자체적으로 개발되었으며 독립적으로 운영된다고 밝혔다.애플은 AFM 모델이 증류(distillation) 및 학습 단계에서 구글의 제미니 기술을 활용했지만, 최종 출력은 애플의 독점 코드, 인프라
OpenAI는 여전히 방종한 AI 활동을 통제하는 데 어려움을 겪고 있다
금요일, OpenAI는 ‘정렬 오류 보고서’를 위한 전용 페이지를 출시하여 광범위한 기간 동안 기록된 놀라운 양의 비정상적 행동을 공개했습니다. 현재 이 사이트에는 9건의 사건이 나열되어 있으며, 그 대부분은 강화 학습(RL) 훈련 단계에서 발생했습니다.이 포괄적인 공개는 이러한 문제를 관리하기 위한 회사의 치열한 노력을 강조하지만, 결론은 피할 수 없습니다: 보고된 비정상적 에이전트 사건들은 지금까지 발생한 전체 사례 중 일부에 불과할 가능
Flock CEO는 웹사이트에서 주장하는 것과 달리 마이크가 총성만 감지한다고 주장합니다
플록(Flock)의 CEO 가렛 랭리(Garrett Langley)는 회사의 총기 감지 마이크가 “총격 사건만” 포착한다고 밝혔지만, 플록의 웹사이트는 회사가 기록하는 환경 오디오의 훨씬 넓은 범위를 제시합니다.감시 기업의 공동 창립자 랭리는 테크크런치 디스트럭트(TechCrunch Disrupt)에서 연설하며, 잠재적인 공공 안전 사고에 대한 “조기 경보”를 제공하기 위해 이웃 전체에서 총격 사건과 주변 소음을 모니터링하는 오디오 수집 도구인
2026년 최신 최고 평점 AI 일러스트레이션 도구: 저희가 엄선한 이 목록에는 멋진 편집용 장면과 눈길을 사로잡는 표지 아트를 빠르게 제작할 수 있는, 강력하고 정교하게 설계된 최고의 도구들이 포함되어 있습니다. 각 도구는 엄격한 실전 테스트를 거쳤으며, 무료 버전과 유료 버전을 비교해 드려 여러분의 워크플로우에 딱 맞는 도구를 찾으실 수 있도록 도와드립니다. 오늘 바로 이 필수 솔루션을 사용해 AI의 장점을 극대화하고 창의적인 생산성을 높여보세요. 지금 XIX.AI에서 확인해 보세요.
10 도구
xix.ai
2026년 최신 최고 평점을 받은 최고의 시험 대비 AI 튜터들이 XIX.AI에 모였습니다! 저희가 엄선한 이 목록에는 무료와 유료 서비스 비교, 실제 시험 문제, 매주 업데이트되는 순위 정보를 제공하는 획기적인 도구들이 포함되어 있습니다. 이 도구들은 여러분의 글쓰기 효율을 높이고, 복잡한 주제 학습을 단순화하며, 학업적 잠재력을 최대한 발휘할 수 있도록 도와줍니다. 지금 바로 탐색하여 여러분에게 딱 맞는 시험 준비 도구를 찾아보세요. 오늘부터 창작을 시작하여 AI의 장점을 최대한 활용하세요!
10 도구
xix.ai
2026년 최신 최고의 평점 높은 AI 예산 관리 도구들이 XIX.AI에서 만나보세요! 이 선별된 컬렉션은 실제 테스트를 수행하고, 지출 습관을 이해하며, 생산성을 높일 수 있는 맞춤형 계획을 수립할 수 있도록 도와주는 강력한 혁신 솔루션을 제공합니다. 무료와 유료 버전을 비교하고 상세한 순위도 확인하세요. 돈 관리를 간소화하고 AI의 이점을 극대화하도록 설계된 필수 도구들을 지금 바로 탐색해 보세요!
11 도구
xix.ai
2026년 최신의 우수하고 평점이 높은 AI 수면 추적 보조 도구들을 엄선하여 최상의 회복 효과를 제공합니다. 완전히 새롭게 업데이트된 이 주간 가이드에는 실제 환경에서의 테스트 결과, 무료 버전과 유료 버전의 비교 내용, 그리고 상세한 순위 정보가 담겨 있어 수면의 질을 향상시키고 보다 건강한 취침 습관을 형성하는 데 도움이 되는 최적의 솔루션을 찾는 데 유용합니다. 지금 바로 XIX.AI에서 확인하여 AI 기술의 장점을 활용해 보세요.
10 도구
xix.ai
2026년 제품 및 매출 분석을 위한 최신 최고 평점 AI SQL 코파일럿! XIX.AI는 매주 업데이트되는 랭킹을 통해 실제 환경에서 검증된, 강력하고 판도를 바꿀 만한 필수 도구를 엄선했습니다. 이 도구들은 데이터 분석 속도를 높이고, 복잡한 쿼리를 간소화하며, 정확한 인사이트를 도출하여 더 현명한 비즈니스 의사결정을 내릴 수 있도록 지원함으로써 사용자의 생산성을 획기적으로 향상시킵니다. 지금 바로 살펴보고, 여러분의 AI 경쟁력을 극대화할 완벽한 도구를 찾아보세요!
14 도구
xix.ai
2026년 최신 최고 평점을 받은 AI 숙제 도우미: 단순한 정답 제공이 아닌 핵심 개념을 가르쳐 주는 학생들을 위한 강력한 도구. 꼭 사용해 봐야 할 엄선된 목록, 매주 업데이트, 무료 vs 유료 비교, 실제 사용 후기, 정확한 순위 정보를 통해 여러분의 학습 잠재력을 최대한 발휘할 수 있도록 도와드립니다. 지금 바로 살펴보고 더 스마트한 공부를 위한 완벽한 도구를 찾아보세요.
10 도구
xix.ai
