상하이 교통대학교 연구팀, ‘SWE-Explore’ 벤치마크 공개… AI 코딩 에이전트의 라인 단위 로컬라이제이션 결함 드러내
상하이 교통대학교를 포함한 국제 연구팀이 오늘 새로운 벤치마크 테스트 도구인 ‘SWE-Explore’를 공개했다. 이 도구는 코드 검색 단계와 실제 수정 단계를 분리함으로써, ‘라인 수준 정확도’ 측면에서 현재 AI 코딩 에이전트의 중대한 기술적 한계를 정량적으로 밝혀낸다. 이 연구는 단순히 ‘최종 수정률’에만 의존하던 기존의 단일 평가 모델을 넘어, 에이전트의 상류 단계 검색 품질을 직접 측정할 수 있는 새로운 기준을 제시함으로써, AI 소프트웨어 공학 평가의 진화를 더 심층적인 영역으로 이끌고 있다.
SWE-bench와 같은 기존 벤치마크는 종단간 결과에만 초점을 맞추기 때문에, 에이전트의 코드 읽기 및 이해 단계에서 나타나는 실제 결함을 종종 가려버립니다. 이를 해결하기 위해 연구팀은 GPT-5.4, Gemini3Pro, Claude Sonnet4.6, Kimi K2.6과 같은 주류 대형 모델의 성공적인 실행 궤적을 바탕으로 여러 독립적인 해결 경로에서 합의된 코드 세그먼트를 추출하여, 10개 프로그래밍 언어와 203개 오픈소스 프로젝트에 걸친 848개의 결함 과제를 포함하는 데이터셋을 구축했습니다.

평가 결과에 따르면, Claude Code나 OpenHands와 같은 일반적인 코딩 에이전트는 “파일 수준” 위치 파악에서는 우수한 성능을 보이지만, 특정 “코드 줄”에 초점을 맞출 경우 핵심 영역 커버리지가 14%에서 19% 사이로 급격히 떨어지는 것으로 나타났다. 제거 실험을 통해 “최소 컨텍스트 임계값” 효과가 추가로 확인되었습니다. 핵심 영역의 가시적 비율이 50% 미만일 경우 모델의 수정 작업은 대체로 실패하지만, 50%에서 75% 사이의 임계값을 넘어서면 수정 성공률이 급격히 증가합니다.
이 연구 결과는 AI 에이전트의 현재 병목 현상이 전적으로 패치 작성 능력에 있는 것이 아니라, 중요한 맥락을 정확하게 필터링하고 포착하는 데 있다는 점을 시사합니다. 프로젝트 관리자들이 자동화 도입 제안의 절반을 거부하는 현재의 업계 상황에서, SWE-Explore가 제안한 “필터링은 줄이고, 읽기는 늘린다”는 기술적 방향은 차세대 전문 코드 로컬라이제이션 시스템(예: CoSIL)의 아키텍처 최적화를 위한 길을 제시할 뿐만 아니라, 자동화된 소프트웨어 공학의 패러다임을 “무차별 생성”에서 “정밀한 검색”으로 전환하는 데 박차를 가할 것입니다.
관련 기사
딥마인드 CEO 하사비스: 하루 6시간 수면, 보통 오후 1시경에 활력을 느낍니다
Fortune는 최근 Google DeepMind의 CEO인 데미스 하사비스와의 인터뷰를 소개하며, 그의 비전통적인 휴식 및 생산성 접근 방식을 공개했다. 하사비스는 자신이 매우 적게 잠을 자며, 깨어 있는 시간을 두 개의 명확한 업무 블록으로 구조화한다고 밝혔다.그의 수면 습관에 대해 하사비스는 "6시간을 목표로 하지만, 제 습관은 비정형적입니다. 하루 종일 효과적으로 기능할 수 있습니다."라고 언급했다. 그는 6시간 미만의 수면이 뇌 건강
OpenAI와 Anthropic, 매출 부진 속에서도 시장 점유율 확보 경쟁
최근 OpenAI가 매출 목표를 달성하지 못했다는 보도가 나오면서 이번 주 화요일 기술주에 압박이 가해졌음에도 불구하고, 민간 AI 연구소 투자자들은 여전히 탄탄한 모습을 보이고 있다. 노련한 투자자들은 부정적인 언론 보도에도 불구하고 투자 규모를 줄이지 않을 것이라고 밝혔다.분석가들은 현재의 AI 경쟁이 초기 단계에 불과하다고 보고, “승자 독식” 식의
캘리포니아 자율주행차 규정 준수: 과태료, 지오펜스, 100만 마일의 새로운 시대
Guident는 남부 플로리다에서 AuveTech 셔틀을 운영하며, 자사의 원격 모니터링 기술을 활용해 웨스트 팜비치에서 4마일 구간과 보카 라톤에서 1마일 구간의 노선을 관리하고 있다. | 출처: Guident캘리포니아주는 자율주행차에 대한 규제 환경을 재정의하며, 기술 업계의 “빠르게 움직이고 실패를 감수하라(move fast and break thin
관련 특별 주제 추천
의견 (0)
0/500
상하이 교통대학교를 포함한 국제 연구팀이 오늘 새로운 벤치마크 테스트 도구인 ‘SWE-Explore’를 공개했다. 이 도구는 코드 검색 단계와 실제 수정 단계를 분리함으로써, ‘라인 수준 정확도’ 측면에서 현재 AI 코딩 에이전트의 중대한 기술적 한계를 정량적으로 밝혀낸다. 이 연구는 단순히 ‘최종 수정률’에만 의존하던 기존의 단일 평가 모델을 넘어, 에이전트의 상류 단계 검색 품질을 직접 측정할 수 있는 새로운 기준을 제시함으로써, AI 소프트웨어 공학 평가의 진화를 더 심층적인 영역으로 이끌고 있다.
SWE-bench와 같은 기존 벤치마크는 종단간 결과에만 초점을 맞추기 때문에, 에이전트의 코드 읽기 및 이해 단계에서 나타나는 실제 결함을 종종 가려버립니다. 이를 해결하기 위해 연구팀은 GPT-5.4, Gemini3Pro, Claude Sonnet4.6, Kimi K2.6과 같은 주류 대형 모델의 성공적인 실행 궤적을 바탕으로 여러 독립적인 해결 경로에서 합의된 코드 세그먼트를 추출하여, 10개 프로그래밍 언어와 203개 오픈소스 프로젝트에 걸친 848개의 결함 과제를 포함하는 데이터셋을 구축했습니다.

평가 결과에 따르면, Claude Code나 OpenHands와 같은 일반적인 코딩 에이전트는 “파일 수준” 위치 파악에서는 우수한 성능을 보이지만, 특정 “코드 줄”에 초점을 맞출 경우 핵심 영역 커버리지가 14%에서 19% 사이로 급격히 떨어지는 것으로 나타났다. 제거 실험을 통해 “최소 컨텍스트 임계값” 효과가 추가로 확인되었습니다. 핵심 영역의 가시적 비율이 50% 미만일 경우 모델의 수정 작업은 대체로 실패하지만, 50%에서 75% 사이의 임계값을 넘어서면 수정 성공률이 급격히 증가합니다.
이 연구 결과는 AI 에이전트의 현재 병목 현상이 전적으로 패치 작성 능력에 있는 것이 아니라, 중요한 맥락을 정확하게 필터링하고 포착하는 데 있다는 점을 시사합니다. 프로젝트 관리자들이 자동화 도입 제안의 절반을 거부하는 현재의 업계 상황에서, SWE-Explore가 제안한 “필터링은 줄이고, 읽기는 늘린다”는 기술적 방향은 차세대 전문 코드 로컬라이제이션 시스템(예: CoSIL)의 아키텍처 최적화를 위한 길을 제시할 뿐만 아니라, 자동화된 소프트웨어 공학의 패러다임을 “무차별 생성”에서 “정밀한 검색”으로 전환하는 데 박차를 가할 것입니다.
딥마인드 CEO 하사비스: 하루 6시간 수면, 보통 오후 1시경에 활력을 느낍니다
Fortune는 최근 Google DeepMind의 CEO인 데미스 하사비스와의 인터뷰를 소개하며, 그의 비전통적인 휴식 및 생산성 접근 방식을 공개했다. 하사비스는 자신이 매우 적게 잠을 자며, 깨어 있는 시간을 두 개의 명확한 업무 블록으로 구조화한다고 밝혔다.그의 수면 습관에 대해 하사비스는 "6시간을 목표로 하지만, 제 습관은 비정형적입니다. 하루 종일 효과적으로 기능할 수 있습니다."라고 언급했다. 그는 6시간 미만의 수면이 뇌 건강
OpenAI와 Anthropic, 매출 부진 속에서도 시장 점유율 확보 경쟁
최근 OpenAI가 매출 목표를 달성하지 못했다는 보도가 나오면서 이번 주 화요일 기술주에 압박이 가해졌음에도 불구하고, 민간 AI 연구소 투자자들은 여전히 탄탄한 모습을 보이고 있다. 노련한 투자자들은 부정적인 언론 보도에도 불구하고 투자 규모를 줄이지 않을 것이라고 밝혔다.분석가들은 현재의 AI 경쟁이 초기 단계에 불과하다고 보고, “승자 독식” 식의





집






