AI 에이전트 테스트는 코딩에 치우쳐 있으며, 92%의 근로자를 무시하고 있다

카네기 멜론 대학교와 스탠포드 대학의 공동 연구는 현재 AI 에이전트 개발의 궤적에서 중요한 “경로 의존성”을 강조합니다. 이 연구 결과는 기존 평가 벤치마크가 프로그래밍에 불균형적으로 집중되어 있으며, 미국 노동력의 92%를 차지하는 비기술 분야를 간과하고 있음을 보여줍니다.
연구팀은 43개 주요 AI 벤치마크에 걸쳐 72,000개의 작업을 체계적으로 분석하고, 미국 정부의 O*NET 데이터베이스에 나열된 1,016개 직업과 교차 참조했습니다.
설문조사에서 확인된 주요 불균형:
디지털 산업의 “벤치마크 맹점”: 관리직은 88%의 디지털화율을 보이지만, 현재 AI 벤치마크 테스트의 단 1.4%만 차지합니다. 마찬가지로 디지털화 수준이 70%인 법률 직업은 벤치마크 커버리지의 단 0.3%에 불과합니다.
현저한 기술 불일치: 현재 AI 평가는 미국 직업의 5% 미만인 “정보 검색” 및 “컴퓨터 조작” 기술을 우선시합니다. 반면, 실제 업무의 핵심 요소인 “대인 상호작용”은 기존 AI 평가에서 거의 누락되어 있습니다.
복잡성 증가에 따른 “능력 저하”: 연구에 따르면 AI 에이전트는 복잡한 작업에서 큰 어려움을 겪습니다. 소프트웨어 개발이라는 주요 강점 분야에서도 작업 단계가 증가하거나 논리적 요구사항이 더 복잡해지면 성공률은 급감합니다.
연구진은 향후 AI 벤치마크가 관리, 법률, 건설, 엔지니어링과 같은 고부가가치, 고디지털화 sectors를 우선시해야 한다고 주장합니다. 또한 모호한 목표와 긴 검증 주기 같은 실제적인 과제를 해결하기 위해 최종 결과뿐만 아니라 중간 실행 단계도 평가해야 합니다.
시장 데이터는 이러한 결론을 뒷받침합니다. 앤트로픽의 최근 분석에 따르면 API 호출의 거의 50%가 여전히 소프트웨어 개발에 집중되어 있습니다. 전문가들은 AI 개발이 쉽게 점수를 매길 수 있는 프로그래밍 작업을 우선시하는 경우, 더 넓은 경제 스펙트럼 전반에 걸쳐 생산성 가치를 입증할 기회를 놓칠 위험이 있다고 경고합니다.
관련 기사
AI 모델 라우팅이 주목받으면서 스트라이프, 오픈라우터 인수 예정
스트라이프(Stripe)는 개발자들이 단일 인터페이스를 통해 수백 개의 모델에 접근할 수 있게 해주는 AI 모델 라우팅 플랫폼인 오픈라우터(OpenRouter)를 인수하기로 합의했습니다. 이번 인수를 통해 스트라이프의 기존 AI 활용 및 토큰 기반 청구 관련 사업에 모델 선택 및 라우팅 기능이 추가됩니다.스트라이프에 따르면, 오픈라우터는 80개 이상의 공급
전 OpenAI 연구원 배럿 조프, 제미니 개발 지원을 위해 구글로 복귀
이전에 Thinking Machines Lab의 CEO인 미리암 물라라티와 의견 차이로 갑작스럽게 퇴사한 뒤 OpenAI에 합류했던 바렛 조프가 다시 한 번 직장을 옮겼다. 알파벳 산하 구글은 조프가 연구 부사장으로 복귀해 강화 학습 및 사후 훈련 분야의 전문성을 제미니 팀에 기여할 것이라고 발표했다.“회전문” 연구원의 순환조프의 경력은 AI 인재 이동의
Recursive Intelligence가 4개월 만에 기업 가치 40억 달러로 3억 3,500만 달러를 유치한 방법
스타트업 ‘Ricursive Intelligence’의 공동 창업자들은 마치 공동 창업자가 될 운명이었던 듯하다.CEO인 안나 골디와 CTO인 아잘리아 미르호세이니는 AI 커뮤니티에서 너무나도 잘 알려진 인물들이어서, “저커버그로부터 터무니없는 제안을 담은 이상한 이메일을 받은” AI 엔지니어들 중 하나였다고 골디는 테크크런치에 웃으며 말했다. (그들은 그
관련 특별 주제 추천
의견 (1)
0/500
Honestly, it's wild that AI testing is so obsessed with coding. I'm not a developer, yet my job involves 92% of the workforce's tasks! 🤷♂️ Why are we ignoring the rest of us? It feels like tech bros are building tools for themselves, not for everyone else. We need benchmarks that actually reflect real-world complexity, not just syntax errors. #AIforAll

카네기 멜론 대학교와 스탠포드 대학의 공동 연구는 현재 AI 에이전트 개발의 궤적에서 중요한 “경로 의존성”을 강조합니다. 이 연구 결과는 기존 평가 벤치마크가 프로그래밍에 불균형적으로 집중되어 있으며, 미국 노동력의 92%를 차지하는 비기술 분야를 간과하고 있음을 보여줍니다.
연구팀은 43개 주요 AI 벤치마크에 걸쳐 72,000개의 작업을 체계적으로 분석하고, 미국 정부의 O*NET 데이터베이스에 나열된 1,016개 직업과 교차 참조했습니다.
설문조사에서 확인된 주요 불균형:
디지털 산업의 “벤치마크 맹점”: 관리직은 88%의 디지털화율을 보이지만, 현재 AI 벤치마크 테스트의 단 1.4%만 차지합니다. 마찬가지로 디지털화 수준이 70%인 법률 직업은 벤치마크 커버리지의 단 0.3%에 불과합니다.
현저한 기술 불일치: 현재 AI 평가는 미국 직업의 5% 미만인 “정보 검색” 및 “컴퓨터 조작” 기술을 우선시합니다. 반면, 실제 업무의 핵심 요소인 “대인 상호작용”은 기존 AI 평가에서 거의 누락되어 있습니다.
복잡성 증가에 따른 “능력 저하”: 연구에 따르면 AI 에이전트는 복잡한 작업에서 큰 어려움을 겪습니다. 소프트웨어 개발이라는 주요 강점 분야에서도 작업 단계가 증가하거나 논리적 요구사항이 더 복잡해지면 성공률은 급감합니다.
연구진은 향후 AI 벤치마크가 관리, 법률, 건설, 엔지니어링과 같은 고부가가치, 고디지털화 sectors를 우선시해야 한다고 주장합니다. 또한 모호한 목표와 긴 검증 주기 같은 실제적인 과제를 해결하기 위해 최종 결과뿐만 아니라 중간 실행 단계도 평가해야 합니다.
시장 데이터는 이러한 결론을 뒷받침합니다. 앤트로픽의 최근 분석에 따르면 API 호출의 거의 50%가 여전히 소프트웨어 개발에 집중되어 있습니다. 전문가들은 AI 개발이 쉽게 점수를 매길 수 있는 프로그래밍 작업을 우선시하는 경우, 더 넓은 경제 스펙트럼 전반에 걸쳐 생산성 가치를 입증할 기회를 놓칠 위험이 있다고 경고합니다.
AI 모델 라우팅이 주목받으면서 스트라이프, 오픈라우터 인수 예정
스트라이프(Stripe)는 개발자들이 단일 인터페이스를 통해 수백 개의 모델에 접근할 수 있게 해주는 AI 모델 라우팅 플랫폼인 오픈라우터(OpenRouter)를 인수하기로 합의했습니다. 이번 인수를 통해 스트라이프의 기존 AI 활용 및 토큰 기반 청구 관련 사업에 모델 선택 및 라우팅 기능이 추가됩니다.스트라이프에 따르면, 오픈라우터는 80개 이상의 공급
전 OpenAI 연구원 배럿 조프, 제미니 개발 지원을 위해 구글로 복귀
이전에 Thinking Machines Lab의 CEO인 미리암 물라라티와 의견 차이로 갑작스럽게 퇴사한 뒤 OpenAI에 합류했던 바렛 조프가 다시 한 번 직장을 옮겼다. 알파벳 산하 구글은 조프가 연구 부사장으로 복귀해 강화 학습 및 사후 훈련 분야의 전문성을 제미니 팀에 기여할 것이라고 발표했다.“회전문” 연구원의 순환조프의 경력은 AI 인재 이동의
Recursive Intelligence가 4개월 만에 기업 가치 40억 달러로 3억 3,500만 달러를 유치한 방법
스타트업 ‘Ricursive Intelligence’의 공동 창업자들은 마치 공동 창업자가 될 운명이었던 듯하다.CEO인 안나 골디와 CTO인 아잘리아 미르호세이니는 AI 커뮤니티에서 너무나도 잘 알려진 인물들이어서, “저커버그로부터 터무니없는 제안을 담은 이상한 이메일을 받은” AI 엔지니어들 중 하나였다고 골디는 테크크런치에 웃으며 말했다. (그들은 그
Honestly, it's wild that AI testing is so obsessed with coding. I'm not a developer, yet my job involves 92% of the workforce's tasks! 🤷♂️ Why are we ignoring the rest of us? It feels like tech bros are building tools for themselves, not for everyone else. We need benchmarks that actually reflect real-world complexity, not just syntax errors. #AIforAll





집






