AI 스케일링 획기적인 전문가가 의문을 제기했습니다

# research # scaling

소셜 미디어에는 새로운 AI "스케일링 법"을 발견하는 연구원에 대한 소셜 미디어가 있었지만 전문가들은 소금 ​​한 덩어리로 그것을 복용하고 있습니다. 비공식적 인 가이드 라인과 비슷한 AI 스케일링 법칙은 더 많은 데이터와 컴퓨팅 파워를 던질 때 AI 모델이 어떻게 더 좋아 지는지를 보여줍니다. 약 1 년 전까지, 큰 트렌드는 "사전 훈련"에 관한 것이 었습니다. 기본적으로 더 큰 데이터 세트에서 더 큰 모델을 훈련시킵니다. 그것은 여전히 ​​일이지만, 이제 우리는 믹스에 두 가지 더 많은 스케일링 법칙을 가지고 있습니다.이 훈련 후 스케일링은 모델의 동작을 조정하는 것과 테스트 시간 스케일링에 관한 것입니다.이 테스트 시간 스케일링은 추론 중에 더 많은 컴퓨팅 파워를 사용하여 모델의 "추론"기능을 장려하는 것입니다 (R1과 같은 모델 생각). 최근 Google과 UC Berkeley의 연구원들은 온라인에서 일부 사람들이 "추론 시간 검색"이라는 제 4 법칙을 부르고 있다는 논문을 버렸습니다. 이 방법에는 모델이 쿼리에 대한 가능한 많은 답변을 동시에 뱉어 내고 가장 좋은 답을 선택했습니다. 연구원들은 Google의 Gemini 1.5 Pro와 같은 구형 모델의 성능을 상승시켜 OpenAi의 O1- 프리뷰 "추론"과학 및 수학 벤치 마크에 대한 모델을 이길 수 있다고 주장합니다. Google 박사 학위 동료이자 논문의 공동 저자 중 한 명인 Eric Zhao는 200 개의 응답을 무작위로 샘플링하고 모델을 스스로 검증하게함으로써 Gemini 1.5를 "고대 2024 년 모델"이라고 불렀으며 O1-Preview와 가까워 질 수있었습니다. 그는 당신이 확장 할 때 자기 검증이 쉬워 졌다고 지적했다. 이는 일종의 반 직관적이지만 시원하다. 그러나 모든 사람이 확신하는 것은 아닙니다. 앨버타 대학교 (University of Alberta)의 AI 연구원이자 조교수 인 Matthew Guzdial은 TechCrunch에 답변을 판단 할 수있는 확실한 방법이있을 때이 접근법이 가장 잘 작동한다고 말했습니다. 그러나 대부분의 질문은 그렇게 간단하지 않습니다. 그는 "우리가 원하는 것을 정의하기 위해 코드를 쓸 수 없다면 [추론 시간] 검색을 사용할 수 없습니다. 일반 언어 상호 작용과 같은 것을 위해서는 이렇게 할 수 없습니다 ... 일반적으로 대부분의 문제를 실제로 해결하는 데 큰 접근법이 아닙니다." Zhao는 신문이 실제로 답을 판단 할 수있는 명확한 방법이없는 경우를보고 있으며 모델은 그 자체로 그것을 파악해야한다고 대답했습니다. 그는 명확한 판단 방법을 갖는 것의 격차와 확장 할 때 축소 될 수 있다고 주장했다. King 's College London의 연구원 인 Mike Cook은 Guzdial의 견해를 뒷받침하면서 추론 시간 검색이 실제로 모델의 추론을 개선하지는 않는다고 말했습니다. 그것은 자신감있는 실수를 저지르는 모델의 경향에 대한 해결 방법과 같습니다. 그는 당신의 모델이 5%의 시간을 엉망으로 만들면 200 번의 시도를 확인하면 실수가 더 쉽게 발견 될 수 있다고 지적했습니다. 이 뉴스는 AI 산업에 약간의 다운 너가 될 수 있으며, 이는 항상 은행을 깨지 않고 모델 "추론"을 높이는 방법을 찾기 위해 항상 사냥하고 있습니다. 논문의 저자가 언급했듯이, 추론 모델은 하나의 수학 문제를 해결하기 위해 컴퓨팅 비용으로 수천 달러를 쌓을 수 있습니다. 새로운 스케일링 기술에 대한 검색이 끝나지 않은 것 같습니다. *업데이트 된 3/20 5:12 AM Pacific : 연구 공동 저자 인 Eric Zhao의 의견이 추가되었습니다.

관련 기사

의견 (35)