연구자들은 OpenAi의 $ 50 '추론'모델에 대한 오픈 소스 라이벌을 50 달러 미만으로 개발합니다.

지난 금요일, 스탠포드와 워싱턴 대학교의 AI 전문가들의 획기적인 연구 논문이 현장을 쳤으며, 클라우드 컴퓨팅 크레딧에서 50 달러 미만으로 S1이라는 AI "추론"모델을 개발할 수 있다고 밝혔다. S1은 수학 및 코딩 문제를 해결할 때 S1이 OpenAi의 O1 및 DeepSeek의 R1과 같은 최고 수준의 모델에 대해 자체적으로 고유 한 AI 세계를 흔들고 있습니다.

S1 모델은 교육 데이터 및 코드의 모든 육즙이 많은 세부 사항과 함께 Github에 대한 잡기를위한 것입니다. 팀은 밀링 기본 모델로 물건을 시작한 다음 증류라는 기술로 wringer를 통과했습니다. 이 과정에는 응답에 대한 교육을 통해 다른 AI 모델의 "추론"주스를 압박하는 것이 포함됩니다. 이 경우 S1은 Google의 Gemini 2.0 Flash 사고 실험 모델에서 스마트를 얻었습니다. 버클리 연구원들이 지난 달 약 450 달러에 자신의 AI 추론 모델을 채찍질하는 데 사용한 것과 비슷한 전술입니다.

어떤 사람들에게는 소규모 연구원 팀이 여전히 예산없이 AI 분야에서 파도를 만들 수 있다는 생각은 스릴 있습니다. 그러나 S1의 출현은 AI 모델 개발의 미래에 대한 심각한 의문을 불러 일으킨다. 수백만으로 건축 된 모델을 신발 끈 예산으로 복제 할 수있는 모델이라면 모든 사람이 같은 일을하지 못하게하는 것은 무엇입니까?

당연히 AI의 큰 선수들은 흥분하지 않습니다. 예를 들어, Openai는 DeepSeek의 손가락을 가리키며 API 데이터를 사용하여 연료 모델 증류로 비난했습니다. 한편, S1 팀은 탄탄한 추론 성능을 달성하는 가장 간단한 방법과 "테스트 시간 스케일링"이라는 것을 찾는 데 중점을 두었습니다. 여기서 AI 모델은 대답하기 전에 더 많은 시간을 생각합니다. 이것들은 OpenAi의 O1 모델이 테이블에 가져온 것과 동일한 혁신이며, DeepSeek와 같은 다른 사람들은 자신의 방법으로 모방하려고했습니다.

S1 논문은 감독 된 미세 조정 (SFT)으로 알려진 기술을 사용하여 비교적 작은 데이터 세트로 추론 모델을 증류 할 수 있다고 제안합니다. 여기에는 데이터 세트에서 특정 동작을 복사하도록 AI 모델을 훈련시키는 것이 포함되며, OpenAI의 O1과 경쟁하는 R1 모델에 DeepSeek이 사용한 대규모 강화 학습보다 저렴합니다.

Google은 Gemini 2.0 Flash Thinking 실험 실험을 Google AI Studio 플랫폼을 통해 일일 한도로 무료로 제공합니다. 그러나 Catch가 있습니다. Google의 용어는 모델을 역 엔지니어링하여 경쟁 서비스를 만들도록 허용하지 않습니다. 우리는 이것에 대해 Google의 답변을 기다리고 있습니다.

S1 모델 자체는 Alibaba의 Qwen Lab의 겸손한 상용 AI 모델로 Life를 시작했으며 누구나 무료로 다운로드 할 수 있습니다. S1을 훈련시키기 위해 연구원들은 Google의 Gemini 2.0에 제공된 답변 및 각각의 "사고"프로세스와 함께 신중하게 선택된 질문 데이터 세트를 구성했습니다. 전체 훈련 과정은 16 NVIDIA H100 GPU에서 30 분도 채 걸리지 않았습니다. 이 프로젝트에 참여한 스탠포드 연구원 인 Niklas Muennighoff에 따르면, 오늘이 문제를 약 20 달러로 철회 할 수 있습니다.

연구원들은 또한 S1을 두 번 확인하고 "사고"시간을 연장하기 위해 영리한 움직임을 가져 왔습니다. 그들은 단순히 "기다렸다"고 말했다. 논문에 따르면 S1의 추론 과정 에서이 단어를 추가하면 약간 더 정확한 답변을 얻는 데 도움이되었습니다.

2025 년에 Meta, Google 및 Microsoft와 같은 기술 거대 기업은 AI 인프라에 수억 달러를 부어 다음 AI 모델의 다음 물결을 훈련시키는 데 사용될 것입니다. 증류는 저렴한 가격으로 AI 기능을 재현하는 효과적인 방법으로 입증되었지만, 언제라도 새로운 획기적인 AI 모델을 만들지 않을 것입니다.