알리바바의 '제로서치' AI, 자율 학습으로 교육 비용 88% 절감

알리바바의 제로서치: AI 학습 효율성의 판도를 바꾸는 방법
알리바바 그룹 연구원들은 값비싼 상용 검색 엔진 API를 완전히 우회하여 AI 시스템이 정보 검색을 학습하는 방식을 혁신할 수 있는 획기적인 방법을 개척했습니다. 이들의 제로서치 기술은 대규모 언어 모델이 훈련 단계에서 기존의 검색 엔진 상호 작용 대신 시뮬레이션 환경을 통해 정교한 검색 능력을 배양할 수 있도록 지원합니다.
"기존의 강화 학습은 광범위한 검색 요청을 필요로 하기 때문에 상당한 API 비용이 누적되고 확장성을 저해합니다."라고 연구진은 새로 발표된 arXiv 논문에서 설명합니다. "제로서치는 실제 검색 엔진과 무관하게 LLM 검색 기능을 향상시키는 비용 효율적인 강화 학습 프레임워크입니다."
검색 없는 훈련의 메커니즘
현재의 AI 학습 방법은 학습 주기 동안 상용 검색 엔진의 일관되지 않은 문서 품질과 Google 검색과 같은 서비스에 대한 막대한 API 호출로 인한 막대한 비용이라는 두 가지 주요 제약에 직면해 있습니다.
제로서치는 혁신적인 2단계 접근 방식을 구현합니다:
- 초기 감독 미세 조정을 통해 LLM을 문서 생성 모듈로 변환합니다.
- 고급 커리큘럼 기반 강화를 통해 출력 품질을 점진적으로 변화시킵니다.
연구진은 "우리의 근본적인 발견은 사전 훈련된 LLM이 본질적으로 문맥에 적합한 문서를 생성하기에 충분한 세계 지식을 보유하고 있다는 사실을 밝혀냈습니다."라고 말합니다. "시뮬레이션 결과와 실제 검색 결과의 주요 차이점은 실질적인 콘텐츠 차이보다는 문체적인 텍스트 차이에 있습니다."
성능 벤치마크는 상당한 이점을 보여줍니다.
7개의 서로 다른 질문-응답 데이터 세트에 대한 엄격한 테스트를 통해 제로서치의 경쟁 우위를 입증했습니다:
- 70억 개의 매개변수 모델이 Google 검색 정확도와 일치함
- 140억 개의 매개변수 구성이 상용 검색 성능을 능가했습니다.
특히 재정적 영향이 두드러집니다:
- 64,000개의 쿼리를 사용한 기존 훈련: SerpAPI를 통한 $586.70
- 제로서치에 상응하는 비용: A100 GPU 4개 사용 시 $70.80
- 총 비용 절감: 88%
"이러한 결과는 강화 학습 구현에서 기존 검색 엔진을 대체할 수 있는 LLM의 가능성을 입증합니다."라고 연구팀은 결론을 내립니다.
AI 개발에 대한 광범위한 시사점
제로서치는 외부 도구 종속성 없이 자율적인 기능 개발을 입증함으로써 인공지능 훈련 방법론의 패러다임 전환을 의미합니다.
이 기술은 몇 가지 혁신적인 영향을 약속합니다:
- 비용 민주화: 값비싼 API 종속성을 제거하여 스타트업의 재정적 장벽을 낮춥니다.
- 교육 제어: 모델 개발 중 정보 입력을 정밀하게 제어할 수 있습니다.
- 아키텍처 유연성: Qwen-2.5 및 LLaMA-3.2를 포함한 주요 모델 제품군에서 호환 가능
알리바바는 코드베이스, 학습 데이터세트, 사전 학습된 모델을 포함한 전체 구현을 GitHub 및 Hugging Face 리포지토리를 통해 오픈소스화했습니다.
이러한 혁신은 외부 서비스에 의존하지 않고 정교한 시뮬레이션을 통해 고급 기능을 구현하는 새로운 AI 개발 환경을 예고합니다. 이러한 자급자족형 트레이닝 기술이 성숙해지면 현재 주요 플랫폼 API에 의존하는 기술 생태계를 크게 재편할 수 있습니다.
관련 기사
멀티버스 컴퓨팅, 무료 압축 생성형 AI 모델 출시
대규모 언어 모델은 상당한 과제에 직면해 있습니다: 바로 그 방대한 규모입니다. 스페인 스타트업 멀티버스 컴퓨팅(Multiverse Computing)은 최첨단 AI의 성능과 기업이 실질적으로 도입할 수 있는 수준 사이의 격차를 해소하기 위해 설계된 압축 모델을 개발함으로써 이 문제를 해결하고 있습니다.핵심 혁신은 양자 컴퓨팅 원리에서 영감을 받은 압축 기
인공지능이 뉴스 콘텐츠 속 숨겨진 의도를 밝혀내다
ChatGPT 스타일 모델들은 이제 뉴스 기사의 근본적인 관점을 밝혀내기 위해 훈련되고 있다. 심지어 그 관점이 인용문, 프레임, 또는 (때로는 진정성 없는) 중립성의 외관 아래 숨겨져 있을 때조차도 말이다. 기사를 헤드라인, 리드문, 인용문 등의 단편으로 분할함으로써, 새로운 시스템은 장문의 전문 저널리즘에서도 편향을 식별하는 법을 학습한다. 학술 문헌에
비밀 추적 데이터, AI 모델 도용 사건 폭로
새로운 방법은 재훈련 없이도 ChatGPT와 같은 모델에 몇 초 만에 보이지 않는 워터마크를 적용할 수 있으며, 표준 출력물에 흔적을 남기지 않고 모든 실질적인 제거 시도를 견딥니다. 워터마킹과 '저작권 유인(copyright-baiting)'의 핵심 차이점은 워터마크(가시적이든 숨겨진 것이든)는 일반적으로 이미지 데이터셋과 같은 컬렉션 전체에 걸쳐 나타나
관련 특별 주제 추천
의견 (1)
0/500

알리바바의 제로서치: AI 학습 효율성의 판도를 바꾸는 방법
알리바바 그룹 연구원들은 값비싼 상용 검색 엔진 API를 완전히 우회하여 AI 시스템이 정보 검색을 학습하는 방식을 혁신할 수 있는 획기적인 방법을 개척했습니다. 이들의 제로서치 기술은 대규모 언어 모델이 훈련 단계에서 기존의 검색 엔진 상호 작용 대신 시뮬레이션 환경을 통해 정교한 검색 능력을 배양할 수 있도록 지원합니다.
"기존의 강화 학습은 광범위한 검색 요청을 필요로 하기 때문에 상당한 API 비용이 누적되고 확장성을 저해합니다."라고 연구진은 새로 발표된 arXiv 논문에서 설명합니다. "제로서치는 실제 검색 엔진과 무관하게 LLM 검색 기능을 향상시키는 비용 효율적인 강화 학습 프레임워크입니다."
검색 없는 훈련의 메커니즘
현재의 AI 학습 방법은 학습 주기 동안 상용 검색 엔진의 일관되지 않은 문서 품질과 Google 검색과 같은 서비스에 대한 막대한 API 호출로 인한 막대한 비용이라는 두 가지 주요 제약에 직면해 있습니다.
제로서치는 혁신적인 2단계 접근 방식을 구현합니다:
- 초기 감독 미세 조정을 통해 LLM을 문서 생성 모듈로 변환합니다.
- 고급 커리큘럼 기반 강화를 통해 출력 품질을 점진적으로 변화시킵니다.
연구진은 "우리의 근본적인 발견은 사전 훈련된 LLM이 본질적으로 문맥에 적합한 문서를 생성하기에 충분한 세계 지식을 보유하고 있다는 사실을 밝혀냈습니다."라고 말합니다. "시뮬레이션 결과와 실제 검색 결과의 주요 차이점은 실질적인 콘텐츠 차이보다는 문체적인 텍스트 차이에 있습니다."
성능 벤치마크는 상당한 이점을 보여줍니다.
7개의 서로 다른 질문-응답 데이터 세트에 대한 엄격한 테스트를 통해 제로서치의 경쟁 우위를 입증했습니다:
- 70억 개의 매개변수 모델이 Google 검색 정확도와 일치함
- 140억 개의 매개변수 구성이 상용 검색 성능을 능가했습니다.
특히 재정적 영향이 두드러집니다:
- 64,000개의 쿼리를 사용한 기존 훈련: SerpAPI를 통한 $586.70
- 제로서치에 상응하는 비용: A100 GPU 4개 사용 시 $70.80
- 총 비용 절감: 88%
"이러한 결과는 강화 학습 구현에서 기존 검색 엔진을 대체할 수 있는 LLM의 가능성을 입증합니다."라고 연구팀은 결론을 내립니다.
AI 개발에 대한 광범위한 시사점
제로서치는 외부 도구 종속성 없이 자율적인 기능 개발을 입증함으로써 인공지능 훈련 방법론의 패러다임 전환을 의미합니다.
이 기술은 몇 가지 혁신적인 영향을 약속합니다:
- 비용 민주화: 값비싼 API 종속성을 제거하여 스타트업의 재정적 장벽을 낮춥니다.
- 교육 제어: 모델 개발 중 정보 입력을 정밀하게 제어할 수 있습니다.
- 아키텍처 유연성: Qwen-2.5 및 LLaMA-3.2를 포함한 주요 모델 제품군에서 호환 가능
알리바바는 코드베이스, 학습 데이터세트, 사전 학습된 모델을 포함한 전체 구현을 GitHub 및 Hugging Face 리포지토리를 통해 오픈소스화했습니다.
이러한 혁신은 외부 서비스에 의존하지 않고 정교한 시뮬레이션을 통해 고급 기능을 구현하는 새로운 AI 개발 환경을 예고합니다. 이러한 자급자족형 트레이닝 기술이 성숙해지면 현재 주요 플랫폼 API에 의존하는 기술 생태계를 크게 재편할 수 있습니다.
멀티버스 컴퓨팅, 무료 압축 생성형 AI 모델 출시
대규모 언어 모델은 상당한 과제에 직면해 있습니다: 바로 그 방대한 규모입니다. 스페인 스타트업 멀티버스 컴퓨팅(Multiverse Computing)은 최첨단 AI의 성능과 기업이 실질적으로 도입할 수 있는 수준 사이의 격차를 해소하기 위해 설계된 압축 모델을 개발함으로써 이 문제를 해결하고 있습니다.핵심 혁신은 양자 컴퓨팅 원리에서 영감을 받은 압축 기
인공지능이 뉴스 콘텐츠 속 숨겨진 의도를 밝혀내다
ChatGPT 스타일 모델들은 이제 뉴스 기사의 근본적인 관점을 밝혀내기 위해 훈련되고 있다. 심지어 그 관점이 인용문, 프레임, 또는 (때로는 진정성 없는) 중립성의 외관 아래 숨겨져 있을 때조차도 말이다. 기사를 헤드라인, 리드문, 인용문 등의 단편으로 분할함으로써, 새로운 시스템은 장문의 전문 저널리즘에서도 편향을 식별하는 법을 학습한다. 학술 문헌에
비밀 추적 데이터, AI 모델 도용 사건 폭로
새로운 방법은 재훈련 없이도 ChatGPT와 같은 모델에 몇 초 만에 보이지 않는 워터마크를 적용할 수 있으며, 표준 출력물에 흔적을 남기지 않고 모든 실질적인 제거 시도를 견딥니다. 워터마킹과 '저작권 유인(copyright-baiting)'의 핵심 차이점은 워터마크(가시적이든 숨겨진 것이든)는 일반적으로 이미지 데이터셋과 같은 컬렉션 전체에 걸쳐 나타나





집






