阿里巴巴的「ZeroSearch」AI 透過自主學習將訓練成本降低 88

阿里巴巴的 ZeroSearch:改變人工智能訓練效率的遊戲規則
阿里巴巴集團的研究人員開創了一種突破性的方法,有可能徹底改變人工智能系統學習信息檢索的方式,完全繞過成本高昂的商業搜索引擎 API。他們的 ZeroSearch 技術可讓大型語言模型在訓練階段透過模擬環境培養複雜的搜尋能力,而非傳統的搜尋引擎互動。
"研究人員在最新發表的 arXiv 論文中解釋說:「傳統的強化學習需要大量的搜尋要求,累積了大量的 API 成本,妨礙了可擴展性。"ZeroSearch 代表了一種具成本效益的強化學習架構,可增強 LLM 的搜尋能力,而不受限於實際的搜尋引擎。
免搜尋訓練背後的機制
目前的 AI 訓練方法面臨兩個主要的限制:在訓練週期中,商業搜尋引擎提供的文件品質不一致,以及向 Google Search 等服務大量呼叫 API 所產生的高昂費用。
ZeroSearch 採用創新的兩階段式方法:
- 初始監督微調可將 LLM 轉換為文件生成模組
- 先進的課程式強化逐步改變輸出品質
"研究人員指出:「我們的基本發現顯示,預先訓練的 LLM 本質上擁有足夠的世界知識來產生符合上下文的文件。"模擬與真實搜尋輸出之間的主要差異在於文體上的文字差異,而非實質內容上的差距。
性能基準顯示顯著優勢
在七個不同的問題回答資料集上進行的嚴格測試證明了 ZeroSearch 的競爭優勢:
- 7B 參數模型與 Google 搜尋準確性相匹配
- 14B 參數配置超越商業搜尋效能
財務方面的影響尤其顯著:
- 使用 64K 查詢進行傳統訓練:透過 SerpAPI 為 586.70 美元
- 使用四個 A100 GPU 的 ZeroSearch 相當於:70.80 美元
- 總成本降低:88
"研究團隊總結:「這些結果驗證了 LLM 在強化學習實作中,可以取代傳統的搜尋引擎。
對人工智能發展的更廣泛影響
ZeroSearch 展示了無需依賴外部工具的自主能力開發,標誌著人工智慧訓練方法的範式轉變。
該技術有望帶來多種轉變性影響:
- 成本民主化:消除昂貴的 API 依賴性,降低創業公司的財務障礙
- 訓練控制:在模型開發過程中實現資訊輸入的精確調控
- 架構彈性:兼容主要模型系列,包括 Qwen-2.5 和 LLaMA-3.2
阿里巴巴已通過 GitHub 和 Hugging Face 倉庫開放了完整的實現方案,包括代碼庫、訓練數據集和預訓模型。
這項創新預示著一種新興的人工智能發展趨勢,即透過精密的模擬而非依賴外部服務來產生先進的能力。隨著這些自給自足的訓練技術日漸成熟,它們可能會大幅重塑技術生態系統目前對主要平台 API 的依賴。
相關文章
Multiverse Computing 推出免費壓縮生成式人工智慧模型
大型語言模型面臨著重大挑戰:其龐大的體積。西班牙新創公司Multiverse Computing正透過開發壓縮模型來解決此問題,旨在彌合尖端AI能力與企業實際可負擔部署方案之間的差距。其核心創新在於「CompactifAI」壓縮技術——這項受量子運算原理啟發的技術,已被這家巴斯克公司用於優化OpenAI的模型。即日起,開發者可在Hugging Face平台免費使用Multiverse增強版的Hyp
人工智慧揭露新聞內容中的隱藏議程
ChatGPT風格的模型現正接受訓練,以揭示新聞文章背後的潛在觀點——即使該觀點被隱藏在引語、框架或(有時虛偽的)中立表象之下。透過將文章拆解為標題、導語和引語等段落,新型系統能識別長篇專業新聞報導中的偏見。 這種掌握作者或發言者真實立場的能力——學術文獻中稱為立場檢測——正挑戰語言解讀中最複雜的難題之一:從可能刻意設計用以隱藏或模糊意圖的內容中辨識真實意圖。從喬納森·斯威夫特的《一個謙卑的建議》
秘密追蹤數據揭露人工智慧模型遭竊事件
一種新方法能在數秒內對ChatGPT等模型進行隱形水印處理,無需重新訓練,既不會在標準輸出中留下痕跡,又能抵禦所有實際的移除嘗試。 水印技術與「版權誘餌」的核心差異在於:無論可見或隱藏的水印,通常設計為貫穿整個資料集(如圖像資料集)的恆定存在,藉此對隨意複製行為形成持續威懾。相對地,虛構條目是將一小段文字(通常為單詞或定義)植入龐大通用資料庫,旨在證明盜用行為。其原理在於:當整部作品遭未經授權複製
相關專題推薦
評論 (1)
0/500

阿里巴巴的 ZeroSearch:改變人工智能訓練效率的遊戲規則
阿里巴巴集團的研究人員開創了一種突破性的方法,有可能徹底改變人工智能系統學習信息檢索的方式,完全繞過成本高昂的商業搜索引擎 API。他們的 ZeroSearch 技術可讓大型語言模型在訓練階段透過模擬環境培養複雜的搜尋能力,而非傳統的搜尋引擎互動。
"研究人員在最新發表的 arXiv 論文中解釋說:「傳統的強化學習需要大量的搜尋要求,累積了大量的 API 成本,妨礙了可擴展性。"ZeroSearch 代表了一種具成本效益的強化學習架構,可增強 LLM 的搜尋能力,而不受限於實際的搜尋引擎。
免搜尋訓練背後的機制
目前的 AI 訓練方法面臨兩個主要的限制:在訓練週期中,商業搜尋引擎提供的文件品質不一致,以及向 Google Search 等服務大量呼叫 API 所產生的高昂費用。
ZeroSearch 採用創新的兩階段式方法:
- 初始監督微調可將 LLM 轉換為文件生成模組
- 先進的課程式強化逐步改變輸出品質
"研究人員指出:「我們的基本發現顯示,預先訓練的 LLM 本質上擁有足夠的世界知識來產生符合上下文的文件。"模擬與真實搜尋輸出之間的主要差異在於文體上的文字差異,而非實質內容上的差距。
性能基準顯示顯著優勢
在七個不同的問題回答資料集上進行的嚴格測試證明了 ZeroSearch 的競爭優勢:
- 7B 參數模型與 Google 搜尋準確性相匹配
- 14B 參數配置超越商業搜尋效能
財務方面的影響尤其顯著:
- 使用 64K 查詢進行傳統訓練:透過 SerpAPI 為 586.70 美元
- 使用四個 A100 GPU 的 ZeroSearch 相當於:70.80 美元
- 總成本降低:88
"研究團隊總結:「這些結果驗證了 LLM 在強化學習實作中,可以取代傳統的搜尋引擎。
對人工智能發展的更廣泛影響
ZeroSearch 展示了無需依賴外部工具的自主能力開發,標誌著人工智慧訓練方法的範式轉變。
該技術有望帶來多種轉變性影響:
- 成本民主化:消除昂貴的 API 依賴性,降低創業公司的財務障礙
- 訓練控制:在模型開發過程中實現資訊輸入的精確調控
- 架構彈性:兼容主要模型系列,包括 Qwen-2.5 和 LLaMA-3.2
阿里巴巴已通過 GitHub 和 Hugging Face 倉庫開放了完整的實現方案,包括代碼庫、訓練數據集和預訓模型。
這項創新預示著一種新興的人工智能發展趨勢,即透過精密的模擬而非依賴外部服務來產生先進的能力。隨著這些自給自足的訓練技術日漸成熟,它們可能會大幅重塑技術生態系統目前對主要平台 API 的依賴。
Multiverse Computing 推出免費壓縮生成式人工智慧模型
大型語言模型面臨著重大挑戰:其龐大的體積。西班牙新創公司Multiverse Computing正透過開發壓縮模型來解決此問題,旨在彌合尖端AI能力與企業實際可負擔部署方案之間的差距。其核心創新在於「CompactifAI」壓縮技術——這項受量子運算原理啟發的技術,已被這家巴斯克公司用於優化OpenAI的模型。即日起,開發者可在Hugging Face平台免費使用Multiverse增強版的Hyp
人工智慧揭露新聞內容中的隱藏議程
ChatGPT風格的模型現正接受訓練,以揭示新聞文章背後的潛在觀點——即使該觀點被隱藏在引語、框架或(有時虛偽的)中立表象之下。透過將文章拆解為標題、導語和引語等段落,新型系統能識別長篇專業新聞報導中的偏見。 這種掌握作者或發言者真實立場的能力——學術文獻中稱為立場檢測——正挑戰語言解讀中最複雜的難題之一:從可能刻意設計用以隱藏或模糊意圖的內容中辨識真實意圖。從喬納森·斯威夫特的《一個謙卑的建議》
秘密追蹤數據揭露人工智慧模型遭竊事件
一種新方法能在數秒內對ChatGPT等模型進行隱形水印處理,無需重新訓練,既不會在標準輸出中留下痕跡,又能抵禦所有實際的移除嘗試。 水印技術與「版權誘餌」的核心差異在於:無論可見或隱藏的水印,通常設計為貫穿整個資料集(如圖像資料集)的恆定存在,藉此對隨意複製行為形成持續威懾。相對地,虛構條目是將一小段文字(通常為單詞或定義)植入龐大通用資料庫,旨在證明盜用行為。其原理在於:當整部作品遭未經授權複製





首頁






