Google 將 AI 訓練成本降低 10,000 倍
人工智慧產業存在一個基本的悖論。雖然機器能夠以前所未有的規模處理資料,但學習過程本身的效率仍然低得驚人,經常面臨收益遞減的問題。傳統的機器學習方法需要龐大的、精心標注的資料集,這些資料集可能需要數年時間和數百萬美元才能製作完成。這些方法的運作原則通常是,更多的資料必然會產生更優異的 AI 模型。然而,Google 的研究人員最近發表了一種新穎的方法,質疑這一長久以來的假設,並證明只需減少 10,000 倍的訓練資料,就能達到相若的 AI 效能。這項進展有能力從根本上重塑我們的 AI 方法。本文將深入探討 Google 團隊如何達到這個里程碑、其潛在的未來影響,以及未來的挑戰與機遇。
人工智能的大數據挑戰
數十年來,業界的人工智慧策略一直被「更多資料等於更好的人工智慧」這句口號所推動。諸如 GPT-4 之類的龐大語言模型是在數以萬億計的文字詞彙上進行訓練的。對於沒有龐大資源或獨特資料集的組織而言,這種資料密集型的方法造成了很大的障礙。首先,人工註釋的開支很大。專家標籤師的收費很高,而且所需的資料數量也讓專案成本過高。其次,收集到的大部分資料通常都是重複性的,對學習過程沒有實質貢獻。當需求改變時,傳統方法也會失效。每當政策更新或出現新形式的問題內容時,公司就不得不從頭開始重新啟動標籤流程,啟動持續且昂貴的資料擷取與模型再訓練循環。
利用主動學習解決大數據挑戰
解決這些資料問題的公認策略是實施主動學習。此技術依賴於謹慎的策劃流程,以找出最有價值的訓練範例,供人類審查員標籤。其核心理念是,模型可以最有效地從它們認為最具挑戰性的範例中學習,而不是被動地吸收每個可用的資料點。傳統的人工智能方法需要依賴大量的資料集,相較之下,主動學習則採取更有策略的態度,只專注於蒐集資訊最豐富的樣本。此策略有助於避免標示明顯或冗餘資料的低效率,因為這些資料對於模型的價值微乎其微。取而代之,主動學習專注於邊緣案例和不確定的實例,這些案例和實例具有提高模型性能的巨大潛力。
透過將專家的努力導向這些關鍵範例,主動學習可讓模型以更少的資料點更快速有效地學習。這種方法有可能解決傳統機器學習中固有的資料瓶頸和低效率問題。
Google 的主動學習方法
Google 的研究團隊已成功應用此架構。他們新穎的主動學習技術顯示,精心策劃的優質範例可以有效取代大量的標記資料。舉例來說,他們的研究顯示,在少於 500 個專家標籤範例上訓練出來的模型,表現與在 100,000 個標準標籤上訓練出來的系統一樣好,甚至更勝一籌。
這個過程透過 Google 所謂的「LLM-as-Scout」系統來運作。大型語言模型首先會篩選大量未標示的資料,並標示出其預測最不確定的情況。這些邊界案例代表了模型需要人類輸入以完善其決策的精確場景。此程序從初始模型開始,使用簡單的提示標示大型資料集。然後,系統會依據預測的分類將範例分組,並找出模型在不同類別之間出現混淆的區域。這些重疊的群組揭示了專家人類判斷可以提供最大價值的確切點。
此方法特別針對非常相似但標籤不同的範例對。這些邊界案例正是人類專業知識最重要的場景。透過將專家標籤工作集中在這些容易混淆的範例上,系統達到了非凡的效率。
質量重於數量
這項研究揭露了一個關於資料品質的重要觀點,反駁了 AI 的普遍看法。研究顯示,專家標籤的高準確性和一致性,可靠地超越了大規模的群眾外包註釋。研究團隊使用 Cohen's Kappa(一種統計方法,用來評估模型的預測與專家共識的吻合程度,超越隨機可能產生的結果)來量化這一結果。在 Google 的測試中,專家註解者的 Cohen's Kappa 得分高於 0.8,遠遠超過眾包通常達到的水平。
這種優異的一致性使模型能夠有效地從更少的範例中學習。在使用 Gemini Nano-1 和 Nano-2 進行的評估中,模型僅使用了 250-450 個精心挑選的範例,就達到或超過了專家級的一致性,而群眾外包的隨機標籤則約為 100,000 個,減少了三到四個數量級。然而,其優勢不僅僅是使用較少的資料。使用這項技術訓練出來的模型,其效能往往超越使用傳統方法訓練出來的模型。對於複雜的任務和較大的模型,效能提升達到基線的 55-65%,顯示與政策專家的一致性更強、更可靠。
為什麼這項突破現在很重要
這項發展正值 AI 產業的關鍵時刻。隨著模型變得越來越大、越來越複雜,單純增加訓練資料的傳統策略已經越來越難以持續。訓練龐大模型所造成的環境衝擊持續攀升,而對許多組織而言,進入此行業的經濟障礙仍然相當艱鉅。
Google 的方法同時解決了數項產業挑戰。標籤成本的徹底降低,讓小型組織和研究團隊更容易進行 AI 開發。更快的迭代週期可快速適應不斷變化的需求,這對於內容管理和網路安全等快速發展的領域至關重要。
這種方法也對人工智能的安全性和可靠性有更廣泛的影響。透過集中處理模型最不確定的情況,此技術自然會發現潛在的故障點和邊緣情況。此過程會產生更健全的系統,能更好地掌握自身的限制。
對人工智慧發展更廣泛的影響
這項突破表明,我們可能正在進入一個人工智能發展的新時代,在這個時代裡,效率比規模更重要。在訓練資料方面,傳統的「越大越好」哲學可能會被更精細的方法所取代,這些方法強調資料品質與策略選擇。
單是對環境的影響就相當大。目前,訓練大型 AI 模型需要大量的計算資源和能源。如果能以大幅減少的資料取得類似的結果,人工智慧發展的碳足跡就能大幅降低。
民主化的效果也同樣顯著。以前無法資助大量資料收集計畫的小型研究團隊和組織,現在有了開發具有競爭力的 AI 系統的可行途徑。這項進展可以加速創新,並將更多不同的觀點引入 AI 領域。
限制與考量
儘管其成果令人期待,但該方法仍遇到幾個實際的障礙。需要能夠達到 Cohen's Kappa 分數 0.8 以上的專家註解者,這可能會限制其在專業知識有限或標準不清的領域中的使用。研究主要集中在分類任務和內容安全應用上。其他人工智能任務(如語言生成或複雜推理)能否實現類似的顯著改進,仍有待觀察。
與傳統的批次處理方法相比,主動學習的迭代性也增加了複雜性。組織必須建立新的工作流程與基礎架構,以支援持續的查詢與回應週期,促進模型的不斷精進。
未來的研究可能會探討自動化方法,以維持專家級的注釋品質,並建立特定領域版本的核心技術。將主動學習原則與其他效率方法(如參數效率微調)相整合,可以產生更多的效能優勢。
底線
Google 的研究表明,有針對性的高品質資料可以優於大量資料集。透過將標籤工作集中在最有價值的範例上,他們將訓練資料需求縮減了 10,000 倍,同時也提升了效能。這項策略可降低成本、加速開發、減少對環境的影響,並擴大先進人工智慧的使用範圍。這是邁向更有效率與永續 AI 發展的重要一步。
相關文章
DeepMind執行長哈西里斯:我每天睡六個小時,通常在凌晨1點左右感到精力充沛。
Fortune 最近刊登了對谷歌 DeepMind 執行長 Demis Hassabis 的採訪,揭示了他對休息和生產力的非傳統方法。Hassabis 透露,他睡眠時間非常少,將清醒時間劃分為兩個不同的工作階段。關於他的睡眠習慣,Hassabis 表示:“我目標睡六小時,但我的習慣非同尋常。我可以在白天有效運作。”他強調,睡眠少於六小時會對大腦健康產生負面影響。Hassabis 於 2010 年聯合創立了 DeepMind(後被谷歌收購),並因其在蛋白質結構預測方面的開創性工作榮獲 20
儘管營收未達預期,OpenAI 與 Anthropic 仍爭奪市場份額
儘管近期有報導指出 OpenAI 未達營收目標,導致本週二科技股承壓,但私人人工智慧實驗室的投資者仍展現出韌性。資深投資者已確認,儘管媒體報導負面,他們仍不會削減投資。分析師認為當前的 AI 競逐仍處於初期階段,因此排除「贏家通吃」的結果。儘管高昂的運算成本對營收造成壓力,但各實驗室可透過調高訂閱費來提升獲利能力。產業格局正經歷微妙的變化與 OpenAI 不同,競爭對手 Anthropic 獲得了
加州自動駕駛合規:罰單、地理圍欄與 100 萬英里的新時代
Guident 在南佛羅里達州營運一輛 AuveTech 接駁車,並運用其遠端監控技術,管理西棕櫚灘的一條四英里路線以及博卡拉頓的一條一英里路線。| 圖片來源:Guident加州正重新定義無人駕駛車輛的監管格局,從科技產業的「快速行動、打破常規」心態,轉向嚴格的問責制與嚴謹的行駛里程要求。Guident 執行董事長兼執行長哈羅德·布勞恩(Harold Braun)在《機器人報告》(The Robo
相關專題推薦
評論 (2)
0/500
Also die Kosten um das 10.000-fache zu senken? Das klingt fast zu gut, um wahr zu sein. Google hat da wohl einen echten Durchbruch geschafft. Wenn das stimmt, könnte das die ganze KI-Entwicklung demokratisieren. Kleine Startups hätten dann plötzlich eine Chance. Aber ich frage mich, ob das nur für bestimmte Modelle oder Trainingsmethoden funktioniert. Die Details wären spannend! 🤔
人工智慧產業存在一個基本的悖論。雖然機器能夠以前所未有的規模處理資料,但學習過程本身的效率仍然低得驚人,經常面臨收益遞減的問題。傳統的機器學習方法需要龐大的、精心標注的資料集,這些資料集可能需要數年時間和數百萬美元才能製作完成。這些方法的運作原則通常是,更多的資料必然會產生更優異的 AI 模型。然而,Google 的研究人員最近發表了一種新穎的方法,質疑這一長久以來的假設,並證明只需減少 10,000 倍的訓練資料,就能達到相若的 AI 效能。這項進展有能力從根本上重塑我們的 AI 方法。本文將深入探討 Google 團隊如何達到這個里程碑、其潛在的未來影響,以及未來的挑戰與機遇。
人工智能的大數據挑戰
數十年來,業界的人工智慧策略一直被「更多資料等於更好的人工智慧」這句口號所推動。諸如 GPT-4 之類的龐大語言模型是在數以萬億計的文字詞彙上進行訓練的。對於沒有龐大資源或獨特資料集的組織而言,這種資料密集型的方法造成了很大的障礙。首先,人工註釋的開支很大。專家標籤師的收費很高,而且所需的資料數量也讓專案成本過高。其次,收集到的大部分資料通常都是重複性的,對學習過程沒有實質貢獻。當需求改變時,傳統方法也會失效。每當政策更新或出現新形式的問題內容時,公司就不得不從頭開始重新啟動標籤流程,啟動持續且昂貴的資料擷取與模型再訓練循環。
利用主動學習解決大數據挑戰
解決這些資料問題的公認策略是實施主動學習。此技術依賴於謹慎的策劃流程,以找出最有價值的訓練範例,供人類審查員標籤。其核心理念是,模型可以最有效地從它們認為最具挑戰性的範例中學習,而不是被動地吸收每個可用的資料點。傳統的人工智能方法需要依賴大量的資料集,相較之下,主動學習則採取更有策略的態度,只專注於蒐集資訊最豐富的樣本。此策略有助於避免標示明顯或冗餘資料的低效率,因為這些資料對於模型的價值微乎其微。取而代之,主動學習專注於邊緣案例和不確定的實例,這些案例和實例具有提高模型性能的巨大潛力。
透過將專家的努力導向這些關鍵範例,主動學習可讓模型以更少的資料點更快速有效地學習。這種方法有可能解決傳統機器學習中固有的資料瓶頸和低效率問題。
Google 的主動學習方法
Google 的研究團隊已成功應用此架構。他們新穎的主動學習技術顯示,精心策劃的優質範例可以有效取代大量的標記資料。舉例來說,他們的研究顯示,在少於 500 個專家標籤範例上訓練出來的模型,表現與在 100,000 個標準標籤上訓練出來的系統一樣好,甚至更勝一籌。
這個過程透過 Google 所謂的「LLM-as-Scout」系統來運作。大型語言模型首先會篩選大量未標示的資料,並標示出其預測最不確定的情況。這些邊界案例代表了模型需要人類輸入以完善其決策的精確場景。此程序從初始模型開始,使用簡單的提示標示大型資料集。然後,系統會依據預測的分類將範例分組,並找出模型在不同類別之間出現混淆的區域。這些重疊的群組揭示了專家人類判斷可以提供最大價值的確切點。
此方法特別針對非常相似但標籤不同的範例對。這些邊界案例正是人類專業知識最重要的場景。透過將專家標籤工作集中在這些容易混淆的範例上,系統達到了非凡的效率。
質量重於數量
這項研究揭露了一個關於資料品質的重要觀點,反駁了 AI 的普遍看法。研究顯示,專家標籤的高準確性和一致性,可靠地超越了大規模的群眾外包註釋。研究團隊使用 Cohen's Kappa(一種統計方法,用來評估模型的預測與專家共識的吻合程度,超越隨機可能產生的結果)來量化這一結果。在 Google 的測試中,專家註解者的 Cohen's Kappa 得分高於 0.8,遠遠超過眾包通常達到的水平。
這種優異的一致性使模型能夠有效地從更少的範例中學習。在使用 Gemini Nano-1 和 Nano-2 進行的評估中,模型僅使用了 250-450 個精心挑選的範例,就達到或超過了專家級的一致性,而群眾外包的隨機標籤則約為 100,000 個,減少了三到四個數量級。然而,其優勢不僅僅是使用較少的資料。使用這項技術訓練出來的模型,其效能往往超越使用傳統方法訓練出來的模型。對於複雜的任務和較大的模型,效能提升達到基線的 55-65%,顯示與政策專家的一致性更強、更可靠。
為什麼這項突破現在很重要
這項發展正值 AI 產業的關鍵時刻。隨著模型變得越來越大、越來越複雜,單純增加訓練資料的傳統策略已經越來越難以持續。訓練龐大模型所造成的環境衝擊持續攀升,而對許多組織而言,進入此行業的經濟障礙仍然相當艱鉅。
Google 的方法同時解決了數項產業挑戰。標籤成本的徹底降低,讓小型組織和研究團隊更容易進行 AI 開發。更快的迭代週期可快速適應不斷變化的需求,這對於內容管理和網路安全等快速發展的領域至關重要。
這種方法也對人工智能的安全性和可靠性有更廣泛的影響。透過集中處理模型最不確定的情況,此技術自然會發現潛在的故障點和邊緣情況。此過程會產生更健全的系統,能更好地掌握自身的限制。
對人工智慧發展更廣泛的影響
這項突破表明,我們可能正在進入一個人工智能發展的新時代,在這個時代裡,效率比規模更重要。在訓練資料方面,傳統的「越大越好」哲學可能會被更精細的方法所取代,這些方法強調資料品質與策略選擇。
單是對環境的影響就相當大。目前,訓練大型 AI 模型需要大量的計算資源和能源。如果能以大幅減少的資料取得類似的結果,人工智慧發展的碳足跡就能大幅降低。
民主化的效果也同樣顯著。以前無法資助大量資料收集計畫的小型研究團隊和組織,現在有了開發具有競爭力的 AI 系統的可行途徑。這項進展可以加速創新,並將更多不同的觀點引入 AI 領域。
限制與考量
儘管其成果令人期待,但該方法仍遇到幾個實際的障礙。需要能夠達到 Cohen's Kappa 分數 0.8 以上的專家註解者,這可能會限制其在專業知識有限或標準不清的領域中的使用。研究主要集中在分類任務和內容安全應用上。其他人工智能任務(如語言生成或複雜推理)能否實現類似的顯著改進,仍有待觀察。
與傳統的批次處理方法相比,主動學習的迭代性也增加了複雜性。組織必須建立新的工作流程與基礎架構,以支援持續的查詢與回應週期,促進模型的不斷精進。
未來的研究可能會探討自動化方法,以維持專家級的注釋品質,並建立特定領域版本的核心技術。將主動學習原則與其他效率方法(如參數效率微調)相整合,可以產生更多的效能優勢。
底線
Google 的研究表明,有針對性的高品質資料可以優於大量資料集。透過將標籤工作集中在最有價值的範例上,他們將訓練資料需求縮減了 10,000 倍,同時也提升了效能。這項策略可降低成本、加速開發、減少對環境的影響,並擴大先進人工智慧的使用範圍。這是邁向更有效率與永續 AI 發展的重要一步。
DeepMind執行長哈西里斯:我每天睡六個小時,通常在凌晨1點左右感到精力充沛。
Fortune 最近刊登了對谷歌 DeepMind 執行長 Demis Hassabis 的採訪,揭示了他對休息和生產力的非傳統方法。Hassabis 透露,他睡眠時間非常少,將清醒時間劃分為兩個不同的工作階段。關於他的睡眠習慣,Hassabis 表示:“我目標睡六小時,但我的習慣非同尋常。我可以在白天有效運作。”他強調,睡眠少於六小時會對大腦健康產生負面影響。Hassabis 於 2010 年聯合創立了 DeepMind(後被谷歌收購),並因其在蛋白質結構預測方面的開創性工作榮獲 20
儘管營收未達預期,OpenAI 與 Anthropic 仍爭奪市場份額
儘管近期有報導指出 OpenAI 未達營收目標,導致本週二科技股承壓,但私人人工智慧實驗室的投資者仍展現出韌性。資深投資者已確認,儘管媒體報導負面,他們仍不會削減投資。分析師認為當前的 AI 競逐仍處於初期階段,因此排除「贏家通吃」的結果。儘管高昂的運算成本對營收造成壓力,但各實驗室可透過調高訂閱費來提升獲利能力。產業格局正經歷微妙的變化與 OpenAI 不同,競爭對手 Anthropic 獲得了
Also die Kosten um das 10.000-fache zu senken? Das klingt fast zu gut, um wahr zu sein. Google hat da wohl einen echten Durchbruch geschafft. Wenn das stimmt, könnte das die ganze KI-Entwicklung demokratisieren. Kleine Startups hätten dann plötzlich eine Chance. Aber ich frage mich, ob das nur für bestimmte Modelle oder Trainingsmethoden funktioniert. Die Details wären spannend! 🤔





首頁






