抱抱臉：企業如何在維持效能的同時降低 AI 成本

許多公司都假設 AI 開發需要龐大的運算能力，導致他們只優先取得更多的資源。

然而，Hugging Face 的 AI 與氣候領導人 Sasha Luccioni 提出了不同的路徑。如果將焦點轉移到更智慧地使用 AI 會如何？企業可以提升模型的效能與精準度，而不是無止境地追求額外（而且往往是過多）的運算能力。

Luccioni 認為核心問題在於方法：企業應該追求更聰明的計算，而不僅僅是更多的計算。

"她解釋說：「我們忽略了更智慧的方法，因為我們只執著於需要更多的 FLOPS、更多的 GPU 以及更多的時間。

以下是 Hugging Face 提出的五大策略，可協助各種規模的企業更有效率地部署 AI。

1: 選擇適合任務的模型

抵制為每個應用程式預設大量通用模型的衝動。專門或精煉的模型通常可以為特定任務達到同等甚至更高的精確度，而且成本更低，能耗更少。

Luccioni 的研究表明，特定任務模型的能耗比通用模型低 20 到 30 倍。"她表示：「這些模型是為了單一目的而建立的，不像為了處理任何查詢而設計的大型語言模型。

模型提煉在此至關重要。一個完整的模型可以先經過訓練，然後再針對特定功能加以提煉。例如，Luccioni 指出，DeepSeek R1 的規模非常龐大，大多數組織都無法負擔運行，通常至少需要 8 個 GPU。相比之下，精煉版本的規模可以小 10 到 30 倍，而且只需要單顆 GPU 就能運作。

她還強調了開源模型的效率優勢，因為開源模型不需要從頭開始訓練。與幾年前公司浪費資源尋找合適模型的情況不同，現在他們可以從基礎模型開始，然後針對自己的需求進行微調。

"Luccioni 表示：「這有助於協同合作、循序漸進的創新，而不是每個人都各自訓練自己的模型，造成計算資源的浪費。

越來越多的人意識到，生成式人工智能的成本往往高於其效益，導致企業對此感到失望。儘管電子郵件撰寫或會議轉錄等一般用途確實很有幫助，但特定任務模型仍需要相當大的努力。Luccioni 表示，現成的模型往往不夠用，而且更昂貴。

縮小這個差距代表著附加價值的下一個領域。"Luccioni 指出：「大多數公司都希望完成特定的任務。"他們不是在尋求人工一般智慧 (AGI)，而是想要專門的智慧。這就是我們需要解決的挑戰。"

2.讓效率成為預設

將「推進理論」的原則融入系統設計，設定保守的計算預算，限制永遠開啟的生成功能，並要求使用者選擇高成本的計算模式。

在行為科學中，「推薦理論」涉及巧妙地引導選擇，以鼓勵正面的行為。Luccioni 舉出外賣餐點提供餐具的經典例子：讓餐具成為選擇性的選項，而非預設包含餐具，可以大幅減少浪費。

"Luccioni 解釋說：「只要將選擇不使用的模式轉變為選擇使用的模式，就能強力影響使用者的行為。

預設設定通常會導致不必要的使用和成本的增加，因為模型會執行它們不需要做的任務。舉例來說，有些搜尋引擎現在會自動在結果頂端產生 AI 摘要。Luccioni 也觀察到，最近在使用 OpenAI 的 GPT-5 時，即使是非常簡單的查詢，模型也會預設為完全推理模式。

「對我來說，這應該是個例外，」她說。"如果我問，「生命的意義是什麼」，那麼當然，人工智能的摘要可能會有用。但對於像「蒙特利爾的天氣如何？」或'當地藥房的營業時間是什麼？我不需要生成摘要。預設值應該是沒有推理"。

3.優化硬體使用率

實施批次處理、調整數值精確度，並針對特定硬體世代微調批次大小，以盡量減少浪費記憶體和耗電量。

公司應該評估其特定需求：模型是否需要連續運行？它是否會面臨即時請求，一次可能有 100 個？Luccioni 指出，在這種情況下，永遠在線的最佳化是必要的。然而，在許多其他情況下，這並非必要；模型可以定期執行以節省記憶體，批次處理也可以優化記憶體使用。

Luccioni 說：「這是一項工程上的挑戰，但也是一項非常特殊的挑戰，因此很難提出類似『蒸餾所有模型』或『改變所有東西的精確度』這樣的一刀切建議。

在最近的一項研究中，她發現理想的批次大小高度依賴於硬體，甚至是特定的機型或版本。只要增加一個單位的批次大小，有時候就會提高能源使用量，因為模型需要更多的記憶體資源。

"這是人們經常忽略的地方。他們認為，「我只需要將批次大小最大化」，但真正的效率來自於仔細調整所有這些變數。Luccioni 解釋說：「結果是一個高度最佳化的系統，但卻是針對非常特殊的情況量身打造的系統。

4.獎勵能源透明化

獎勵能推動改變。考慮到這一點，Hugging Face 在今年早些時候推出了 AI Energy Score。這項計畫採用 1 到 5 星的評級系統來推廣能源效率，其中效率最高的機型可獲得「五星」稱號。

它可被視為「AI 的能源之星」，靈感來自長期以來的聯邦計畫，該計畫設定效率標準，並在合格的電器上標示其標誌。

"數十年來，星級評定是一個強大的動力。Luccioni 表示。「如果能源評分也能達到類似效果，那就太棒了」。

Hugging Face 已經建立了一個公開的排行榜，並計劃在 9 月份用 DeepSeek 和 GPT-oss 等新機型進行更新，並繼續每六個月或新機型出現時更新一次。Luccioni 表示，這樣做的目的是讓模型開發人員將高評分視為一種「榮譽徽章」。

5.重新思考「越多運算越好」的想法

與其追求最大的 GPU 集群，不如先問：「什麼才是最智慧的運算方式？"什麼是達成預期結果的最聰明方法？對於許多應用程式而言，更聰明的架構與更精準的資料集，會比粗暴的擴充方式產生更好的結果。

"Luccioni 表示：「我相信大多數人可能不需要想像中那麼多的 GPU。她鼓勵企業重新考慮 GPU 將要處理的實際任務、為什麼需要 GPU、這些任務之前是如何執行的，以及額外的 GPU 實際上會帶來什麼實質的好處。

"她說：「這已經成為一場競賽，每個人都覺得他們需要一個更大的集群。「關鍵在於分析您使用 AI 的目的、需要哪些特定技術，以及這些技術的真正需求」。