如何擴展大型模型:楊志林在 GTC 上的策略——關於標記效率與代理叢集

邁向大型模型時代下半場的關鍵,不再僅僅是擴展運算能力,而是對底層架構進行根本性的重新思考。
3月18日,在NVIDIA GTC 2026大會上,Moonshot AI創辦人楊志林發表了備受矚目的主題演講。這是他首次向公眾全面闡述Kimi K2.5 模型背後的核心技術路線圖,為「後擴展」時代的大型模型演進提供了嶄新視角。
楊志林指出,要突破當前的智能極限,必須徹底重構優化器、注意力機制及殘差連接等關鍵技術。他將 Kimi 的演進歸納為三個相互協同的維度:
標記效率:消除資源浪費,追求更極致的運算效能比。
長上下文:持續深化 Kimi 的長上下文記憶優勢,以處理海量規模的資訊。
代理群集:智慧正從單一代理演進為動態生成的「數位群集」。
在楊志林看來,擴展性(scaling)如今已演變為在效率、記憶與自動化協作中尋求規模效應。若能將這三個維度的收益相乘,將能解鎖遠超當前能力的智慧層級。
根據先前公告,一月初推出的 Kimi K2.5 模型已展現出這種「全方位」能力。作為 Moonshot AI 迄今最強大的開源模型,它具備原生多模態架構,在程式碼與視覺理解方面達到最先進(SOTA)水準,並支援在「思考」與「非思考」模式間靈活切換,以精準適應基於代理人的任務。
隨著 Moonshot AI 的技術路徑日趨清晰,大型模型的競爭焦點正從「參數數量」轉向「智能密度」。隨著代理群集(agent clusters)浮現為未來智能的潛在終極形態,Kimi 能否在楊志林的「三維乘法」框架下實現突破,已成為業界關注的關鍵焦點。
相關文章
DeepMind執行長哈西里斯:我每天睡六個小時,通常在凌晨1點左右感到精力充沛。
Fortune 最近刊登了對谷歌 DeepMind 執行長 Demis Hassabis 的採訪,揭示了他對休息和生產力的非傳統方法。Hassabis 透露,他睡眠時間非常少,將清醒時間劃分為兩個不同的工作階段。關於他的睡眠習慣,Hassabis 表示:“我目標睡六小時,但我的習慣非同尋常。我可以在白天有效運作。”他強調,睡眠少於六小時會對大腦健康產生負面影響。Hassabis 於 2010 年聯合創立了 DeepMind(後被谷歌收購),並因其在蛋白質結構預測方面的開創性工作榮獲 20
儘管營收未達預期,OpenAI 與 Anthropic 仍爭奪市場份額
儘管近期有報導指出 OpenAI 未達營收目標,導致本週二科技股承壓,但私人人工智慧實驗室的投資者仍展現出韌性。資深投資者已確認,儘管媒體報導負面,他們仍不會削減投資。分析師認為當前的 AI 競逐仍處於初期階段,因此排除「贏家通吃」的結果。儘管高昂的運算成本對營收造成壓力,但各實驗室可透過調高訂閱費來提升獲利能力。產業格局正經歷微妙的變化與 OpenAI 不同,競爭對手 Anthropic 獲得了
加州自動駕駛合規:罰單、地理圍欄與 100 萬英里的新時代
Guident 在南佛羅里達州營運一輛 AuveTech 接駁車,並運用其遠端監控技術,管理西棕櫚灘的一條四英里路線以及博卡拉頓的一條一英里路線。| 圖片來源:Guident加州正重新定義無人駕駛車輛的監管格局,從科技產業的「快速行動、打破常規」心態,轉向嚴格的問責制與嚴謹的行駛里程要求。Guident 執行董事長兼執行長哈羅德·布勞恩(Harold Braun)在《機器人報告》(The Robo
相關專題推薦
評論 (0)
0/500

邁向大型模型時代下半場的關鍵,不再僅僅是擴展運算能力,而是對底層架構進行根本性的重新思考。
3月18日,在NVIDIA GTC 2026大會上,Moonshot AI創辦人楊志林發表了備受矚目的主題演講。這是他首次向公眾全面闡述
楊志林指出,要突破當前的智能極限,必須徹底重構優化器、注意力機制及殘差連接等關鍵技術。他將 Kimi 的演進歸納為三個相互協同的維度:
標記效率:消除資源浪費,追求更極致的運算效能比。
長上下文:持續深化 Kimi 的長上下文記憶優勢,以處理海量規模的資訊。
代理群集:智慧正從單一代理演進為動態生成的「數位群集」。
在楊志林看來,擴展性(scaling)如今已演變為在效率、記憶與自動化協作中尋求規模效應。若能將這三個維度的收益相乘,將能解鎖遠超當前能力的智慧層級。
根據先前公告,一月初推出的 Kimi K2.5 模型已展現出這種「全方位」能力。作為 Moonshot AI 迄今最強大的開源模型,它具備原生多模態架構,在程式碼與視覺理解方面達到最先進(SOTA)水準,並支援在「思考」與「非思考」模式間靈活切換,以精準適應基於代理人的任務。
隨著 Moonshot AI 的技術路徑日趨清晰,大型模型的競爭焦點正從「參數數量」轉向「智能密度」。隨著代理群集(agent clusters)浮現為未來智能的潛在終極形態,
DeepMind執行長哈西里斯:我每天睡六個小時,通常在凌晨1點左右感到精力充沛。
Fortune 最近刊登了對谷歌 DeepMind 執行長 Demis Hassabis 的採訪,揭示了他對休息和生產力的非傳統方法。Hassabis 透露,他睡眠時間非常少,將清醒時間劃分為兩個不同的工作階段。關於他的睡眠習慣,Hassabis 表示:“我目標睡六小時,但我的習慣非同尋常。我可以在白天有效運作。”他強調,睡眠少於六小時會對大腦健康產生負面影響。Hassabis 於 2010 年聯合創立了 DeepMind(後被谷歌收購),並因其在蛋白質結構預測方面的開創性工作榮獲 20
儘管營收未達預期,OpenAI 與 Anthropic 仍爭奪市場份額
儘管近期有報導指出 OpenAI 未達營收目標,導致本週二科技股承壓,但私人人工智慧實驗室的投資者仍展現出韌性。資深投資者已確認,儘管媒體報導負面,他們仍不會削減投資。分析師認為當前的 AI 競逐仍處於初期階段,因此排除「贏家通吃」的結果。儘管高昂的運算成本對營收造成壓力,但各實驗室可透過調高訂閱費來提升獲利能力。產業格局正經歷微妙的變化與 OpenAI 不同,競爭對手 Anthropic 獲得了





首頁






