首頁MiniMax大模型誤讀姓名——稀宇科技：特定Token後訓練不足
MiniMax 最近釋出了一份技術報告，詳細解釋了其 M2 系列模型為何難以準確生成“馬嘉祺”等特定名稱。這一看似錯誤的現象凸顯了當前大語言模型訓練中存在的系統性缺陷。
Token 偏移：被擠壓的向量空間
根本原因在於分詞器（tokenizer），即文字處理的基本單位。例如，名稱“馬嘉祺”被拆分為兩個 Token：“Ma”和“Jiaqi”。雖然模型在預訓練階段學習了這些 Token，但在隨後的指令微調階段出現了問題。
在微調期間，Token “Jiaqi”在對話資料中出現的頻率極低，因此幾乎未接受任何訓練。與此同時，程式碼符號和工具呼叫等高頻率 Token 得到了大量強化，這實際上“擠壓”了低頻 Token 的表示空間。結果，這些 Token 偏離了其正確的機率分佈，導致模型在引用特定名人時，會用發音相似的“嘉祺”或“琪琪”等詞進行替換。
超越中文：日俄混合的連鎖反應
MiniMax 的分析顯示，這種“Token 退化”現象十分普遍。在對完整詞彙表中的約 20 萬個 Token 進行掃描後，他們發現約 4.9% 的 Token 出現了顯著的效能下降。值得注意的是，日語 Token 的退化率高達 29.7%，這解釋了為何模型偶爾會在日語對話中混入俄語或韓語字元。
除了名稱和外語外，受影響的 Token 還包括 LaTeX 標記、維基百科原始碼符號，甚至某些 SEO 垃圾關鍵詞。這表明資料稀疏性具有全域性影響：當後訓練資料未能均勻覆蓋各種語言和特定詞彙時，模型的生成邏輯就會產生偏差。
系統性修復：為 20 萬個 Token 建立“最低保障”
為了修復這一結構性問題，研發團隊實施了一項精確的修復策略。他們生成了覆蓋整個詞彙表的合成資料，並強制模型執行“重複”任務，從而為每個 Token 的生成頻率建立“最低保障”。
修復後的資料顯示，模型全詞彙表輸出的穩定性有了明顯改善。日語回覆中混入外語字元的比例從 47% 降至僅 1%。團隊仍在探索更深入的最佳化措施，例如將預訓練材料整合到微調階段，或直接移除詞彙表中不再使用的冗餘標記。
此次事件引發了行業的深刻反思：雖然大模型的分詞器通常基於廣泛的網路語料庫構建，但下游應用場景卻千差萬別。從基礎統計角度出發，確保 Token 層面有足夠的資料覆蓋，同時保持語義多樣性，仍是提高大模型可靠性的關鍵挑戰。
相關文章
阿里影片釋出萬3.0，實現超長影片生成與多維度一致性
8月24日，阿里巴巴釋出了萬3.0，這是其最新的影片生成大模型。此次釋出標誌著阿里巴巴影片技術的重大飛躍，在時長、通用創作、參考處理以及真實世界模擬方面實現了顯著提升。萬3.0將單影片生成的時長擴充套件至30秒，在單個鏡頭內提供了更為豐富的敘事可能性。它還引入了對多種主流檔案格式的支援——包括doc、xls、ppt、pdf和md——使得文字、表格和幻燈片能夠直接轉換為動態視覺內容。為了解決視覺不一致和風格漂移等常見挑戰，萬3.0在微觀層面確保了高度的穩定性。它在角色外觀、道具細節、音訊設定、空間關係
Nvidia H200 在中國的交易雖在川普與習近平峰會後倖存下來，但結果與預期不符
川普總統前往北京，黃仁勳在最後一刻加入代表團，兩天後離京時僅就晶片出口的潛在進展發表了含糊其辭的言論。雙方並未達成任何協議。自川普於2025年12月首次授權銷售以來，尚未有任何一顆Nvidia H200晶片進入中國。 美國貿易代表傑米森·格里爾向《彭博社》證實，半導體限制措施甚至未被列入雙邊議程中討論。在峰會的盛況之下，隱藏著更重大的轉變。H200的供應受阻並非源於華府的拒絕；美國其實早已核准了出
如何修復核心網頁指標以最佳化 SEO 排名？
建立視覺吸引力強的資產在遊戲開發中至關重要。畫素藝術以其迷人的復古美學，仍然是一個受歡迎的選擇。隨著 AI 工具的興起，生成畫素藝術變得比以往任何時候都更加容易。本指南探討了如何利用 ComfyUI 和 Stable Diffusion，結合專門的工作流，為您的遊戲專案打造完美的畫素藝術精靈和瓦片。我們將深入探討必要的元件、設定步驟和工作流細節，以實現始終如一的高質量結果，確保您的遊戲擁有獨特且精緻的外觀。關鍵點利用 ComfyUI，一個基於節點的介面，進行 Stable Diffusion 工
相關專題推薦
設計與藝術
頂尖 AI 插畫工具：更快地創作編輯畫面與封面插圖
2026 年最新高評分 AI 插畫工具：我們精心挑選的清單收錄了功能強大、設計出色的工具，能助您快速創作出令人驚豔的編輯場景與吸睛的封面藝術。每項選項均經過嚴格的實際測試，並提供免費版與付費版的比較，協助您找到最適合您工作流程的工具。 立即嘗試這些不可錯過的解決方案，釋放您的人工智慧優勢，並提升您的創意生產力。現在就前往 XIX.AI 探索吧。
10 個工具
xix.ai
教育與學習
頂尖 AI 補習老師助您備考：練習數學、科學和英語
2026 年最新、評價最高的考試備考 AI 輔導工具，盡在 XIX.AI！我們精心挑選的清單收錄了多款強大且顛覆傳統的工具，提供免費與付費版本的比較、實際測試，以及每週更新的排行榜。這些工具能幫助您提升寫作效率、簡化複雜主題的學習，並釋放您的學術潛能。 立即探索，發掘最適合您的備考工具，並從今天開始創作，釋放您的 AI 優勢！
10 個工具
xix.ai
金融
用於個人財務管理的 AI 預算規劃工具
2026 年最新最佳頂級評分 AI 預算規劃工具，專為個人財務管理打造，現已登陸 XIX.AI！本精選合集收錄了強大且具顛覆性的解決方案，助您開展實際測試、理解消費習慣，並制定個性化計劃以提升生產力。享受免費與付費版的對比及詳細排名。這些必試工具旨在簡化財務管理，助您釋放 AI 優勢。立即探索！
11 個工具
xix.ai
健康與養生
AI 睡眠追蹤助手：透過更佳的睡前習慣提升恢復效果
2026 年最新精選、評價最高的 AI 睡眠追蹤助手，助您獲得最佳恢復效果。這份全面更新的每週指南收錄了強大的工具，提供實際測試報告、免費與付費版本的比較，以及詳細排名，協助您找到必試的解決方案，以提升睡眠品質並培養更好的就寢習慣。 立即造訪 XIX.AI，解鎖您的 AI 優勢。
10 個工具
xix.ai
數據分析
用於產品與營收分析的 AI SQL 協作助手
2026 年最新最佳、評價最高的 AI SQL 輔助工具，專為產品與營收分析打造！ XIX.AI 精心甄選了一系列強大且顛覆業界的必試工具，這些工具均經過實戰測試，並透過每週更新的排行榜進行評比。這些工具能透過加速資料分析、簡化複雜查詢，並產生精準洞察來推動更明智的商業決策，從而大幅提升使用者生產力。立即探索，發掘最適合您的工具，釋放您的 AI 優勢！
14 個工具
xix.ai
教育與學習
最佳的「教學型」AI 作業輔助工具：學習概念，而不僅是答案
2026 年最新最佳高評價 AI 作業輔助工具：不僅提供答案，更教授核心概念。專為學生打造的強大工具，必試精選清單，每週更新，免費與付費版本比較，實際測試，精準排名，助您充分發揮學習潛能。立即探索，發掘最適合您的工具，讓學習更聰明。
10 個工具
xix.ai
評論 (0)
0/500
MiniMax 最近釋出了一份技術報告，詳細解釋了其 M2 系列模型為何難以準確生成“馬嘉祺”等特定名稱。這一看似錯誤的現象凸顯了當前大語言模型訓練中存在的系統性缺陷。
Token 偏移：被擠壓的向量空間
根本原因在於分詞器（tokenizer），即文字處理的基本單位。例如，名稱“馬嘉祺”被拆分為兩個 Token：“Ma”和“Jiaqi”。雖然模型在預訓練階段學習了這些 Token，但在隨後的指令微調階段出現了問題。
在微調期間，Token “Jiaqi”在對話資料中出現的頻率極低，因此幾乎未接受任何訓練。與此同時，程式碼符號和工具呼叫等高頻率 Token 得到了大量強化，這實際上“擠壓”了低頻 Token 的表示空間。結果，這些 Token 偏離了其正確的機率分佈，導致模型在引用特定名人時，會用發音相似的“嘉祺”或“琪琪”等詞進行替換。
超越中文：日俄混合的連鎖反應
MiniMax 的分析顯示，這種“Token 退化”現象十分普遍。在對完整詞彙表中的約 20 萬個 Token 進行掃描後，他們發現約 4.9% 的 Token 出現了顯著的效能下降。值得注意的是，日語 Token 的退化率高達 29.7%，這解釋了為何模型偶爾會在日語對話中混入俄語或韓語字元。
除了名稱和外語外，受影響的 Token 還包括 LaTeX 標記、維基百科原始碼符號，甚至某些 SEO 垃圾關鍵詞。這表明資料稀疏性具有全域性影響：當後訓練資料未能均勻覆蓋各種語言和特定詞彙時，模型的生成邏輯就會產生偏差。
系統性修復：為 20 萬個 Token 建立“最低保障”
為了修復這一結構性問題，研發團隊實施了一項精確的修復策略。他們生成了覆蓋整個詞彙表的合成資料，並強制模型執行“重複”任務，從而為每個 Token 的生成頻率建立“最低保障”。
修復後的資料顯示，模型全詞彙表輸出的穩定性有了明顯改善。日語回覆中混入外語字元的比例從 47% 降至僅 1%。團隊仍在探索更深入的最佳化措施，例如將預訓練材料整合到微調階段，或直接移除詞彙表中不再使用的冗餘標記。
此次事件引發了行業的深刻反思：雖然大模型的分詞器通常基於廣泛的網路語料庫構建，但下游應用場景卻千差萬別。從基礎統計角度出發，確保 Token 層面有足夠的資料覆蓋，同時保持語義多樣性，仍是提高大模型可靠性的關鍵挑戰。
阿里影片釋出萬3.0，實現超長影片生成與多維度一致性
8月24日，阿里巴巴釋出了萬3.0，這是其最新的影片生成大模型。此次釋出標誌著阿里巴巴影片技術的重大飛躍，在時長、通用創作、參考處理以及真實世界模擬方面實現了顯著提升。萬3.0將單影片生成的時長擴充套件至30秒，在單個鏡頭內提供了更為豐富的敘事可能性。它還引入了對多種主流檔案格式的支援——包括doc、xls、ppt、pdf和md——使得文字、表格和幻燈片能夠直接轉換為動態視覺內容。為了解決視覺不一致和風格漂移等常見挑戰，萬3.0在微觀層面確保了高度的穩定性。它在角色外觀、道具細節、音訊設定、空間關係
Nvidia H200 在中國的交易雖在川普與習近平峰會後倖存下來，但結果與預期不符
川普總統前往北京，黃仁勳在最後一刻加入代表團，兩天後離京時僅就晶片出口的潛在進展發表了含糊其辭的言論。雙方並未達成任何協議。自川普於2025年12月首次授權銷售以來，尚未有任何一顆Nvidia H200晶片進入中國。 美國貿易代表傑米森·格里爾向《彭博社》證實，半導體限制措施甚至未被列入雙邊議程中討論。在峰會的盛況之下，隱藏著更重大的轉變。H200的供應受阻並非源於華府的拒絕；美國其實早已核准了出
如何修復核心網頁指標以最佳化 SEO 排名？
建立視覺吸引力強的資產在遊戲開發中至關重要。畫素藝術以其迷人的復古美學，仍然是一個受歡迎的選擇。隨著 AI 工具的興起，生成畫素藝術變得比以往任何時候都更加容易。本指南探討了如何利用 ComfyUI 和 Stable Diffusion，結合專門的工作流，為您的遊戲專案打造完美的畫素藝術精靈和瓦片。我們將深入探討必要的元件、設定步驟和工作流細節，以實現始終如一的高質量結果，確保您的遊戲擁有獨特且精緻的外觀。關鍵點利用 ComfyUI，一個基於節點的介面，進行 Stable Diffusion 工
2026 年最新高評分 AI 插畫工具：我們精心挑選的清單收錄了功能強大、設計出色的工具，能助您快速創作出令人驚豔的編輯場景與吸睛的封面藝術。每項選項均經過嚴格的實際測試，並提供免費版與付費版的比較，協助您找到最適合您工作流程的工具。 立即嘗試這些不可錯過的解決方案，釋放您的人工智慧優勢，並提升您的創意生產力。現在就前往 XIX.AI 探索吧。
10 個工具
xix.ai
2026 年最新、評價最高的考試備考 AI 輔導工具，盡在 XIX.AI！我們精心挑選的清單收錄了多款強大且顛覆傳統的工具，提供免費與付費版本的比較、實際測試，以及每週更新的排行榜。這些工具能幫助您提升寫作效率、簡化複雜主題的學習，並釋放您的學術潛能。 立即探索，發掘最適合您的備考工具，並從今天開始創作，釋放您的 AI 優勢！
10 個工具
xix.ai
2026 年最新最佳頂級評分 AI 預算規劃工具，專為個人財務管理打造，現已登陸 XIX.AI！本精選合集收錄了強大且具顛覆性的解決方案，助您開展實際測試、理解消費習慣，並制定個性化計劃以提升生產力。享受免費與付費版的對比及詳細排名。這些必試工具旨在簡化財務管理，助您釋放 AI 優勢。立即探索！
11 個工具
xix.ai
2026 年最新精選、評價最高的 AI 睡眠追蹤助手，助您獲得最佳恢復效果。這份全面更新的每週指南收錄了強大的工具，提供實際測試報告、免費與付費版本的比較，以及詳細排名，協助您找到必試的解決方案，以提升睡眠品質並培養更好的就寢習慣。 立即造訪 XIX.AI，解鎖您的 AI 優勢。
10 個工具
xix.ai
2026 年最新最佳、評價最高的 AI SQL 輔助工具，專為產品與營收分析打造！ XIX.AI 精心甄選了一系列強大且顛覆業界的必試工具，這些工具均經過實戰測試，並透過每週更新的排行榜進行評比。這些工具能透過加速資料分析、簡化複雜查詢，並產生精準洞察來推動更明智的商業決策，從而大幅提升使用者生產力。立即探索，發掘最適合您的工具，釋放您的 AI 優勢！
14 個工具
xix.ai
2026 年最新最佳高評價 AI 作業輔助工具：不僅提供答案，更教授核心概念。專為學生打造的強大工具，必試精選清單，每週更新，免費與付費版本比較，實際測試，精準排名，助您充分發揮學習潛能。立即探索，發掘最適合您的工具，讓學習更聰明。
10 個工具
xix.ai
