Sakana AI 的 AI 外掛程式簡化了大型模型的文件處理流程
大型語言模型在處理長篇文本時常面臨的困境——通常被稱為「記憶焦慮」——或許很快就會成為歷史。 近期,總部位於東京的 AI 新創公司 Sakana AI 發表了兩項突破性技術:Text-to-LoRA(T2L)與Doc-to-LoRA(D2L)。透過創新的「超級網路」架構,這些技術讓大型模型能在不到一秒的時間內「吸收」龐大文件或學習新任務,且無需重新訓練。

AI開發者長期以來面臨著艱難的取捨:要麼將冗長文件塞進聊天視窗——這會拖慢回應速度並消耗大量記憶體——要麼付出高昂成本來微調模型。Sakana AI 提供了第三種選擇。透過一次性預訓練費用,它能生成極小的權重插件(LoRA),從而實現低成本、高效的模型適應。
Doc-to-LoRA:記憶體需求從 12GB 降至僅 50MB
這正是本次最新版本中最令人驚豔的技術。若使用傳統方法處理一份 128,000 個標記(約 100,000 字)的文件,需耗費超過12GB的 VRAM 來儲存資訊。透過 D2L,模型能直接將這些資訊「消化」成小於50MB 的插件。
驚人速度:傳統技術處理一份文件需耗時 40 至 100 秒,而 D2L 僅需不到1 秒即可完成。
突破極限:它讓模型能處理長度達原始上下文視窗四倍的文本,在「大海撈針」式的檢索測試中實現近乎完美的準確度。
Text-to-LoRA:運用日常語言客製化 AI
Text-to-LoRA 讓模型反應更靈敏。使用者只需用自然語言描述任務——例如「幫我解決一道複雜的數學競賽題」——系統便會自動生成專用外掛程式以提升效能。實驗顯示,以此方式建立的適配器在數學與邏輯推理任務上,表現甚至優於從頭訓練的專用模型。
強大的跨模態技術:讓文字模型「看見」圖像
研究人員發現了一個意想不到的額外好處:D2L 展現出強大的跨模態能力。透過將視覺資訊映射到純文字模型的參數中,一個從未處理過圖像的模型,竟能以 **75.03%** 的準確度對圖像進行分類。
Sakana AI 的成就顯著降低了個人與企業自訂私有 AI 模型的門檻,同時為開發更輕量且智能的通用人工智慧(AGI)開闢了新途徑。
論文:https://arxiv.org/pdf/2602.15902
相關文章
內部細節曝光:下一代 Gemini 算力緊張,內部團隊在開發優先順序和資源分配上存在分歧
報告顯示,谷歌備受期待的下一代 Gemini 模型釋出已被推遲。由於內部在開發優先順序和資源分配上存在分歧,加上計算能力有限以及複雜的審批流程,導致釋出時間延後了兩個月。儘管谷歌擁有定製的 TPU 晶片,但由於模型訓練、Google Cloud 服務以及眾多消費和企業級 AI 應用對計算資源的需求相互競爭,谷歌仍面臨計算資源短缺的問題。目前,高層管理人員正透過組織結構調整來解決這些部門間的衝突。與此同時,領導層也發生了變化,聯合創始人謝爾蓋·布林越來越多地參與到核心模型訓練中,並倡導將資源專門用於
OpenAI 否認增長放緩擔憂,稱多個業務部門加速發展
針對外界對其銷售增長放緩及未達內部基準的質疑,人工智慧領域的領軍企業 OpenAI 於 4 月 28 日(星期二)發表了一份信心十足的宣告。該公司澄清稱,其消費產品和企業服務正在快速推進,直接駁斥了近期關於業務放緩的猜測。針對該公司“未達成多項內部目標”的說法,OpenAI 將這些報道斥為“典型的標題黨”。公司強調了企業對 AI 整合的強勁需求,並指出其廣告業務早期增長前景良好。據 OpenAI 內部人士透露,公司內部情緒依然樂觀。儘管市場競爭日益激烈,但公司正在向投資者傳遞信心,聲稱其商業
阿里巴巴超級盃:Qwen3.8-Max 重磅登場,程式碼與辦公工具能力全面升級
阿里巴巴正式釋出了Qwen3.8-Max,這是一款擁有2.4萬億引數的下一代基礎大模型。這一重大AI進展在編碼和專業辦公任務等核心領域帶來了顯著的效能提升,展現了強大的技術能力。在權威的Arena大模型排名中,Qwen3.8-Max取得了令人矚目的成績,僅次於Anthropic的Claude系列,位居行業前列。這一里程碑標誌著國內大模型在處理複雜任務方面取得了快速進展,為開發者和企業使用者提供了先進的智慧工具。該模型的API現已在Qwen AI平臺上上線,並整合到新推出的“Qwen Offic
相關專題推薦
評論 (0)
0/500
大型語言模型在處理長篇文本時常面臨的困境——通常被稱為「記憶焦慮」——或許很快就會成為歷史。 近期,總部位於東京的 AI 新創公司 Sakana AI 發表了兩項突破性技術:Text-to-LoRA(T2L)與Doc-to-LoRA(D2L)。透過創新的「超級網路」架構,這些技術讓大型模型能在不到一秒的時間內「吸收」龐大文件或學習新任務,且無需重新訓練。

AI開發者長期以來面臨著艱難的取捨:要麼將冗長文件塞進聊天視窗——這會拖慢回應速度並消耗大量記憶體——要麼付出高昂成本來微調模型。Sakana AI 提供了第三種選擇。透過一次性預訓練費用,它能生成極小的權重插件(LoRA),從而實現低成本、高效的模型適應。
Doc-to-LoRA:記憶體需求從 12GB 降至僅 50MB
這正是本次最新版本中最令人驚豔的技術。若使用傳統方法處理一份 128,000 個標記(約 100,000 字)的文件,需耗費超過12GB的 VRAM 來儲存資訊。透過 D2L,模型能直接將這些資訊「消化」成小於50MB 的插件。
驚人速度:傳統技術處理一份文件需耗時 40 至 100 秒,而 D2L 僅需不到1 秒即可完成。
突破極限:它讓模型能處理長度達原始上下文視窗四倍的文本,在「大海撈針」式的檢索測試中實現近乎完美的準確度。
Text-to-LoRA:運用日常語言客製化 AI
Text-to-LoRA 讓模型反應更靈敏。使用者只需用自然語言描述任務——例如「幫我解決一道複雜的數學競賽題」——系統便會自動生成專用外掛程式以提升效能。實驗顯示,以此方式建立的適配器在數學與邏輯推理任務上,表現甚至優於從頭訓練的專用模型。
強大的跨模態技術:讓文字模型「看見」圖像
研究人員發現了一個意想不到的額外好處:D2L 展現出強大的跨模態能力。透過將視覺資訊映射到純文字模型的參數中,一個從未處理過圖像的模型,竟能以 **75.03%** 的準確度對圖像進行分類。
Sakana AI 的成就顯著降低了個人與企業自訂私有 AI 模型的門檻,同時為開發更輕量且智能的通用人工智慧(AGI)開闢了新途徑。
論文:https://arxiv.org/pdf/2602.15902
內部細節曝光:下一代 Gemini 算力緊張,內部團隊在開發優先順序和資源分配上存在分歧
報告顯示,谷歌備受期待的下一代 Gemini 模型釋出已被推遲。由於內部在開發優先順序和資源分配上存在分歧,加上計算能力有限以及複雜的審批流程,導致釋出時間延後了兩個月。儘管谷歌擁有定製的 TPU 晶片,但由於模型訓練、Google Cloud 服務以及眾多消費和企業級 AI 應用對計算資源的需求相互競爭,谷歌仍面臨計算資源短缺的問題。目前,高層管理人員正透過組織結構調整來解決這些部門間的衝突。與此同時,領導層也發生了變化,聯合創始人謝爾蓋·布林越來越多地參與到核心模型訓練中,並倡導將資源專門用於
OpenAI 否認增長放緩擔憂,稱多個業務部門加速發展
針對外界對其銷售增長放緩及未達內部基準的質疑,人工智慧領域的領軍企業 OpenAI 於 4 月 28 日(星期二)發表了一份信心十足的宣告。該公司澄清稱,其消費產品和企業服務正在快速推進,直接駁斥了近期關於業務放緩的猜測。針對該公司“未達成多項內部目標”的說法,OpenAI 將這些報道斥為“典型的標題黨”。公司強調了企業對 AI 整合的強勁需求,並指出其廣告業務早期增長前景良好。據 OpenAI 內部人士透露,公司內部情緒依然樂觀。儘管市場競爭日益激烈,但公司正在向投資者傳遞信心,聲稱其商業
阿里巴巴超級盃:Qwen3.8-Max 重磅登場,程式碼與辦公工具能力全面升級
阿里巴巴正式釋出了Qwen3.8-Max,這是一款擁有2.4萬億引數的下一代基礎大模型。這一重大AI進展在編碼和專業辦公任務等核心領域帶來了顯著的效能提升,展現了強大的技術能力。在權威的Arena大模型排名中,Qwen3.8-Max取得了令人矚目的成績,僅次於Anthropic的Claude系列,位居行業前列。這一里程碑標誌著國內大模型在處理複雜任務方面取得了快速進展,為開發者和企業使用者提供了先進的智慧工具。該模型的API現已在Qwen AI平臺上上線,並整合到新推出的“Qwen Offic





首頁






