Sakana AI 的 AI 插件简化了大型模型的文档处理流程
大型语言模型在处理长文本时常面临的困境——通常被称为“记忆焦虑”——或许很快将成为历史。 近日,总部位于东京的AI初创公司Sakana AI发布了两项突破性技术:Text-to-LoRA(T2L) 和Doc-to-LoRA(D2L)。借助创新的“超级网络”架构,这些技术使大型模型能够在不到一秒的时间内“吸收”海量文档或学习新任务,且无需重新训练。

AI开发者长期以来面临着一个艰难的权衡:要么将冗长的文档塞进聊天窗口——这会减慢响应速度并消耗大量内存,要么付出高昂的成本对模型进行微调。Sakana AI提供了一种第三种选择。通过一次性预训练费用,它生成微小的权重插件(LoRA),从而实现低成本、高效的模型适配。
Doc-to-LoRA:内存需求从 12GB 降至仅 50MB
这是本次最新版本中最令人印象深刻的技术。使用传统方法处理一份 128,000 个令牌(约 100,000 词)的文档,需要超过12GB的显存来存储信息。借助 D2L,模型可以直接将这些信息“消化”成一个小于50MB 的插件。
惊人速度:传统技术处理一份文档需要40到100秒,而D2L仅需不到1秒即可完成。
突破界限:该技术使模型能够处理长度达到其原始上下文窗口四倍的文本,在“大海捞针”式的检索测试中实现了近乎完美的准确率。
文本到LoRA:用日常语言定制AI
Text-to-LoRA 使模型响应更敏捷。用户只需用自然语言描述任务——例如“帮我解决一道复杂的数学竞赛题”——系统便会自动生成专用插件以提升性能。实验表明,通过这种方式创建的适配器在数学和逻辑推理任务上的表现,甚至优于从头训练的专用模型。
强大的跨模态技术:让文本模型“看见”图像
研究人员发现了一个意外的收获:D2L展现出了强大的跨模态能力。通过将视觉信息映射到纯文本模型的参数中,一个从未处理过图像的模型能够以**75.03%**的准确率对图像进行分类。
Sakana AI 的成果显著降低了个人和企业定制私有 AI 模型的门槛,同时也为开发更轻量、更智能的通用人工智能(AGI)开辟了新路径。
论文:https://arxiv.org/pdf/2602.15902
相关文章
Claude 新增多语言语音支持,使真实电话通话更近一步
人工智能的语音交互体验即将迎来重大更新。据科技媒体 Android Authority 的最新报道,Anthropic 正在为其 AI 助手 Claude 准备一项重大升级,重点在于打破语言壁垒。根据部分用户在设置界面捕捉到的信息,此次更新不仅将打破“仅支持英语”的现状,还将一次性添加多种语言选项。其中包括中文、粤语、日语、德语、西班牙语、葡萄牙语、俄语和乌克兰语。对于非英语用户而言,这意味着未来他们能够使用母语更顺畅地与 Claude 进行交流。除了扩展语言支持外,语音交互的操作逻辑也进行了精
Apple Store 应用推出 AI 虚拟购物助手,以支持产品问答与决策
MacRumors 报道,苹果公司最近修订了其 Apple Store 应用的隐私政策,预示着“虚拟购物助手”即将问世。该功能旨在通过生成式 AI 聊天界面回答产品咨询并引导购买决策,这一特性建立在苹果此前在 Apple Support 应用中推出类似助手的基础之上。通过将 AI 驱动交互扩展到零售渠道,苹果正战略性地推动其电子商务客户体验的现代化。为了提供个性化推荐,该助手将处理账户详情、设备标识符、运营商数据、聊天日志以及位置信息。关于隐私和合规性,苹果强调,所有与第三方合作伙伴共享的聊天
Apple Watch 的新 AI 功能使始终监听技术变得常态化
苹果正在推动消费者接受一种新规范:你的设备始终处于监听状态。在周三的“惊喜闪耀”iPhone发布会上,虽然展示了最新的硬件,但真正的亮点并非传闻中的折叠屏iPhone,而是这家以严格隐私标准著称的公司计划如何使其手表能够处理实时音频并转录对话。这是否意味着只要附近有人佩戴Apple Watch,你就会被录音?不一定,但这仍可能让许多人感到不适。这一进展也引发了一个问题:消费者是否真正需要这项技术,还是苹果为了抢先于OpenAI等竞争对手推出类似的AI设备而加速了开发?目前,多家初创公司基于一个前
相关专题推荐
评论 (0)
0/500
大型语言模型在处理长文本时常面临的困境——通常被称为“记忆焦虑”——或许很快将成为历史。 近日,总部位于东京的AI初创公司Sakana AI发布了两项突破性技术:Text-to-LoRA(T2L) 和Doc-to-LoRA(D2L)。借助创新的“超级网络”架构,这些技术使大型模型能够在不到一秒的时间内“吸收”海量文档或学习新任务,且无需重新训练。

AI开发者长期以来面临着一个艰难的权衡:要么将冗长的文档塞进聊天窗口——这会减慢响应速度并消耗大量内存,要么付出高昂的成本对模型进行微调。Sakana AI提供了一种第三种选择。通过一次性预训练费用,它生成微小的权重插件(LoRA),从而实现低成本、高效的模型适配。
Doc-to-LoRA:内存需求从 12GB 降至仅 50MB
这是本次最新版本中最令人印象深刻的技术。使用传统方法处理一份 128,000 个令牌(约 100,000 词)的文档,需要超过12GB的显存来存储信息。借助 D2L,模型可以直接将这些信息“消化”成一个小于50MB 的插件。
惊人速度:传统技术处理一份文档需要40到100秒,而D2L仅需不到1秒即可完成。
突破界限:该技术使模型能够处理长度达到其原始上下文窗口四倍的文本,在“大海捞针”式的检索测试中实现了近乎完美的准确率。
文本到LoRA:用日常语言定制AI
Text-to-LoRA 使模型响应更敏捷。用户只需用自然语言描述任务——例如“帮我解决一道复杂的数学竞赛题”——系统便会自动生成专用插件以提升性能。实验表明,通过这种方式创建的适配器在数学和逻辑推理任务上的表现,甚至优于从头训练的专用模型。
强大的跨模态技术:让文本模型“看见”图像
研究人员发现了一个意外的收获:D2L展现出了强大的跨模态能力。通过将视觉信息映射到纯文本模型的参数中,一个从未处理过图像的模型能够以**75.03%**的准确率对图像进行分类。
Sakana AI 的成果显著降低了个人和企业定制私有 AI 模型的门槛,同时也为开发更轻量、更智能的通用人工智能(AGI)开辟了新路径。
论文:https://arxiv.org/pdf/2602.15902
Claude 新增多语言语音支持,使真实电话通话更近一步
人工智能的语音交互体验即将迎来重大更新。据科技媒体 Android Authority 的最新报道,Anthropic 正在为其 AI 助手 Claude 准备一项重大升级,重点在于打破语言壁垒。根据部分用户在设置界面捕捉到的信息,此次更新不仅将打破“仅支持英语”的现状,还将一次性添加多种语言选项。其中包括中文、粤语、日语、德语、西班牙语、葡萄牙语、俄语和乌克兰语。对于非英语用户而言,这意味着未来他们能够使用母语更顺畅地与 Claude 进行交流。除了扩展语言支持外,语音交互的操作逻辑也进行了精
Apple Store 应用推出 AI 虚拟购物助手,以支持产品问答与决策
MacRumors 报道,苹果公司最近修订了其 Apple Store 应用的隐私政策,预示着“虚拟购物助手”即将问世。该功能旨在通过生成式 AI 聊天界面回答产品咨询并引导购买决策,这一特性建立在苹果此前在 Apple Support 应用中推出类似助手的基础之上。通过将 AI 驱动交互扩展到零售渠道,苹果正战略性地推动其电子商务客户体验的现代化。为了提供个性化推荐,该助手将处理账户详情、设备标识符、运营商数据、聊天日志以及位置信息。关于隐私和合规性,苹果强调,所有与第三方合作伙伴共享的聊天
Apple Watch 的新 AI 功能使始终监听技术变得常态化
苹果正在推动消费者接受一种新规范:你的设备始终处于监听状态。在周三的“惊喜闪耀”iPhone发布会上,虽然展示了最新的硬件,但真正的亮点并非传闻中的折叠屏iPhone,而是这家以严格隐私标准著称的公司计划如何使其手表能够处理实时音频并转录对话。这是否意味着只要附近有人佩戴Apple Watch,你就会被录音?不一定,但这仍可能让许多人感到不适。这一进展也引发了一个问题:消费者是否真正需要这项技术,还是苹果为了抢先于OpenAI等竞争对手推出类似的AI设备而加速了开发?目前,多家初创公司基于一个前





首页






