选项
首页
新闻
LFM2.5 DSpark 预发布模型发布:推理速度提升3.18倍

LFM2.5 DSpark 预发布模型发布:推理速度提升3.18倍

2026-09-21
5

Liquid AI 和 Hugging Face 已正式发布 LFM2.5 系列的 DSpark 草案模型检查点,涵盖 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B。 这项创新引入了一种全新的投机性解码路径,在保持输出质量的同时,显著提升了推理吞吐量。

关键性能提升与实际应用

实际测试证明了 DSpark 令人印象深刻的加速效果。在 GPU 上,吞吐量最高提升了 3.18 倍,而在边缘设备上,提升幅度最高达 2.87 倍。

在边缘代理推理中,LFM2.5-2.6B 将函数调用延迟平均降低了 57%。在 M4 Max MacBook Pro 上测试时,其处理速度高达每秒 139 个令牌,这降低了本地代理部署的门槛,并提供了可与专有云模型媲美的用户体验。

image.png

理解 DSpark 的架构与机制

传统 LLM 推理受限于内存带宽,因为大部分时间都耗费在将权重从 DRAM 流式传输到 SRAM 的过程中。投机性解码通过使用轻量级草稿模型生成候选令牌来解决这一问题,随后由目标模型在单次前向传播中验证这些令牌,从而有效地分摊了权重加载成本。

DSpark 通过三个核心组件整合了现有方法:

并行骨干网络:与 DFlash 类似,它基于目标模型的上下文特征,在一次前向传播中为所有草稿令牌生成隐藏状态。序列化头(马尔可夫头): 通过模拟相邻令牌之间的马尔可夫链,增强依赖关系并提高后续位置的接受率。置信度调度验证器:它预测每个令牌的存活概率,当验证成本超过节省的资源时,自动舍弃低置信度的后缀。

在训练阶段,该草稿模型利用了包含SFT、聊天、代码和函数调用的多样化数据集组合。经过严格的消融实验,初始版本采用了一种仅包含注意力机制的架构,包含5层和9个块,参数数量保持在3亿左右。

image.png

质量保证与生态系统集成

由于采用了推测性解码,贪婪解码仅接受与目标模型分布完全匹配的草稿令牌。被拒绝的令牌将被目标模型的输出替换,从而确保生成的序列与基线贪婪解码结构一致,且在基准测试中不会造成准确率损失。

发布时,DSpark 已实现与主流推理框架的兼容性:

SGLang:通过专用的集成和启动配置,支持在加速器上执行。llama.cpp:提供官方构建支持,允许用户通过命令行加载相应的 GGUF 权重和草稿模型文件。

相关文章
为什么Abnormal AI在《Daybreak》节目中与OpenAI合作 为什么Abnormal AI在《Daybreak》节目中与OpenAI合作 OpenAI 网络安全产品负责人迈克尔·艾耶洛 | 图片来源:迈克尔·艾耶洛/LinkedInAbnormal AI 加入 OpenAI 的“Daybreak”计划,迈克·艾耶洛表示,此次合作将加速企业采用实用的防御措施领先的前沿人工智能公司 OpenAI 已与 Abnormal AI 建立合作伙伴关系,旨在帮助企业在其业务和产品开发中安全地运用一流的人工智能模型。通过此次合作,Abnormal将
AI Agent Elements Claw 完成超导材料研发 AI Agent Elements Claw 完成超导材料研发 随着人工智能不断拓展科学探索的边界,一项重要的里程碑已然达成。7月3日,阿里巴巴达摩院携手中国人民大学和中国科学院大学,共同发布了“Elements Claw”——全球首个专用于发现超导材料的人工智能代理。 这一突破标志着科学发现领域的转变,人工智能已从辅助角色转变为独立的研究伙伴,同时为新材料开发建立了一个高效的自动化框架。传统寻找超导体的方法效率低下且速度缓慢,且高度依赖试错法。尽管Super
如何有效检查 Google 日本和 Yahoo 日本的 SEO 排名 如何有效检查 Google 日本和 Yahoo 日本的 SEO 排名 将肖像照片转换为哈利·波特风格素描目录:简介将照片转换为素描使用最小值滤镜转换肖像的另一种技术开始操作下载所需的图像准备图层去色图像创建去色图层调整图层应用反相效果反相图层添加颜色减淡效果模糊图像应用高斯模糊滤镜调整模糊设置完善素描使用画笔工具增强细节并去除瑕疵合并图层合并反相图层和背景副本图层创建长条和短条图层添加铅笔笔触在短条图层上应用倾斜笔触调整笔触设置完成素描在长条图层上应用倾斜笔触调整笔触长度调整图层不透明度和混合模式结论
相关专题推荐
代码 用于调试 Python 错误、API 日志和堆栈跟踪的 ChatGPT 工具
用于调试 Python 错误、API 日志和堆栈跟踪的 ChatGPT 工具

2026 年最新 ChatGPT Python 错误、API 日志和堆栈跟踪调试工具,尽在 XIX.AI。这份精选顶级解决方案列表提供免费与付费对比、真实世界测试以及详细排名,帮助您找到功能最强大的工具,显著提升生产力并更快解决复杂技术问题。立即探索,发现您的完美解决方案!

9 个工具
xix.ai
文字转语音 用于产品演示视频的人工智能配音工具
用于产品演示视频的人工智能配音工具

2026 年最新最佳顶级评分 AI 配音工具,用于产品演示视频,现已上线 XIX.AI!此精选列表包含强大且具颠覆性的选项,可帮助您快速创建专业级音频内容,显著提升演示效率。我们进行真实世界测试,并提供免费与付费版的对比以及每周更新的排名,以帮助您找到最合适的工具。立即探索,解锁您的 AI 优势!

10 个工具
xix.ai
商业 用于初创企业验证的AI商业计划书工具
用于初创企业验证的AI商业计划书工具

2026年最新最佳AI商业计划工具,助力初创企业验证!XIX.AI精心筛选出一份备受好评的榜单,收录了经过实际测试、能够提供精准结果的强大且具有颠覆性的工具。 您将看到免费版与付费版的对比分析、详细排名以及通俗易懂的深度解析,助您选择最合适的解决方案,从而提升初创企业的成功率。立即探索,释放您的AI竞争优势!

9 个工具
xix.ai
聊天机器人 用于角色扮演和对话练习的 AI 聊天应用
用于角色扮演和对话练习的 AI 聊天应用

2026 年最新最佳角色扮演与对话练习 AI 聊天应用!XIX.AI 精心策划了一份顶级评分列表,收录了经过严格现实世界测试、能带来卓越结果的重磅必备工具。您将找到详细的免费与付费对比、全面排名,以及这些应用如何有效提升您的语言技能和沟通自信的见解。立即探索,发现最适合您的练习工具!

10 个工具
xix.ai
设计 适合产品团队的最佳 AI 线框图工具
适合产品团队的最佳 AI 线框图工具

2026年产品团队必备的最新最佳高评分AI线框图工具!这份精心筛选的清单展示了功能强大、具有颠覆性的解决方案,这些工具经过实际测试和严格排名,能显著提升工作效率。其中包含详细的免费版与付费版对比分析,助您找到最适合的工具。XIX.AI 提供专家见解,为您决策提供指导。 立即探索,发现最适合您的工具,在产品开发中释放您的 AI 优势!

8 个工具
xix.ai
软件开发 部署监控的最佳 AI DevOps 工具
部署监控的最佳 AI DevOps 工具

我们精心整理的这份清单中,收录了2026年最新、最受欢迎且评价最高的AI DevOps部署监控工具。这些功能强大的工具经过实际测试和严格评估,可帮助团队显著提升工作效率。查看免费版与付费版的对比,找到最适合您需求的理想方案。立即探索,释放您的AI优势!

11 个工具
xix.ai
评论 (0)
0/500
OR