富士通的PHOTON架构将AI性能提升475倍,有效解决计算瓶颈
随着大型模型的持续快速演进,计算成本和处理效率仍是业界关注的核心问题。富士通近期推出了一种名为 PHOTON(自上而下网络并行分层计算)的创新架构,旨在克服传统 Transformer 模型在复杂场景下的性能瓶颈。
Transformer架构目前在人工智能领域占据主导地位,虽然它能很好地处理长文本或高并发多查询任务,但往往因频繁访问内存以检索历史信息而导致速度变慢,从而增加了GPU的工作负载。富士通的研究团队通过重新构思PHOTON架构的设计,解决了这一痛点。

PHOTON的核心优势在于其分层处理方法。 与传统 Transformer 采用的令牌级分段不同,PHOTON 引入了语义分层,在降低计算复杂度的同时提升了并行计算能力。此外,对于多查询任务,该架构简化了决策过程:只需一次推理即可得出结论,采用“多数投票”或“最佳选择”策略。
测试结果表明,在参数数分别为 6 亿、9 亿和 12 亿的小型模型中,PHOTON 实现了极高的吞吐量和极低的内存占用。 在12亿参数的模型中,其多查询性能达到主流Transformer架构的475倍,显著提升了资源调度效率。
由于该架构每次迭代所需的 KV 缓存较少,系统能够处理更多的迭代次数。这对管理大量 I/O 进程的智能代理系统而言,是一次重大的性能提升。尽管某些质量指标存在轻微的取舍,但 PHOTON 在计算效率上的飞跃使其成为降低 AI 运营成本的极具前景的技术解决方案。
富士通目前正积极推广该架构的应用,旨在通过核心算法的创新,为未来的智能场景提供更轻量、更高效的基础支持。
相关文章
OpenAI 在名为 Doug 的新预训练项目下发布基础大模型
随着人工智能技术的不断演进,业界对基础大模型底层架构的关注始终未减。近日,一位长期追踪大模型动态的 X 平台用户透露,OpenAI 目前正在推进一个代号为 Doug 的新大模型项目。据信息显示,Doug 将是其迄今为止规模最大的预训练项目,预计最迟将于今年 11 月正式上线。回顾过去两年的发展轨迹可以看出,自 2024 年 5 月 GPT-4o 发布以来,OpenAI 并未对其主基座模型进行重大更新。在此期间,其模型能力的提升主要依赖于后训练、大规模强化学习以及推理时计算等手段,例如相继发布的
Deltek 研究报告:91% 的企业认为人工智能对成功至关重要
Deltek的研究显示,尽管项目型企业预期利润将有所增长,但当前的执行差距限制了人工智能带来的可量化影响。图片来源:Nitat Termmee/Getty Images据Deltek的希瑟·拉金(Heather Larkin)介绍,领先企业正成功地将数据与人工智能相结合以提升回报,91%的项目型企业认为人工智能对其成功至关重要。在充满不确定性的经济环境中运营已成为建筑、工程和咨询公司的新常态,财务
当前机器人安全协议中存在关键漏洞
图1. VicOne的生命周期方法结合了AI模型和漏洞扫描、基于仿真的验证以及持续监控,以帮助确保机器人从开发到运营阶段的安全。虽然网络安全不能替代功能安全,但它有助于确保物理人工智能(Physical AI)即使在感知、决策或执行过程受到攻击时,仍能保持在可接受的范围内。如需深入了解塑造自主机器人领域的网络安全风险与防御策略,请下载我们的白皮书《保障AI机器人的崛起:网络风险、现实威胁与防御策略》。由VicOne赞助的内容
相关专题推荐
评论 (0)
0/500
随着大型模型的持续快速演进,计算成本和处理效率仍是业界关注的核心问题。富士通近期推出了一种名为 PHOTON(自上而下网络并行分层计算)的创新架构,旨在克服传统 Transformer 模型在复杂场景下的性能瓶颈。
Transformer架构目前在人工智能领域占据主导地位,虽然它能很好地处理长文本或高并发多查询任务,但往往因频繁访问内存以检索历史信息而导致速度变慢,从而增加了GPU的工作负载。富士通的研究团队通过重新构思PHOTON架构的设计,解决了这一痛点。

PHOTON的核心优势在于其分层处理方法。 与传统 Transformer 采用的令牌级分段不同,PHOTON 引入了语义分层,在降低计算复杂度的同时提升了并行计算能力。此外,对于多查询任务,该架构简化了决策过程:只需一次推理即可得出结论,采用“多数投票”或“最佳选择”策略。
测试结果表明,在参数数分别为 6 亿、9 亿和 12 亿的小型模型中,PHOTON 实现了极高的吞吐量和极低的内存占用。 在12亿参数的模型中,其多查询性能达到主流Transformer架构的475倍,显著提升了资源调度效率。
由于该架构每次迭代所需的 KV 缓存较少,系统能够处理更多的迭代次数。这对管理大量 I/O 进程的智能代理系统而言,是一次重大的性能提升。尽管某些质量指标存在轻微的取舍,但 PHOTON 在计算效率上的飞跃使其成为降低 AI 运营成本的极具前景的技术解决方案。
富士通目前正积极推广该架构的应用,旨在通过核心算法的创新,为未来的智能场景提供更轻量、更高效的基础支持。
OpenAI 在名为 Doug 的新预训练项目下发布基础大模型
随着人工智能技术的不断演进,业界对基础大模型底层架构的关注始终未减。近日,一位长期追踪大模型动态的 X 平台用户透露,OpenAI 目前正在推进一个代号为 Doug 的新大模型项目。据信息显示,Doug 将是其迄今为止规模最大的预训练项目,预计最迟将于今年 11 月正式上线。回顾过去两年的发展轨迹可以看出,自 2024 年 5 月 GPT-4o 发布以来,OpenAI 并未对其主基座模型进行重大更新。在此期间,其模型能力的提升主要依赖于后训练、大规模强化学习以及推理时计算等手段,例如相继发布的
Deltek 研究报告:91% 的企业认为人工智能对成功至关重要
Deltek的研究显示,尽管项目型企业预期利润将有所增长,但当前的执行差距限制了人工智能带来的可量化影响。图片来源:Nitat Termmee/Getty Images据Deltek的希瑟·拉金(Heather Larkin)介绍,领先企业正成功地将数据与人工智能相结合以提升回报,91%的项目型企业认为人工智能对其成功至关重要。在充满不确定性的经济环境中运营已成为建筑、工程和咨询公司的新常态,财务
当前机器人安全协议中存在关键漏洞
图1. VicOne的生命周期方法结合了AI模型和漏洞扫描、基于仿真的验证以及持续监控,以帮助确保机器人从开发到运营阶段的安全。虽然网络安全不能替代功能安全,但它有助于确保物理人工智能(Physical AI)即使在感知、决策或执行过程受到攻击时,仍能保持在可接受的范围内。如需深入了解塑造自主机器人领域的网络安全风险与防御策略,请下载我们的白皮书《保障AI机器人的崛起:网络风险、现实威胁与防御策略》。由VicOne赞助的内容





首页






