富士通の「PHOTONアーキテクチャ」がAI性能を475倍に向上させ、演算のボトルネックを解消
大規模モデルが急速に進化し続ける中、計算コストと処理効率は依然として業界にとって重要な課題となっています。富士通は最近、複雑なシナリオにおける従来のトランスフォーマーモデルの性能上の限界を克服するために設計された、「PHOTON(Top-down Network Parallel Hierarchical Computing)」と呼ばれる新しいアーキテクチャを発表しました。
現在AI分野で主流となっているトランスフォーマーアーキテクチャは、長文や高並行性のマルチクエリタスクをうまく処理できますが、履歴情報を取得するための頻繁なメモリアクセスにより処理速度が低下し、GPUの負荷が増大することがよくあります。富士通の研究チームは、PHOTONアーキテクチャの設計を見直すことで、この課題に対処しました。

PHOTONの最大の強みは、その階層的な処理アプローチにある。 従来のトランスフォーマーが採用するトークンレベルのセグメンテーションの代わりに、PHOTONは意味論的な階層化を導入しており、これにより計算の複雑さを低減しつつ、並列計算を強化しています。さらに、マルチクエリタスクにおいて、このアーキテクチャは意思決定を効率化します。「多数決」または「ベストチョイス」戦略を用いることで、結論に達するために必要な推論は1回だけで済みます。
テスト結果によると、パラメータ数が 6 億、9 億、12 億の小規模モデルにおいて、PHOTON は非常に高いスループットと極めて低いメモリ使用量を実現しています。 12億パラメータのモデルでは、マルチクエリ性能が主流のTransformerアーキテクチャの475倍に達し、リソーススケジューリングの効率が大幅に向上しています。
このアーキテクチャは 1 回の反復あたりの KV キャッシュ要件が少ないため、システムはより多くの反復を処理できます。これは、多くの I/O プロセスを管理するインテリジェントエージェントシステムにとって、大幅なパフォーマンス向上となります。一部の品質指標ではわずかなトレードオフが見られますが、PHOTON の計算効率の飛躍的な向上により、AI の運用コストを削減するための有望な技術的ソリューションとなっています。
富士通は現在、このアーキテクチャの応用を積極的に推進しており、コアアルゴリズムの革新を通じて、将来のインテリジェントなシナリオに対して、より軽量かつ効率的な基盤サポートを提供することを目指しています。
関連記事
評価額が400億ドルに急騰する中、資金調達交渉における認知AI
認知の創設者である Devin という名前の AI コーディングアシスタントの作成者は、投資家から大きな関心を集めています。業界筋によると、同社は現在、新たな資金調達ラウンドの交渉を行っており、その評価額は最低でも400億ドルに達すると予測されています。これは5月の10億ドルの資金調達ラウンドで約26億ドルの評価額だったCognitionの劇的な変化を示しています。この急激な評価額の上昇は、年間化された収益の実行速度が10億ドルであることに起因すると報告されています。ビジネス面では、Cogn
OpenAI、新しい事前学習プロジェクト「Doug」の下でベース大規模モデルを公開
人工知能技術が継続的に進化する中、業界の基盤となる大規模モデルのアーキテクチャへの関心はかつてないほど高まっています。最近、大規模モデルの動向を長年追跡しているXユーザーは、OpenAIが現在「Doug」というコード名を持つ新しい大規模モデルプロジェクトを推進していると明らかにしました。情報によると、Dougは同社迄今为止最大の事前トレーニングプロジェクトであり、遅くとも11月までに正式にリリースされる見込みです。過去2年の開発軌跡を振り返ると、2024年5月にGPT-4oがリリースされて以降
デルテックの調査:91%の企業がAIを成功に不可欠と回答
デルテックの調査によると、プロジェクト型企業は利益の増加を見込んでいるものの、現在、実行面でのギャップがAIによる測定可能な効果を制限していることが明らかになった。写真提供:Nitat Termmee/Getty Imagesデルテックのヘザー・ラーキン氏によると、業界をリードする企業はデータとAIを効果的に連携させて収益向上を図っており、プロジェクトベースの企業の91%が、AIを成功に不可欠な要
関連特集おすすめ
コメント (0)
0/500
大規模モデルが急速に進化し続ける中、計算コストと処理効率は依然として業界にとって重要な課題となっています。富士通は最近、複雑なシナリオにおける従来のトランスフォーマーモデルの性能上の限界を克服するために設計された、「PHOTON(Top-down Network Parallel Hierarchical Computing)」と呼ばれる新しいアーキテクチャを発表しました。
現在AI分野で主流となっているトランスフォーマーアーキテクチャは、長文や高並行性のマルチクエリタスクをうまく処理できますが、履歴情報を取得するための頻繁なメモリアクセスにより処理速度が低下し、GPUの負荷が増大することがよくあります。富士通の研究チームは、PHOTONアーキテクチャの設計を見直すことで、この課題に対処しました。

PHOTONの最大の強みは、その階層的な処理アプローチにある。 従来のトランスフォーマーが採用するトークンレベルのセグメンテーションの代わりに、PHOTONは意味論的な階層化を導入しており、これにより計算の複雑さを低減しつつ、並列計算を強化しています。さらに、マルチクエリタスクにおいて、このアーキテクチャは意思決定を効率化します。「多数決」または「ベストチョイス」戦略を用いることで、結論に達するために必要な推論は1回だけで済みます。
テスト結果によると、パラメータ数が 6 億、9 億、12 億の小規模モデルにおいて、PHOTON は非常に高いスループットと極めて低いメモリ使用量を実現しています。 12億パラメータのモデルでは、マルチクエリ性能が主流のTransformerアーキテクチャの475倍に達し、リソーススケジューリングの効率が大幅に向上しています。
このアーキテクチャは 1 回の反復あたりの KV キャッシュ要件が少ないため、システムはより多くの反復を処理できます。これは、多くの I/O プロセスを管理するインテリジェントエージェントシステムにとって、大幅なパフォーマンス向上となります。一部の品質指標ではわずかなトレードオフが見られますが、PHOTON の計算効率の飛躍的な向上により、AI の運用コストを削減するための有望な技術的ソリューションとなっています。
富士通は現在、このアーキテクチャの応用を積極的に推進しており、コアアルゴリズムの革新を通じて、将来のインテリジェントなシナリオに対して、より軽量かつ効率的な基盤サポートを提供することを目指しています。
評価額が400億ドルに急騰する中、資金調達交渉における認知AI
認知の創設者である Devin という名前の AI コーディングアシスタントの作成者は、投資家から大きな関心を集めています。業界筋によると、同社は現在、新たな資金調達ラウンドの交渉を行っており、その評価額は最低でも400億ドルに達すると予測されています。これは5月の10億ドルの資金調達ラウンドで約26億ドルの評価額だったCognitionの劇的な変化を示しています。この急激な評価額の上昇は、年間化された収益の実行速度が10億ドルであることに起因すると報告されています。ビジネス面では、Cogn
OpenAI、新しい事前学習プロジェクト「Doug」の下でベース大規模モデルを公開
人工知能技術が継続的に進化する中、業界の基盤となる大規模モデルのアーキテクチャへの関心はかつてないほど高まっています。最近、大規模モデルの動向を長年追跡しているXユーザーは、OpenAIが現在「Doug」というコード名を持つ新しい大規模モデルプロジェクトを推進していると明らかにしました。情報によると、Dougは同社迄今为止最大の事前トレーニングプロジェクトであり、遅くとも11月までに正式にリリースされる見込みです。過去2年の開発軌跡を振り返ると、2024年5月にGPT-4oがリリースされて以降
デルテックの調査:91%の企業がAIを成功に不可欠と回答
デルテックの調査によると、プロジェクト型企業は利益の増加を見込んでいるものの、現在、実行面でのギャップがAIによる測定可能な効果を制限していることが明らかになった。写真提供:Nitat Termmee/Getty Imagesデルテックのヘザー・ラーキン氏によると、業界をリードする企業はデータとAIを効果的に連携させて収益向上を図っており、プロジェクトベースの企業の91%が、AIを成功に不可欠な要





家






