Sakana AIのAIプラグインが、大規模モデル向けの文書処理を簡素化
「メモリ不安」とも呼ばれる、大規模言語モデルが長文の処理に苦戦する問題は、まもなく過去のものとなるかもしれない。 最近、東京を拠点とするAIスタートアップのSakana AIは、Text-to-LoRA(T2L) とDoc-to-LoRA(D2L)という2つの画期的な技術を発表した。革新的な「スーパーネットワーク」アーキテクチャを活用することで、これらの技術は、大規模モデルが再学習を行うことなく、1秒未満で膨大な文書を「吸収」したり、新しいタスクを学習したりすることを可能にする。

AI開発者は長らく、長い文書をチャットウィンドウに詰め込む(これにより応答が遅くなり、メモリを大量に消費する)か、モデルの微調整に多額のコストを支払うかという難しいトレードオフに直面してきた。Sakana AIは、その第三の選択肢を提示する。事前学習への1回限りの支払いを経て、ごくわずかな重みを持つプラグイン(LoRA)を生成し、低コストかつ効率的なモデルの適応を実現する。
Doc-to-LoRA:メモリ要件が12GBからわずか50MBに削減
これは最新リリースにおける最も印象的な技術です。従来の方法では、128,000トークン(約10万語)の文書を処理するために、情報を保存するVRAMとして12GB以上が必要でした。D2Lを使用すれば、モデルはこの情報を直接「消化」し、50MB未満のプラグインに変換できます。
驚異的な速度:従来の技術では文書の処理に40~100秒を要しますが、D2Lなら1秒未満で完了します。
限界の突破:モデルは元のコンテキストウィンドウの最大4倍の長さのテキストを処理可能となり、「干し草の山から針を探す」ような検索テストにおいて、ほぼ完璧な精度を達成します。
Text-to-LoRA:日常言語でAIをカスタマイズ
Text-to-LoRAはモデルの応答性を向上させます。ユーザーは「複雑な数学コンテストの問題を解くのを手伝って」といったように、自然言語でタスクを説明するだけで、システムが自動的に専用のプラグインを生成し、パフォーマンスを向上させます。実験によると、この方法で作成されたアダプターは、数学や論理的推論のタスクにおいて、ゼロから学習させた専用モデルを上回る性能を発揮することが明らかになっています。
強力なクロスモーダル技術:テキストモデルに画像を「見せる」
研究者たちは予期せぬ副次的な成果を発見しました。D2Lは強力なクロスモーダル能力を発揮するのです。視覚情報を純粋なテキストモデルのパラメータにマッピングすることで、これまで画像を処理したことがないモデルでも、**75.03%**の精度で画像を分類できるようになります。
Sakana AIの成果は、個人や企業が独自のAIモデルをカスタマイズするための障壁を大幅に低減します。また、より軽量で知的な汎用人工知能(AGI)の開発に向けた新たな道筋を切り開くものです。
論文:https://arxiv.org/pdf/2602.15902
関連記事
Ant Lingguang、Meta Museと対抗する個人用AIエージェント競争において新バージョンベータ版を公開
アリババグループのAI製品「Lingguang」は、9月にデビューしたMetaのパーソナルインテリジェントエージェント「Muse」と密接に類似する、最新バージョンの限定内部ベータ版を最近リリースした。プロジェクトに精通する関係者によると、Lingguangの開発は6ヶ月前から進められており、複数の反復を経て、今月中に完全な一般公開が予定されている。この大規模なアップグレードにより、Lingguangは基本的なチャットおよびアプリ生成アシスタントから、長期記憶を備え、複雑なタスクを能動的に管理で
Siri AIの和解により、米国のiPhoneユーザーはサードパーティ製アプリをインストールでき、端末ごとに25ドルの補償を受け取れる。
米国のSiri AI統合の遅延を巡る集団訴訟を受け、Appleは対象となるiPhone所有者が補償請求を行うための公式解決ポータルを開設した。2024年5月、Appleはこの事件を解決するために2億5000万ドル(約16億人民元)の和解金を支払うことに合意したが、不法行為を認めるものではないとし、主に長引く法的費用を回避するために和解したと主張している。7つのモデルに対して端末あたり25ドルから95ドルの補償対象となるユーザーには、条件を満たすiPhone每台あたり25ドルが支払われ、提出
AnthropicがOpus 5を発売
Anthropicは金曜日、Flagshipモデルの最新バージョンであるOpus 5を発表しました。Fable 5よりも小型ですが、このバージョンはコストが低く、制限が少ないため、ほとんどのアプリケーションの優先選択肢となっています。注目すべきは、Opus 5が発表で強調された複数のベンチマークにおいてFable 5を上回っていることです。Opus 4.8(5月28日に利用可能)からわずか2ヶ月後にリリースされたOpus 5は、Mythos 5、Fable 5、Sonnet 5の6月リリース
関連特集おすすめ
コメント (0)
0/500
「メモリ不安」とも呼ばれる、大規模言語モデルが長文の処理に苦戦する問題は、まもなく過去のものとなるかもしれない。 最近、東京を拠点とするAIスタートアップのSakana AIは、Text-to-LoRA(T2L) とDoc-to-LoRA(D2L)という2つの画期的な技術を発表した。革新的な「スーパーネットワーク」アーキテクチャを活用することで、これらの技術は、大規模モデルが再学習を行うことなく、1秒未満で膨大な文書を「吸収」したり、新しいタスクを学習したりすることを可能にする。

AI開発者は長らく、長い文書をチャットウィンドウに詰め込む(これにより応答が遅くなり、メモリを大量に消費する)か、モデルの微調整に多額のコストを支払うかという難しいトレードオフに直面してきた。Sakana AIは、その第三の選択肢を提示する。事前学習への1回限りの支払いを経て、ごくわずかな重みを持つプラグイン(LoRA)を生成し、低コストかつ効率的なモデルの適応を実現する。
Doc-to-LoRA:メモリ要件が12GBからわずか50MBに削減
これは最新リリースにおける最も印象的な技術です。従来の方法では、128,000トークン(約10万語)の文書を処理するために、情報を保存するVRAMとして12GB以上が必要でした。D2Lを使用すれば、モデルはこの情報を直接「消化」し、50MB未満のプラグインに変換できます。
驚異的な速度:従来の技術では文書の処理に40~100秒を要しますが、D2Lなら1秒未満で完了します。
限界の突破:モデルは元のコンテキストウィンドウの最大4倍の長さのテキストを処理可能となり、「干し草の山から針を探す」ような検索テストにおいて、ほぼ完璧な精度を達成します。
Text-to-LoRA:日常言語でAIをカスタマイズ
Text-to-LoRAはモデルの応答性を向上させます。ユーザーは「複雑な数学コンテストの問題を解くのを手伝って」といったように、自然言語でタスクを説明するだけで、システムが自動的に専用のプラグインを生成し、パフォーマンスを向上させます。実験によると、この方法で作成されたアダプターは、数学や論理的推論のタスクにおいて、ゼロから学習させた専用モデルを上回る性能を発揮することが明らかになっています。
強力なクロスモーダル技術:テキストモデルに画像を「見せる」
研究者たちは予期せぬ副次的な成果を発見しました。D2Lは強力なクロスモーダル能力を発揮するのです。視覚情報を純粋なテキストモデルのパラメータにマッピングすることで、これまで画像を処理したことがないモデルでも、**75.03%**の精度で画像を分類できるようになります。
Sakana AIの成果は、個人や企業が独自のAIモデルをカスタマイズするための障壁を大幅に低減します。また、より軽量で知的な汎用人工知能(AGI)の開発に向けた新たな道筋を切り開くものです。
論文:https://arxiv.org/pdf/2602.15902
Ant Lingguang、Meta Museと対抗する個人用AIエージェント競争において新バージョンベータ版を公開
アリババグループのAI製品「Lingguang」は、9月にデビューしたMetaのパーソナルインテリジェントエージェント「Muse」と密接に類似する、最新バージョンの限定内部ベータ版を最近リリースした。プロジェクトに精通する関係者によると、Lingguangの開発は6ヶ月前から進められており、複数の反復を経て、今月中に完全な一般公開が予定されている。この大規模なアップグレードにより、Lingguangは基本的なチャットおよびアプリ生成アシスタントから、長期記憶を備え、複雑なタスクを能動的に管理で
Siri AIの和解により、米国のiPhoneユーザーはサードパーティ製アプリをインストールでき、端末ごとに25ドルの補償を受け取れる。
米国のSiri AI統合の遅延を巡る集団訴訟を受け、Appleは対象となるiPhone所有者が補償請求を行うための公式解決ポータルを開設した。2024年5月、Appleはこの事件を解決するために2億5000万ドル(約16億人民元)の和解金を支払うことに合意したが、不法行為を認めるものではないとし、主に長引く法的費用を回避するために和解したと主張している。7つのモデルに対して端末あたり25ドルから95ドルの補償対象となるユーザーには、条件を満たすiPhone每台あたり25ドルが支払われ、提出
AnthropicがOpus 5を発売
Anthropicは金曜日、Flagshipモデルの最新バージョンであるOpus 5を発表しました。Fable 5よりも小型ですが、このバージョンはコストが低く、制限が少ないため、ほとんどのアプリケーションの優先選択肢となっています。注目すべきは、Opus 5が発表で強調された複数のベンチマークにおいてFable 5を上回っていることです。Opus 4.8(5月28日に利用可能)からわずか2ヶ月後にリリースされたOpus 5は、Mythos 5、Fable 5、Sonnet 5の6月リリース





家






