JD.com、AIの進展を推進する「JoyAI-LLM-Flash」モデルを発表

JD.comは2月14日、最新の大型言語モデル「JoyAI-LLM-Flash」をHugging Faceプラットフォーム上で公開した。このモデルは合計48億のパラメータを有し、推論時にはそのうち30億が活性化される。20兆のテキストトークンで事前学習されており、現代の知識の理解、論理的推論、プログラミングタスクにおいて高い能力を発揮する。
JoyAI-LLM-Flashは、ファイバーバンドル理論を強化学習に取り入れた革新的な最適化フレームワーク「FiberPO」を採用している。Muonオプティマイザーおよび高密度マルチトークン予測(MTP)技術と組み合わせることで、従来のモデルをスケールアップする際に生じがちな不安定性の課題を効果的に解決している。MTP非搭載版と比較してスループットが1.3倍から1.7倍に向上し、トレーニング効率と実用的な応用可能性の両方を大幅に向上させている。
このモデルは、40層からなるミクスチャー・オブ・エキスパート(MoE)アーキテクチャに基づいて構築されています。128Kトークンのコンテキスト長と129Kの語彙をサポートしており、JD.comにとって人工知能分野における大きな前進となります。
関連記事
DeepMindのCEOハサビス氏:1日6時間睡眠し、通常午前1時頃に活力を感じます。
フォーチュンは最近、Google DeepMindのCEOであるデミス・ハサビスへのインタビューを掲載し、彼の休息と生産性に対する非伝統的なアプローチを明らかにした。ハサビスは、睡眠時間が非常に短いことを明かし、覚醒時間を2つの明確な作業ブロックに構造化していると語った。彼の睡眠習慣について、ハサビスは「6時間の睡眠を目標としているが、私の習慣は典型的ではない。一日中効果的に機能できる」と述べた。彼は、6時間未満の睡眠は脳の健康に悪影響を及ぼすことを強調した。2010年にDeepMindを共
OpenAIとAnthropic、収益の伸び悩みにもかかわらず市場シェア争いを繰り広げる
OpenAIが収益目標を達成できなかったとする最近の報道を受け、今週火曜日にハイテク株に売り圧力が生じたにもかかわらず、AI研究機関への民間投資家は依然として堅調だ。経験豊富な出資者たちは、メディアによる否定的な報道にもかかわらず、投資額を減らすつもりはないことを明らかにしている。アナリストらは、現在のAI競争はまだ初期段階にあると見ており、「勝者総取り」という結末はあり得ないと見ている。高いコン
カリフォルニア州の自動運転車規制:違反切符、ジオフェンス、そして100万マイルという新たな時代
Guident社は南フロリダでAuveTechのシャトルを運行しており、同社の遠隔監視技術を活用して、ウェストパームビーチでの4マイルのルートとボカラトンでの1マイルのルートを管理している。 | 提供:Guidentカリフォルニア州は、自動運転車の規制環境を再定義しつつあり、テクノロジー業界の「迅速に動き、失敗を恐れない」という考え方から、厳格な説明責任と厳しい走行距離要件へと移行している。Gui
関連特集おすすめ
コメント (1)
0/500

JD.comは2月14日、最新の大型言語モデル「JoyAI-LLM-Flash」をHugging Faceプラットフォーム上で公開した。このモデルは合計48億のパラメータを有し、推論時にはそのうち30億が活性化される。20兆のテキストトークンで事前学習されており、現代の知識の理解、論理的推論、プログラミングタスクにおいて高い能力を発揮する。
JoyAI-LLM-Flashは、ファイバーバンドル理論を強化学習に取り入れた革新的な最適化フレームワーク「FiberPO」を採用している。Muonオプティマイザーおよび高密度マルチトークン予測(MTP)技術と組み合わせることで、従来のモデルをスケールアップする際に生じがちな不安定性の課題を効果的に解決している。MTP非搭載版と比較してスループットが1.3倍から1.7倍に向上し、トレーニング効率と実用的な応用可能性の両方を大幅に向上させている。
このモデルは、40層からなるミクスチャー・オブ・エキスパート(MoE)アーキテクチャに基づいて構築されています。128Kトークンのコンテキスト長と129Kの語彙をサポートしており、JD.comにとって人工知能分野における大きな前進となります。
DeepMindのCEOハサビス氏:1日6時間睡眠し、通常午前1時頃に活力を感じます。
フォーチュンは最近、Google DeepMindのCEOであるデミス・ハサビスへのインタビューを掲載し、彼の休息と生産性に対する非伝統的なアプローチを明らかにした。ハサビスは、睡眠時間が非常に短いことを明かし、覚醒時間を2つの明確な作業ブロックに構造化していると語った。彼の睡眠習慣について、ハサビスは「6時間の睡眠を目標としているが、私の習慣は典型的ではない。一日中効果的に機能できる」と述べた。彼は、6時間未満の睡眠は脳の健康に悪影響を及ぼすことを強調した。2010年にDeepMindを共
OpenAIとAnthropic、収益の伸び悩みにもかかわらず市場シェア争いを繰り広げる
OpenAIが収益目標を達成できなかったとする最近の報道を受け、今週火曜日にハイテク株に売り圧力が生じたにもかかわらず、AI研究機関への民間投資家は依然として堅調だ。経験豊富な出資者たちは、メディアによる否定的な報道にもかかわらず、投資額を減らすつもりはないことを明らかにしている。アナリストらは、現在のAI競争はまだ初期段階にあると見ており、「勝者総取り」という結末はあり得ないと見ている。高いコン





家






