AIベンチマーク：今のところそれらを無視する必要がありますか？

TechCrunchの通常のAIニュースレターへようこそ！私たちは少し休憩していますが、心配する必要はありません。私のコラム、毎日の分析、ニュース速報を含むすべてのAIカバレッジをここTechCrunchで取得することができます。これらのストーリーを毎日あなたの受信トレイにまっすぐにしたいですか？ここで毎日のニュースレターにサインアップしてください。

今週、Elon MuskのAIスタートアップであるXaiは、最新のフラッグシップAIモデルであるGrok 3を削除しました。彼らはそれをなんと200,000 GPUで訓練しました、そして、それは、Openaiの一部を含む、数学、コーディングなどのベンチマークを含む他の多くのトップモデルを上回っています。

しかし、これらのベンチマークが実際に何を意味するかについて話しましょう。

ここTCでは、AI業界がモデルの改善を披露しようとする数少ない方法の1つであるため、これらのベンチマーク数については、これらのベンチマーク数について報告しています。問題は、これらの人気のあるAIベンチマークがあいまいなものに焦点を当て、AIが人々が実際に気にかけていることを実際に反映していないスコアを与えることが多いことです。

ウォートンの教授であるイーサン・モリックは、より良いテストと独立したグループを実行するための本当の必要性があると言ってXに連れて行きました。彼は、AI企業がしばしば独自のベンチマーク結果を報告しているため、完全に信頼することが難しくなっていると指摘しました。

「パブリックベンチマークは「Meh」と飽和状態の両方であり、味に基づいて、多くのAIテストをフードレビューのようにするために残ります」とMollickは書いています。 「AIが機能するために重要な場合、もっと必要です。」

AIの新しいベンチマークを考え出そうとしている人はたくさんいますが、何が最善かについて同意することはできません。ベンチマークは経済的影響に焦点を当てるべきであると考える人もいれば、現実世界の採用と有用性が成功の真の尺度であると考えている人もいます。

この議論は永遠に続く可能性があります。たぶん、Xユーザールーンが示唆するように、主要なAIのブレークスルーがない限り、新しいモデルとベンチマークにあまり注意を払う必要があります。たとえAIの誇大広告を逃すことを意味する場合でも、それは私たちの正気の方が良いかもしれません。

前述のように、今週はAIの休憩を取っています。すべての浮き沈みを通して、私たち、読者、読者に固執してくれてありがとう。次回まで。

ニュース

Openaiの元CTOであるMira Muratiには、Thinking Machines Labと呼ばれる新しいスタートアップがあります。彼らは、「[人々の]ユニークなニーズと目標のためにAIを機能させる」ためのツールに取り組んでいます。

XaiはGrok 3をリリースし、iOSとWeb用のGrokアプリに新機能を追加しました。

メタは、この春に生成AIに焦点を当てた最初の開発者会議を開催しています。それは彼らのラマモデルにちなんでラマコンと呼ばれ、4月29日に起こっています。

ポールは、すべてのEU言語の「言語的および文化的多様性」を尊重する「ヨーロッパの透明なAI」の基礎モデルを構築するために、約20の組織によるプロジェクトであるOpeneurollmについて書きました。

今週の研究論文

Openaiによると、人類のトップパフォーマンスモデルであるClaude 3.5 Sonnetは、AIがまだ長い道のりがあることを示している完全なSWEランサーベンチマークで40.3％しか獲得していません。彼らは、中国からのOpenaiのO3-MiniやDeepseekのR1などの新しいモデルをテストしませんでした。

今週のモデル

Stepfunと呼ばれる中国のAI会社は、Step-Audioという名前の「オープン」AIモデルをリリースしました。ユーザーは、歌など、合成オーディオの感情や方言を調整することもできます。

Stepfunは、許可されたライセンスを使用してモデルをリリースしているいくつかの資金提供された中国のAIスタートアップの1つです。 2023年に設立された彼らは最近、中国の国営のプライベートエクイティ会社を含む投資家から数億相当の資金調達ラウンドを閉鎖しました。

グラブバッグ

彼らのモデルであるDeephermes-3プレビューは、短い「思考の鎖」を短縮して、精度と計算能力のバランスをとることができます。 「推論」モードでは、より困難な問題を解決するのに時間がかかり、その途中でその思考プロセスを示しています。

人類はすぐに同様のモデルをリリースすることを計画していると伝えられており、Openaiはそれが彼らの短期的なロードマップにあると言います。