Databricks、基礎モデルでAI SQL機能をリリース

Databricksは、ファウンデーションモデルによって動く革新的なAI SQL関数でデータ分析の世界を揺さぶっています。これらのツールは既存のデータワークフローにシームレスに統合され、SQLクエリ内で直接AI駆動の分析を行うことを容易にします。これは、複雑なAPI統合の面倒から解放され、データ分析へのより効率的なアプローチを実現することを意味します。この記事では、これらの新機能がデータの取り扱い方をどのように変えるかを探ります。

主要ポイント

• Databricksは、ファウンデーションモデルによって動くAI SQL関数を導入。
• これらの関数は、感情分析、分類、テキスト抽出、文法修正などの機能を提供。
• AIモデルはDatabricksに統合されており、外部のAPI呼び出しの必要性を排除。
• 関数はトークンごとの支払いで利用可能で、コスト効率の良いAIソリューションを提供。
• 利用可能な地域は特定のDatabricks地域に限定。
• AI抽出関数は多用途な情報抽出を可能にする。
• AI文法修正関数はテキストの文法品質を向上させる。

Databricks AI SQL関数：ファウンデーションモデルの実践

新しいDatabricks AI SQL関数の理解

Databricksは、データアナリストやエンジニアにとってプロセスを簡素化するAI SQL関数のスイートを発表しました。これらの関数は、広大なデータセットで訓練された大規模言語モデルであるファウンデーションモデルの力を活用します。通常、このようなモデル（例：ChatGPT）は外部でホストされ、複雑なAPI統合が必要です。Databricksはこれを変え、プラットフォームに直接これらのモデルを組み込むことで、AIをよりアクセスしやすく効率的にします。各企業が独自のウェブサービス呼び出しを構築する代わりに、Databricksは既製のモデルを提供し、時間とリソースを節約します。

これらの関数はAIの統合を容易にしますが、コストについても考慮する必要があります。それらはトークンごとの支払いで運用されるため、費用を効果的に管理するための戦略的な実装が重要です。また、これらの関数はまだすべてのDatabricks地域で利用可能ではなく、現在はCentral US、East US、East US 2、North Central USなどの地域に限定されています。これはあなたのワークスペースとプロジェクトの計画に影響を与えるかもしれません。

主要なAI SQL関数：感情分析、分類、その他

Databricksはデータ分析を豊かにするいくつかの主要なAI SQL関数を提供します：

• AI感情分析： テキスト内の感情（ポジティブ、ネガティブ、ニュートラル）を決定し、顧客フィードバックやソーシャルメディアのトレンドを理解するのに役立ちます。

• AI分類： テキストを事前に定義されたクラスに分類し、顧客の問い合わせをトピックや製品ごとにソートします。

• AI抽出： 名前やメールアドレスなどの特定の情報を非構造化テキストから抽出します。これにより、生のテキストを構造化データに変換し、詳細なモデルの作成に最適です。

• AI文法修正： テキストの文法を修正し、ユーザー生成コンテンツのクリーンアップやプロフェッショナルなコミュニケーションを確保するのに役立ちます。

• AIマスク： テキスト内の機密情報をマスクし、データセキュリティ規制へのコンプライアンスを支援します。

• AI要約： 長いドキュメントや記事の要約を作成し、重要な情報を素早く抽出するのに最適です。

• AI翻訳： テキストを異なる言語間で翻訳し、異なるソースからのデータ分析能力を拡張します。

• AI類似度： レコード間の類似度スコアを計算し、より精緻なデータ分析を可能にします。

DatabricksファウンデーションモデルAPIを使用したDatabricks AI SQL関数のナビゲーション

以下の表は、DatabricksファウンデーションモデルAPIによって動くDatabricks AI SQL関数をリストアップしています：

実際の応用：現実世界のユースケース

これらのAI SQL関数は、さまざまな実用的応用を開きます：

• 顧客レビューの分析： 自動的に顧客レビューの感情を評価し、改善すべきポイントを特定し、顧客満足度を測定します。

• データ品質チェックの自動化： AI文法修正を使用して分析前のデータをクリーンアップし、効率のためのAI要約を使用します。

• ドキュメント処理の効率化： 法律文書、契約書、研究論文から重要な情報を抽出し、抽出したデータ（名前や住所など）で他のデータセットを充填します。

AI関数をSQL内で直接実行できることで、データワークフローが大幅に効率化されます。

AI SQL関数のテスト：Databricksでのデモ

Databricksはこれらの関数の実演を提供しています：

• 感情分析： 簡単なSQLクエリでテキストの感情を分析できます： SELECT ai_analyze_sentiment('I am a happy sparky boi');- データクリーニング： 異なるデータポイントをクエリして顧客レビューを分析し、さまざまなチェックを行い、データクリーニングをより効果的にします。
• 共通テーブル式（CTE）を使用してデータを保存し、異なるユーザーの感情を分析し、さまざまな分析を行えます。
• AI文法修正に切り替えることで、一般的な文法の問題を修正できます。

ファウンデーションモデルの利用のための可用性と前提条件

ファウンデーションモデルを効果的に利用するには、特定の要件を満たす必要があります：

• AI関数はファウンデーションモデルAPIのトークンごとの支払いサポート地域のワークスペースでのみ利用可能です。
• この機能はAzure Databricks SQL Classicでは利用できません。

Databricks AI SQL関数の可能性を最大化するためのヒント

戦略的な統合

これらのAI関数をデータパイプラインにどのように統合するかを慎重に計画します。AIインサイトが最も価値を追加できる場所と、反復的なタスクを自動化する場所を特定します。これらの関数を最も利益をもたらす場所で使用します。

コスト最適化

トークン消費を監視してコストを最適化します。現在の支出を評価し、機能性を強化するための他のAIオプションを探り、AI駆動のインサイトとコストのトレードオフを評価します。

最新情報を入手

Databricksは継続的にAI機能を改善しています。新しい機能、地域の可用性、価格変更について最新情報を入手し、この変革的な技術を最大限に活用しましょう。学び続け、試行錯誤してワークフローを向上させましょう。

Databricks AI SQL関数の利点と欠点

利点

• SQLワークフロー内でのAI統合の簡素化
• 強力なファウンデーションモデルへのアクセス
• 外部API統合と比較しての複雑さの低減
• コスト効率の良いAIソリューションの可能性（トークンごとの支払い）
• データ品質チェックの自動化

欠点

• コスト管理（トークンごとの使用）
• 地域の可用性の制限
• Databricksのプラットフォームへの依存
• 潜在的なベンダーロックイン
• 特定のワークスペースと設定の要件

よくある質問

Databricks AI SQL関数とは何ですか？

Databricks AI SQL関数は、SQLクエリ内で直接AIモデルを活用できるツールのスイートです。これらの関数はファウンデーションモデルによって動き、感情分析、テキスト分類などの機能を提供します。

AI抽出とAI文法修正はどのようなタイプの関数ですか？

AI抽出関数は、メールや名前などの特定の情報を抽出するための用語抽出とドキュメント解析を可能にします。AI文法修正関数はテキスト内の文法エラーを修正します。

これらのAI関数の価格設定はどのように機能しますか？

価格設定はトークンごとのモデルに基づいています。トークンの使用量はクエリの複雑さと入力テキストのサイズに依存します。詳細な価格情報については、Databricksのドキュメントを参照してください。

Databricks AI SQL関数はどの地域で利用可能ですか？

現在、これらの関数はCentral US、East US、East US 2、North Central USなどの特定の地域で利用可能です。最新の地域サポートについては、常に最新のDatabricksドキュメントを確認してください。

関連質問

Databricksでの感情分析を行うための代替手段は何ですか？

Databricks SQL関数が登場する前、企業にはいくつかの選択肢がありました。一つは、独自のデータを使用してカスタム分類エンジンを作成するためのモデルを一から構築することでした。もう一つは、別のサブスクリプションを設定する必要があるウェブサービス呼び出しを使用することで、組織をデータ漏洩やその他の懸念にさらす可能性がありました。