AI統合のためにデータが信頼できることを確認する方法

人工知能への信頼は、データの品質に完全に依存する繊細な問題です。データの完全性という、長年最も洗練された組織にとっても課題であった問題が、猛烈に再浮上しています。業界の専門家は、生成AIのユーザーが、システムの断片化または脆弱なデータ基盤により、不完全、繰り返し、または完全に誤ったデータに翻弄される可能性があると警告しています。

デロイトUSの主任データおよび分析責任者であるアシシュ・ヴァーマとその共著者による最近の分析によると、「AIおよび生成AIはデータ品質の新たな基準を設定しています。」彼らは、多様な種類や形式を網羅し、データの多様性やバイアスを考慮した堅牢なデータアーキテクチャがなければ、生成AI戦略は失敗に終わる可能性があると強調しています。また、確率的システムに適したデータ変換の必要性も指摘しています。

AI対応データアーキテクチャの独自の要求

確率的モデルに依存するAIシステムは、独自の課題を提示します。出力は、クエリ時点での確率や基盤データに基づいて変化し、データシステムの設計を複雑にします。ヴァーマと彼のチームは、従来のデータシステムでは対応できない可能性があり、AIモデルのトレーニングや再トレーニングのコストを増大させる可能性があると強調しています。彼らは、オントロジー、ガバナンス、信頼構築の取り組み、実際のシナリオを反映したクエリの開発を含むデータ変換を推奨しています。

これらの複雑さに加えて、AIの幻覚やモデルドリフトなどの問題があり、人的監視とデータの一貫性を確保するための取り組みの必要性が強調されています。

AIにおける信頼の決定的な役割

レッドポイント・グローバルの主任製品責任者であるイアン・クレイトンは、ZDNETに対し、信頼がAIの分野で最も価値のある資産かもしれないと語りました。彼は、強力なデータガバナンス、明確なデータリネージ、透明なプライバシーポリシーで強化されたデータ環境の重要性を強調しました。このような基盤は、倫理的なAIの使用を促進するだけでなく、AIが軌道を外れることを防ぎ、顧客体験の不整合を防ぎます。

AIのためのデータ準備に関する業界の懸念

SASのデータ管理シニアディレクターであるゴードン・ロビンソンは、データ品質が企業にとって持続的な課題であるという意見を繰り返しました。AIの旅に乗り出す前に、彼は企業に対し2つの重要な質問を投げかけます：「あなたは持っているデータの種類、品質、信頼性を理解していますか？」「AIのためにデータを準備するための必要なスキルやツールを持っていますか？」

クレイトンは、AIの課題に対処するために、データ統合と品質対策の強化が急務であると強調し、サイロ化されたデータの統合と、重複排除や一貫性保証などの厳格な品質チェックを推奨しています。

AIによるデータセキュリティの新たな側面

AIの導入は、セキュリティの新たな考慮事項を最前線にもたらします。データブリックスのフィールド主任情報セキュリティ責任者であるオマール・カワジャは、AIソリューションの急いで展開することでセキュリティ対策を回避すると、不十分な監視につながる可能性があると警告しました。

信頼できるAIデータの必須要素

• アジャイルデータパイプライン： クレイトンは、AIの急速な進化にはアジャイルでスケーラブルなデータパイプラインが必要だと指摘しました。これらは、トレーニングフェーズを中心に、新しいAIアプリケーションへの適応に不可欠です。
• 可視化： クレイトンは、データサイエンティストがデータにアクセスして可視化するのに苦労すると、AI開発の効率が大幅に低下すると指摘しました。
• 堅牢なガバナンスプログラム： ロビンソンは、データ品質の問題を防ぐための強力なデータガバナンスの重要性を強調しました。これは、誤った洞察や貧弱な意思決定を防ぎ、組織のデータランドスケープを理解し、規制への準拠を確保するのに役立ちます。
• 徹底的かつ継続的な測定： カワジャは、AIモデルのパフォーマンスがトレーニングデータの品質に直接依存すると強調しました。彼は、AI機能の採用速度を監視するための毎月の採用率などの定期的なメトリクスを推奨し、これらのツールやプロセスがユーザーのニーズを満たしているかどうかを示します。

クレイトンは、データ品質、正確性、完全性、一貫性、AIモデルのパフォーマンスなどの成果を測定できるAI対応データアーキテクチャを推奨しました。彼は、組織がAIイニシアチブが具体的な利益をもたらすことを確保し、単にAIを導入するだけではないことを促しました。

AIに関するさらに多くのストーリーに興味がありますか？ 私たちの毎週のニュースレター、Innovationに登録してください。