如何确保您的数据值得信赖AI集成

对人工智能的信任是一个微妙的问题，完全取决于其构建所依赖的数据质量。数据完整性问题，即使对最复杂的组织来说也是一个长期的挑战，现在又以强烈的态势重新浮现。行业专家们正在发出警告，指出生成式人工智能的用户可能会因为这些系统的数据基础分散或薄弱而受到不完整、重复或完全错误的数据的影响。

根据德勤美国首席数据与分析官阿什什·维尔马及其合著者的最新分析，“AI和生成式AI正在为数据质量设定新标准。”他们强调，如果没有一个跨越各种类型和模式的稳健数据架构，并考虑数据多样性和偏见，生成式AI战略注定会失败。他们还强调需要适合概率系统的数据转换。

AI就绪数据架构的独特需求

依赖概率模型的AI系统带来了独特的挑战。输出结果可能因概率和查询时刻的底层数据而变化，这使得数据系统设计变得复杂。维尔马及其团队指出，传统数据系统可能无法胜任这项任务，可能会增加训练和重新训练AI模型的成本。他们主张进行包括本体论、治理、信任建设举措以及反映现实世界场景的查询开发等数据转换。

这些复杂性还包括AI幻觉和模型漂移等问题，凸显了人工监督和确保数据一致性的努力的必要性。

信任在AI中的关键作用

Redpoint Global的首席产品官伊恩·克莱顿对ZDNET表示，信任可能是AI领域中最宝贵的资产。他强调了加强数据治理、清晰数据溯源和透明隐私政策的数据环境的重要性。这样的基础不仅促进了AI的伦理使用，还能防止AI偏离轨道，这可能导致不一致的客户体验。

行业对AI数据准备的担忧

SAS的数据管理高级总监戈登·罗宾逊表达了同样的观点，即数据质量一直是企业的持久挑战。在踏上AI之旅之前，他建议公司提出两个关键问题：“你了解你的数据、其质量和可信度吗？”以及“你有必要的技能和工具来为AI准备数据吗？”

克莱顿还强调了加强数据整合和质量措施的迫切需要，以应对AI挑战，主张从孤岛中整合数据，并进行严格的质量检查，如去重和一致性保证。

AI带来的数据安全新维度

AI的引入也将新的安全考虑推向前台。Databricks的现场首席信息安全官奥马尔·哈瓦贾警告说，在急于部署AI解决方案时绕过安全措施，可能会导致监管不足。

可信AI数据的基本要素

• 敏捷数据管道：克莱顿指出，AI的快速发展需要敏捷且可扩展的数据管道。这些对于适应新的AI应用，特别是在训练阶段，至关重要。
• 可视化：克莱顿还指出，如果数据科学家难以访问和可视化他们的数据，将显著阻碍他们在开发AI方面的效率。
• 强大的治理计划：罗宾逊强调了强大数据治理的重要性，以防止数据质量问题导致错误洞察和糟糕的决策。这样的治理还有助于了解组织的数据景观并确保符合法规。
• 彻底且持续的测量：哈瓦贾强调，AI模型的性能直接取决于其训练数据的质量。他建议定期使用指标，如月度采用率，以监控AI能力的采用速度，表明这些工具和流程是否满足用户需求。

克莱顿主张建立一个AI就绪的数据架构，使IT和数据团队能够测量数据质量、准确性、完整性、一致性和AI模型性能等结果。他敦促组织确保其AI举措带来实际利益，而不是仅仅为了部署AI而部署AI。

对更多AI故事感兴趣？订阅我们的每周通讯，Innovation。