Как гарантировать, что ваши данные заслуживают доверия для интеграции искусственного интеллекта

Доверие к искусственному интеллекту — это деликатный вопрос, полностью зависящий от качества данных, на которых он основан. Проблема целостности данных, давняя сложность даже для самых передовых организаций, вновь обострилась. Эксперты отрасли поднимают тревогу, предупреждая, что пользователи генеративного ИИ могут оказаться во власти неполных, повторяющихся или откровенно неверных данных из-за фрагментированных или слабых основ данных этих систем.

Согласно недавнему анализу Ашиша Вермы, главного директора по данным и аналитике в Deloitte US, и его соавторов, "ИИ и генеративный ИИ устанавливают новые стандарты качества данных." Они подчеркивают, что без надежной архитектуры данных, охватывающей различные типы и модальности, учитывающей разнообразие данных и предвзятость, стратегии генеративного ИИ обречены на провал. Они также подчеркивают необходимость трансформации данных, подходящей для вероятностных систем.

Уникальные требования архитектур данных, готовых к ИИ

Системы ИИ, основанные на вероятностных моделях, создают уникальные вызовы. Результаты могут варьироваться в зависимости от вероятностей и базовых данных на момент запроса, что усложняет проектирование систем данных. Верма и его команда подчеркивают, что традиционные системы данных могут быть не готовы к этой задаче, что потенциально увеличивает затраты на обучение и переобучение моделей ИИ. Они выступают за трансформацию данных, включающую онтологии, управление, инициативы по укреплению доверия и разработку запросов, отражающих реальные сценарии.

К этим сложностям добавляются такие проблемы, как галлюцинации ИИ и дрейф моделей, что подчеркивает необходимость человеческого контроля и усилий по согласованию и обеспечению согласованности данных.

Ключевая роль доверия в ИИ

Иэн Клейтон, главный директор по продуктам в Redpoint Global, рассказал ZDNET, что доверие, возможно, является самым ценным активом в ландшафте ИИ. Он подчеркнул важность среды данных, укрепленной строгим управлением данными, четкой родословной данных и прозрачной политикой конфиденциальности. Такая основа не только способствует этичному использованию ИИ, но и предотвращает отклонение ИИ от курса, что может привести к непоследовательному опыту клиентов.

Озабоченность отрасли по поводу готовности данных к ИИ

Гордон Робинсон, старший директор по управлению данными в SAS, подтвердил мнение, что качество данных остается постоянной проблемой для бизнеса. Перед началом пути в ИИ он советует компаниям задать два критических вопроса: "Понимаете ли вы, какие данные у вас есть, их качество и надежность?" и "Есть ли у вас необходимые навыки и инструменты для подготовки данных к ИИ?"

Клейтон также отметил настоятельную необходимость усиления консолидации данных и мер по обеспечению качества для решения проблем ИИ, выступая за интеграцию данных из изолированных источников и строгие проверки качества, такие как дедупликация и обеспечение согласованности.

Новые аспекты безопасности данных с ИИ

Внедрение ИИ также выводит на первый план новые соображения безопасности. Омар Хавайя, полевой директор по информационной безопасности в Databricks, предостерег от обхода мер безопасности в спешке по внедрению решений ИИ, так как это может привести к недостаточному надзору.

Основные элементы для надежных данных ИИ

• Гибкие конвейеры данных: Клейтон отметил, что быстрые темпы эволюции ИИ требуют гибких и масштабируемых конвейеров данных. Они критически важны для адаптации к новым приложениям ИИ, особенно на этапе обучения.
• Визуализация: Клейтон также указал, что если ученые по данным испытывают трудности с доступом и визуализацией своих данных, это значительно снижает их эффективность в разработке ИИ.
• Надежные программы управления: Робинсон подчеркнул важность строгого управления данными для предотвращения проблем с качеством данных, которые могут привести к ошибочным выводам и плохим решениям. Такое управление также помогает понять ландшафт данных организации и обеспечить соответствие регуляциям.
• Тщательные и постоянные измерения: Хавайя подчеркнул, что производительность моделей ИИ напрямую зависит от качества их обучающих данных. Он рекомендовал регулярные метрики, такие как ежемесячные показатели принятия, для мониторинга скорости внедрения возможностей ИИ, что указывает на соответствие этих инструментов и процессов потребностям пользователей.

Клейтон выступил за архитектуру данных, готовую к ИИ, которая позволяет ИТ и командам по данным измерять результаты, такие как качество данных, точность, полнота, согласованность и производительность моделей ИИ. Он призвал организации обеспечить, чтобы их инициативы в области ИИ приносили ощутимую пользу, а не внедрялись просто ради самого ИИ.

Интересуетесь другими историями об ИИ? Подпишитесь на нашу еженедельную рассылку Innovation.