AI 통합에 데이터가 신뢰할 수 있는지 확인하는 방법

인공지능에 대한 신뢰는 데이터의 품질에 전적으로 의존하는 민감한 문제입니다. 데이터 무결성 문제는 가장 정교한 조직에서도 오랜 도전 과제였으며, 최근 다시 강하게 부각되고 있습니다. 업계 전문가들은 생성 AI 사용자들이 시스템의 단편적이거나 약한 데이터 기반 때문에 불완전하거나 반복적이며 심지어 잘못된 데이터에 좌우될 수 있다고 경고하고 있습니다.

델로이트 US의 최고 데이터 및 분석 책임자인 Ashish Verma와 그의 공저자들의 최근 분석에 따르면, "AI와 생성 AI는 데이터 품질에 대한 새로운 표준을 설정하고 있다"고 합니다. 그들은 다양한 유형과 방식에 걸친 견고한 데이터 아키텍처가 없으면 데이터 다양성과 편향을 고려하지 못해 생성 AI 전략이 실패할 가능성이 있다고 강조합니다. 또한 확률적 시스템에 적합한 데이터 변환의 필요성을 강조했습니다.

AI 준비 데이터 아키텍처의 독특한 요구사항

확률 모델에 의존하는 AI 시스템은 독특한 도전 과제를 제시합니다. 출력은 질의 순간의 확률과 기반 데이터에 따라 달라질 수 있어 데이터 시스템 설계를 복잡하게 만듭니다. Verma와 그의 팀은 전통적인 데이터 시스템이 이 작업에 적합하지 않을 수 있으며, AI 모델의 훈련 및 재훈련 비용을 증가시킬 수 있다고 지적합니다. 그들은 온톨로지, 거버넌스, 신뢰 구축 이니셔티브, 그리고 실제 시나리오를 반영한 질의 개발을 포함한 데이터 변환을 옹호합니다.

이러한 복잡성에는 AI 환각과 모델 드리프트와 같은 문제도 추가되며, 이는 인간의 감독과 데이터 일관성을 보장하고 정렬하기 위한 노력이 필요함을 강조합니다.

AI에서 신뢰의 결정적 역할

Redpoint Global의 최고 제품 책임자인 Ian Clayton은 ZDNET에 신뢰가 AI 환경에서 가장 가치 있는 자산일 수 있다고 말했습니다. 그는 강력한 데이터 거버넌스, 명확한 데이터 계보, 투명한 개인정보 보호 정책으로 강화된 데이터 환경의 중요성을 강조했습니다. 이러한 기반은 윤리적인 AI 사용을 촉진할 뿐만 아니라 AI가 잘못된 방향으로 나아가는 것을 방지하여 일관되지 않은 고객 경험을 초래할 수 있습니다.

AI를 위한 데이터 준비 상태에 대한 산업의 우려

SAS의 데이터 관리 수석 디렉터인 Gordon Robinson은 데이터 품질이 기업들에게 지속적인 도전 과제였다고 동감했습니다. 그는 AI 여정을 시작하기 전에 기업들이 두 가지 중요한 질문을 해야 한다고 조언합니다: "당신은 보유한 데이터, 그 품질, 신뢰성을 이해하고 있습니까?" 그리고 "AI를 위해 데이터를 준비할 수 있는 필요한 기술과 도구를 갖추고 있습니까?"

Clayton은 또한 AI 과제를 해결하기 위해 데이터 통합과 품질 조치를 강화할 필요성을 강조하며, 데이터 사일로에서 데이터를 통합하고 중복 제거 및 일관성 보장과 같은 엄격한 품질 검사를 옹호했습니다.

AI와 함께하는 데이터 보안의 새로운 차원

AI의 도입은 새로운 보안 고려 사항을 전면에 내세웁니다. Databricks의 현장 최고 정보 보안 책임자인 Omar Khawaja는 AI 솔루션 배포를 서두르다 보안 조치를 우회하면 부적절한 감독으로 이어질 수 있다고 경고했습니다.

신뢰할 수 있는 AI 데이터의 필수 요소

• 민첩한 데이터 파이프라인: Clayton은 AI의 빠른 진화가 민첩하고 확장 가능한 데이터 파이프라인을 필요로 한다고 언급했습니다. 이는 특히 훈련 단계에서 새로운 AI 애플리케이션에 적응하는 데 중요합니다.
• 시각화: Clayton은 데이터 과학자들이 데이터에 접근하고 시각화하는 데 어려움을 겪으면 AI 개발 효율성이 크게 저하된다고 지적했습니다.
• 견고한 거버넌스 프로그램: Robinson은 잘못된 통찰과 잘못된 의사결정을 초래할 수 있는 데이터 품질 문제를 방지하기 위해 강력한 데이터 거버넌스의 중요성을 강조했습니다. 이러한 거버넌스는 조직의 데이터 환경을 이해하고 규제 준수를 보장하는 데도 도움이 됩니다.
• 철저하고 지속적인 측정: Khawaja는 AI 모델의 성능이 훈련 데이터의 품질에 직접적으로 의존한다고 강조했습니다. 그는 월별 채택률과 같은 정기적인 지표를 통해 AI 기능이 얼마나 빨리 채택되고 있는지 모니터링하여 이러한 도구와 프로세스가 사용자 요구를 충족하는지 확인할 것을 권장했습니다.

Clayton은 IT와 데이터 팀이 데이터 품질, 정확성, 완전성, 일관성, 그리고 AI 모델 성능과 같은 결과를 측정할 수 있는 AI 준비 데이터 아키텍처를 옹호했습니다. 그는 조직들이 AI 이니셔티브가 단순히 AI를 배포하기 위한 것이 아니라 실질적인 이점을 제공하도록 보장해야 한다고 촉구했습니다.

더 많은 AI 이야기에 관심이 있으신가요? 주간 뉴스레터, Innovation을 구독하세요.