불확실성을 인정하도록 시스템을 교육하여 AI 환각에 대처하는 MIT 스타트업

중요한 정보를 드러내고 중대한 결정을 내릴 때 이러한 모델에 점점 더 의존하게 되면서 AI 환각과 관련된 위험은 점점 더 커지고 있습니다.

우리 모두는 무지를 인정하지 않거나 온라인에서 훑어본 내용을 바탕으로 의심스러운 조언을 제공하는 등 모든 것을 아는 사람처럼 행동하는 사람을 알고 있습니다. AI 환각은 그런 친구와 비슷하지만, 이 경우 그 친구가 여러분의 암 치료법을 설계하고 있을 수도 있습니다.

이것이 바로 테미스 AI가 개입하는 부분입니다. MIT에서 분사한 이 회사는 개념적으로는 간단해 보이지만 기술적으로는 어려운 과제인 AI 시스템에 불확실성을 인식하고 인정하도록 가르치는 데 성공했습니다.

AI 모델은 과신하는 경향이 있습니다. 테미스의 Capsa 플랫폼은 현실 점검 기능을 제공하여 모델이 확신을 가지고 작동하는 대신 추측을 하는 경우를 식별할 수 있도록 지원합니다.

MIT의 다니엘라 루스 교수와 전직 연구원이었던 알렉산더 아미니와 엘라헤 아흐마디가 2021년에 설립한 테미스 AI는 거의 모든 AI 시스템과 통합되는 플랫폼을 구축하여 오류가 발생하기 전에 불확실한 순간을 표시합니다.

AI는 Capsa를 사용하여 자체 데이터 처리 과정에서 혼란, 편견 또는 정보 조건의 차이를 암시하는 패턴을 인식하는 방법을 학습하여 종종 환각으로 이어집니다.

출시 이후 테미스는 통신 회사가 막대한 비용이 드는 네트워크 계획 실수를 방지하고, 석유 및 가스 회사가 복잡한 지진 데이터를 해석하는 데 도움을 주었으며, 사실을 자신 있게 발명하지 않는 챗봇 구축에 관한 연구를 발표했습니다.

아직 많은 사람들이 AI 시스템이 얼마나 자주 교육적인 추측을 하고 있는지 알지 못합니다. 이러한 시스템이 더욱 중요한 역할을 맡게 되면서 이러한 추측은 심각한 결과를 초래할 수 있습니다. 테미스 AI는 부족한 요소인 자기 인식을 도입합니다.

AI 환각을 해결하기 위한 테미스 AI의 여정

테미스 AI의 여정은 수년 전 MIT의 루스 교수 연구실에서 연구원들이 핵심적인 질문을 탐구하면서 시작되었습니다: 기계가 어떻게 자신의 한계를 인식할 수 있을까?

2018년, Toyota는 오류로 인해 생명을 위협할 수 있는 자율주행차를 위한 신뢰할 수 있는 AI 연구에 자금을 지원했습니다. 자율주행차가 보행자와 도로의 위험을 정확하게 감지해야 할 때 이 문제는 특히 중요합니다.

연구팀은 얼굴 인식 시스템에서 인종과 성별 편견을 식별할 수 있는 알고리즘을 통해 돌파구를 마련했습니다. 이 시스템은 단순히 편견을 감지하는 데 그치지 않고 학습 데이터의 균형을 재조정하여 편견을 수정함으로써 AI가 스스로 편견을 극복하도록 효과적으로 가르쳤습니다.

2021년까지 연구팀은 이 방법이 신약 발견을 어떻게 변화시킬 수 있는지 시연했습니다. AI 시스템은 잠재적인 약물을 평가하면서 예측이 확실한 데이터에 근거한 경우와 추측이나 완전한 환각에 근거한 경우를 구분할 수 있었습니다. 제약 회사들은 AI가 확신하는 약물 후보만을 추구함으로써 시간과 자원을 절약할 수 있다는 가치를 확인했습니다.

또 다른 이점은 컴퓨팅 성능이 제한된 디바이스에도 적용됩니다. 엣지 디바이스는 서버 기반 시스템의 정확도를 따라잡을 수 없는 소형 모델에 의존하는 경우가 많습니다. 테미스의 기술은 이러한 로컬 모델이 대부분의 작업을 독립적으로 처리하고 어려운 문제가 발생할 때만 서버의 지원을 요청할 수 있도록 지원합니다.

AI는 우리 삶을 개선할 수 있는 엄청난 잠재력을 제공하지만, 여기에는 실질적인 위험이 따릅니다. AI가 중요한 인프라와 의사 결정에 포함됨에 따라 불확실성을 인식하고 환각을 피하는 능력이 가장 인간적이고 가치 있는 특성이 될 수 있습니다. 테미스 AI는 모델이 이 필수적인 기술을 학습하도록 돕고 있습니다.

또한 참조하세요: 당뇨병 관리: AI를 사용하여 혈당 수치를 예측하는 IBM과 Roche

업계 리더들의 AI와 빅데이터에 대해 더 자세히 알고 싶으신가요? 암스테르담, 캘리포니아, 런던에서 열리는 AI & 빅 데이터 엑스포를 확인해 보세요. 이 종합적인 행사는 지능형 자동화 컨퍼런스, 블록엑스, 디지털 트랜스포메이션 위크, 사이버 보안 및 클라우드 엑스포 등 다른 주요 이벤트와 함께 개최됩니다.

예정된 다른 엔터프라이즈 기술 이벤트와 TechForge에서 제공하는 웨비나는 여기에서 살펴보세요.