불확실성을 인정하도록 시스템을 교육하여 AI 환각에 대처하는 MIT 스타트업
중요한 정보를 드러내고 중대한 결정을 내릴 때 이러한 모델에 점점 더 의존하게 되면서 AI 환각과 관련된 위험은 점점 더 커지고 있습니다.
우리 모두는 무지를 인정하지 않거나 온라인에서 훑어본 내용을 바탕으로 의심스러운 조언을 제공하는 등 모든 것을 아는 사람처럼 행동하는 사람을 알고 있습니다. AI 환각은 그런 친구와 비슷하지만, 이 경우 그 친구가 여러분의 암 치료법을 설계하고 있을 수도 있습니다.
이것이 바로 테미스 AI가 개입하는 부분입니다. MIT에서 분사한 이 회사는 개념적으로는 간단해 보이지만 기술적으로는 어려운 과제인 AI 시스템에 불확실성을 인식하고 인정하도록 가르치는 데 성공했습니다.
AI 모델은 과신하는 경향이 있습니다. 테미스의 Capsa 플랫폼은 현실 점검 기능을 제공하여 모델이 확신을 가지고 작동하는 대신 추측을 하는 경우를 식별할 수 있도록 지원합니다.
MIT의 다니엘라 루스 교수와 전직 연구원이었던 알렉산더 아미니와 엘라헤 아흐마디가 2021년에 설립한 테미스 AI는 거의 모든 AI 시스템과 통합되는 플랫폼을 구축하여 오류가 발생하기 전에 불확실한 순간을 표시합니다.
AI는 Capsa를 사용하여 자체 데이터 처리 과정에서 혼란, 편견 또는 정보 조건의 차이를 암시하는 패턴을 인식하는 방법을 학습하여 종종 환각으로 이어집니다.
출시 이후 테미스는 통신 회사가 막대한 비용이 드는 네트워크 계획 실수를 방지하고, 석유 및 가스 회사가 복잡한 지진 데이터를 해석하는 데 도움을 주었으며, 사실을 자신 있게 발명하지 않는 챗봇 구축에 관한 연구를 발표했습니다.
아직 많은 사람들이 AI 시스템이 얼마나 자주 교육적인 추측을 하고 있는지 알지 못합니다. 이러한 시스템이 더욱 중요한 역할을 맡게 되면서 이러한 추측은 심각한 결과를 초래할 수 있습니다. 테미스 AI는 부족한 요소인 자기 인식을 도입합니다.
AI 환각을 해결하기 위한 테미스 AI의 여정
테미스 AI의 여정은 수년 전 MIT의 루스 교수 연구실에서 연구원들이 핵심적인 질문을 탐구하면서 시작되었습니다: 기계가 어떻게 자신의 한계를 인식할 수 있을까?
2018년, Toyota는 오류로 인해 생명을 위협할 수 있는 자율주행차를 위한 신뢰할 수 있는 AI 연구에 자금을 지원했습니다. 자율주행차가 보행자와 도로의 위험을 정확하게 감지해야 할 때 이 문제는 특히 중요합니다.
연구팀은 얼굴 인식 시스템에서 인종과 성별 편견을 식별할 수 있는 알고리즘을 통해 돌파구를 마련했습니다. 이 시스템은 단순히 편견을 감지하는 데 그치지 않고 학습 데이터의 균형을 재조정하여 편견을 수정함으로써 AI가 스스로 편견을 극복하도록 효과적으로 가르쳤습니다.
2021년까지 연구팀은 이 방법이 신약 발견을 어떻게 변화시킬 수 있는지 시연했습니다. AI 시스템은 잠재적인 약물을 평가하면서 예측이 확실한 데이터에 근거한 경우와 추측이나 완전한 환각에 근거한 경우를 구분할 수 있었습니다. 제약 회사들은 AI가 확신하는 약물 후보만을 추구함으로써 시간과 자원을 절약할 수 있다는 가치를 확인했습니다.
또 다른 이점은 컴퓨팅 성능이 제한된 디바이스에도 적용됩니다. 엣지 디바이스는 서버 기반 시스템의 정확도를 따라잡을 수 없는 소형 모델에 의존하는 경우가 많습니다. 테미스의 기술은 이러한 로컬 모델이 대부분의 작업을 독립적으로 처리하고 어려운 문제가 발생할 때만 서버의 지원을 요청할 수 있도록 지원합니다.
AI는 우리 삶을 개선할 수 있는 엄청난 잠재력을 제공하지만, 여기에는 실질적인 위험이 따릅니다. AI가 중요한 인프라와 의사 결정에 포함됨에 따라 불확실성을 인식하고 환각을 피하는 능력이 가장 인간적이고 가치 있는 특성이 될 수 있습니다. 테미스 AI는 모델이 이 필수적인 기술을 학습하도록 돕고 있습니다.
또한 참조하세요: 당뇨병 관리: AI를 사용하여 혈당 수치를 예측하는 IBM과 Roche
업계 리더들의 AI와 빅데이터에 대해 더 자세히 알고 싶으신가요? 암스테르담, 캘리포니아, 런던에서 열리는 AI & 빅 데이터 엑스포를 확인해 보세요. 이 종합적인 행사는 지능형 자동화 컨퍼런스, 블록엑스, 디지털 트랜스포메이션 위크, 사이버 보안 및 클라우드 엑스포 등 다른 주요 이벤트와 함께 개최됩니다.
예정된 다른 엔터프라이즈 기술 이벤트와 TechForge에서 제공하는 웨비나는 여기에서 살펴보세요.
관련 기사
워너 뮤직이 AI 귀속 스타트업 서룰 AI를 인수하다
워너 뮤직 그룹(WMG)은 수요일 Sureel AI라는 인공지능 속성 추적 스타트업을 인수한다고 확인했다. Sureel의 독점 기술은 음악 트랙에 대한 ‘AI DNA’를 생성하며, 이를 구성 요소로 분해하여 AI 모델이 이러한 요소를 어떻게 활용하는지 추적한다.이번 인수를 통해 WMG는 아티스트와 작곡가의 작품이 AI 생성 콘텐츠에서 어떻게 활용되거나 AI 모델 학습에 사용되는지를 모니터링하는 능력을 강화할 계획이다.“Sureel을 WMG에
아마존은 쇼핑용 알렉사를 출시하면서 루푸스를 후순위로 밀어붙이고 있다
아마존은 Alexa for Shopping을 출시하며, Rufus 쇼핑 챗봇과 Alexa+를 앱, 웹사이트 및 Echo Show 기기 전반에 걸쳐 통합했습니다.이 도우미는 제품 문의에 답변하고, 상품을 비교하며, 가격을 추적하고, 쇼핑 알림을 지원합니다. 또한 예약된 쇼핑 작업과 자격이 있는 자동 구매도 처리합니다.회사에 따르면, Alexa for Shopping은 Rufus의 제품 전문성과 Alexa+의 개인화된 도우미 컨텍스트를 결합합니
마이크로소프트, 애저, AI 기술이 캘리포니아 산불 위험에 맞서다
마이크로소프트는 AI 기반 산불 탐지 기술에 투자하고 있으며, CVP 겸 수석 데이터 과학자인 후안 라비스타 페레스가 환경 피해 완화 전략을 논의하고 있다.NASA에 따르면, 기후 변화는 지구상의 모든 사람에게 영향을 미치며, 기온 상승, 강수 패턴의 변화, 해수면 상승 등의 형태로 나타납니다.NASA는 인간 활동이 주된 원인으로 작용하여 지구가 전례 없는
관련 특별 주제 추천
의견 (4)
0/500
I was totally shocked by this MIT startup’s idea of teaching AI systems to admit uncertainty instead of fabricating answers, it’s like giving robots a sense of self-awareness. I wonder if this approach can really cut down the misinformation spreading on social media these days.
Just read this and wow, the 'know-it-all' analogy hits home. We've all been there where the system is confidently wrong. Teaching AI to say 'I don't know' could be a game-changer for trust in medical or legal advice. Curious about the scalability—is there a performance trade-off? Hope they can make it work at a large scale 🧐.
AIが「分からない」と言えるようになるって、逆に人間らしい進歩かも?🤔 実際、私も職場で『多分』って言える上司の方が信用できるし。でもMITのスタートアップがこれをビジネスにできるって面白い。AIの過信防止って医療や裁判で本当に必要だよね。個人的には、この技術がSNSのデマ拡散防止に使われないか心配だけど…
Diese Startup-Idee aus MIT scheint sehr vielversprechend zu sein. Modelle müssen lernen, Unsicherheiten zuzugeben - genau wie ein vernünftiger Mensch es tun würde 😂. Besonders im Bereich Medizin oder autonomes Fahren, wo fehlerhafte Antworten katastrophal sein können, wird das 'Ich weiß es nicht'-Eingeständnis zu einer lebenswichtigen Funktion. Hoffentlich setzt sich dieser Ansatz bald durch!
중요한 정보를 드러내고 중대한 결정을 내릴 때 이러한 모델에 점점 더 의존하게 되면서 AI 환각과 관련된 위험은 점점 더 커지고 있습니다.
우리 모두는 무지를 인정하지 않거나 온라인에서 훑어본 내용을 바탕으로 의심스러운 조언을 제공하는 등 모든 것을 아는 사람처럼 행동하는 사람을 알고 있습니다. AI 환각은 그런 친구와 비슷하지만, 이 경우 그 친구가 여러분의 암 치료법을 설계하고 있을 수도 있습니다.
이것이 바로 테미스 AI가 개입하는 부분입니다. MIT에서 분사한 이 회사는 개념적으로는 간단해 보이지만 기술적으로는 어려운 과제인 AI 시스템에 불확실성을 인식하고 인정하도록 가르치는 데 성공했습니다.
AI 모델은 과신하는 경향이 있습니다. 테미스의 Capsa 플랫폼은 현실 점검 기능을 제공하여 모델이 확신을 가지고 작동하는 대신 추측을 하는 경우를 식별할 수 있도록 지원합니다.
MIT의 다니엘라 루스 교수와 전직 연구원이었던 알렉산더 아미니와 엘라헤 아흐마디가 2021년에 설립한 테미스 AI는 거의 모든 AI 시스템과 통합되는 플랫폼을 구축하여 오류가 발생하기 전에 불확실한 순간을 표시합니다.
AI는 Capsa를 사용하여 자체 데이터 처리 과정에서 혼란, 편견 또는 정보 조건의 차이를 암시하는 패턴을 인식하는 방법을 학습하여 종종 환각으로 이어집니다.
출시 이후 테미스는 통신 회사가 막대한 비용이 드는 네트워크 계획 실수를 방지하고, 석유 및 가스 회사가 복잡한 지진 데이터를 해석하는 데 도움을 주었으며, 사실을 자신 있게 발명하지 않는 챗봇 구축에 관한 연구를 발표했습니다.
아직 많은 사람들이 AI 시스템이 얼마나 자주 교육적인 추측을 하고 있는지 알지 못합니다. 이러한 시스템이 더욱 중요한 역할을 맡게 되면서 이러한 추측은 심각한 결과를 초래할 수 있습니다. 테미스 AI는 부족한 요소인 자기 인식을 도입합니다.
AI 환각을 해결하기 위한 테미스 AI의 여정
테미스 AI의 여정은 수년 전 MIT의 루스 교수 연구실에서 연구원들이 핵심적인 질문을 탐구하면서 시작되었습니다: 기계가 어떻게 자신의 한계를 인식할 수 있을까?
2018년, Toyota는 오류로 인해 생명을 위협할 수 있는 자율주행차를 위한 신뢰할 수 있는 AI 연구에 자금을 지원했습니다. 자율주행차가 보행자와 도로의 위험을 정확하게 감지해야 할 때 이 문제는 특히 중요합니다.
연구팀은 얼굴 인식 시스템에서 인종과 성별 편견을 식별할 수 있는 알고리즘을 통해 돌파구를 마련했습니다. 이 시스템은 단순히 편견을 감지하는 데 그치지 않고 학습 데이터의 균형을 재조정하여 편견을 수정함으로써 AI가 스스로 편견을 극복하도록 효과적으로 가르쳤습니다.
2021년까지 연구팀은 이 방법이 신약 발견을 어떻게 변화시킬 수 있는지 시연했습니다. AI 시스템은 잠재적인 약물을 평가하면서 예측이 확실한 데이터에 근거한 경우와 추측이나 완전한 환각에 근거한 경우를 구분할 수 있었습니다. 제약 회사들은 AI가 확신하는 약물 후보만을 추구함으로써 시간과 자원을 절약할 수 있다는 가치를 확인했습니다.
또 다른 이점은 컴퓨팅 성능이 제한된 디바이스에도 적용됩니다. 엣지 디바이스는 서버 기반 시스템의 정확도를 따라잡을 수 없는 소형 모델에 의존하는 경우가 많습니다. 테미스의 기술은 이러한 로컬 모델이 대부분의 작업을 독립적으로 처리하고 어려운 문제가 발생할 때만 서버의 지원을 요청할 수 있도록 지원합니다.
AI는 우리 삶을 개선할 수 있는 엄청난 잠재력을 제공하지만, 여기에는 실질적인 위험이 따릅니다. AI가 중요한 인프라와 의사 결정에 포함됨에 따라 불확실성을 인식하고 환각을 피하는 능력이 가장 인간적이고 가치 있는 특성이 될 수 있습니다. 테미스 AI는 모델이 이 필수적인 기술을 학습하도록 돕고 있습니다.
또한 참조하세요: 당뇨병 관리: AI를 사용하여 혈당 수치를 예측하는 IBM과 Roche
업계 리더들의 AI와 빅데이터에 대해 더 자세히 알고 싶으신가요? 암스테르담, 캘리포니아, 런던에서 열리는 AI & 빅 데이터 엑스포를 확인해 보세요. 이 종합적인 행사는 지능형 자동화 컨퍼런스, 블록엑스, 디지털 트랜스포메이션 위크, 사이버 보안 및 클라우드 엑스포 등 다른 주요 이벤트와 함께 개최됩니다.
예정된 다른 엔터프라이즈 기술 이벤트와 TechForge에서 제공하는 웨비나는 여기에서 살펴보세요.
워너 뮤직이 AI 귀속 스타트업 서룰 AI를 인수하다
워너 뮤직 그룹(WMG)은 수요일 Sureel AI라는 인공지능 속성 추적 스타트업을 인수한다고 확인했다. Sureel의 독점 기술은 음악 트랙에 대한 ‘AI DNA’를 생성하며, 이를 구성 요소로 분해하여 AI 모델이 이러한 요소를 어떻게 활용하는지 추적한다.이번 인수를 통해 WMG는 아티스트와 작곡가의 작품이 AI 생성 콘텐츠에서 어떻게 활용되거나 AI 모델 학습에 사용되는지를 모니터링하는 능력을 강화할 계획이다.“Sureel을 WMG에
마이크로소프트, 애저, AI 기술이 캘리포니아 산불 위험에 맞서다
마이크로소프트는 AI 기반 산불 탐지 기술에 투자하고 있으며, CVP 겸 수석 데이터 과학자인 후안 라비스타 페레스가 환경 피해 완화 전략을 논의하고 있다.NASA에 따르면, 기후 변화는 지구상의 모든 사람에게 영향을 미치며, 기온 상승, 강수 패턴의 변화, 해수면 상승 등의 형태로 나타납니다.NASA는 인간 활동이 주된 원인으로 작용하여 지구가 전례 없는
I was totally shocked by this MIT startup’s idea of teaching AI systems to admit uncertainty instead of fabricating answers, it’s like giving robots a sense of self-awareness. I wonder if this approach can really cut down the misinformation spreading on social media these days.
Just read this and wow, the 'know-it-all' analogy hits home. We've all been there where the system is confidently wrong. Teaching AI to say 'I don't know' could be a game-changer for trust in medical or legal advice. Curious about the scalability—is there a performance trade-off? Hope they can make it work at a large scale 🧐.
AIが「分からない」と言えるようになるって、逆に人間らしい進歩かも?🤔 実際、私も職場で『多分』って言える上司の方が信用できるし。でもMITのスタートアップがこれをビジネスにできるって面白い。AIの過信防止って医療や裁判で本当に必要だよね。個人的には、この技術がSNSのデマ拡散防止に使われないか心配だけど…
Diese Startup-Idee aus MIT scheint sehr vielversprechend zu sein. Modelle müssen lernen, Unsicherheiten zuzugeben - genau wie ein vernünftiger Mensch es tun würde 😂. Besonders im Bereich Medizin oder autonomes Fahren, wo fehlerhafte Antworten katastrophal sein können, wird das 'Ich weiß es nicht'-Eingeständnis zu einer lebenswichtigen Funktion. Hoffentlich setzt sich dieser Ansatz bald durch!





집






