Стартап Массачусетского технологического института решает проблему галлюцинаций с помощью ИИ, обучая системы признавать неопределенность

Риски, связанные с галлюцинациями ИИ, растут по мере того, как на эти модели все чаще полагаются при получении важной информации и принятии решений на высоких ставках.

Мы все знаем кого-то, кто ведет себя как всезнайка, отказываясь признать свое невежество или предлагая сомнительные советы, основанные на чем-то, прочитанном в Интернете. ИИ-галлюцинации похожи на такого друга - но в данном случае этот друг может быть разработчиком вашего лечения рака.

Именно здесь на помощь приходит Themis AI. Компания, вышедшая из Массачусетского технологического института, добилась того, что звучит просто, но технически сложно: научила системы ИИ распознавать и признавать неопределенность.

Модели ИИ склонны к излишней самоуверенности. Платформа Capsa компании Themis обеспечивает проверку реальности, помогая моделям определить, когда они спекулируют, а не действуют с уверенностью.

Основанная в 2021 году профессором Массачусетского технологического института Даниэлой Рус и бывшими научными сотрудниками Александром Амини и Элахехом Ахмади, компания Themis AI создала платформу, которая интегрируется практически с любой системой искусственного интеллекта, отмечая моменты неопределенности до того, как они приведут к ошибкам.

Используя Capsa, ИИ учится распознавать закономерности в собственной обработке данных, которые указывают на путаницу, предвзятость или пробелы в информации - условия, которые часто приводят к галлюцинациям.

С момента запуска Themis сообщает, что помогает телекоммуникационным компаниям предотвращать дорогостоящие ошибки при планировании сетей, помогает нефтегазовым компаниям интерпретировать сложные сейсмические данные, а также публикует исследования по созданию чат-ботов, которые избегают уверенного придумывания фактов.

Многие люди до сих пор не знают, как часто системы искусственного интеллекта по сути делают обоснованные предположения. По мере того как эти системы будут играть все более важную роль, такие догадки могут привести к серьезным последствиям. Themis AI предлагает недостающий элемент: самосознание.

Путь Themis AI к решению проблемы галлюцинаций ИИ

Путь к созданию Themis AI начался несколько лет назад в лаборатории профессора Руса в Массачусетском технологическом институте, где исследователи изучали основной вопрос: Как машина может осознать свои собственные ограничения?

В 2018 году Toyota профинансировала их работу по созданию надежного ИИ для автономных автомобилей - отрасли, где ошибки могут быть опасны для жизни. Задача особенно актуальна, когда самодвижущиеся автомобили должны точно распознавать пешеходов и дорожные опасности.

Прорывом стал алгоритм, способный выявлять расовую и гендерную предвзятость в системах распознавания лиц. Вместо того чтобы просто обнаружить предвзятость, их система исправляет ее, перераспределяя обучающие данные - это эффективно учит ИИ преодолевать собственные предрассудки.

К 2021 году команда продемонстрировала, как этот метод может изменить процесс поиска лекарств. Системы искусственного интеллекта могли оценивать потенциальные лекарства, отмечая, когда прогнозы основаны на достоверных данных, а не на домыслах или полных галлюцинациях. Фармацевтические компании увидели ценность в том, что они будут искать только тех кандидатов на лекарства, в которых ИИ был уверен, экономя время и ресурсы.

Еще одно преимущество касается устройств с ограниченной вычислительной мощностью. Граничные устройства часто полагаются на небольшие модели, которые не могут сравниться по точности с серверными системами. Технология Themis помогает этим локальным моделям самостоятельно справляться с большинством задач, обращаясь за поддержкой к серверу только в тех случаях, когда они сталкиваются с чем-то сложным.

ИИ обладает огромным потенциалом для улучшения нашей жизни, но это связано с реальными рисками. По мере того как ИИ будет внедряться в критически важную инфраструктуру и процесс принятия решений, способность распознавать неопределенность и избегать галлюцинаций может оказаться его самой человечной и ценной чертой. Компания Themis AI помогает моделям научиться этому важному навыку.

См. также: Управление диабетом: IBM и Roche используют ИИ для прогнозирования уровня сахара в крови

Хотите узнать больше об искусственном интеллекте и больших данных от лидеров отрасли? Посетите выставку AI & Big Data Expo, которая пройдет в Амстердаме, Калифорнии и Лондоне. Это комплексное мероприятие проводится совместно с другими ведущими событиями, включая Intelligent Automation Conference, BlockX, Digital Transformation Week и Cyber Security & Cloud Expo.

Ознакомиться с другими предстоящими мероприятиями и вебинарами по корпоративным технологиям, проводимыми TechForge, можно здесь.