Генеральный директор Anthropic: Уровень галлюцинаций ИИ превосходит точность человека

Генеральный директор Anthropic Дарио Амадеи заявил, что текущие модели ИИ создают меньше вымышленных данных, чем люди, представляя их как правду, на пресс-брифинге на первой конференции разработчиков Anthropic, Code with Claude, в Сан-Франциско в четверг.
Амадеи подчеркнул это в рамках более широкого аргумента: галлюцинации ИИ не мешают Anthropic в стремлении к AGI — системам, соответствующим или превосходящим человеческий интеллект.
«Это зависит от метода измерения, но я считаю, что модели ИИ, вероятно, выдумывают меньше, чем люди, хотя их ошибки более неожиданны», — ответил Амадеи на запрос TechCrunch.
Генеральный директор Anthropic остается одним из самых оптимистичных лидеров отрасли в вопросе достижения AGI. В широко цитируемой статье прошлого года Амадеи прогнозировал, что AGI может появиться к 2026 году. На брифинге в четверг он отметил стабильный прогресс, заявив: «Прогресс ускоряется повсеместно».
«Люди продолжают искать фундаментальные ограничения возможностей ИИ», — сказал Амадеи. «Таких ограничений не видно. Никаких барьеров не существует».
Другие лидеры ИИ рассматривают галлюцинации как значительное препятствие для AGI. Генеральный директор Google DeepMind Демис Хассабис недавно отметил, что текущие модели ИИ имеют слишком много недостатков, часто не справляясь с простыми вопросами. Например, в начале этого месяца адвокат, представляющий Anthropic, извинился в суде после того, как Claude сгенерировал неверные ссылки в документе, ошибочно указав имена и должности.
Проверка утверждения Амадеи сложна, поскольку большинство тестов на галлюцинации сравнивают модели ИИ друг с другом, а не с людьми. Техники, такие как интеграция веб-поиска, похоже, снижают уровень галлюцинаций. Примечательно, что модели, такие как GPT-4.5 от OpenAI, показывают меньший уровень галлюцинаций по сравнению с предыдущими системами в тестах.
Присоединяйтесь к нам на TechCrunch Sessions: AI
Забронируйте место на нашем главном событии индустрии ИИ, с участием спикеров из OpenAI, Anthropic и Cohere. Только на ограниченное время билеты стоят всего $292 за полный день экспертных выступлений, мастер-классов и мощного нетворкинга.
Выставляйтесь на TechCrunch Sessions: AI
Займите место на TC Sessions: AI, чтобы продемонстрировать свои инновации более чем 1200 лицам, принимающим решения, — без крупных вложений. Доступно до 9 мая или до исчерпания мест.
Беркли, Калифорния | 5 июня ЗАРЕГИСТРИРУЙТЕСЬ СЕЙЧАСТем не менее, данные свидетельствуют, что галлюцинации могут усиливаться в продвинутых моделях ИИ с развитым мышлением. Модели o3 и o4-mini от OpenAI показывают более высокий уровень галлюцинаций, чем предыдущие модели с развитым мышлением, при этом компания неясно объясняет причину.
Амадеи позже отметил, что ошибки распространены среди телеведущих, политиков и профессионалов в разных областях. Он утверждал, что ошибки ИИ не подрывают его интеллект. Однако он признал, что уверенное представление ИИ ложных данных как фактов может вызывать проблемы.
Anthropic тщательно исследовала обман ИИ, особенно с недавно запущенной моделью Claude Opus 4. Apollo Research, институт безопасности с ранним доступом, обнаружил, что ранняя версия Claude Opus 4 имела сильную склонность к манипуляциям и обману людей, что вызвало опасения по поводу ее выпуска. Anthropic внедрила меры, которые, похоже, устранили опасения Apollo.
Замечания Амадеи предполагают, что Anthropic может классифицировать ИИ как AGI, или интеллект уровня человека, даже если он галлюцинирует. Однако многие утверждают, что галлюцинирующий ИИ не достигает истинного AGI.
Связанная статья
Anthropic выпускает Opus 4.8 с новым инструментом для динамической организации рабочего процесса
В четверг компания Anthropic представила Opus 4.8 — новую версию своей флагманской общедоступной модели. Стоимость обновления осталась на прежнем уровне, и теперь оно доступно на всех платформах.Выпус
Anthropic представляет Claude Fable 5 — публичную версию Mythos
Компания Anthropic впервые предоставляет широкой публике доступ к своей самой мощной модели искусственного интеллекта — однако с соблюдением мер безопасности.Во вторник компания представила Claude Fa
SandboxAQ внедряет искусственный интеллект для поиска лекарств в Claude — для этого не требуется наличие докторской степени в области вычислительной техники.
Открытие лекарств остается одной из самых дорогостоящих задач в современной промышленности. Выбор подходящей молекулы может занять десять лет и стоить миллиарды долларов, при этом большинство кандидатов всё равно оказываются неэффективными. Волна ста
Рекомендации по связанным специальным темам
Комментарии (2)
Also die KI halluziniert weniger als Menschen? Das klingt doch etwas zu optimistisch. Spannender als die Halluzinationen finde ich, dass die Diskussion jetzt nur noch darum geht, ob die KI besser ist als wir – und nicht mehr, ob die Technologie überhaupt sicher und kontrollierbar ist. Wer kontrolliert am Ende die wenigen (aber vielleicht sehr folgenschweren) Fehler?

Генеральный директор Anthropic Дарио Амадеи заявил, что текущие модели ИИ создают меньше вымышленных данных, чем люди, представляя их как правду, на пресс-брифинге на первой конференции разработчиков Anthropic, Code with Claude, в Сан-Франциско в четверг.
Амадеи подчеркнул это в рамках более широкого аргумента: галлюцинации ИИ не мешают Anthropic в стремлении к AGI — системам, соответствующим или превосходящим человеческий интеллект.
«Это зависит от метода измерения, но я считаю, что модели ИИ, вероятно, выдумывают меньше, чем люди, хотя их ошибки более неожиданны», — ответил Амадеи на запрос TechCrunch.
Генеральный директор Anthropic остается одним из самых оптимистичных лидеров отрасли в вопросе достижения AGI. В широко цитируемой статье прошлого года Амадеи прогнозировал, что AGI может появиться к 2026 году. На брифинге в четверг он отметил стабильный прогресс, заявив: «Прогресс ускоряется повсеместно».
«Люди продолжают искать фундаментальные ограничения возможностей ИИ», — сказал Амадеи. «Таких ограничений не видно. Никаких барьеров не существует».
Другие лидеры ИИ рассматривают галлюцинации как значительное препятствие для AGI. Генеральный директор Google DeepMind Демис Хассабис недавно отметил, что текущие модели ИИ имеют слишком много недостатков, часто не справляясь с простыми вопросами. Например, в начале этого месяца адвокат, представляющий Anthropic, извинился в суде после того, как Claude сгенерировал неверные ссылки в документе, ошибочно указав имена и должности.
Проверка утверждения Амадеи сложна, поскольку большинство тестов на галлюцинации сравнивают модели ИИ друг с другом, а не с людьми. Техники, такие как интеграция веб-поиска, похоже, снижают уровень галлюцинаций. Примечательно, что модели, такие как GPT-4.5 от OpenAI, показывают меньший уровень галлюцинаций по сравнению с предыдущими системами в тестах.
Присоединяйтесь к нам на TechCrunch Sessions: AI
Забронируйте место на нашем главном событии индустрии ИИ, с участием спикеров из OpenAI, Anthropic и Cohere. Только на ограниченное время билеты стоят всего $292 за полный день экспертных выступлений, мастер-классов и мощного нетворкинга.
Выставляйтесь на TechCrunch Sessions: AI
Займите место на TC Sessions: AI, чтобы продемонстрировать свои инновации более чем 1200 лицам, принимающим решения, — без крупных вложений. Доступно до 9 мая или до исчерпания мест.
Беркли, Калифорния | 5 июня ЗАРЕГИСТРИРУЙТЕСЬ СЕЙЧАСТем не менее, данные свидетельствуют, что галлюцинации могут усиливаться в продвинутых моделях ИИ с развитым мышлением. Модели o3 и o4-mini от OpenAI показывают более высокий уровень галлюцинаций, чем предыдущие модели с развитым мышлением, при этом компания неясно объясняет причину.
Амадеи позже отметил, что ошибки распространены среди телеведущих, политиков и профессионалов в разных областях. Он утверждал, что ошибки ИИ не подрывают его интеллект. Однако он признал, что уверенное представление ИИ ложных данных как фактов может вызывать проблемы.
Anthropic тщательно исследовала обман ИИ, особенно с недавно запущенной моделью Claude Opus 4. Apollo Research, институт безопасности с ранним доступом, обнаружил, что ранняя версия Claude Opus 4 имела сильную склонность к манипуляциям и обману людей, что вызвало опасения по поводу ее выпуска. Anthropic внедрила меры, которые, похоже, устранили опасения Apollo.
Замечания Амадеи предполагают, что Anthropic может классифицировать ИИ как AGI, или интеллект уровня человека, даже если он галлюцинирует. Однако многие утверждают, что галлюцинирующий ИИ не достигает истинного AGI.
Anthropic выпускает Opus 4.8 с новым инструментом для динамической организации рабочего процесса
В четверг компания Anthropic представила Opus 4.8 — новую версию своей флагманской общедоступной модели. Стоимость обновления осталась на прежнем уровне, и теперь оно доступно на всех платформах.Выпус
Anthropic представляет Claude Fable 5 — публичную версию Mythos
Компания Anthropic впервые предоставляет широкой публике доступ к своей самой мощной модели искусственного интеллекта — однако с соблюдением мер безопасности.Во вторник компания представила Claude Fa
SandboxAQ внедряет искусственный интеллект для поиска лекарств в Claude — для этого не требуется наличие докторской степени в области вычислительной техники.
Открытие лекарств остается одной из самых дорогостоящих задач в современной промышленности. Выбор подходящей молекулы может занять десять лет и стоить миллиарды долларов, при этом большинство кандидатов всё равно оказываются неэффективными. Волна ста
Also die KI halluziniert weniger als Menschen? Das klingt doch etwas zu optimistisch. Spannender als die Halluzinationen finde ich, dass die Diskussion jetzt nur noch darum geht, ob die KI besser ist als wir – und nicht mehr, ob die Technologie überhaupt sicher und kontrollierbar ist. Wer kontrolliert am Ende die wenigen (aber vielleicht sehr folgenschweren) Fehler?





Дом






