Дом
Исследование Apple предостерегает от чрезмерной уверенности в искусственном интеллекте при использовании финансовых инструментов

Исследовательская группа Apple по машинному обучению недавно опубликовала статью под названием «Картирование пространства проектирования пользовательского опыта интеллектуальных агентов, управляемых компьютером», в которой исследуются психологические границы и границы доверия, устанавливаемые пользователями при взаимодействии с ИИ-агентами.
В исследовании отмечается, что, хотя отрасль стремится улучшить операционные возможности ИИ, она часто игнорирует хрупкий баланс между автоматизацией и контролем со стороны пользователя. Чтобы собрать достоверные отзывы, исследователи использовали метод «Волшебник из страны Оз», при котором операторы-люди имитировали работу ИИ, иногда намеренно делая ошибки или застревая, чтобы наблюдать за подлинными реакциями пользователей.
Основные выводы исследования:
Неприятие молчаливых предположений: пользователи крайне не любят, когда ИИ принимает самостоятельные решения в неоднозначных ситуациях. Вместо того чтобы ИИ делал догадки для достижения полной автоматизации, пользователи предпочитают, чтобы он приостанавливал работу и запрашивал разъяснения в критические моменты.
Баланс прозрачности: пользователи хотят понимать, что делает ИИ, но не хотят, чтобы их перегружали излишними деталями. При выполнении привычных задач пользователи сосредоточены на результатах, но в случае действий, связанных с деликатными вопросами, такими как платежи или изменения в учетной записи, они требуют абсолютного права на подтверждение.
Быстрое подрывание доверия: доверие мгновенно рушится, если ИИ отклоняется от заявленного плана, не информируя об этом пользователя. В таких сценариях, как онлайн-покупки или денежные переводы, даже небольшое несанкционированное «умное» действие со стороны ИИ может вызвать значительный дискомфорт у пользователя.
Исследователи Apple подчеркнули, что при разработке будущих ИИ-агентов необходимо не только стремиться к мощной функциональности, но и включать надежные механизмы контроля со стороны пользователя и объяснимости действий, не допуская превращения ИИ в неуправляемый «черный ящик».
Связанная статья
Индийский технологический магнат инвестирует $30 млн в ИИ-аналог Microsoft Office
Серийный предприниматель Бхавин Турахия инвестирует $30 млн собственных средств, делая ставку на то, что сектор корпоративного искусственного интеллекта всё ещё имеет место для новых игроков. Его последний стартап, Neo, основан на ключевой идее: уста
Бывший главный научный сотрудник OpenAI Илья представляет SSI и раскрывает первую модель
Искусственный интеллект достиг еще одной важной вехи. После своего ухода из OpenAI бывший главный научный сотрудник Илья Сутскер основал компанию Safe Superintelligence Inc. (SSI), которая недавно раскрыла детали своей первой модели. Сообщения в зару
Lovable Leads Atech's Seed Round as AI Ambient Coding Officially Enters the Hardware Field
14 мая 2026 года платформа разработки приложений на базе искусственного интеллекта Lovable объявила о своем участии в раундеSeed-финансирования на сумму $800 000 для датского стартапа в области аппаратного обеспечения Atech. При ведущем участии Lovab
Рекомендации по связанным специальным темам
Комментарии (1)

Исследовательская группа Apple по машинному обучению недавно опубликовала статью под названием «Картирование пространства проектирования пользовательского опыта интеллектуальных агентов, управляемых компьютером», в которой исследуются психологические границы и границы доверия, устанавливаемые пользователями при взаимодействии с ИИ-агентами.
В исследовании отмечается, что, хотя отрасль стремится улучшить операционные возможности ИИ, она часто игнорирует хрупкий баланс между автоматизацией и контролем со стороны пользователя. Чтобы собрать достоверные отзывы, исследователи использовали метод «Волшебник из страны Оз», при котором операторы-люди имитировали работу ИИ, иногда намеренно делая ошибки или застревая, чтобы наблюдать за подлинными реакциями пользователей.
Основные выводы исследования:
Неприятие молчаливых предположений: пользователи крайне не любят, когда ИИ принимает самостоятельные решения в неоднозначных ситуациях. Вместо того чтобы ИИ делал догадки для достижения полной автоматизации, пользователи предпочитают, чтобы он приостанавливал работу и запрашивал разъяснения в критические моменты.
Баланс прозрачности: пользователи хотят понимать, что делает ИИ, но не хотят, чтобы их перегружали излишними деталями. При выполнении привычных задач пользователи сосредоточены на результатах, но в случае действий, связанных с деликатными вопросами, такими как платежи или изменения в учетной записи, они требуют абсолютного права на подтверждение.
Быстрое подрывание доверия: доверие мгновенно рушится, если ИИ отклоняется от заявленного плана, не информируя об этом пользователя. В таких сценариях, как онлайн-покупки или денежные переводы, даже небольшое несанкционированное «умное» действие со стороны ИИ может вызвать значительный дискомфорт у пользователя.
Исследователи Apple подчеркнули, что при разработке будущих ИИ-агентов необходимо не только стремиться к мощной функциональности, но и включать надежные механизмы контроля со стороны пользователя и объяснимости действий, не допуская превращения ИИ в неуправляемый «черный ящик».
Индийский технологический магнат инвестирует $30 млн в ИИ-аналог Microsoft Office
Серийный предприниматель Бхавин Турахия инвестирует $30 млн собственных средств, делая ставку на то, что сектор корпоративного искусственного интеллекта всё ещё имеет место для новых игроков. Его последний стартап, Neo, основан на ключевой идее: уста
Бывший главный научный сотрудник OpenAI Илья представляет SSI и раскрывает первую модель
Искусственный интеллект достиг еще одной важной вехи. После своего ухода из OpenAI бывший главный научный сотрудник Илья Сутскер основал компанию Safe Superintelligence Inc. (SSI), которая недавно раскрыла детали своей первой модели. Сообщения в зару
Lovable Leads Atech's Seed Round as AI Ambient Coding Officially Enters the Hardware Field
14 мая 2026 года платформа разработки приложений на базе искусственного интеллекта Lovable объявила о своем участии в раундеSeed-финансирования на сумму $800 000 для датского стартапа в области аппаратного обеспечения Atech. При ведущем участии Lovab











