Дом
Исследование Apple предостерегает от чрезмерной уверенности в искусственном интеллекте при использовании финансовых инструментов

Исследовательская группа Apple по машинному обучению недавно опубликовала статью под названием «Картирование пространства проектирования пользовательского опыта интеллектуальных агентов, управляемых компьютером», в которой исследуются психологические границы и границы доверия, устанавливаемые пользователями при взаимодействии с ИИ-агентами.
В исследовании отмечается, что, хотя отрасль стремится улучшить операционные возможности ИИ, она часто игнорирует хрупкий баланс между автоматизацией и контролем со стороны пользователя. Чтобы собрать достоверные отзывы, исследователи использовали метод «Волшебник из страны Оз», при котором операторы-люди имитировали работу ИИ, иногда намеренно делая ошибки или застревая, чтобы наблюдать за подлинными реакциями пользователей.
Основные выводы исследования:
Неприятие молчаливых предположений: пользователи крайне не любят, когда ИИ принимает самостоятельные решения в неоднозначных ситуациях. Вместо того чтобы ИИ делал догадки для достижения полной автоматизации, пользователи предпочитают, чтобы он приостанавливал работу и запрашивал разъяснения в критические моменты.
Баланс прозрачности: пользователи хотят понимать, что делает ИИ, но не хотят, чтобы их перегружали излишними деталями. При выполнении привычных задач пользователи сосредоточены на результатах, но в случае действий, связанных с деликатными вопросами, такими как платежи или изменения в учетной записи, они требуют абсолютного права на подтверждение.
Быстрое подрывание доверия: доверие мгновенно рушится, если ИИ отклоняется от заявленного плана, не информируя об этом пользователя. В таких сценариях, как онлайн-покупки или денежные переводы, даже небольшое несанкционированное «умное» действие со стороны ИИ может вызвать значительный дискомфорт у пользователя.
Исследователи Apple подчеркнули, что при разработке будущих ИИ-агентов необходимо не только стремиться к мощной функциональности, но и включать надежные механизмы контроля со стороны пользователя и объяснимости действий, не допуская превращения ИИ в неуправляемый «черный ящик».
Связанная статья
Как защитить имущество, здания и собственное здоровье?
В этом непредсказуемом мире защита стала стратегической необходимостью, а не просто одним из возможных вариантов. Будь то обеспечение финансовой безопасности, укрепление зданий или забота о собственно
Браузер Comet на базе искусственного интеллекта вышел на рынок с полной поддержкой многозадачности на iPad
Браузер Comet от Perplexity, основанный на искусственном интеллекте, официально выпустил версию для iPad, которая теперь полностью совместима с iPadOS. Обновление включает в себя многооконный режим пр
Компания Trace привлекла 3 миллиона долларов для преодоления препятствий на пути внедрения интеллектуальных агентов в корпоративной среде.
Несмотря на свой потенциал, искусственные интеллектуальные агенты испытывают трудности с получением распространения в корпоративной среде. Одна из новых стартап-компаний считает, что основная проблема заключается в отсутствии контекста.Компания Trac
Рекомендации по связанным специальным темам
Комментарии (0)

Исследовательская группа Apple по машинному обучению недавно опубликовала статью под названием «Картирование пространства проектирования пользовательского опыта интеллектуальных агентов, управляемых компьютером», в которой исследуются психологические границы и границы доверия, устанавливаемые пользователями при взаимодействии с ИИ-агентами.
В исследовании отмечается, что, хотя отрасль стремится улучшить операционные возможности ИИ, она часто игнорирует хрупкий баланс между автоматизацией и контролем со стороны пользователя. Чтобы собрать достоверные отзывы, исследователи использовали метод «Волшебник из страны Оз», при котором операторы-люди имитировали работу ИИ, иногда намеренно делая ошибки или застревая, чтобы наблюдать за подлинными реакциями пользователей.
Основные выводы исследования:
Неприятие молчаливых предположений: пользователи крайне не любят, когда ИИ принимает самостоятельные решения в неоднозначных ситуациях. Вместо того чтобы ИИ делал догадки для достижения полной автоматизации, пользователи предпочитают, чтобы он приостанавливал работу и запрашивал разъяснения в критические моменты.
Баланс прозрачности: пользователи хотят понимать, что делает ИИ, но не хотят, чтобы их перегружали излишними деталями. При выполнении привычных задач пользователи сосредоточены на результатах, но в случае действий, связанных с деликатными вопросами, такими как платежи или изменения в учетной записи, они требуют абсолютного права на подтверждение.
Быстрое подрывание доверия: доверие мгновенно рушится, если ИИ отклоняется от заявленного плана, не информируя об этом пользователя. В таких сценариях, как онлайн-покупки или денежные переводы, даже небольшое несанкционированное «умное» действие со стороны ИИ может вызвать значительный дискомфорт у пользователя.
Исследователи Apple подчеркнули, что при разработке будущих ИИ-агентов необходимо не только стремиться к мощной функциональности, но и включать надежные механизмы контроля со стороны пользователя и объяснимости действий, не допуская превращения ИИ в неуправляемый «черный ящик».
Как защитить имущество, здания и собственное здоровье?
В этом непредсказуемом мире защита стала стратегической необходимостью, а не просто одним из возможных вариантов. Будь то обеспечение финансовой безопасности, укрепление зданий или забота о собственно
Браузер Comet на базе искусственного интеллекта вышел на рынок с полной поддержкой многозадачности на iPad
Браузер Comet от Perplexity, основанный на искусственном интеллекте, официально выпустил версию для iPad, которая теперь полностью совместима с iPadOS. Обновление включает в себя многооконный режим пр
Компания Trace привлекла 3 миллиона долларов для преодоления препятствий на пути внедрения интеллектуальных агентов в корпоративной среде.
Несмотря на свой потенциал, искусственные интеллектуальные агенты испытывают трудности с получением распространения в корпоративной среде. Одна из новых стартап-компаний считает, что основная проблема заключается в отсутствии контекста.Компания Trac











