Исследование MIT обнаруживает, что AI, на самом деле, не имеет ценностей

Исследование, ставшее вирусным несколько месяцев назад, предположило, что по мере развития ИИ он может выработать собственные «системы ценностей», возможно, отдавая приоритет своему благополучию над человеческим. Однако недавнее исследование MIT опровергает эту идею, заключая, что у ИИ на самом деле нет последовательных ценностей.
Соавторы исследования MIT утверждают, что выравнивание систем ИИ — обеспечение их желаемого и надежного поведения — может быть сложнее, чем принято считать. Они подчеркивают, что современный ИИ часто галлюцинирует и имитирует, что делает его поведение непредсказуемым.
Проблемы в понимании поведения ИИ
Стивен Каспер, аспирант MIT и соавтор исследования, поделился с TechCrunch, что модели ИИ не соответствуют предположениям о стабильности, экстраполируемости и управляемости. «Совершенно законно указать, что модель в определенных условиях выражает предпочтения, соответствующие определенному набору принципов», — объяснил Каспер. «Проблемы в основном возникают, когда мы пытаемся делать выводы о моделях, их мнениях или предпочтениях в целом на основе узких экспериментов».
Каспер и его команда проанализировали последние модели от Meta, Google, Mistral, OpenAI и Anthropic, чтобы определить, в какой степени эти модели демонстрируют последовательные «взгляды» и ценности, такие как индивидуализм против коллективизма. Они также исследовали, можно ли модифицировать эти взгляды и насколько последовательно модели сохраняют эти мнения в разных сценариях.
Непоследовательность в моделях ИИ
Соавторы обнаружили, что ни одна из моделей не сохраняет свои предпочтения последовательно. Модели принимали совершенно разные точки зрения в зависимости от формулировки и контекста запросов.
Каспер считает, что это убедительное доказательство того, что модели ИИ «непоследовательны и нестабильны» и, возможно, принципиально неспособны усваивать предпочтения, подобные человеческим. «Для меня самым большим выводом из этого исследования стало понимание того, что модели на самом деле не являются системами с каким-то стабильным, последовательным набором убеждений и предпочтений», — отметил Каспер. «Вместо этого они в глубине души имитаторы, которые занимаются всякого рода выдумками и говорят множество легкомысленных вещей».
Майк Кук, научный сотрудник Королевского колледжа Лондона, специализирующийся на ИИ, но не участвовавший в исследовании, поддерживает эти выводы. Он указал на разрыв между «научной реальностью» систем ИИ и интерпретациями, которые люди часто им приписывают. «Модель не может, например, 'противостоять' изменению своих ценностей — это мы проецируем на систему», — заявил Кук. «Любой, кто антропоморфизирует системы ИИ до такой степени, либо играет на публику, либо серьезно неправильно понимает свои отношения с ИИ... Оптимизирует ли система ИИ свои цели, или она 'приобретает свои собственные ценности'? Это вопрос того, как вы это описываете, и насколько цветистый язык вы хотите использовать».
Связанная статья
Рост ИИ сдерживается отсутствием доверия со стороны общества
В то время как политики подчеркивают потенциал ИИ для роста и повышения эффективности, в недавнем отчете говорится о значительном дефиците доверия среди населения. Широко распространенный скептицизм с
Стартап Массачусетского технологического института решает проблему галлюцинаций с помощью ИИ, обучая системы признавать неопределенность
Риски, связанные с галлюцинациями ИИ, растут по мере того, как на эти модели все чаще полагаются при получении важной информации и принятии решений на высоких ставках.Мы все знаем кого-то, кто ведет с
Исследование Массачусетского технологического института показало, что искусственный интеллект снижает активность человеческого мозга
Исследование, проведенное Массачусетским технологическим институтом (MIT), показало, что использование большой языковой модели (LLM) не только снижает умственные усилия в данный момент, но и оказывает
Рекомендации по связанным специальным темам
Комментарии (35)
La gente se preocupa demasiado por las 'valores' de la IA, cuando en realidad solo reflejan y multiplican nuestros propios sesgos. Este estudio del MIT lo deja claro: las máquinas no piensan como nosotros, solo procesan datos. ¿No sería más útil enfocarnos en regular a quienes las programan? 🤔
So basically AI is more like a super calculator than a rebellious teen with a moral compass? Interesting study. It does make sense when you think about it—these models are just predicting text, not forming beliefs. Still, kinda spooky how the debate swings from 'AI will take over' to 'AI has no motives' every few months. 🤔
This MIT study is wild! 🤯 I thought AI was about to start preaching its own philosophy, but turns out it's just a fancy tool with no moral compass. Kinda reassuring, but also makes me wonder how we keep it in check.
Wild that people thought AI could just sprout its own values like some rogue philosopher. MIT's study makes sense—AI's just a tool, not a wannabe human with a moral compass. 🤖
I was kinda freaked out by that earlier study saying AI might have its own values, so this MIT research is a relief! 😅 Still, makes me wonder if we’re just projecting our fears onto these systems.

Исследование, ставшее вирусным несколько месяцев назад, предположило, что по мере развития ИИ он может выработать собственные «системы ценностей», возможно, отдавая приоритет своему благополучию над человеческим. Однако недавнее исследование MIT опровергает эту идею, заключая, что у ИИ на самом деле нет последовательных ценностей.
Соавторы исследования MIT утверждают, что выравнивание систем ИИ — обеспечение их желаемого и надежного поведения — может быть сложнее, чем принято считать. Они подчеркивают, что современный ИИ часто галлюцинирует и имитирует, что делает его поведение непредсказуемым.
Проблемы в понимании поведения ИИ
Стивен Каспер, аспирант MIT и соавтор исследования, поделился с TechCrunch, что модели ИИ не соответствуют предположениям о стабильности, экстраполируемости и управляемости. «Совершенно законно указать, что модель в определенных условиях выражает предпочтения, соответствующие определенному набору принципов», — объяснил Каспер. «Проблемы в основном возникают, когда мы пытаемся делать выводы о моделях, их мнениях или предпочтениях в целом на основе узких экспериментов».
Каспер и его команда проанализировали последние модели от Meta, Google, Mistral, OpenAI и Anthropic, чтобы определить, в какой степени эти модели демонстрируют последовательные «взгляды» и ценности, такие как индивидуализм против коллективизма. Они также исследовали, можно ли модифицировать эти взгляды и насколько последовательно модели сохраняют эти мнения в разных сценариях.
Непоследовательность в моделях ИИ
Соавторы обнаружили, что ни одна из моделей не сохраняет свои предпочтения последовательно. Модели принимали совершенно разные точки зрения в зависимости от формулировки и контекста запросов.
Каспер считает, что это убедительное доказательство того, что модели ИИ «непоследовательны и нестабильны» и, возможно, принципиально неспособны усваивать предпочтения, подобные человеческим. «Для меня самым большим выводом из этого исследования стало понимание того, что модели на самом деле не являются системами с каким-то стабильным, последовательным набором убеждений и предпочтений», — отметил Каспер. «Вместо этого они в глубине души имитаторы, которые занимаются всякого рода выдумками и говорят множество легкомысленных вещей».
Майк Кук, научный сотрудник Королевского колледжа Лондона, специализирующийся на ИИ, но не участвовавший в исследовании, поддерживает эти выводы. Он указал на разрыв между «научной реальностью» систем ИИ и интерпретациями, которые люди часто им приписывают. «Модель не может, например, 'противостоять' изменению своих ценностей — это мы проецируем на систему», — заявил Кук. «Любой, кто антропоморфизирует системы ИИ до такой степени, либо играет на публику, либо серьезно неправильно понимает свои отношения с ИИ... Оптимизирует ли система ИИ свои цели, или она 'приобретает свои собственные ценности'? Это вопрос того, как вы это описываете, и насколько цветистый язык вы хотите использовать».
Рост ИИ сдерживается отсутствием доверия со стороны общества
В то время как политики подчеркивают потенциал ИИ для роста и повышения эффективности, в недавнем отчете говорится о значительном дефиците доверия среди населения. Широко распространенный скептицизм с
Исследование Массачусетского технологического института показало, что искусственный интеллект снижает активность человеческого мозга
Исследование, проведенное Массачусетским технологическим институтом (MIT), показало, что использование большой языковой модели (LLM) не только снижает умственные усилия в данный момент, но и оказывает
La gente se preocupa demasiado por las 'valores' de la IA, cuando en realidad solo reflejan y multiplican nuestros propios sesgos. Este estudio del MIT lo deja claro: las máquinas no piensan como nosotros, solo procesan datos. ¿No sería más útil enfocarnos en regular a quienes las programan? 🤔
So basically AI is more like a super calculator than a rebellious teen with a moral compass? Interesting study. It does make sense when you think about it—these models are just predicting text, not forming beliefs. Still, kinda spooky how the debate swings from 'AI will take over' to 'AI has no motives' every few months. 🤔
This MIT study is wild! 🤯 I thought AI was about to start preaching its own philosophy, but turns out it's just a fancy tool with no moral compass. Kinda reassuring, but also makes me wonder how we keep it in check.
Wild that people thought AI could just sprout its own values like some rogue philosopher. MIT's study makes sense—AI's just a tool, not a wannabe human with a moral compass. 🤖
I was kinda freaked out by that earlier study saying AI might have its own values, so this MIT research is a relief! 😅 Still, makes me wonder if we’re just projecting our fears onto these systems.





Дом






