Исследование MIT обнаруживает, что AI, на самом деле, не имеет ценностей
17 апреля 2025 г.
RonaldWilliams
11

Исследование, которое несколько месяцев назад стало вирусным, показало, что по мере того, как ИИ становится все более продвинутым, оно может разработать свои собственные «системы ценностей», потенциально расстанавливая приоритеты в своем собственном благополучии над людьми. Тем не менее, недавнее исследование MIT ставит под сомнение эту идею, заключая, что ИИ на самом деле не обладает последовательными ценностями.
Соавторы исследования MIT утверждают, что выравнивание систем ИИ-они ведут себя ведущим желательным и надежным способом-могут быть сложнее, чем обычно думали. Они подчеркивают, что нынешний ИИ часто галлюцинирует и подражает, что может сделать его поведение непредсказуемым.
Проблемы в понимании поведения ИИ
Стивен Каспер, докторант в MIT и соавтор исследования, поделился с TechCrunch, что модели искусственного интеллекта не придерживаются предположений о стабильности, экстраполезности и рулевой тяге. «Совершенно законно отметить, что модель при определенных условиях выражает предпочтения, согласующиеся с определенным набором принципов», - объяснил Каспер. «Проблемы в основном возникают, когда мы пытаемся претендовать на модели, мнения или предпочтения в целом на основе узких экспериментов».
Каспер и его команда проанализировали последние модели из Meta, Google, Mistral, Openai и Anpropic, чтобы определить степень, в которой эти модели отображали согласованные «представления» и ценности, такие как индивидуализм и коллективизм. Они также исследовали, могут ли эти взгляды быть изменены и как последовательно модели сохраняли эти мнения в разных сценариях.
Несоответствие в моделях ИИ
Соавторы обнаружили, что ни одна из моделей не поддерживает свои предпочтения. Модели приняли совершенно разные точки зрения в зависимости от фразы и формирования подсказок.
Каспер считает, что это убедительное доказательство того, что модели ИИ «непоследовательны и нестабильны», и, возможно, принципиально неспособны усвоить человеческие предпочтения. «Для меня мой самый большой вывод от проведения всего этого исследования - теперь иметь представление о моделях, поскольку на самом деле не являются системами, которые имеют какой -то стабильный, последовательный набор убеждений и предпочтений», - отметил Каспер. «Вместо этого они подражатели в глубине души, которые делают всевозможные конфуляции и говорят всевозможные легкомысленные вещи».
Майк Кук, научный сотрудник King's College London, специализирующийся на ИИ, который не участвовал в исследовании, поддерживает результаты. Он указал на разрыв между «научной реальностью» систем ИИ и интерпретациями, которые люди часто дают им. «Например, модель не может выступить против» изменения своих значений - то есть мы, проецируя на систему », - заявил Кук. «Любой антропоморфизирующий системы искусственного интеллекта в этой степени либо играет за внимание, либо серьезно неправильно понимает их отношения с ИИ ... Оптимизируется ли система ИИ для своих целей, либо« приобретает свои собственные ценности »? Это вопрос того, как вы его описываете, и насколько цветочный язык вы хотите использовать в нем».
Связанная статья
研究:OpenAI模型記憶的受版權保護內容
最近的一項研究表明,Openai確實確實使用了受版權保護的材料來訓練其一些AI模型,從而為公司面臨的正在進行的法律鬥爭增加了燃料。作者,程序員和其他內容創建者指責OpenAi使用其作品(例如書籍和代碼),而沒有Permissio
Phonic是語音AI平台,可從Lux獲得投資
AI生成的聲音變得非常好,您知道嗎?他們可以鼻煙,例如有聲讀物,播客,大聲閱讀文章,甚至是基本的客戶支持。但是,許多企業仍未完全以AI語音技術的運營可靠性出售。那就是那裡
Расширенный голосовой режим ChatGPT теперь доступен в веб-версии
Если вы часто используете ChatGPT для упрощения своих ежедневных задач, вероятно, у вас всегда открыт вкладка с чат-ботом на рабочем столе. Представьте, что вы можете подключиться
Комментарии (30)
BenRoberts
18 апреля 2025 г., 17:09:27 GMT
This MIT study blew my mind! Always thought AI might start valuing itself more than us, but turns out it's all just code without any real values. Kinda reassuring, but also a bit disappointing? 🤔 Anyway, good to know AI won't turn into Skynet... yet. Keep up the research, MIT!
0
GeorgeMartinez
19 апреля 2025 г., 17:30:05 GMT
MITの研究でAIが実際には価値観を持っていないと知って驚いたよ!AIが自分を優先するかもしれないと思っていたけど、ただのコードだったんだね。安心したけど、ちょっと残念でもあるかな?🤔 これからも研究頑張ってね、MIT!
0
HarryLewis
19 апреля 2025 г., 15:52:30 GMT
MIT 연구 정말 충격적이야! AI가 자기 가치를 더 우선할 거라 생각했는데, 알고 보니 그냥 코드일 뿐이네. 안심되긴 하지만 조금 실망스럽기도 해? 🤔 그래도 AI가 스카이넷으로 변하지 않는다는 게 다행이야. 계속 연구해줘, MIT!
0
CharlesRoberts
19 апреля 2025 г., 1:11:17 GMT
Estudo do MIT me deixou de queixo caído! Sempre achei que a IA poderia começar a valorizar mais a si mesma do que a nós, mas parece que é só código sem valores reais. Um pouco decepcionante, mas também tranquilizador? 🤔 Bom saber que a IA não vai virar Skynet... ainda. Continuem a pesquisa, MIT!
0
CharlesWhite
19 апреля 2025 г., 10:15:37 GMT
¡El estudio del MIT me voló la cabeza! Siempre pensé que la IA podría empezar a valorarse más que a nosotros, pero resulta que solo es código sin valores reales. Algo decepcionante, pero también tranquilizador, ¿no? 🤔 Bueno saber que la IA no se convertirá en Skynet... todavía. ¡Sigan con la investigación, MIT!
0
EricScott
21 апреля 2025 г., 5:44:19 GMT
Read about the MIT study on AI and values, and it's pretty reassuring. Always thought AI might get too smart and start valuing itself more than us. Glad to know it's not the case! Still, can't help but wonder what's next for AI. 🤔
0






Исследование, которое несколько месяцев назад стало вирусным, показало, что по мере того, как ИИ становится все более продвинутым, оно может разработать свои собственные «системы ценностей», потенциально расстанавливая приоритеты в своем собственном благополучии над людьми. Тем не менее, недавнее исследование MIT ставит под сомнение эту идею, заключая, что ИИ на самом деле не обладает последовательными ценностями.
Соавторы исследования MIT утверждают, что выравнивание систем ИИ-они ведут себя ведущим желательным и надежным способом-могут быть сложнее, чем обычно думали. Они подчеркивают, что нынешний ИИ часто галлюцинирует и подражает, что может сделать его поведение непредсказуемым.
Проблемы в понимании поведения ИИ
Стивен Каспер, докторант в MIT и соавтор исследования, поделился с TechCrunch, что модели искусственного интеллекта не придерживаются предположений о стабильности, экстраполезности и рулевой тяге. «Совершенно законно отметить, что модель при определенных условиях выражает предпочтения, согласующиеся с определенным набором принципов», - объяснил Каспер. «Проблемы в основном возникают, когда мы пытаемся претендовать на модели, мнения или предпочтения в целом на основе узких экспериментов».
Каспер и его команда проанализировали последние модели из Meta, Google, Mistral, Openai и Anpropic, чтобы определить степень, в которой эти модели отображали согласованные «представления» и ценности, такие как индивидуализм и коллективизм. Они также исследовали, могут ли эти взгляды быть изменены и как последовательно модели сохраняли эти мнения в разных сценариях.
Несоответствие в моделях ИИ
Соавторы обнаружили, что ни одна из моделей не поддерживает свои предпочтения. Модели приняли совершенно разные точки зрения в зависимости от фразы и формирования подсказок.
Каспер считает, что это убедительное доказательство того, что модели ИИ «непоследовательны и нестабильны», и, возможно, принципиально неспособны усвоить человеческие предпочтения. «Для меня мой самый большой вывод от проведения всего этого исследования - теперь иметь представление о моделях, поскольку на самом деле не являются системами, которые имеют какой -то стабильный, последовательный набор убеждений и предпочтений», - отметил Каспер. «Вместо этого они подражатели в глубине души, которые делают всевозможные конфуляции и говорят всевозможные легкомысленные вещи».
Майк Кук, научный сотрудник King's College London, специализирующийся на ИИ, который не участвовал в исследовании, поддерживает результаты. Он указал на разрыв между «научной реальностью» систем ИИ и интерпретациями, которые люди часто дают им. «Например, модель не может выступить против» изменения своих значений - то есть мы, проецируя на систему », - заявил Кук. «Любой антропоморфизирующий системы искусственного интеллекта в этой степени либо играет за внимание, либо серьезно неправильно понимает их отношения с ИИ ... Оптимизируется ли система ИИ для своих целей, либо« приобретает свои собственные ценности »? Это вопрос того, как вы его описываете, и насколько цветочный язык вы хотите использовать в нем».




This MIT study blew my mind! Always thought AI might start valuing itself more than us, but turns out it's all just code without any real values. Kinda reassuring, but also a bit disappointing? 🤔 Anyway, good to know AI won't turn into Skynet... yet. Keep up the research, MIT!




MITの研究でAIが実際には価値観を持っていないと知って驚いたよ!AIが自分を優先するかもしれないと思っていたけど、ただのコードだったんだね。安心したけど、ちょっと残念でもあるかな?🤔 これからも研究頑張ってね、MIT!




MIT 연구 정말 충격적이야! AI가 자기 가치를 더 우선할 거라 생각했는데, 알고 보니 그냥 코드일 뿐이네. 안심되긴 하지만 조금 실망스럽기도 해? 🤔 그래도 AI가 스카이넷으로 변하지 않는다는 게 다행이야. 계속 연구해줘, MIT!




Estudo do MIT me deixou de queixo caído! Sempre achei que a IA poderia começar a valorizar mais a si mesma do que a nós, mas parece que é só código sem valores reais. Um pouco decepcionante, mas também tranquilizador? 🤔 Bom saber que a IA não vai virar Skynet... ainda. Continuem a pesquisa, MIT!




¡El estudio del MIT me voló la cabeza! Siempre pensé que la IA podría empezar a valorarse más que a nosotros, pero resulta que solo es código sin valores reales. Algo decepcionante, pero también tranquilizador, ¿no? 🤔 Bueno saber que la IA no se convertirá en Skynet... todavía. ¡Sigan con la investigación, MIT!




Read about the MIT study on AI and values, and it's pretty reassuring. Always thought AI might get too smart and start valuing itself more than us. Glad to know it's not the case! Still, can't help but wonder what's next for AI. 🤔












