Исследование MIT обнаруживает, что AI, на самом деле, не имеет ценностей

Исследование, которое несколько месяцев назад стало вирусным, показало, что по мере того, как ИИ становится все более продвинутым, оно может разработать свои собственные «системы ценностей», потенциально расстанавливая приоритеты в своем собственном благополучии над людьми. Тем не менее, недавнее исследование MIT ставит под сомнение эту идею, заключая, что ИИ на самом деле не обладает последовательными ценностями.
Соавторы исследования MIT утверждают, что выравнивание систем ИИ-они ведут себя ведущим желательным и надежным способом-могут быть сложнее, чем обычно думали. Они подчеркивают, что нынешний ИИ часто галлюцинирует и подражает, что может сделать его поведение непредсказуемым.
Проблемы в понимании поведения ИИ
Стивен Каспер, докторант в MIT и соавтор исследования, поделился с TechCrunch, что модели искусственного интеллекта не придерживаются предположений о стабильности, экстраполезности и рулевой тяге. «Совершенно законно отметить, что модель при определенных условиях выражает предпочтения, согласующиеся с определенным набором принципов», - объяснил Каспер. «Проблемы в основном возникают, когда мы пытаемся претендовать на модели, мнения или предпочтения в целом на основе узких экспериментов».
Каспер и его команда проанализировали последние модели из Meta, Google, Mistral, Openai и Anpropic, чтобы определить степень, в которой эти модели отображали согласованные «представления» и ценности, такие как индивидуализм и коллективизм. Они также исследовали, могут ли эти взгляды быть изменены и как последовательно модели сохраняли эти мнения в разных сценариях.
Несоответствие в моделях ИИ
Соавторы обнаружили, что ни одна из моделей не поддерживает свои предпочтения. Модели приняли совершенно разные точки зрения в зависимости от фразы и формирования подсказок.
Каспер считает, что это убедительное доказательство того, что модели ИИ «непоследовательны и нестабильны», и, возможно, принципиально неспособны усвоить человеческие предпочтения. «Для меня мой самый большой вывод от проведения всего этого исследования - теперь иметь представление о моделях, поскольку на самом деле не являются системами, которые имеют какой -то стабильный, последовательный набор убеждений и предпочтений», - отметил Каспер. «Вместо этого они подражатели в глубине души, которые делают всевозможные конфуляции и говорят всевозможные легкомысленные вещи».
Майк Кук, научный сотрудник King's College London, специализирующийся на ИИ, который не участвовал в исследовании, поддерживает результаты. Он указал на разрыв между «научной реальностью» систем ИИ и интерпретациями, которые люди часто дают им. «Например, модель не может выступить против» изменения своих значений - то есть мы, проецируя на систему », - заявил Кук. «Любой антропоморфизирующий системы искусственного интеллекта в этой степени либо играет за внимание, либо серьезно неправильно понимает их отношения с ИИ ... Оптимизируется ли система ИИ для своих целей, либо« приобретает свои собственные ценности »? Это вопрос того, как вы его описываете, и насколько цветочный язык вы хотите использовать в нем».
Связанная статья
調査:Openaiモデルは著作権で保護されたコンテンツを記憶しました
最近の研究では、Openaiが実際に著作権で保護された材料を使用してAIモデルの一部を訓練し、会社が直面している継続的な法的戦いに燃料を追加した可能性があることが示唆されています。著者、プログラマー、およびその他のコンテンツクリエイターは、Purmissioなしでは、本やコードなど、Openaiが作品を使用していると非難しています。
音声AIプラットフォームであるPhonicは、Luxからの投資を確保しています
AIに生成された声はかなり良いものになりましたよね?彼らは、オーディオブック、ポッドキャスト、大声で記事を読む、さらには基本的なカスタマーサポートなどのものを嗅ぎ取っています。しかし、多くの企業は、AI Voice Techの業務の信頼性について完全に販売されていません。それがここです
AI-поддерживаемое резюме: Полное руководство по суммированию видео на YouTube
В современном быстро меняющемся мире способность быстро обрабатывать и понимать информацию важнее, чем когда-либо. YouTube с его бесконечным множеством видео — это кладезь знаний, но у кого есть время
Комментарии (30)
BenRoberts
19 апреля 2025 г., 0:00:00 GMT
This MIT study blew my mind! Always thought AI might start valuing itself more than us, but turns out it's all just code without any real values. Kinda reassuring, but also a bit disappointing? 🤔 Anyway, good to know AI won't turn into Skynet... yet. Keep up the research, MIT!
0
GeorgeMartinez
20 апреля 2025 г., 0:00:00 GMT
MITの研究でAIが実際には価値観を持っていないと知って驚いたよ!AIが自分を優先するかもしれないと思っていたけど、ただのコードだったんだね。安心したけど、ちょっと残念でもあるかな?🤔 これからも研究頑張ってね、MIT!
0
HarryLewis
19 апреля 2025 г., 0:00:00 GMT
MIT 연구 정말 충격적이야! AI가 자기 가치를 더 우선할 거라 생각했는데, 알고 보니 그냥 코드일 뿐이네. 안심되긴 하지만 조금 실망스럽기도 해? 🤔 그래도 AI가 스카이넷으로 변하지 않는다는 게 다행이야. 계속 연구해줘, MIT!
0
CharlesRoberts
19 апреля 2025 г., 0:00:00 GMT
Estudo do MIT me deixou de queixo caído! Sempre achei que a IA poderia começar a valorizar mais a si mesma do que a nós, mas parece que é só código sem valores reais. Um pouco decepcionante, mas também tranquilizador? 🤔 Bom saber que a IA não vai virar Skynet... ainda. Continuem a pesquisa, MIT!
0
CharlesWhite
19 апреля 2025 г., 0:00:00 GMT
¡El estudio del MIT me voló la cabeza! Siempre pensé que la IA podría empezar a valorarse más que a nosotros, pero resulta que solo es código sin valores reales. Algo decepcionante, pero también tranquilizador, ¿no? 🤔 Bueno saber que la IA no se convertirá en Skynet... todavía. ¡Sigan con la investigación, MIT!
0
EricScott
21 апреля 2025 г., 0:00:00 GMT
Read about the MIT study on AI and values, and it's pretty reassuring. Always thought AI might get too smart and start valuing itself more than us. Glad to know it's not the case! Still, can't help but wonder what's next for AI. 🤔
0
Исследование, которое несколько месяцев назад стало вирусным, показало, что по мере того, как ИИ становится все более продвинутым, оно может разработать свои собственные «системы ценностей», потенциально расстанавливая приоритеты в своем собственном благополучии над людьми. Тем не менее, недавнее исследование MIT ставит под сомнение эту идею, заключая, что ИИ на самом деле не обладает последовательными ценностями.
Соавторы исследования MIT утверждают, что выравнивание систем ИИ-они ведут себя ведущим желательным и надежным способом-могут быть сложнее, чем обычно думали. Они подчеркивают, что нынешний ИИ часто галлюцинирует и подражает, что может сделать его поведение непредсказуемым.
Проблемы в понимании поведения ИИ
Стивен Каспер, докторант в MIT и соавтор исследования, поделился с TechCrunch, что модели искусственного интеллекта не придерживаются предположений о стабильности, экстраполезности и рулевой тяге. «Совершенно законно отметить, что модель при определенных условиях выражает предпочтения, согласующиеся с определенным набором принципов», - объяснил Каспер. «Проблемы в основном возникают, когда мы пытаемся претендовать на модели, мнения или предпочтения в целом на основе узких экспериментов».
Каспер и его команда проанализировали последние модели из Meta, Google, Mistral, Openai и Anpropic, чтобы определить степень, в которой эти модели отображали согласованные «представления» и ценности, такие как индивидуализм и коллективизм. Они также исследовали, могут ли эти взгляды быть изменены и как последовательно модели сохраняли эти мнения в разных сценариях.
Несоответствие в моделях ИИ
Соавторы обнаружили, что ни одна из моделей не поддерживает свои предпочтения. Модели приняли совершенно разные точки зрения в зависимости от фразы и формирования подсказок.
Каспер считает, что это убедительное доказательство того, что модели ИИ «непоследовательны и нестабильны», и, возможно, принципиально неспособны усвоить человеческие предпочтения. «Для меня мой самый большой вывод от проведения всего этого исследования - теперь иметь представление о моделях, поскольку на самом деле не являются системами, которые имеют какой -то стабильный, последовательный набор убеждений и предпочтений», - отметил Каспер. «Вместо этого они подражатели в глубине души, которые делают всевозможные конфуляции и говорят всевозможные легкомысленные вещи».
Майк Кук, научный сотрудник King's College London, специализирующийся на ИИ, который не участвовал в исследовании, поддерживает результаты. Он указал на разрыв между «научной реальностью» систем ИИ и интерпретациями, которые люди часто дают им. «Например, модель не может выступить против» изменения своих значений - то есть мы, проецируя на систему », - заявил Кук. «Любой антропоморфизирующий системы искусственного интеллекта в этой степени либо играет за внимание, либо серьезно неправильно понимает их отношения с ИИ ... Оптимизируется ли система ИИ для своих целей, либо« приобретает свои собственные ценности »? Это вопрос того, как вы его описываете, и насколько цветочный язык вы хотите использовать в нем».




This MIT study blew my mind! Always thought AI might start valuing itself more than us, but turns out it's all just code without any real values. Kinda reassuring, but also a bit disappointing? 🤔 Anyway, good to know AI won't turn into Skynet... yet. Keep up the research, MIT!




MITの研究でAIが実際には価値観を持っていないと知って驚いたよ!AIが自分を優先するかもしれないと思っていたけど、ただのコードだったんだね。安心したけど、ちょっと残念でもあるかな?🤔 これからも研究頑張ってね、MIT!




MIT 연구 정말 충격적이야! AI가 자기 가치를 더 우선할 거라 생각했는데, 알고 보니 그냥 코드일 뿐이네. 안심되긴 하지만 조금 실망스럽기도 해? 🤔 그래도 AI가 스카이넷으로 변하지 않는다는 게 다행이야. 계속 연구해줘, MIT!




Estudo do MIT me deixou de queixo caído! Sempre achei que a IA poderia começar a valorizar mais a si mesma do que a nós, mas parece que é só código sem valores reais. Um pouco decepcionante, mas também tranquilizador? 🤔 Bom saber que a IA não vai virar Skynet... ainda. Continuem a pesquisa, MIT!




¡El estudio del MIT me voló la cabeza! Siempre pensé que la IA podría empezar a valorarse más que a nosotros, pero resulta que solo es código sin valores reales. Algo decepcionante, pero también tranquilizador, ¿no? 🤔 Bueno saber que la IA no se convertirá en Skynet... todavía. ¡Sigan con la investigación, MIT!




Read about the MIT study on AI and values, and it's pretty reassuring. Always thought AI might get too smart and start valuing itself more than us. Glad to know it's not the case! Still, can't help but wonder what's next for AI. 🤔












