Гонка ИИ: можно ли совместить бешеную скорость с требованиями безопасности?
Критика безопасности ИИ со стороны исследователя OpenAI, направленная на конкурента, раскрывает более глубокую борьбу в индустрии - борьбу с самим собой.
Все началось с того, что Боаз Барак, профессор Гарвардского университета, который сейчас находится в отпуске и работает над безопасностью в OpenAI, назвал выпуск модели Grok от xAI "совершенно безответственным". Его критика касалась не столько ее выходок, которые бросались в глаза, сколько того, чего не хватало: публичной карты системы, подробных оценок безопасности и основных артефактов прозрачности, которые стали хрупкими нормами индустрии.
Это был ясный и необходимый призыв к действию. Однако откровенные размышления бывшего инженера OpenAI Кельвина Френч-Оуэна, опубликованные всего через три недели после его ухода, показывают другую сторону истории.
Из рассказа Френч-Оуэна следует, что значительное число сотрудников OpenAI действительно сосредоточены на безопасности, противодействуя вполне реальным угрозам, таким как разжигание ненависти, биооружие и членовредительство. И все же он предлагает важную мысль: "Большая часть проделанной работы не публикуется", - пишет он, добавляя, что OpenAI "действительно следует делать больше, чтобы она появлялась".
Здесь простое повествование об ответственном деятеле, порицающем безответственного, рассыпается. Вместо этого мы видим, как обнажается истинная дилемма отрасли. Весь сектор ИИ оказался в ловушке, которую можно назвать "парадоксом безопасности и скорости" - глубоким структурным конфликтом между конкурентным давлением, заставляющим развиваться с бешеной скоростью, и этическим императивом, требующим осторожности для обеспечения безопасности людей.
По словам Френча-Оуэна, OpenAI работает в состоянии контролируемого хаоса. Всего за год штат компании увеличился в три раза и превысил 3 000 человек, а "при таком быстром масштабировании все ломается". Эта хаотичная энергия вызвана огромным давлением того, что он описывает как "гонку на трех лошадях" в направлении искусственного общего интеллекта, напрямую конкурирующего с Google и Anthropic. Результатом стала культура, характеризующаяся невероятной скоростью, но также и секретностью.
Вспомните разработку Codex, агента кодирования OpenAI. Френч-Оуэн описывает этот проект как "безумный спринт", когда небольшая команда создала революционный продукт с нуля всего за семь недель.
Это хрестоматийный пример скорости - работа до полуночи и даже по выходным, чтобы все получилось. Это человеческая цена такой скорости. Стоит ли удивляться, что в условиях столь стремительного движения медленная, методичная работа по публикации исследований безопасности ИИ кажется отвлечением от гонки?
Этот парадокс вызван не злым умыслом, а сочетанием мощных, взаимосвязанных сил.
Есть очевидное конкурентное давление - быть первыми. Кроме того, существует культурная ДНК этих лабораторий, которые зародились как неформальные сообщества "ученых и мастеров", предпочитающих новаторские инновации систематическим процессам. Все это усугубляется базовой проблемой измерения: легко отследить скорость и производительность, но исключительно сложно количественно оценить катастрофу, которую удалось предотвратить.
В сегодняшних залах заседаний советов директоров видимые показатели прогресса почти всегда будут преобладать над невидимыми успехами в области безопасности. Однако, чтобы отрасль могла двигаться вперед, необходимо сместить акцент с возложения вины на фундаментальное изменение правил игры.
Мы должны переосмыслить, что означает запуск продукта, сделав публикацию обоснования безопасности такой же неотъемлемой частью, как и сам код. Нам нужны общеотраслевые стандарты, которые гарантируют, что ни одна компания не окажется в невыгодном положении в конкурентной борьбе за добросовестное отношение к делу, превращая безопасность из необязательной функции в общую, не подлежащую обсуждению основу.
Прежде всего, мы должны сформировать в лабораториях ИИ культуру, в которой каждый инженер - не только тот, кто работает в отделе безопасности, - будет чувствовать себя ответственным.
Гонка за создание AGI заключается не только в том, кто придет первым, но и в том, как мы придем. В конечном итоге победит не та компания, которая окажется самой быстрой, а та, которая покажет всему миру, что амбиции и ответственность могут и должны развиваться вместе.
См. также: Военные контракты на ИИ получили Anthropic, OpenAI, Google и xAI
Хотите узнать больше об ИИ и больших данных от лидеров отрасли? Посетите выставку AI & Big Data Expo, которая пройдет в Амстердаме, Калифорнии и Лондоне. Это комплексное мероприятие проводится совместно с другими ведущими конференциями, включая Intelligent Automation Conference, BlockX, Digital Transformation Week и Cyber Security & Cloud Expo.
Ознакомиться с другими предстоящими мероприятиями и вебинарами по корпоративным технологиям, проводимыми TechForge, можно здесь.
Связанная статья
Warner Music приобретает стартап в области атрибуции с использованием искусственного интеллекта Sureel AI
Warner Music Group (WMG) подтвердила в среду, что приобретает Sureel AI, стартап в области атрибуции с использованием искусственного интеллекта. Собственная технология Sureel создает «ИИ-ДНК» для музыкальных треков, разбивая их на составляющие элемен
Amazon представляет Alexa для покупок, отодвигая Rufus на второй план
Amazon запустила Alexa for Shopping, объединив своего чат-бота для покупок Rufus с Alexa+ в приложении, на веб-сайте и устройствах Echo Show.Ассистент отвечает на запросы о товарах, сравнивает товары, отслеживает цены и поддерживает напоминания о по
Microsoft, Azure и технологии искусственного интеллекта борются с рисками лесных пожаров в Калифорнии
Компания Microsoft инвестирует в разработку систем обнаружения лесных пожаров на основе искусственного интеллекта; Хуан Лависта Феррес, старший вице-президент и главный специалист по данным, обсуждает
Рекомендации по связанным специальным темам
Комментарии (2)
Interesting piece! The fact that even OpenAI researchers are calling out their own competitors on safety issues shows how messy this race is. 🏃♂️💨 But can we really slow down without losing the edge? Feels like a prisoner's dilemma with existential stakes. 🤔
Die KI-Branche wirkt wie ein Formel-1-Rennen mit kaputten Bremsen 😅. Jeder will der Schnellste sein, aber wenn niemand Sicherheitsvorkehrungen trifft, endet das im Chaos. Interessant, dass selbst OpenAI-Mitarbeiter die Konkurrenz kritisieren – zeigt, wie gespalten die Branche ist. Vielleicht brauchen wir weniger Wettrennen und mehr Zusammenarbeit?
Критика безопасности ИИ со стороны исследователя OpenAI, направленная на конкурента, раскрывает более глубокую борьбу в индустрии - борьбу с самим собой.
Все началось с того, что Боаз Барак, профессор Гарвардского университета, который сейчас находится в отпуске и работает над безопасностью в OpenAI, назвал выпуск модели Grok от xAI "совершенно безответственным". Его критика касалась не столько ее выходок, которые бросались в глаза, сколько того, чего не хватало: публичной карты системы, подробных оценок безопасности и основных артефактов прозрачности, которые стали хрупкими нормами индустрии.
Это был ясный и необходимый призыв к действию. Однако откровенные размышления бывшего инженера OpenAI Кельвина Френч-Оуэна, опубликованные всего через три недели после его ухода, показывают другую сторону истории.
Из рассказа Френч-Оуэна следует, что значительное число сотрудников OpenAI действительно сосредоточены на безопасности, противодействуя вполне реальным угрозам, таким как разжигание ненависти, биооружие и членовредительство. И все же он предлагает важную мысль: "Большая часть проделанной работы не публикуется", - пишет он, добавляя, что OpenAI "действительно следует делать больше, чтобы она появлялась".
Здесь простое повествование об ответственном деятеле, порицающем безответственного, рассыпается. Вместо этого мы видим, как обнажается истинная дилемма отрасли. Весь сектор ИИ оказался в ловушке, которую можно назвать "парадоксом безопасности и скорости" - глубоким структурным конфликтом между конкурентным давлением, заставляющим развиваться с бешеной скоростью, и этическим императивом, требующим осторожности для обеспечения безопасности людей.
По словам Френча-Оуэна, OpenAI работает в состоянии контролируемого хаоса. Всего за год штат компании увеличился в три раза и превысил 3 000 человек, а "при таком быстром масштабировании все ломается". Эта хаотичная энергия вызвана огромным давлением того, что он описывает как "гонку на трех лошадях" в направлении искусственного общего интеллекта, напрямую конкурирующего с Google и Anthropic. Результатом стала культура, характеризующаяся невероятной скоростью, но также и секретностью.
Вспомните разработку Codex, агента кодирования OpenAI. Френч-Оуэн описывает этот проект как "безумный спринт", когда небольшая команда создала революционный продукт с нуля всего за семь недель.
Это хрестоматийный пример скорости - работа до полуночи и даже по выходным, чтобы все получилось. Это человеческая цена такой скорости. Стоит ли удивляться, что в условиях столь стремительного движения медленная, методичная работа по публикации исследований безопасности ИИ кажется отвлечением от гонки?
Этот парадокс вызван не злым умыслом, а сочетанием мощных, взаимосвязанных сил.
Есть очевидное конкурентное давление - быть первыми. Кроме того, существует культурная ДНК этих лабораторий, которые зародились как неформальные сообщества "ученых и мастеров", предпочитающих новаторские инновации систематическим процессам. Все это усугубляется базовой проблемой измерения: легко отследить скорость и производительность, но исключительно сложно количественно оценить катастрофу, которую удалось предотвратить.
В сегодняшних залах заседаний советов директоров видимые показатели прогресса почти всегда будут преобладать над невидимыми успехами в области безопасности. Однако, чтобы отрасль могла двигаться вперед, необходимо сместить акцент с возложения вины на фундаментальное изменение правил игры.
Мы должны переосмыслить, что означает запуск продукта, сделав публикацию обоснования безопасности такой же неотъемлемой частью, как и сам код. Нам нужны общеотраслевые стандарты, которые гарантируют, что ни одна компания не окажется в невыгодном положении в конкурентной борьбе за добросовестное отношение к делу, превращая безопасность из необязательной функции в общую, не подлежащую обсуждению основу.
Прежде всего, мы должны сформировать в лабораториях ИИ культуру, в которой каждый инженер - не только тот, кто работает в отделе безопасности, - будет чувствовать себя ответственным.
Гонка за создание AGI заключается не только в том, кто придет первым, но и в том, как мы придем. В конечном итоге победит не та компания, которая окажется самой быстрой, а та, которая покажет всему миру, что амбиции и ответственность могут и должны развиваться вместе.
См. также: Военные контракты на ИИ получили Anthropic, OpenAI, Google и xAI
Хотите узнать больше об ИИ и больших данных от лидеров отрасли? Посетите выставку AI & Big Data Expo, которая пройдет в Амстердаме, Калифорнии и Лондоне. Это комплексное мероприятие проводится совместно с другими ведущими конференциями, включая Intelligent Automation Conference, BlockX, Digital Transformation Week и Cyber Security & Cloud Expo.
Ознакомиться с другими предстоящими мероприятиями и вебинарами по корпоративным технологиям, проводимыми TechForge, можно здесь.
Warner Music приобретает стартап в области атрибуции с использованием искусственного интеллекта Sureel AI
Warner Music Group (WMG) подтвердила в среду, что приобретает Sureel AI, стартап в области атрибуции с использованием искусственного интеллекта. Собственная технология Sureel создает «ИИ-ДНК» для музыкальных треков, разбивая их на составляющие элемен
Microsoft, Azure и технологии искусственного интеллекта борются с рисками лесных пожаров в Калифорнии
Компания Microsoft инвестирует в разработку систем обнаружения лесных пожаров на основе искусственного интеллекта; Хуан Лависта Феррес, старший вице-президент и главный специалист по данным, обсуждает
Interesting piece! The fact that even OpenAI researchers are calling out their own competitors on safety issues shows how messy this race is. 🏃♂️💨 But can we really slow down without losing the edge? Feels like a prisoner's dilemma with existential stakes. 🤔
Die KI-Branche wirkt wie ein Formel-1-Rennen mit kaputten Bremsen 😅. Jeder will der Schnellste sein, aber wenn niemand Sicherheitsvorkehrungen trifft, endet das im Chaos. Interessant, dass selbst OpenAI-Mitarbeiter die Konkurrenz kritisieren – zeigt, wie gespalten die Branche ist. Vielleicht brauchen wir weniger Wettrennen und mehr Zusammenarbeit?





Дом






