Тестирование автономности Claude Fable5: ранний обзор его возможностей самоотладки

Ассистенты для написания кода с использованием искусственного интеллекта переживают трансформирующую фазу. Технический блогер Саймон Уиллисон недавно наблюдал за агентом ИИ, демонстрирующим поразительное, почти пугающее автономное поведение при попытке устранить ошибку отображения в Datasette Agent с использованием Claude Fable5.
Взаимодействие началось с простого запроса. Саймон предоставил снимок экрана с появившейся горизонтальной полосой прокрутки и поручил ИИ проверить зависимости и выявить проблему. Затем он отошел, позволив процессу развиваться. Неожиданно Fable взял на себя полный контроль над рабочим процессом отладки.
На этом этапе Fable продемонстрировал замечательную инициативу. Он бесшовно переключался между Firefox и Safari для диагностики проблем, специфичных для различных сред, и писал скрипты на Python для обхода системных окон через базовый фреймворк. Это позволило ему точно определить целевое окно веб-страницы и сделать снимки экрана для анализа. Для воспроизведения ошибки Fable сгенерировал тестовую HTML-страницу и использовал инструменты автоматизации для обхода ограничений ручного взаимодействия, принудительно вызвав всплывающее окно веб-страницы.
С технической точки зрения подход Fable был сложным. Чтобы извлечь точные данные из Web Components, он запустил собственный сервер CORS на Python для сбора и анализа метрик JavaScript. От запуска браузера Playwright Chrome и внедрения скриптов для сбора информации до окончательного выявления и устранения проблемы Fable выполнил бесшовный сквозной инженерный процесс.
Хотя исправление в конечном итоге потребовало всего двух строк CSS, этот процесс вызвал серьезные опасения по поводу безопасности. Саймон Уиллисон подчеркнул, что такое «неограниченное проактивное поведение» представляет собой вершину эффективности программирования с помощью ИИ, но несет значительные риски. Если ИИ выполняет вредоносную логику или злоумышленники манипулируют им для внедрения вредоносных запросов, потенциальный ущерб на уровне системы может быть катастрофическим.
По мере того как агенты для написания кода с использованием ИИ становятся более мощными, установление безопасных границ их работы становится критически важным. Преобладающее мнение в отрасли предполагает, что высокоавтономные агенты должны работать в изолированных средах песочницы, физически отделенных от основной системы. Как отмечают отраслевые аналитики, балансирование между эффективностью, обеспечиваемой ИИ, и абсолютным контролем над поведением остается важной проблемой для будущего технологического развития.
Связанная статья
Kimi K3.1 готова к запуску в следующем месяце: три уровня рассуждений и поддержка миллиона токенов
Moonshot готовится к выпуску модели Kimi K3.1 в следующем месяце, которая будет оснащена тремя настраиваемыми уровнями рассуждения: Low, High и Max. Утекшие внутренние данные API от пользователя X @MaxForAI подтверждают эти детали, раскрывая идентифи
Anthropic планирует запустить новую модель перед IPO, чтобы противостоять GPT-6 Astra
Согласно данным Reuters, три источника указали, что Anthropic рассматривает возможность запуска новой модели искусственного интеллекта в ответ на быстрое развертывание OpenAI модели GPT-6 Astra. Это развитие событий происходит на фоне подготовки Anth
Как исправить Core Web Vitals для улучшения позиций в поисковой выдаче
Топ ИИ-инструментов для преобразования видео и аудио в текстСодержание:ВведениеWeet.io - Преобразование видео в текстСубтитры и транскрипция YouTubeFigo.com - Самое быстрое преобразование видео в текстBlack Box - Скриншоты преобразования видео в текс
Рекомендации по связанным специальным темам
Комментарии (0)

Ассистенты для написания кода с использованием искусственного интеллекта переживают трансформирующую фазу. Технический блогер Саймон Уиллисон недавно наблюдал за агентом ИИ, демонстрирующим поразительное, почти пугающее автономное поведение при попытке устранить ошибку отображения в Datasette Agent с использованием Claude Fable5.
Взаимодействие началось с простого запроса. Саймон предоставил снимок экрана с появившейся горизонтальной полосой прокрутки и поручил ИИ проверить зависимости и выявить проблему. Затем он отошел, позволив процессу развиваться. Неожиданно Fable взял на себя полный контроль над рабочим процессом отладки.
На этом этапе Fable продемонстрировал замечательную инициативу. Он бесшовно переключался между Firefox и Safari для диагностики проблем, специфичных для различных сред, и писал скрипты на Python для обхода системных окон через базовый фреймворк. Это позволило ему точно определить целевое окно веб-страницы и сделать снимки экрана для анализа. Для воспроизведения ошибки Fable сгенерировал тестовую HTML-страницу и использовал инструменты автоматизации для обхода ограничений ручного взаимодействия, принудительно вызвав всплывающее окно веб-страницы.
С технической точки зрения подход Fable был сложным. Чтобы извлечь точные данные из Web Components, он запустил собственный сервер CORS на Python для сбора и анализа метрик JavaScript. От запуска браузера Playwright Chrome и внедрения скриптов для сбора информации до окончательного выявления и устранения проблемы Fable выполнил бесшовный сквозной инженерный процесс.
Хотя исправление в конечном итоге потребовало всего двух строк CSS, этот процесс вызвал серьезные опасения по поводу безопасности. Саймон Уиллисон подчеркнул, что такое «неограниченное проактивное поведение» представляет собой вершину эффективности программирования с помощью ИИ, но несет значительные риски. Если ИИ выполняет вредоносную логику или злоумышленники манипулируют им для внедрения вредоносных запросов, потенциальный ущерб на уровне системы может быть катастрофическим.
По мере того как агенты для написания кода с использованием ИИ становятся более мощными, установление безопасных границ их работы становится критически важным. Преобладающее мнение в отрасли предполагает, что высокоавтономные агенты должны работать в изолированных средах песочницы, физически отделенных от основной системы. Как отмечают отраслевые аналитики, балансирование между эффективностью, обеспечиваемой ИИ, и абсолютным контролем над поведением остается важной проблемой для будущего технологического развития.
Kimi K3.1 готова к запуску в следующем месяце: три уровня рассуждений и поддержка миллиона токенов
Moonshot готовится к выпуску модели Kimi K3.1 в следующем месяце, которая будет оснащена тремя настраиваемыми уровнями рассуждения: Low, High и Max. Утекшие внутренние данные API от пользователя X @MaxForAI подтверждают эти детали, раскрывая идентифи
Anthropic планирует запустить новую модель перед IPO, чтобы противостоять GPT-6 Astra
Согласно данным Reuters, три источника указали, что Anthropic рассматривает возможность запуска новой модели искусственного интеллекта в ответ на быстрое развертывание OpenAI модели GPT-6 Astra. Это развитие событий происходит на фоне подготовки Anth
Как исправить Core Web Vitals для улучшения позиций в поисковой выдаче
Топ ИИ-инструментов для преобразования видео и аудио в текстСодержание:ВведениеWeet.io - Преобразование видео в текстСубтитры и транскрипция YouTubeFigo.com - Самое быстрое преобразование видео в текстBlack Box - Скриншоты преобразования видео в текс





Дом






