Дом
Запомненные данные моделей искусственного интеллекта раскрыты в результате нарушения конфиденциальности CAMIA
Новая революционная атака на конфиденциальность выявляет уязвимости, определяя, использовались ли личные данные для обучения систем искусственного интеллекта.
Атака CAMIA (Context-Aware Membership Inference Attack), разработанная совместно исследователями Brave и Национального университета Сингапура, значительно превосходит предыдущие методы анализа памяти моделей ИИ.
Индустрия ИИ сталкивается с растущей обеспокоенностью по поводу "запоминания данных", когда модели непреднамеренно сохраняют конфиденциальную учебную информацию. ИИ в здравоохранении может раскрыть записи пациентов, а модели, обученные в корпорациях, могут запомнить конфиденциальную электронную почту.
Недавние события, такие как планы LinkedIn по использованию пользовательских данных для обучения ИИ, обострили споры о конфиденциальности, подчеркнув потенциальные риски появления конфиденциальной информации в генерируемом контенте.
Для обнаружения утечек данных специалисты по безопасности применяют атаки на членские выводы (MIA). Эти тесты, по сути, спрашивают модели: "Был ли этот конкретный пример частью вашего обучения?". Успешные атаки подтверждают опасные нарушения конфиденциальности.
Принцип заключается в том, что модели обрабатывают знакомые учебные данные иначе, чем новую информацию, и MIA систематически используют эти различия в поведении.
Традиционные MIA оказались неэффективны против современного генеративного ИИ, поскольку были разработаны для более простых моделей классификации. Большие языковые модели генерируют текст последовательно, что делает целостную оценку неадекватной для выявления утечек.
Инновация CAMIA признает, что запоминание ИИ зависит от контекста. Модели больше всего полагаются на запомненный контент, когда не уверены в последующих ответах.
Рассмотрим фразу "Гарри Поттер... написан... Мир Гарри..." - Модели легко предсказывают слово "Поттер" благодаря контекстуальным подсказкам, а не запоминанию.
Однако, если речь идет только о "Гарри", для предсказания "Поттера" требуется фактическое запоминание обучающих данных. Высокое доверие к предсказаниям в неоднозначных контекстах убедительно свидетельствует о заученном контенте.
CAMIA представляет собой первую атаку на конфиденциальность, разработанную специально для генеративного ИИ. Она отслеживает колебания неопределенности во время генерации текста, различая контекстуальное угадывание и реальное запоминание.
Тестирование на бенчмарках MIMIR с моделями Pythia и GPT-Neo дало впечатляющие результаты. В сравнении с моделью Pythia с параметрами 2,8 Б, CAMIA почти удвоила точность обнаружения, сохранив при этом минимальный коэффициент ложных срабатываний в 1%.
Атака работает эффективно - обработка 1000 образцов занимает около 38 минут на графическом процессоре A100, что делает ее пригодной для практического аудита моделей.
Это исследование подчеркивает риски конфиденциальности, присущие обучению массивных моделей на непроверенных наборах данных. Команда стремится продвигать методы сохранения приватности, которые позволяют сбалансировать полезность ИИ и защиту пользователей.
См. также: Samsung оценивает реальную производительность корпоративных моделей ИИ
Познакомьтесь с достижениями в области ИИ и больших данных на выставке AI & Big Data Expo в Амстердаме, Калифорнии и Лондоне. Это мероприятие, организованное TechEx, предлагает всестороннюю информацию наряду с ведущими технологическими конференциями.
Новости об искусственном интеллекте предоставляются компанией TechForge Media. Узнайте о предстоящих мероприятиях и вебинарах по корпоративным технологиям.
Связанная статья
На Meta подали иск в связи с нарушением конфиденциальности при использовании очков с ИИ: по сообщениям, сотрудники просматривали контент с откровенными сценами
Компания Meta столкнулась с новым судебным иском, связанным с нарушением конфиденциальности при использовании ее умных очков с искусственным интеллектом. Согласно расследованию шведских газет, сотрудн
Сэм Альтман из OpenAI объявляет о наступлении эры сверхинтеллекта
Генеральный директор OpenAI Сэм Альтман объявил, что человечество вступило в эру искусственного сверхразума, и пути назад уже нет.«Мы прошли точку невозврата; восхождение началось, — говорит Альтман.
Бум искусственного интеллекта вызывает опасения, напоминающие пузырь эпохи доткомов
Приток многомиллиардных инвестиций в искусственный интеллект вызвал бурную дискуссию: не грозит ли отрасли пузырь, подобный тому, что был в сфере интернет-компаний?Инвесторы внимательно следят за любы
Рекомендации по связанным специальным темам
чат-бот
Лучшие инструменты для тренировки разговоров с помощью ИИ для подготовки к собеседованиям
2026 г. — новейшие, лучшие и наиболее высоко оцененные инструменты для тренировки разговорных навыков с помощью ИИ для подготовки к собеседованиям уже доступны на XIX.AI! Эта тщательно отобранная подборка включает мощные, революционные инструменты, прошедшие строгие реальные испытания и обеспечивающие точную обратную связь. Вы найдете сравнение бесплатных и платных вариантов, а также подробные рейтинги, которые помогут вам выбрать наиболее подходящий инструмент, повышающий вашу уверенность и навыки. Исследуйте сейчас, чтобы найти идеальный инструмент для успешного прохождения собеседований!
12 инструментов
xix.ai
Дизайн и искусство
Лучшие инструменты для переноса стилей с помощью ИИ для творческих экспериментов
2026: лучшие и самые популярные инструменты для переноса стиля с помощью ИИ для творческих экспериментов! XIX.AI подготовила подборку мощных, революционных инструментов, которые обязательно стоит попробовать: они демонстрируют исключительные результаты, подтвержденные реальными тестами и тщательным рейтингом. Эти ведущие решения помогают творческим людям значительно повысить продуктивность, ускоряя создание контента и открывая безграничные творческие возможности. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент и начать творить уже сегодня!
9 инструментов
xix.ai
Создание комиксов
Лучшие инструменты для создания диалоговых пузырей с помощью ИИ для визуального повествования
2026 года: самые новые и лучшие инструменты с ИИ для создания диалоговых пузырей в визуальном сторителлинге представлены на XIX.AI! В этой тщательно подобранной подборке представлены мощные, революционные инструменты, которые помогут творческим людям повысить продуктивность и преодолеть творческие кризисы. Ознакомьтесь со сравнением бесплатных и платных версий, посмотрите тесты в реальных условиях и изучите последние рейтинги, чтобы найти решения, которые обязательно стоит попробовать и которые идеально подходят для создания увлекательных визуальных историй. Исследуйте коллекцию прямо сейчас, чтобы найти свой идеальный инструмент!
10 инструментов
xix.ai
Помощник по встречам
Лучшие инструменты для составления отчетов о встречах с использованием ИИ: четкое отслеживание решений и последующих действий
2026: Последние версии лучших инструментов для составления отчетов о встречах с помощью ИИ, обеспечивающих четкое отслеживание решений и удобное выполнение последующих действий. В этом тщательно подобранном списке представлены мощные, революционные решения, которые значительно повышают продуктивность за счет автоматизации ведения протоколов встреч, выявления ключевых задач и оптимизации координации работы команды по всем проектам. Получите сравнение бесплатных и платных версий, а также результаты реальных тестов и еженедельно обновляемые рейтинги, которые помогут вам найти идеальный инструмент. Ознакомьтесь с ними прямо сейчас, чтобы раскрыть потенциал искусственного интеллекта!
9 инструментов
xix.ai
Анализ данных
Лучшие инструменты для очистки данных с использованием ИИ: быстрое устранение пропущенных значений и дубликатов
2026 год: лучшие и наиболее высоко оценённые инструменты для очистки данных с ИИ, предназначенные для быстрого устранения пропущенных значений и дубликатов. В этом тщательно отобранном списке представлены мощные решения, способные кардинально повысить производительность. Каждый инструмент прошёл строгие тестирования в реальных условиях для обеспечения надёжности. Получите бесплатное сравнение версий с платной и найдите инструмент, который наилучшим образом соответствует вашим потребностям. Ознакомьтесь с ним прямо сейчас на сайте XIX.AI, чтобы раскрыть полный потенциал работы с ИИ.
11 инструментов
xix.ai
Дизайн и искусство
Лучшие инструменты для творческого мышления на основе ИИ для художников: преодоление визуальных блоков
В 2026 году лучшие и наиболее популярные инструменты для творческого мышления с использованием ИИ для художников были отобраны XIX.AI, чтобы помочь создателям преодолеть визуальные блоки и мгновенно повысить креативность. Эти мощные инструменты, меняющие правила игры, предлагают реальные тесты, подробное сравнение бесплатных и платных версий, а также еженедельно обновляемые рейтинги. Найдите идеальный инструмент для ускорения создания контента и откройте свой ИИ-преимущество уже сегодня. Исследуйте сейчас!
14 инструментов
xix.ai
Комментарии (3)
![BenGarcía]()
This is wild! 🤯 So basically they can tell if my personal data was used to train an AI? That's both cool and terrifying. What if companies get sued over this? Privacy laws need to catch up fast, because memorization is a real issue.
![MarkHarris]()
Also das mit dem CAMIA-Angriff klingt echt nicht gut. KI-Modelle sollen doch keine persönlichen Daten speichern, oder? Wenn jetzt jeder prüfen kann, ob seine eigenen Daten im Training waren, wo soll das hinführen? Da müssen dringend strengere Datenschutzregeln für KI-Entwicklung her. Ist ja fast schon beängstigend, was da alles rauskommen könnte... 🤔
![RalphSmith]()
Слышали про CAMIA? Это кошмар для приватности! Теперь любой может узнать, использовались ли их данные для обучения ИИ. Время удалять свои фото из интернета 📸 А вы как думаете - стоит ли запретить сбор личных данных для ИИ?
Новая революционная атака на конфиденциальность выявляет уязвимости, определяя, использовались ли личные данные для обучения систем искусственного интеллекта.
Атака CAMIA (Context-Aware Membership Inference Attack), разработанная совместно исследователями Brave и Национального университета Сингапура, значительно превосходит предыдущие методы анализа памяти моделей ИИ.
Индустрия ИИ сталкивается с растущей обеспокоенностью по поводу "запоминания данных", когда модели непреднамеренно сохраняют конфиденциальную учебную информацию. ИИ в здравоохранении может раскрыть записи пациентов, а модели, обученные в корпорациях, могут запомнить конфиденциальную электронную почту.
Недавние события, такие как планы LinkedIn по использованию пользовательских данных для обучения ИИ, обострили споры о конфиденциальности, подчеркнув потенциальные риски появления конфиденциальной информации в генерируемом контенте.
Для обнаружения утечек данных специалисты по безопасности применяют атаки на членские выводы (MIA). Эти тесты, по сути, спрашивают модели: "Был ли этот конкретный пример частью вашего обучения?". Успешные атаки подтверждают опасные нарушения конфиденциальности.
Принцип заключается в том, что модели обрабатывают знакомые учебные данные иначе, чем новую информацию, и MIA систематически используют эти различия в поведении.
Традиционные MIA оказались неэффективны против современного генеративного ИИ, поскольку были разработаны для более простых моделей классификации. Большие языковые модели генерируют текст последовательно, что делает целостную оценку неадекватной для выявления утечек.
Инновация CAMIA признает, что запоминание ИИ зависит от контекста. Модели больше всего полагаются на запомненный контент, когда не уверены в последующих ответах.
Рассмотрим фразу "Гарри Поттер... написан... Мир Гарри..." - Модели легко предсказывают слово "Поттер" благодаря контекстуальным подсказкам, а не запоминанию.
Однако, если речь идет только о "Гарри", для предсказания "Поттера" требуется фактическое запоминание обучающих данных. Высокое доверие к предсказаниям в неоднозначных контекстах убедительно свидетельствует о заученном контенте.
CAMIA представляет собой первую атаку на конфиденциальность, разработанную специально для генеративного ИИ. Она отслеживает колебания неопределенности во время генерации текста, различая контекстуальное угадывание и реальное запоминание.
Тестирование на бенчмарках MIMIR с моделями Pythia и GPT-Neo дало впечатляющие результаты. В сравнении с моделью Pythia с параметрами 2,8 Б, CAMIA почти удвоила точность обнаружения, сохранив при этом минимальный коэффициент ложных срабатываний в 1%.
Атака работает эффективно - обработка 1000 образцов занимает около 38 минут на графическом процессоре A100, что делает ее пригодной для практического аудита моделей.
Это исследование подчеркивает риски конфиденциальности, присущие обучению массивных моделей на непроверенных наборах данных. Команда стремится продвигать методы сохранения приватности, которые позволяют сбалансировать полезность ИИ и защиту пользователей.
См. также: Samsung оценивает реальную производительность корпоративных моделей ИИ
Познакомьтесь с достижениями в области ИИ и больших данных на выставке AI & Big Data Expo в Амстердаме, Калифорнии и Лондоне. Это мероприятие, организованное TechEx, предлагает всестороннюю информацию наряду с ведущими технологическими конференциями.
Новости об искусственном интеллекте предоставляются компанией TechForge Media. Узнайте о предстоящих мероприятиях и вебинарах по корпоративным технологиям.
На Meta подали иск в связи с нарушением конфиденциальности при использовании очков с ИИ: по сообщениям, сотрудники просматривали контент с откровенными сценами
Компания Meta столкнулась с новым судебным иском, связанным с нарушением конфиденциальности при использовании ее умных очков с искусственным интеллектом. Согласно расследованию шведских газет, сотрудн
Сэм Альтман из OpenAI объявляет о наступлении эры сверхинтеллекта
Генеральный директор OpenAI Сэм Альтман объявил, что человечество вступило в эру искусственного сверхразума, и пути назад уже нет.«Мы прошли точку невозврата; восхождение началось, — говорит Альтман.
Бум искусственного интеллекта вызывает опасения, напоминающие пузырь эпохи доткомов
Приток многомиллиардных инвестиций в искусственный интеллект вызвал бурную дискуссию: не грозит ли отрасли пузырь, подобный тому, что был в сфере интернет-компаний?Инвесторы внимательно следят за любы
2026 г. — новейшие, лучшие и наиболее высоко оцененные инструменты для тренировки разговорных навыков с помощью ИИ для подготовки к собеседованиям уже доступны на XIX.AI! Эта тщательно отобранная подборка включает мощные, революционные инструменты, прошедшие строгие реальные испытания и обеспечивающие точную обратную связь. Вы найдете сравнение бесплатных и платных вариантов, а также подробные рейтинги, которые помогут вам выбрать наиболее подходящий инструмент, повышающий вашу уверенность и навыки. Исследуйте сейчас, чтобы найти идеальный инструмент для успешного прохождения собеседований!
12 инструментов
xix.ai
2026: лучшие и самые популярные инструменты для переноса стиля с помощью ИИ для творческих экспериментов! XIX.AI подготовила подборку мощных, революционных инструментов, которые обязательно стоит попробовать: они демонстрируют исключительные результаты, подтвержденные реальными тестами и тщательным рейтингом. Эти ведущие решения помогают творческим людям значительно повысить продуктивность, ускоряя создание контента и открывая безграничные творческие возможности. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент и начать творить уже сегодня!
9 инструментов
xix.ai
2026 года: самые новые и лучшие инструменты с ИИ для создания диалоговых пузырей в визуальном сторителлинге представлены на XIX.AI! В этой тщательно подобранной подборке представлены мощные, революционные инструменты, которые помогут творческим людям повысить продуктивность и преодолеть творческие кризисы. Ознакомьтесь со сравнением бесплатных и платных версий, посмотрите тесты в реальных условиях и изучите последние рейтинги, чтобы найти решения, которые обязательно стоит попробовать и которые идеально подходят для создания увлекательных визуальных историй. Исследуйте коллекцию прямо сейчас, чтобы найти свой идеальный инструмент!
10 инструментов
xix.ai
2026: Последние версии лучших инструментов для составления отчетов о встречах с помощью ИИ, обеспечивающих четкое отслеживание решений и удобное выполнение последующих действий. В этом тщательно подобранном списке представлены мощные, революционные решения, которые значительно повышают продуктивность за счет автоматизации ведения протоколов встреч, выявления ключевых задач и оптимизации координации работы команды по всем проектам. Получите сравнение бесплатных и платных версий, а также результаты реальных тестов и еженедельно обновляемые рейтинги, которые помогут вам найти идеальный инструмент. Ознакомьтесь с ними прямо сейчас, чтобы раскрыть потенциал искусственного интеллекта!
9 инструментов
xix.ai
2026 год: лучшие и наиболее высоко оценённые инструменты для очистки данных с ИИ, предназначенные для быстрого устранения пропущенных значений и дубликатов. В этом тщательно отобранном списке представлены мощные решения, способные кардинально повысить производительность. Каждый инструмент прошёл строгие тестирования в реальных условиях для обеспечения надёжности. Получите бесплатное сравнение версий с платной и найдите инструмент, который наилучшим образом соответствует вашим потребностям. Ознакомьтесь с ним прямо сейчас на сайте XIX.AI, чтобы раскрыть полный потенциал работы с ИИ.
11 инструментов
xix.ai
В 2026 году лучшие и наиболее популярные инструменты для творческого мышления с использованием ИИ для художников были отобраны XIX.AI, чтобы помочь создателям преодолеть визуальные блоки и мгновенно повысить креативность. Эти мощные инструменты, меняющие правила игры, предлагают реальные тесты, подробное сравнение бесплатных и платных версий, а также еженедельно обновляемые рейтинги. Найдите идеальный инструмент для ускорения создания контента и откройте свой ИИ-преимущество уже сегодня. Исследуйте сейчас!
14 инструментов
xix.ai
This is wild! 🤯 So basically they can tell if my personal data was used to train an AI? That's both cool and terrifying. What if companies get sued over this? Privacy laws need to catch up fast, because memorization is a real issue.
Also das mit dem CAMIA-Angriff klingt echt nicht gut. KI-Modelle sollen doch keine persönlichen Daten speichern, oder? Wenn jetzt jeder prüfen kann, ob seine eigenen Daten im Training waren, wo soll das hinführen? Da müssen dringend strengere Datenschutzregeln für KI-Entwicklung her. Ist ja fast schon beängstigend, was da alles rauskommen könnte... 🤔
Слышали про CAMIA? Это кошмар для приватности! Теперь любой может узнать, использовались ли их данные для обучения ИИ. Время удалять свои фото из интернета 📸 А вы как думаете - стоит ли запретить сбор личных данных для ИИ?
