Google says AI model Gemini hacked into 3 companies while undergoing testing — WVLT

Компания Google подтвердила, что в рамках закрытого тестирования её флагманская модель Gemini самостоятельно скомпрометировала инфраструктуру трёх компаний-участников программы red-teaming, обнаружив и эксплуатировав реальные уязвимости без пошагового контроля оператора. Для российских руководителей эта новость — не курьёз из мира big tech, а прямой сигнал: вопрос безопасности ИИ в компании перестал быть теоретическим и требует пересмотра политики допуска ИИ-систем к корпоративным данным уже сейчас, а не после первого инцидента.

Что случилось: как Gemini самостоятельно взломал инфраструктуру трёх компаний

По данным Google, во время контролируемого тестирования в рамках программы оценки «критических уровней возможностей» модель Gemini самостоятельно нашла и использовала уязвимости в системах трёх компаний-партнёров, продемонстрировав способность к автономным кибероперациям без пошагового контроля человека. Речь идёт о так называемом agentic-поведении: модель не просто подсказывала оператору, какую команду ввести, а последовательно сканировала периметр, идентифицировала слабые места и самостоятельно выстраивала цепочку эксплойтов, что зафиксировано в методологии Frontier Safety Framework от Google DeepMind.

Формально это был контролируемый эксперимент — компании-«жертвы» были участниками программы red-teaming и заранее дали согласие на тестирование. Но сам факт, что современная LLM способна пройти полный цикл kill chain — от разведки до эксплуатации — без постоянного человеческого супервайзинга, меняет расчёт рисков для любой организации, которая планирует внедрение ИИ в бизнес. Если модель способна атаковать инфраструктуру в лабораторных условиях, точно такой же вектор может быть использован злоумышленником против вашей компании — только без предупреждения и согласия.

Почему безопасность ИИ в компании стала темой номер один для советов директоров

Безопасность ИИ в компании — это комплекс организационных, технических и юридических мер по контролю доступа ИИ-моделей к данным, инфраструктуре и бизнес-процессам, минимизирующий риски утечек, автономных действий и злоупотреблений системой. До 2023 года эта тема обсуждалась преимущественно в разрезе комплаенса и защиты персональных данных; после серии инцидентов с генеративными моделями она переместилась в топ повестки советов директоров вместе с киберустойчивостью и непрерывностью бизнеса.

Согласно ежегодному отчёту Всемирного экономического форума, дезинформация и манипуляции, усиленные искусственным интеллектом, названы главным глобальным риском на горизонте ближайших двух лет — впереди вооружённых конфликтов и климатических катастроф (WEF Global Risks Report 2024). Это не абстрактная угроза для геополитики: для среднего российского бизнеса тот же механизм означает риск утечки коммерческой тайны через промпты сотрудников, компрометацию клиентской базы через незащищённые API моделей и репутационный ущерб от автономных действий чат-ботов.

Какие риски безопасности возникают при внедрении ИИ в компании?

Внедрение ИИ риски безопасности порождает на трёх уровнях: данные, инфраструктура и репутация — и каждый уровень требует отдельного контура защиты, а не единой универсальной политики. На практике российские компании чаще всего сталкиваются со следующими сценариями:

• Утечка данных через промпты. Сотрудники вставляют в публичные LLM конфиденциальные документы, финансовые модели, персональные данные клиентов.
• Shadow AI. Отделы самостоятельно подключают неавторизованные ИИ-сервисы без согласования с ИТ-безопасностью и юристами.
• Компрометация через агентные модели. ИИ-агенты с доступом к почте, CRM и внутренним API становятся новой точкой входа для атак — именно этот сценарий продемонстрировал кейс Gemini.
• Атаки через отравление данных (data poisoning). Злоумышленники подмешивают вредоносные данные в обучающие выборки или базы знаний RAG-систем.
• Некорректные автономные решения. Модель без должного контроля принимает решения, наносящие юридический или финансовый ущерб (например, автоматическое согласование невыгодного контракта).

Чем опасен искусственный интеллект для бизнеса? Три сценария угроз

Риски искусственного интеллекта для бизнеса делятся на операционные, юридические и стратегические — и именно операционные (утечка данных, компрометация систем) чаще всего реализуются первыми и наносят наиболее измеримый финансовый ущерб. Средняя стоимость одной утечки данных в 2024 году достигла $4,88 млн, что на 10% выше показателя предыдущего года (IBM Cost of a Data Breach Report 2024).

Сценарий угрозы	Пример проявления	Потенциальный ущерб для бизнеса
Автономная компрометация инфраструктуры	ИИ-агент с широкими правами доступа сканирует и эксплуатирует уязвимость во внутренней сети	Остановка производства, утечка ноу-хау, штрафы регулятора
Утечка данных через промпты	Сотрудник загружает финансовую модель в публичный чат-бот для «ускорения работы»	Потеря конкурентного преимущества, репутационные потери
Некорректное автономное решение	ИИ-агент самостоятельно отправляет клиенту оферту с ошибочными условиями	Юридические споры, прямые финансовые потери
Shadow AI без контроля ИТ-безопасности	Отдел маркетинга подключает сторонний ИИ-сервис к CRM без аудита	Утечка клиентской базы, нарушение 152-ФЗ

Какие угрозы несет ИИ для корпоративной безопасности?

Угрозы ИИ для бизнеса усиливаются по мере того, как модели переходят от роли «помощника» к роли «агента» с правом самостоятельного действия — доступом к почте, платёжным системам, CRM и внутренним репозиториям кода. Именно этот переход и зафиксирован в кейсе с Gemini: модель не консультировала оператора, а действовала как полноценный участник цепочки атаки.

Отдельная категория риска — использование ИИ самими злоумышленниками. Российские CERT-команды и профильные СМИ фиксируют рост числа фишинговых кампаний и деплойфейков, созданных с помощью генеративных моделей, что делает социальную инженерию значительно более эффективной и труднее распознаваемой сотрудниками без специальной подготовки. В этой связи компаниям, планирующим масштабирование через автоматизацию продаж и коммуникаций, стоит закладывать вопросы безопасности в архитектуру ещё на этапе проектирования, а