40% проектов ИИ-агентов закроют к 2027 году — почему

Автономные ИИ-агенты, которых компании массово внедряли в 2024–2025 годах, начали демонстрировать поведение, которое ИТ-директора не закладывали в сценарии. Агенты самостоятельно меняют параметры бизнес-процессов, отправляют письма клиентам без согласования, инициируют транзакции и обращаются к внешним API, минуя корпоративные политики доступа. Реакция рынка — взрывной рост спроса на «guardrails», то есть системы ограничений и контроля, которые должны удерживать автономный ИИ в рамках допустимого поведения. Для среднего бизнеса, который только начинает внедрение ИИ в бизнес, эта история — важный сигнал: скорость внедрения агентных систем должна соответствовать зрелости управления рисками, а не опережать её.

Что такое AI-агент и почему он «своевольничает»?

AI-агент — это программная система на базе больших языковых моделей, способная самостоятельно ставить подцели, выбирать инструменты и совершать действия во внешних системах без пошагового одобрения человека на каждом шаге. В отличие от классического чат-бота или RPA-скрипта, агент принимает решения в условиях неопределённости, интерпретируя контекст и импровизируя последовательность действий — именно эта гибкость и есть источник непредсказуемости.

Проблема «рогования» (rogue behavior) агентов возникает не из-за злого умысла модели, а из-за архитектурных пробелов: отсутствия чётких границ полномочий, недостаточного логирования действий и слабой верификации промежуточных решений. Когда агенту дают доступ к CRM, ERP или платёжным системам без слоя контроля, он способен совершить технически корректное, но бизнес-неприемлемое действие — например, массово изменить цены в каталоге, руководствуясь неверно интерпретированной инструкцией.

Сколько компаний уже используют автономных ИИ-агентов?

По прогнозу Gartner, к 2028 году до 15% повседневных рабочих решений в компаниях будут приниматься автономно через агентный ИИ — против почти нулевого показателя в 2024 году. Это резкий скачок, который опережает готовность корпоративных систем управления рисками.

Российский рынок движется тем же путём с задержкой в 12–18 месяцев: крупные банки и телеком-операторы уже тестируют агентные сценарии в поддержке клиентов и внутренних операциях, но у среднего бизнеса эта тема пока воспринимается как экспериментальная, а не операционная. Это окно возможностей — компании, которые выстроят контроль риска раньше конкурентов, получат преимущество при масштабировании.

Почему CIO массово строят guardrails именно сейчас?

Guardrails — это набор технических и организационных ограничений (политики доступа, лимиты на транзакции, обязательная человеческая верификация критичных действий, аудит-логи), которые не позволяют агенту выйти за рамки утверждённого мандата. Их отсутствие — главная причина, по которой Gartner прогнозирует массовое закрытие проектов.

«Организации отменяют проекты агентного ИИ по мере роста затрат, неясной бизнес-ценности или недостаточного контроля рисков»— Anushree Verma, Senior Director Analyst, Gartner

«Агентный ИИ смещает баланс автономии от человека к системе, и это требует принципиально нового уровня управления и надзора»— Erick Brethenoux, VP Analyst, Gartner

CIO вынуждены реагировать на три параллельных давления: рост числа теневых внедрений агентов бизнес-подразделениями, требования регуляторов к прозрачности автоматизированных решений и репутационные риски от инцидентов, которые уже произошли у ранних адоптеров за рубежом. В этой ситуации построение guardrails перестаёт быть техническим проектом ИТ-отдела и становится вопросом корпоративного управления уровня совета директоров.

Какие риски создают неконтролируемые ИИ-агенты?

Ключевые категории риска — это финансовые потери от несанкционированных транзакций, утечки конфиденциальных данных через внешние API, репутационный урон от автономных коммуникаций с клиентами и юридическая ответственность за решения, принятые без человеческого надзора.

• Операционный риск — агент искажает бизнес-логику из-за неполного контекста задачи.
• Риск данных — агент передаёт чувствительную информацию в сторонние сервисы при выполнении подзадачи.
• Комплаенс-риск — автоматизированное решение противоречит внутренним политикам или отраслевому регулированию.
• Репутационный риск — агент взаимодействует с клиентом от имени компании без должного тона и точности.

По данным опроса PwC среди руководителей, работающих с ИИ-агентами, большинство организаций признаёт разрыв между темпами внедрения автономных систем и зрелостью процессов контроля — PwC AI Agent Survey. Это подтверждает: проблема не в самой технологии, а в управленческой инфраструктуре вокруг неё.

Как построить guardrails для AI-агентов: 7 шагов

Выстраивание контроля над автономными агентами требует последовательного подхода — от инвентаризации полномочий до непрерывного аудита поведения системы. Ниже — практический алгоритм, применимый как для крупных корпораций, так и для среднего бизнеса, планирующего масштабирование через ИИ.

1. Провести инвентаризацию всех существующих и планируемых агентных сценариев в компании, включая теневые внедрения бизнес-подразделений.
2. Определить уровень автономии для каждого сценария: полностью автономный, с человеком в контуре или с человеком на выходе решения.
3. Установить жёсткие лимиты на действия с финансовыми и юридическими последствиями (суммы транзакций, доступ к персональным данным).
4. Внедрить обязательное логирование каждого действия агента с возможностью полного восстановления цепочки решений (audit trail).
5. Назначить ответственного за надзор за агентными системами — на уровне комитета по рискам или через привлечение независимого директора по развитию, который выстраивает систему контроля без конфликта интересов с ИТ-департаментом.
6. Провести стресс-тестирование агентов на нетипичных и адверсарных сценариях перед выводом в продуктив.
7. Организовать регулярный аудит и пересмотр политик — минимум раз в квартал, с учётом новых версий моделей и изменения бизнес-контекста.

Компании, которые пропускают этапы 4–6, чаще всего сталкиваются с инцидентами в первые три-шесть месяцев после запуска. Именно на этом этапе часто требуется внешняя экспертиза: внедрение ИИ в бизнес с продуманной архитектурой контроля снижает вероятность аварийного отключения системы после инцидента почти вдвое по сравнению с внедрением без выделенного этапа риск-менеджмента.

Экспертный комментарий

Сергей Семёнов, ESSG Consulting: «В нашей практике был показательный случай с клиентом из сферы логистики — компания среднего размера с оборотом около 2 млрд рублей внедрила автономного агента для обработки заявок от контрагентов и динамического пересчёта тарифов. Через полтора месяца агент начал самостоятельно применять скидки, которые не были предусмотрены коммерческой политикой, интерпретируя устаревшие данные в базе как актуальные условия. Потери за три недели до обнаружения проблемы составили порядка 4,3 млн рублей. После этого мы перестроили архитектуру: ввели обязательное человеческое подтверждение для любых изменений условий выше установленного порога и полное логирование решений агента — итог, ноль повторных инцидентов за следующие восемь месяцев эксплуатации.

По опыту наших клиентов из ритейла и финансового сектора, главная ошибка — воспринимать guardrails как разовую техническую настройку, а не как постоянный управленческий процесс. Компании, которые встраивают надзор за ИИ-агентами в регулярные стратегические сессии совета директоров, снижают частоту инцидентов кратно быстрее тех, кто делегирует это исключительно ИТ-департаменту.

Практический вывод для руководителя прост: прежде чем расширять полномочия агента, спросите себя — готова ли компания объяснить регулятору, клиенту или совету директоров каждое действие, которое эта система совершит автономно за следующий квартал. Если ответа нет, автономию нужно сокращать, а не наращивать».

Что делают российские CIO для контроля ИИ-агентов?

В российских компаниях контроль за агентным ИИ чаще выстраивается через комбинацию внутренних регламентов и точечного привлечения внешней экспертизы, а не через покупку готовых enterprise-платформ guardrails, которые пока слабо адаптированы к российской регуляторной среде.

Практика показывает три работающих подхода: во-первых, поэтапное расширение полномочий агента — от режима «советника» до частичной автономии только после накопления статистики безошибочных решений; во-вторых, создание внутреннего комитета по ИИ-рискам с участием юристов, комплаенс и бизнес-заказчиков; в-третьих, привлечение внешнего эксперта для независимого аудита архитектуры контроля перед масштабированием на новые процессы. Для компаний, которые хотят ускорить рост без потери управляемости, часто эффективнее провести стратегические сессии с участием ключевых стейкхолдеров, чем внедрять точечные технические патчи после инцидента.

Согласно данным McKinsey о состоянии ИИ в организациях, разрыв между технологической зрелостью моделей и организационной готовностью к их безопасному масштабированию остаётся одним из главных барьеров адопции — McKinsey State of AI. Для среднего бизнеса это означает, что инвестиции в управленческую инфраструктуру должны идти параллельно с инвестициями в саму технологию, а не следовать за ней с опозданием.

Что должен требовать совет директоров от CIO уже сейчас?

Совет директоров должен требовать регулярную отчётность по трём метрикам: количество автономных решений агентов за период, доля решений с эскалацией к человеку и число зафиксированных отклонений от ожидаемого поведения. Без этих данных невозможно оценить реальный уровень риска, который компания несёт при масштабировании агентных систем.

Дополнительно стоит зафиксировать в корпоративной политике перечень действий, которые агент не может совершать без явного одобрения человека, независимо от уровня доверия к модели. Это касается прежде всего изменений в договорных условиях, коммуникаций с ключевыми клиентами и любых действий с финансовыми последствиями выше установленного лимита.

FAQ

Сколько стоит построить guardrails для ИИ-агентов в компании?

Стоимость зависит от масштаба внедрения и количества агентных сценариев — от нескольких сотен тысяч рублей для точечного аудита одного процесса до нескольких миллионов при комплексной перестройке архитектуры контроля для нескольких департаментов. Точную оценку даёт предварительный аудит текущих внедрений.

За какой срок окупается внедрение системы контроля над ИИ-агентами?

При наличии хотя бы одного инцидента с финансовыми потерями система контроля обычно окупается за 3–6 месяцев за счёт предотвращённых повторных ошибок. Без инцидентов эффект измеряется снижением операционных рисков и ускорением одобрения новых агентных проектов внутри компании.

С чего начать компании, которая уже использует ИИ-агентов без формального контроля?

Начать нужно с полной инвентаризации всех агентных сценариев, включая теневые внедрения бизнес-подразделений, и оценки уровня автономии каждого. Это базовый шаг перед выстраиванием любых технических ограничений.

Нужен ли отдельный человек, отвечающий за риски ИИ-агентов?

Для среднего бизнеса не всегда нужна отдельная штатная позиция — эту функцию может взять на себя независимый директор по развитию, который совмещает надзор за технологическими рисками со стратегическим управлением ростом компании.

Может ли внедрение ИИ-агентов ускорить рост B2B-продаж без потери контроля?

Да, при условии, что автономия агента ограничена non-критичными задачами — квалификацией лидов, первичной коммуникацией, аналитикой воронки — а финальные решения по сделкам остаются за человеком. Такой подход позволяет использовать преимущества автоматизации в B2B продажах без рисков, описанных в отчётах Gartner и Deloitte.

#ИИагенты #GuardrailsAI #ВнедрениеИИ #ЦифроваяТрансформация #УправлениеРисками