ИИ в корпорациях: новые угрозы и защита без рисков
Автор: Петухов Олег Анатольевич, эксперт по информационной безопасности, руководитель юридической компании ЛЕГАС
Сайт: legascom.ru
Email: petukhov@legascom.ru
Искусственный интеллект всё глубже проникает в бизнес-процессы - и вместе с возможностями приносит новые векторы атак. В российском сегменте сложилась диспропорция: на внедрение ИИ и обучение сотрудников тратят заметно больше, чем на его защиту. Это создаёт уязвимости, которые злоумышленники уже умеют эксплуатировать.
Какие угрозы для ИИ-систем встречаются чаще всего
Легитимные утечки через ИИ‑ассистента. Если корпоративный помощник обучен на внутренней базе (регламентах, договорах, переписке), он может «по правилам» выдать конфиденциальные данные. Классические средства защиты (DLP, SIEM) такие случаи не фиксируют, потому что запрос и выдача выглядят легитимными. Проблема - в отсутствии архитектурного разграничения: «что модель знает» ≠ «что ей разрешено говорить».
Prompt Injection. В промпт или вложенный документ злоумышленник встраивает команду: «забудь предыдущие инструкции и сделай вот это». Особенно опасны такие атаки в агентных сценариях, когда ИИ не только отвечает, но и выполняет действия: отправляет письма, создаёт задачи, обращается к API.
Компрометация на этапе обучения. Если в обучающие данные попадут заражённые или подменённые фрагменты, в модели могут закрепиться бэкдоры и вредоносные сценарии. Такая уязвимость живёт долго и проявляется не сразу.
Для описания этих атак используют MITRE ATLAS - адаптацию MITRE ATT&CK под специфику ИИ. В базе зафиксировано 56 подтехник, которые применяют против моделей машинного обучения. Российские злоумышленники нередко берут на вооружение уже отработанные на Западе практики.
MLSecOps: защита ИИ как процесс
MLSecOps объединяет принципы DevSecOps со специфическими требованиями безопасности для машинного обучения. Защита должна быть встроена в каждый этап жизненного цикла модели, а не добавляться постфактум.
Ключевые практики:
Верификация и контроль целостности данных для обучения. Это снижает риск «отравления» датасетов.
Ролевой доступ к модели. Доступ дают только тем, кому он действительно нужен для работы.
Фильтрация и анализ запросов до попадания в модель. Позволяет выявлять вредоносные промпты и аномальные паттерны.
Мониторинг поведения модели. Отслеживание нестандартных ответов и действий помогает вовремя заметить отклонения.
Регулярное тестирование. ML Red Teaming (имитация атак) помогает находить слабые места до их эксплуатации.
Главное отличие MLSecOps от классической ИБ - в объекте защиты. Здесь важно контролировать не только данные и инфраструктуру, но и логику принятия решений моделью, а также сценарии её использования.
Практические примеры: как атаки бьют по бизнесу
Кейс 1: банк и промпт‑инъекция. Банк применял ИИ для антифрода, скоринга и поддержки клиентов и получил заметный эффект: снизилось число ложных срабатываний и невозвратов, большая часть обращений обрабатывалась автоматически. Злоумышленник через фишинг получил доступ к учётной записи ИТ‑специалиста и внедрил промпт‑инъекцию. Модель начала отдавать клиентские данные. Инцидент остановили на этапе вывода данных: DLP‑система заметила аномалию, аккаунт заблокировали. После этого внедрили AI Firewall, провели аудит доступа и усилили аутентификацию.
Кейс 2: логистика и подмена обучающих данных. ИИ оптимизировал маршруты, сократив время доставки на 20 %. Хакеры проникли через незакрытое внешнее хранилище и подменили часть данных в обучающей базе. В результате грузовики поехали по неоптимальным маршрутам, возникли задержки. Потери были ограничены благодаря быстрой фиксации сбоя. В качестве мер защиты усилили контроль доступа (MFA, PAM) и ввели регулярную верификацию данных.
Кейс 3: CRM и внешняя ИИ‑модель. ИИ через API помогал коммерческому департаменту: заполнял карточки клиентов, расшифровывал звонки. Модель автоматически использовала для обучения все доступные данные, включая конфиденциальные. Уязвимость выявили до реальной атаки с помощью сканера ML Red Teaming. Настройки скорректировали, конфиденциальную информацию исключили из обучающих данных.
Что мешает бизнесу выстроить защиту ИИ
Организационные барьеры. ИИ‑проекты часто развиваются в ИТ или бизнес‑подразделениях без участия ИБ. Информационную безопасность подключают уже после внедрения, когда профиль рисков уже изменился.
Дефицит компетенций. Мало специалистов, одинаково хорошо понимающих и машинное обучение, и кибербезопасность. ML‑команды не мыслят категориями угроз, а ИБ‑команды - не знают специфики атак на модели.
Ограничения инструментов. Классические СЗИ (SIEM, DLP, WAF) не видят специфику ИИ‑угроз: промпт‑инъекции не выглядят как сетевые атаки, а утечки через LLM - как передача файлов. Нужны специализированные решения, учитывающие контекст работы моделей.
С чего начать, чтобы защитить ИИ в компании
Практические шаги, которые можно внедрить уже сейчас:
Провести инвентаризацию ИИ‑систем, моделей, датасетов и доступов к ним.
Включить ИИ‑системы в модель угроз компании.
Назначить ответственных за безопасность ИИ.
Внедрить AI Firewall и регулярно применять ML Red Teaming для тестирования устойчивости.
Усилить контроль доступа, особенно для ИИ‑агентов, и запретить выполнение критических операций без участия человека.
Регулярно верифицировать обучающие данные и вести учёт версий моделей и инфраструктуры (включая GPU‑драйверы и инференс‑серверы).
ИИ в корпоративной среде - уже не эксперимент, а рабочий инструмент. При грамотном подходе он даёт бизнесу операционные и репутационные преимущества. Главное - учитывать специфику рисков и выстраивать защиту системно, с самого начала.
