ИИ в ИБ: почему нужны детерминированные и проверяемые модели
Автор: Петухов Олег Анатольевич, эксперт по информационной безопасности, руководитель юридической компании ЛЕГАС
Сайт: legascom.ru
Email: petukhov@legascom.ru
Генеративный ИИ стремительно вошёл в корпоративную автоматизацию, но для задач информационной безопасности стандартные модели не подходят. В ИБ критически важны не «достаточно хорошие» результаты, а гарантированная корректность, воспроизводимость и возможность проверки каждого решения. Эксперт юридической компании ЛЕГАС разбирает, почему привычные LLM не закрывают потребности ИБ, какие свойства должны быть у безопасного ИИ и какие архитектуры реально применимы в защите.
Почему вероятностные модели не годятся для ИБ
Современные LLM - это вероятностные машины: они не вычисляют ответ, а подбирают наиболее вероятное продолжение последовательности токенов. На результат влияет параметр «температура», а также особенности вычислений на GPU и параллельных операций. Даже при нулевой температуре поведение модели остаётся не полностью детерминированным.
Для маркетинга или копирайтинга такие колебания допустимы, но в ИБ они неприемлемы. Если ИИ формирует правила межсетевого экрана, политику доступа или сигнатуру для обнаружения вредоноса, нужна гарантия отсутствия скрытых ошибок. Статистическая оценка и экспертная проверка не заменяют формальной верификации: важно уметь доказать, что в определённых условиях система не допустит уязвимость или ложное разрешение.
Особую опасность представляют промпт‑инъекции. Поскольку у классической LLM нет жёстко заданной модели мира, злоумышленник может менять её поведение через входные данные. Это делает ИИ‑агентов уязвимыми, если логика принятия решений не формализована.
Ключевые требования к ИИ для ИБ
Для применения в критически важных сценариях ИИ‑система должна обладать следующими свойствами:
Детерминизм. При одинаковых входных данных система обязана выдавать строго идентичный результат.
Объяснимость. Должна быть понятна логика: какие факторы и как повлияли на решение.
Проверяемость (объяснённость). Важно не просто «понять» решение, а иметь возможность формально проверить каждый шаг вывода - автоматически или вручную.
Устойчивость к состязательным воздействиям. Чем строже формализованы правила и границы поведения, тем сложнее злоумышленнику заставить систему действовать непредсказуемо.
При расследовании инцидента аналитик должен восстановить всю цепочку рассуждений и убедиться, что решение соответствует политике безопасности. Современные LLM с этим не справляются: их «объяснения» - это тоже генерация текста, а не реконструкция реального механизма вывода. Аналогично карты внимания показывают корреляции, но не причинно‑следственные связи.
Практические подходы вместо «чёрного ящика»
Чтобы уйти от вероятностной генерации к надёжным выводам, в ИБ перспективны следующие архитектуры:
Системы удовлетворения ограничений (SAT/SMT). Вместо просьбы «сгенерировать хорошие правила» задаются формальные ограничения: «разрешить бухгалтерии доступ к ERP», «запретить подрядчикам доступ к финансам», «обеспечить сегментацию производственной сети». Система ищет решение, удовлетворяющее всем условиям. Если оно найдено - его можно доказать; если нет - система явно сообщает о противоречии. Пример такого подхода - система Zelkova в AWS для анализа политик IAM.
Нейро‑символьные архитектуры. Сочетают нейросети (для извлечения сложных признаков) и формальную логику (для интерпретации и проверки). Например, при анализе вредоноса строится граф потока управления, затем его обрабатывает графовая нейросеть (GNN), а результат переводится в логические факты и правила. Вся цепочка (байт‑код → граф → шаблон → правило) прозрачна и проверяема.
Детерминированное моделирование цепочек атак. Вместо прогноза «наиболее вероятного» пути атаки система строит пространство достижимых состояний и выполняет полный перебор вариантов, удовлетворяющих заданным условиям. Так аналитик получает не гипотезу, а полный набор потенциальных цепочек компрометации.
Гибридные автономные агенты. LLM используют только как интерфейс для понимания естественного языка, а принятие решений делегируют детерминированному планировщику (например, на базе PDDL). Это позволяет выдавать проверяемые объяснения: «Выбрано действие X, потому что выполнено условие A и не выполнено B, согласно политике P».
Новые метрики качества для ИБ‑ИИ
Стандартные метрики (BLEU, ROUGE, FID) оценивают сходство с эталоном, а не корректность и безопасность результата. Для ИБ важнее другие критерии:
дисперсия результата при многократных запусках;
полнота покрытия спецификации;
количество нарушенных ограничений;
сложность и время формальной проверки решения.
Ограничения и баланс прозрачности
У детерминированных подходов есть свои сложности. Главная - масштабируемость: при росте числа ограничений пространство решений растёт экспоненциально. То, что эффективно для десятков политик, может стать вычислительно непрактичным для инфраструктуры с миллионами объектов.
Ещё один нюанс - прозрачность. Полная объяснимость полезна защитникам, но потенциально помогает и атакующим понять внутреннюю логику системы. Поэтому архитектура должна балансировать между проверяемостью и защитой от раскрытия деталей, которые могут быть использованы против системы.
Выводы и перспективы
Информационная безопасность - одна из первых отраслей, где возможностей современных LLM уже недостаточно. Перспективнее не наращивать размер моделей, а развивать гибридные архитектуры: нейро‑символьные системы, SAT/SMT‑решатели, формальное планирование и методы верифицируемого вывода.
Скорее всего, LLM не исчезнут, а займут вспомогательную роль: интерфейс, переводчик, помощник в формулировании требований. Окончательные решения будут приниматься детерминированными и проверяемыми модулями.
Исторически критические ИБ‑технологии эволюционируют от эвристик к формальным гарантиям - так было с криптографией, контролем доступа и безопасной разработкой. Вероятно, аналогичный путь ждёт и ИИ: ИБ может стать отраслью, которая задаст требования к следующему поколению ИИ‑систем - не просто «умных», а гарантированно корректных, проверяемых и устойчивых к атакам.