Что входит в управление рисками ИИ
Управление рисками ИИ это часть системы управления рисками компании, которая охватывает все системы искусственного интеллекта: собственные модели, купленные решения со встроенным ИИ и публичные сервисы, которыми пользуются сотрудники. По каждой системе компания знает, какие решения она готовит или принимает, какие данные через нее проходят, что случится при ее ошибке и кто за это отвечает.
Отдельную систему управления под ИИ строить не нужно. Риски ИИ вносятся в общий реестр рисков, получают владельцев и оцениваются по тем же шкалам, что и остальные. Новое здесь одно: перечень самих ИИ-систем, без которого риски невозможно выявить.
Обратная сторона темы, ИИ как инструмент риск-менеджера, разобрана в материале «Искусственный интеллект в управлении рисками».
Какие риски несет ИИ
| Риск | Как проявляется | Пример |
|---|---|---|
| Ошибочный ответ | Модель уверенно выдает неверные факты, цифры, ссылки на нормы | В отчет совету попадает несуществующая статья закона |
| Утечка данных | Сотрудники вводят в публичный сервис договоры, персональные данные, коммерческую тайну | Клиентская база для «сегментации» уходит во внешний сервис: нарушение 152-ФЗ, а у зарубежного сервиса еще и трансграничная передача |
| Предвзятость | Модель повторяет перекосы обучающих данных | Отбор резюме систематически занижает оценки одной группы кандидатов |
| Непрозрачность | Решение нельзя объяснить клиенту, аудитору, регулятору | Отказ клиенту без понятной причины |
| Зависимость от поставщика | Сервис отключают, ограничивают доступ из России, меняют условия или цену | Обработка обращений клиентов встает на неделю |
| Атаки на модель | Вредоносные инструкции в запросах, подмена обучающих данных, извлечение данных из модели | Чат-бот на сайте выдает внутренние инструкции компании |
| Права и ответственность | Неясно, кому принадлежит результат и кто отвечает за ущерб | В сгенерированном тексте договора оказывается чужой фрагмент |
Ошибка ИИ, ставшая публичной, переходит в репутационный риск; как его оценивать, разобрано в материале «Репутационные риски».
Реестр ИИ-систем: с чего начать
Первый шаг инвентаризация. Обычно она дает неожиданный результат: официально внедренных систем две-три, а сервисов, которыми сотрудники пользуются по своей инициативе, десятки.
- Опрос руководителей подразделений: какие сервисы с ИИ используются, для каких задач, какие данные в них попадают.
- Закупки и подписки: оплаченные сервисы и функции ИИ, встроенные в уже купленные системы (CRM, офисные пакеты, распознавание документов).
- Данные ИТ и информационной безопасности: обращения к адресам популярных ИИ-сервисов из корпоративной сети.
- Собственные разработки: модели скоринга, прогноза, распознавания, чат-боты.
По каждой системе в реестр записываются назначение, владелец, поставщик и место хранения данных, категории данных, влияние на решения о людях и клиентах, самостоятельность (рекомендует или решает сама) и действующие контроли. Шаблон с этими полями в конце страницы.
Классификация по уровню риска
| Уровень | Признаки | Обязательные контроли |
|---|---|---|
| Высокий | Система принимает или существенно определяет решения о людях и клиентах (найм, кредит, тарифы, доступ к услугам) либо сама принимает решения на персональных данных | Решение остается за человеком; проверка качества перед запуском и не реже раза в год; журнал решений; объяснимая причина решения; согласование ИБ и юристов; план работы при отказе системы |
| Средний | Система готовит материалы для решений людей на персональных данных или коммерческой тайне либо действует сама без проверки человеком | Выборочная проверка результатов; правила, какие данные можно вводить; договор с поставщиком о хранении и использовании данных |
| Низкий | Вспомогательные задачи на открытых данных: черновики текстов, перевод, поиск | Общие правила использования; обучение сотрудников |
Логика близка к регламенту ЕС об искусственном интеллекте (Регламент 2024/1689), где системы делятся на запрещенные, высокого риска, с требованиями прозрачности и минимального риска. Компании без бизнеса в ЕС достаточно трех уровней из таблицы; если продукт продается в ЕС, классификацию сверяют с регламентом.
Роли и правила использования
ИИ-система получает владельца так же, как любой риск получает владельца: руководителя бизнеса, который пользуется результатом и отвечает за последствия ошибки. ИТ отвечает за работу системы, вторая линия задает правила.
| Линия | Кто | За что отвечает |
|---|---|---|
| Первая | Владелец ИИ-системы в бизнесе, ИТ | Использование по правилам, проверка результатов, журнал, реакция на инциденты |
| Вторая | Риск-функция, информационная безопасность, юристы, комплаенс | Реестр и классификация, правила использования, согласование систем высокого уровня, мониторинг |
| Третья | Внутренний аудит | Проверка полноты реестра и работы контролей |
Как распределять роли, подробно в материале «Три линии защиты». Минимальный набор правил для сотрудников, который стоит утвердить приказом:
- персональные данные, коммерческая тайна и тексты договоров вводятся только в сервисы, с поставщиком которых заключен договор о хранении и использовании данных;
- факты, цифры и ссылки на нормы проверяются в каждом результате, который уходит за пределы подразделения;
- если документ идет совету директоров, клиенту или регулятору, в нем указывается, где использован ИИ;
- об ошибках и инцидентах сотрудник сообщает владельцу системы и в службу информационной безопасности.
На какие стандарты опираться
- ГОСТ Р ИСО/МЭК 42001-2024 «Искусственный интеллект. Система менеджмента» действует с 1 января 2025 года и применяется добровольно. Описывает систему менеджмента для организаций, которые разрабатывают или используют ИИ.
- ISO/IEC 23894:2023, руководство по менеджменту риска ИИ. Построено на процессе ISO 31000 и ложится на систему управления рисками, построенную по ГОСТ Р ИСО 31000.
- NIST AI RMF 1.0 (США, 2023): четыре функции Govern, Map, Measure, Manage, удобная структура для перечня контролей.
- Кодекс этики в сфере ИИ Альянса в сфере искусственного интеллекта (2021) и Кодекс этики в сфере разработки и применения ИИ на финансовом рынке Банка России (2025). Оба документа рекомендательные; для финансовых организаций второй показывает ожидания регулятора: человекоцентричность, справедливость, прозрачность, безопасность, ответственное управление рисками.
Скачать шаблон реестра ИИ-систем
Скачать шаблон. Реестр ИИ-систем на 40 строк: тип системы, поставщик, данные, влияние на решения, уровень риска и обязательные контроли формулами, сигнал о чувствительных данных в публичном сервисе. Листы «Уровни», «Инвентаризация», «Правила использования». Формат xlsx.
Риски из реестра ИИ-систем переносятся в общий реестр рисков. Использование ИИ для мониторинга рисков разбирается в программе ERGP. Файл отдается без регистрации и форм.
Частые вопросы
Короткое положение или приказ с правилами использования ИИ полезен, когда сервисами пользуются больше нескольких человек. Риски ИИ при этом остаются в общем реестре рисков и проходят тот же процесс, что и остальные.
Да, по правилам: без персональных данных, коммерческой тайны и текстов договоров, с проверкой фактов в каждом результате. Для работы с чувствительными данными нужен сервис с договором о хранении и использовании данных или модель, развернутая внутри компании.
Руководитель бизнеса, который пользуется результатом системы и отвечает за последствия ее ошибки. ИТ отвечает за работу системы, риск-функция и информационная безопасность за правила и контроль.
Национальные стандарты в России применяются добровольно. ГОСТ Р ИСО/МЭК 42001-2024 полезен как структура: что должно быть в системе менеджмента ИИ и как ее проверять.
Проверьте зрелость своей системы управления рисками
Тринадцать вопросов по пяти уровням ГОСТ Р 70350, результат сразу: уровень, три главных пробела и следующий шаг.
