Критическая инфраструктура
ИИ для критической инфраструктуры
Использование ИИ в сфере критической инфраструктуры (КИ), включающей объекты энергетики и жизнеобеспечения, системы безопасности и контроля, транспорта и логистики и многие другие является необходимым условием цифровой трансформации, конкурентоспособности и устойчивого развития данных отраслей. Однако к системам с использованием ИИ здесь предъявляются очень строгие требования по безопасности во избежание многочисленных негативных последствий, к которым может привести некорректное или неконтролируемое поведение ИИ систем. Данные требования отражены в законодательствах по регулированию ИИ многих стран, включая Россию, где основные рекомендации и правила активно разрабатываются в настоящее время [1-2], а некоторые нормативные документы уже приняты [3].
Для объектов КИ характерно использование ИИ в двух основных ролях:
- для построения систем функциональной безопасности объектов КИ
- для выработки (полу)автоматического управления объектами КИ
В первом случае ИИ системы могут непосредственно обеспечивать безопасность тех или иных процессов и/или объектов предприятий КИ, быть источником информации при обеспечении функции безопасности, служить средствами разработки и создания систем обеспечения безопасности. Во втором случае ИИ системы применяются для полного или частичного контроля и управления процессами и/или объектами КИ и, как правило, функционируют по схеме с обратной связью, включающей: оценку состояния объекта КИ, выработку управления, приложение управления к объекту контроля и оценку его нового состояния.
Несомненно, что в обоих случаях некорректная (в независимости от причин) работа ИИ системы может повлечь катастрофические последствия для объекта КИ и, следовательно, задача обеспечения безопасности ИИ решений является ключевой. Перечислим основные риски, которым подвержены ИИ системы для КИ, следуя общей логике жизненного цикла таких систем.
Требования к безопасности ИИ систем для критической инфраструктуры
Безопасные данные
Первым этапом создания ИИ системы, как правило, является этап подготовки данных для ее обучения. Данные должны удовлетворять ряду требований, включая [4-6]:
Достоверность
Полноту
Безопасность
Несмещенность
При этом любое отклонение от требований по формированию обучающих и валидационных данных ведет к рискам создания ИИ моделей низкой точности, достоверности, надежности и со слабыми обобщающими свойствами [5].
Для создания и обучения безопасной ИИ модели необходимо:
- Проводить ее разработку в защищенных программных средах
- Использовать только доверенное программное обеспечение
- Исключить заимствование готовых решений из сторонних недостоверных источников
В противном случае такие модели могут содержать вредоносные недекларируемые компоненты для кражи данных, изменения поведения модели по внешним триггерам и многие другие уязвимости. На этапе обучения модели должна быть предусмотрена ее защита от атак на входные данные [1], так называемые, состязательные атаки. Еще одним традиционным требованием к системам ИИ для КИ является требование об относительной прозрачности логики работы модели для человека.
Безопасная эксплуатация ИИ модели
После создания модели должно быть проведено полноценное и всестороннее ее тестирование по определённой методологии [5], а в случае моделей, уязвимости которых представляют наибольшую угрозу, может быть назначено и внешнее тестирование экспертами по безопасности ИИ. Кроме того, для систем управления на основе ИИ должна быть спроектирована и реализована процедура передачи управления внешнему агенту (человеку или алгоритму без ИИ).
Выше перечислены лишь основные риски и требования к безопасным ИИ системам для КИ. Особо отметим, что даже достаточно мягкое регулирование ИИ в отдельных странах, тем не менее, выделяет такие системы в отдельный класс (так называемые high-risk AI systems [7]) и подразумевает тщательный менеджмент возникающих здесь рисков.
Защита ИИ систем для критической инфраструктуры
Снижение рисков на этапе подготовки данных для обучения модели обеспечивается следованием методологии работы с данными [3-5] или привлечением экспертов по безопасности ИИ. Этап создания модели может быть безопасным, если все используемые модели проходят процедуру проверки на наличие недекларированного функционала, сама модель разрабатывается и тестируется в безопасной среде разработки, а код обученной модели шифруется. Этап обучения модели подразумевает использование состязательного обучения, а при понимании наиболее вероятных векторов угроз на входные данные в модель могут быть введены и другие способы защиты. Этап вывода модели на конкретном оборудовании подразумевает проведение анализа угроз, характерных для данного оборудования, и учет рекомендаций производителя для их снижения.
Итог
В этом разделе мы кратко рассмотрели специфику угроз ИИ для критической инфраструктуры. Если у вас возникли вопросы, пишите нам, пожалуйста, на электронный адрес aist@kaspersky.com
Список литературы
Развернуть список литературы
- 1. ПСНТ “Искусственный интеллект. Функциональная безопасность и системы искусственного интеллекта”.
- 2. ПСНТ “Искусственный интеллект. Управляемость автоматизированных систем искусственного интеллекта”.
- 3. ГОСТ 59276-2020 “Системы искусственного интеллекта. Способы обеспечения доверия”.
- 4. ГОСТ 70889-2023 “Искусственный интеллект. Структура жизненного цикла данных”.
- 5. ГОСТ 59898-2021 “Оценка качества систем искусственного интеллекта. Общие положения”.
- 6. ПНСТ 839-2023 "Искусственный интеллект. Смещенность в системах искусственного интеллекта и при принятии решений с помощью искусственного интеллекта".
- 7. European Union AI Act