Вычислительные системы
Вычислительные системы ИИ (графические и тензорные аппаратные ускорители, специализированные нейропроцессоры) являются еще одним важным компонентом технологического базиса современного ИИ не только в части обучения и вывода (инференса) моделей, но и обеспечения безопасности.
О роли вычислительных систем в безопасности ИИ выпущен соответствующий международный стандарт [1]. В нем отмечена важность разработки и использования защищенных аппаратных решений, позволяющих создавать доверенные вычислительные среды, в которых модели ИИ могут работать в изолированном и защищенном от вмешательства пространстве. В настоящее время это область активных исследований с очень многообещающими результатами.
Само аппаратное обеспечение также может являться вектором атаки на систему ИИ. Ниже приведем примеры таких атак, доведенных до практической реализации.
1. Атака на энергопотребление/быстродействие (анг. sponge attack)
Атака, при которой злоумышленник повышает энергопотребление и/или время отклика системы ИИ с целью приведения ее в состояние отказа в обслуживании.
Для реализации атаки злоумышленник синтезирует на основе оптимизационных алгоритмов специальные входные данные (т.н. sponge examples), которые максимизируют вычислительные затраты модели на получение решения [2]. Авторы исследования показали, что данной атаке особенно подвержены большие языковые модели и, в меньшей степени, модели для компьютерного зрения. Атака переносима как между различными аппаратными платформами (CPU, GPU, ASIC), так и между различными архитектурами моделей и представляет реальную угрозу для сервисов ML-as-a-Service.
2. Изменение параметров модели на аппаратном уровне
Атака, при которой злоумышленник воздействует на оперативную память вычислителя системы ИИ с целью изменения параметров/гиперпараметров модели ИИ.
Атака эксплуатирует аппаратную уязвимость оперативной памяти – интенсивное циклическое воздействие на ячейки памяти приводит к изменению значений битов в соседних ячейках.
В экспериментах было показано [3], что целый ряд известных нейросетевых топологий (VGG, ResNet, DenseNet, Inсeption) содержит в среднем до 50% параметров, уязвимых к инвертированию знака (31-го бита) в их побитовом представлении, т.е. такое инвертирование приводит к снижению относительной точности классификации на наборе данных ImageNet более чем на 10%. Кроме того, в большинстве из рассмотренных в [3] нейросетевых моделей есть хотя бы один параметр, инвертирование бита в котором может привести к падению точности классификации более чем на 90%.
Список литературы
Развернуть список литературы
- 1. https://www.etsi.org/deliver/etsi_gr/SAI/001_099/006/01.01.01_60/gr_SAI006v010101p.pdf
- 2. Shumailov I. et al. Sponge examples: Energy-latency attacks on neural networks //2021 IEEE European symposium on security and privacy (EuroS&P). – IEEE, 2021. – С. 212-231.
- 3. Hong S. et al. Terminal brain damage: Exposing the graceless degradation in deep neural networks under hardware fault attacks //28th USENIX Security Symposium (USENIX Security 19). – 2019. – С. 497-514.