Телеметрия, модель, команда: векторы атак на киберфизические системы

Статья подготовлена на основе двух научных публикаций и отчёта о лабораторных испытаниях:

Zero-trust cybersecurity framework for AI-driven Energy Internet and smart grid systems — обнаружение подмены измерений и управление доверием к участникам энергосистемы.

Domain adaptation affects adversarial robustness in autonomous steering models — влияние адаптации моделей рулевого управления на их поведение под состязательными атаками.

From Digital to Physical: The AI Threat Is Here — испытания ИИ-агентов в лабораторной IT/OT-среде Booz Allen, включая управляемое физическое воздействие на оборудование.

Путь до оборудования

Управляющая система принимает решение по измерениям, прогнозам и текущему состоянию оборудования. Если изменить показания, можно исказить её представление о происходящем и тем самым добиться ошибочного управляющего выхода. Если получить доступ к нужному интерфейсу, можно передать команду непосредственно устройству или через систему диспетчерского управления.

Во всех случаях цифровое воздействие потенциально получает физическое продолжение. Но путь до него различается: где-то атакующему нужно контролировать измерения, где-то — вход модели, а где-то — учётную запись или сетевой маршрут к управляющему сервису. Отличаются и точки, в которых действие ещё можно остановить.

Выбранные материалы позволяют рассмотреть эти пути на примере энергосистемы, автомобильной модели управления и промышленного стенда. ИИ участвует в них по-разному - помогает обнаруживать ложные данные, сам обрабатывает атакованный вход или выполняет задачи на стороне атакующего. Эти механизмы могут пересекаться, поэтому воспринимать их как три строго изолированных класса уязвимостей не стоит.

При этом ошибка в расчёте, опасная команда и выполненное движение оборудования — разные результаты. Между ними находятся логика управления, права доступа, режимы работы и защитные ограничения. Именно эти переходы и определяют, насколько далеко сможет зайти воздействие.

Телеметрия

В Zero-trust cybersecurity framework for AI-driven Energy Internet and smart grid systems рассматривается вполне конкретная проблема - атакующий подменяет часть измерений, на основе которых вычисляется состояние электрической сети. Для этого используется False Data Injection (FDI) — внедрение ложных данных.

Центр управления получает измерения напряжений, мощностей и перетоков. Оценка состояния связывает их с математической моделью сети и восстанавливает согласованную картину её работы. Проверки позволяют заметить, что некоторые показания плохо согласуются с этой картиной. То есть существует расхождение между поступившим измерением и значением, которое следует из рассчитанного состояния.

Обычная грубая подмена может оставить заметный след. Но информированный атакующий способен подобрать изменения с учётом взаимосвязей сети, чтобы ложные данные выглядели правдоподобнее для проверки. Если измерение пришло от знакомого устройства по разрешённому соединению, это ещё не делает его истинным.

Доступ и знания

В основной модели угроз авторы предполагают, что атакующий знает математическую модель электрической сети и может изменять ограниченный набор измерений внутри одной зоны. Измерения вне этого набора остаются ему неподконтрольны. Само проникновение на устройство, получение учётных данных или заражение системы в эксперимент не входят - возможность подмены уже задана как исходное условие.

Это существенно для понимания результата. Работа показывает поведение оценки и обнаружения при подготовленной подмене. Она не устанавливает, насколько легко получить нужный доступ на реальной подстанции.

Для физического процесса интересна следующая цепочка:

доступ к измерениям → согласованная подмена телеметрии → искажение оценки состояния → возможное ошибочное решение управления

Например, ложная картина может мешать заметить перегрузку или повлиять на выбор режима работы сети. Это возможные последствия механизма. В рассмотренной работе не испытывают последующее управление действующим объектом и не демонстрируют повреждение оборудования. Чтобы связать ошибку оценки с конкретным ущербом, потребуется отдельно учитывать алгоритм управления, состояние сети и работу защит.

Встраивать нейросеть в управление для появления такой проблемы необязательно, а сами авторы работают с классической оценкой состояния электрической сети. Машинное обучение в предложенной архитектуре помогает распознавать признаки подмены.

Физика процесса

Авторы предлагают объединить физические проверки с непрерывной оценкой доверия. Сеть делится на зоны наблюдаемости. Помимо общей проверки измерений, анализируются несогласованность измерений перетоков на связях между зонами. В основной постановке эти граничные измерения не входят в набор, контролируемый атакующим, и помогают проверить, насколько внутренняя картина зоны согласуется с остальной сетью.

Признаки поступают в обучаемую модель оценки риска — логистическую регрессию. Её параметры объединяются из моделей, обученных по зонам, без централизованного сбора исходных данных. Оценка риска вместе со сведениями об аутентификации и поведении участника влияет на его показатель доверия. Политика доступа связывает этот показатель с разрешением действия, дополнительной проверкой или отказом.

Именно так zero trust здесь получает содержание, связанное с технологическим процессом - доверие к устройству зависит в том числе от согласованности его показаний с физической моделью.

При этом независимость проверочных данных имеет пределы. Если атакующий контролирует достаточно измерений и оставшиеся неподконтрольные измерения уже не позволяют однозначно определить состояние, появляется возможность согласовать подмену так, чтобы проверки её не различали. В отдельном эксперименте с расширением набора скомпрометированных измерений авторы показывают падение обнаружения до уровня ложных тревог. Дополнительные уровни проверки полезны, пока у системы остаётся информация, которой атакующий не может придать произвольное значение.

Архитектуру оценивают в симуляциях стандартных IEEE 14, 30 и 118-узловых систем с синтетическим шумом измерений. Результаты позволяют сравнивать детекторы в заданных условиях, но не заменяют испытания на телеметрии эксплуатируемого объекта. Устойчивость федеративного обучения к отравленным обновлениям от скомпрометированной зоны в этой работе тоже не проверяется.

Цена недоверия

В статье есть результат, который для эксплуатации может оказаться не менее важным, чем обнаружение подмены. Если свежие свидетельства о состоянии участника перестают поступать, его доверие постепенно снижается к консервативному базовому уровню. При достаточно низком значении доступ отзывается.

В симуляции с 60 участниками на протяжении 300 шагов такая политика чувствительна к потерям сообщений. При вероятности потери обновления 10% средняя доля добросовестных участников с ошибочно отозванным доступом составляет 1,8%, но при 20% — уже 56,4%, а при 30% — 99,4%. Эти результаты приводятся в таблице и усреднены по 20 запускам с разными случайными начальными условиями для каждого уровня потерь.

Получается неприятная история: связь ухудшается, свидетельства устаревают, а защита начинает массово отзывать доступ. Авторы признают этот недостаток и предлагают выделять промежуточное состояние «не проверен», с более постепенной реакцией на отсутствие данных.

Это не означает, что любой отказ в доступе остановит энергосистему. В работе такую причинную цепочку не испытывали. Но при внедрении придётся определить, какие операции блокируются, как сохраняются необходимые функции управления и что происходит при потере связи. Политика, которая хорошо ловит нарушителя, должна ещё позволять работать исправному оборудованию в неидеальных условиях.

Проверка под атакой

В Domain adaptation affects adversarial robustness in autonomous steering models объектом воздействия становится вход нейросетевой модели, предсказывающей угол рулевого колеса по изображению дороги.

Авторы исследуют адаптацию моделей с американских данных о правостороннем движении к австралийским условиям левостороннего движения. Сравниваются PilotNet и ResNet-18, а для каждой архитектуры четыре варианта подготовки: обучение на исходных американских данных, обучение на зеркально отражённых данных, дообучение первого варианта на австралийских данных и такое же дообучение второго.

Сама адаптация — нормальная инженерная задача. Вопрос в том, как после неё меняется реакция модели на специально подобранное воздействие.

Веса остаются прежними, меняется вход

В эксперименте атакующий изменяет входное изображение так, чтобы увеличить ошибку предсказания. Это атака во время применения модели. Её веса при атаке не переписываются, а обучающие данные не отравляются.

Используются FGSM (Fast Gradient Sign Method) и PGD (Projected Gradient Descent). Первый метод делает один шаг на основе градиента ошибки, второй подбирает воздействие итеративно в пределах заданного ограничения. Основные эксперименты относятся к white-box и при построении воздействия доступны сведения о целевой модели, необходимые для вычисления градиента. Дополнительно проверяется перенос между архитектурами — пример готовят на одной модели и подают другой без использования градиентов целевой модели. Переносимые воздействия тоже увеличивают ошибку, но в целом слабее соответствующих white-box-атак. Результат зависит от того, какая модель использовалась для подготовки и какая стала целью.

Изменения вносят после предварительной обработки, в нормализованное входное представление YUV (Luminance, Chroma Blue, Chroma Red). Поэтому речь идёт о контролируемом цифровом воздействии на вход модели. Получение доступа к этому входу на автомобиле, физическая наклейка на дороге или незаметная для человека подмена изображения здесь не демонстрируются.

Для реальной атаки нужно объяснить, как подготовленное воздействие появится именно в том представлении, которое получает модель. Возможность вычислить подходящий массив пикселей сама по себе ещё не даёт возможность доставить его в систему.

Разное поведение

Оценка проводится на 3000 изображений австралийских автомагистралей, выделенных из отдельного видео и не использовавшихся при дообучении или валидации. На обычных данных дообучение существенно улучшает точность. Под атакой результат зависит от архитектуры, способа адаптации и выбранного воздействия.

Показателен пример двух дообученных вариантов PilotNet. Ниже приведена средняя абсолютная ошибка прогноза угла рулевого колеса из таблицы. Для PGD использованы десять итераций и бюджет возмущения ε = 0,03 в нормализованном входном пространстве.

На обычных данных результаты почти одинаковы. В выбранном испытании реакция на атаку отличается существенно. Для этих экземпляров моделей проверка только обычной точности не позволила бы увидеть такую разницу.

Однако превращать этот пример в правило «зеркальное предобучение делает модели уязвимыми» нельзя. Каждую комбинацию архитектуры и способа адаптации обучали один раз. Доверительные интервалы и статистические сравнения описывают разброс по тестовым изображениям, а не по множеству независимо обученных моделей. Для PGD также использовалась одна случайная инициализация атаки, поэтому результат не является гарантированной оценкой наихудшего случая.

Авторы отдельно разбирают ловушку относительных метрик. Их показатель RS (Robustness Score) равен отношению среднего квадрата ошибки (MSE) на обычных данных к MSE под атакой. После дообучения обычная ошибка может стать очень маленькой. Тогда даже умеренная ошибка под атакой даст низкий RS, хотя в абсолютном выражении модель всё ещё будет ошибаться меньше плохо адаптированного предшественника.

Поэтому вывод «устойчивость ухудшилась» требует уточнения так как точно нет точного ответа - речь о росте ошибки относительно собственного исходного результата или о величине ошибки под атакой? Для управления важны и сама величина, и частота больших отклонений, и условия, в которых они возникают.

Устойчивость модели

Механизм можно представить так:

доступ к входу модели → специально подобранное изменение изображения → ошибочный прогноз угла → возможное влияние на движение

В исследовании измеряется ошибка прогноза. Испытаний физического автомобиля или движения в замкнутом контуре, где действия меняют следующие наблюдения, не проводилось. Выход модели перед расчётом метрик также не ограничивали физически допустимым диапазоном угла. Поэтому 70° ошибки в таблице нельзя превращать в утверждение, что автомобиль действительно выполнил соответствующий манёвр.

Физическое последствие будет зависеть от способа использования прогноза, динамики автомобиля, длительности воздействия и проверок перед исполнением. Отдельная ошибочная оценка и последовательность ошибочных команд на ходу создают разные условия. Исследованная модель — один компонент возможной системы управления.

Для промышленного применения отсюда можно вывести полезный вопрос, а что происходит с устойчивостью после переноса модели на другую камеру, установку или режим работы? Это уже инженерное обобщение результатов, а не проверенный авторами промышленный сценарий. Но оно задаёт конкретную задачу - после адаптации оценивать не только точность на штатных данных, но и поведение при допустимых для атакующего изменениях входа, а затем проверять последствия в составе всего контура управления.

ИИ помощник

В отчёте Booz Allen From Digital to Physical: The AI Threat Is Here точкой воздействия становится инфраструктура, через которую можно управлять оборудованием. ИИ-агенты исследуют окружение, находят доступные системы, выбирают способы получения доступа и выполняют действия через инструменты.

Испытания проходили в изолированной лаборатории с оборудованием разных производителей. Стенд моделировал предприятие: корпоративный сегмент, промышленную DMZ, операционные и производственные зоны. В нём были контроллеры, HMI, SCADA, инженерные и операторские станции, частотный привод, двигатель и роботизированная рука. Авторы отдельно отмечают несовершенную сегментацию и особенности конфигурации, характерные для долго эксплуатируемой промышленной инфраструктуры.

Операторы задавали границы подсетей и задачи обычным текстом. По описанию методики, исходный код, инженерную документацию и подробные указания по OT агентам не предоставляли. Однако перед выполнением эксплойта или действием с физическим эффектом требовалось одобрение человека. То есть мы имеем дело с контролируемым лабораторным испытанием, но с настоящим оборудованием.

Последовательность действий

Агенты определяли устройства и их роль, исследовали интерфейсы и протоколы, сопоставляли сведения о системах с известными уязвимостями и меняли подход после неудач. В этой цепочке ИИ помогал связывать отдельные технические задачи, результат разведки становился основанием для следующего шага, а ошибка — новой информацией о среде.

В испытании с роботизированной рукой агент обнаружил устройство, определил его API, получил административный доступ, выяснил ограничения движения и после разрешения выполнил движение. Для этого сценария путь от цифрового доступа до физического действия действительно пройден на оборудовании стенда.

Другой пример касается SCADA. Сначала агенты изменили не ту версию операторского интерфейса, и ожидаемый эффект на экранах не появился. Они исследовали активные сеансы, определили используемую версию и скорректировали воздействие, добившись изменения отображения на операторских экранах.

Одновременно обнаружилось, что SCADA поддерживает уже аутентифицированные соединения с 14 OT-устройствами, включая выявленные контроллеры. Это существенная особенность архитектуры, где один скомпрометированный сервис может иметь и широкую видимость процесса, и готовые пути отправки команд.

Авторы рассматривают возможность одновременно воздействовать на оборудование и искажать картину для оператора. В приведённом эпизоде показаны изменение интерфейса и наличие управляющих соединений. Для анализа риска важно уже само совмещение таких возможностей в одной доступной точке.

Штатные команды

В отчёте отдельно сказано, что на уровне OT-устройств агенты часто использовали штатные протоколы и команды. Полученный ранее доступ позволял обращаться к оборудованию предусмотренным способом. Эксплуатация уязвимостей могла помогать добраться до нужного сегмента или приложения, а непосредственное воздействие выполнялось через обычный управляющий интерфейс.

Поэтому цепочка здесь выглядит так:

доступ к среде → исследование устройств и связей → получение необходимых полномочий или достижение незащищённого интерфейса → управляющая команда → физическое действие

Для её реализации нужны конкретные условия - сетевой путь, доступный сервис, подходящие права или недостаточная проверка команд, режим устройства, допускающий удалённое воздействие. ИИ помогает искать и использовать эти условия. Само наличие агента не делает закрытый интерфейс доступным и не отменяет аппаратные ограничения.

Для защиты это означает, что обнаружения известных эксплойтов недостаточно. Значение имеют изменения режимов контроллеров, загрузка программ и конфигураций, операции принудительного задания значений, изменения проектов SCADA и необычное использование штатных управляющих соединений. Формально корректная команда требует проверки в контексте кто её отправил, откуда, для какой операции и при каком состоянии процесса.

Где заканчивается демонстрация

Booz Allen сообщает о достижении целей всех восьми контролируемых сценариев. В одном испытании переход от компрометации периметра до действий в управляющем сегменте занял чуть более 16 минут. Это время конкретного эпизода с определённой исходной точкой и конфигурацией стенда. Это, конечно, не означает, что любой завод можно взломать за 16 минут, но тем не менее заставляет задуматься.

Также восемь выполненных целей не дают универсальную вероятность успешной атаки. В публичном отчёте недостаточно сведений о конкретных моделях, числе повторений каждого сценария и условиях всех запусков для такой оценки. Контрольного сравнения с человеческой командой на одинаковых задачах тоже не приведено. Авторы связывают наблюдения с сокращением времени и потребности в специальных знаниях.

При этом в отчёте есть полезные примеры работающих ограничений. Один контроллер сначала отклонил запрос остановки, а локальный режим управления не позволил дистанционно запустить двигатель в одном из запусков. Межсетевые экраны, сегментация и средства защиты конечных узлов также блокировали или замедляли отдельные действия. В некоторых случаях агенты находили другой способ продолжить.

Следовательно, результат зависит от всей доступной цепочки. Отклонённая команда действительно может предотвратить конкретный эффект. Для защиты процесса нужно дополнительно проверить, нет ли другого интерфейса, доверенного приложения или сетевого пути, через который тот же эффект остаётся достижимым.

Наконец, человеческое одобрение в лаборатории ограничивало допустимые действия самих агентов. Оно важно для интерпретации испытаний, но не является барьером, который обязательно встретит атакующий на производстве. Защитными барьерами объекта остаются его собственные механизмы доступа, режимы управления и ограничения исполнения.

Вывод

Все три материала можно рассматривать через общий вопрос: каким образом доступное атакующему воздействие становится основанием для действия оборудования? Точки входа различаются, но потенциальный результат один — нежелательное изменение физического процесса.

В первом исследовании атакующий подменяет телеметрию и тем самым искажает представление системы о состоянии электрической сети. Математическая модель и алгоритм оценки могут оставаться неизменными. Достаточно лишь повлиять на данные, из которых они восстанавливают картину происходящего. Если дальнейшее управление опирается на эту картину, ошибочная оценка способна повлиять на принимаемые решения.

Во втором исследовании воздействие направлено на вход нейросетевой модели. Её параметры тоже остаются прежними, однако специально изменённое изображение приводит к ошибочному прогнозу угла рулевого колеса.

В третьем материале рассматривается получение доступа непосредственно к управляющей инфраструктуре. ИИ-агент помогает исследовать окружение, найти доступные интерфейсы и получить возможность передавать команды оборудованию. Здесь атакующий может задать действие через управляющий сервис, используя в том числе штатные протоколы.

Таким образом, на физический процесс можно повлиять через данные о его состоянии, через вход модели, формирующей прогноз для управления, или через непосредственную передачу команды устройству. Во всех случаях принципиально важен момент, при котором подконтрольное атакующему изменение начинает определять поведение оборудования.

Отсюда следует общий вывод для защиты: оценивать нужно, может ли доступное атакующему изменение превратиться в нежелательное действие оборудования и какие независимые проверки и ограничения способны остановить этот переход. Для этого необходимо учитывать состояние процесса, способ использования данных и допустимость конкретной команды.

Ложное измерение может выглядеть согласованным. Ошибочный прогноз может укладываться в допустимый формат. Нежелательная команда может прийти по штатному протоколу от знакомого сервера. Поэтому проверять стоит всю цепочку — вплоть до того, что оборудование действительно сможет сделать.