По мере того как всё больше компаний внедряют искусственный интеллект, понимание его рисков безопасности становится важнее, чем когда-либо. ИИ меняет отрасли и рабочие процессы, но также создает новые угрозы безопасности, которые организации должны учитывать. Защита систем ИИ необходима для поддержания доверия, сохранения конфиденциальности и обеспечения бесперебойной работы бизнеса. В этой статье рассматриваются ключевые выводы из недавнего отчета Cisco “Состояние безопасности ИИ в 2025 году”, дающие представление о текущем положении безопасности ИИ и о том, что компаниям следует учитывать в будущем.
Растущая угроза безопасности ИИ
Если 2024 год нас чему-то научил, так это тому, что внедрение ИИ происходит быстрее, чем многие организации успевают его защитить. Согласно отчету Cisco, около 72% организаций уже используют ИИ в своих бизнес-функциях, однако только 13% чувствуют полную готовность к безопасному использованию его потенциала. Этот разрыв между внедрением и готовностью во многом обусловлен проблемами безопасности, которые остаются основным препятствием для более широкого корпоративного использования ИИ.
Особенно тревожным делает эту ситуацию то, что ИИ создает новые типы угроз, с которыми традиционные методы кибербезопасности не полностью справляются. В отличие от обычной кибербезопасности, которая часто защищает фиксированные системы, ИИ приносит динамические и адаптивные угрозы, которые труднее предсказать.
Основные возникающие угрозы:
- Атаки на инфраструктуру: Инфраструктура ИИ стала основной целью злоумышленников. Яркий пример — взлом контейнерного инструментария NVIDIA, который позволил атакующим получить доступ к файловым системам, запустить вредоносный код и повысить привилегии. Аналогично, Ray, фреймворк с открытым исходным кодом для управления GPU, был скомпрометирован в одной из первых реальных атак на фреймворк ИИ. Эти случаи показывают, как уязвимости в инфраструктуре ИИ могут влиять на множество пользователей и систем.
- Риски цепочки поставок: Уязвимости цепочки поставок ИИ представляют еще одну значительную проблему. Около 60% организаций полагаются на компоненты ИИ с открытым исходным кодом или экосистемы. Это создает риск, поскольку злоумышленники могут скомпрометировать эти широко используемые инструменты. В отчете упоминается метод “Sleepy Pickle”, который позволяет противникам вмешиваться в модели ИИ даже после распространения, что делает обнаружение чрезвычайно сложным.
- Специфические для ИИ атаки: Новые методы атак быстро развиваются. Такие методики, как внедрение промптов, обход защиты (jailbreaking) и извлечение обучающих данных, позволяют злоумышленникам обходить средства контроля безопасности и получать доступ к конфиденциальной информации, содержащейся в обучающих наборах данных.
Векторы атак на системы ИИ
В отчете подчеркивается появление векторов атак, которые злоумышленники используют для эксплуатации уязвимостей в системах ИИ. Эти атаки могут происходить на разных этапах жизненного цикла ИИ: от сбора данных и обучения модели до развертывания и вывода. Целью часто является заставить ИИ вести себя непредсказуемым образом, утечка конфиденциальных данных или выполнение вредоносных действий.
За последние годы эти методы атаки стали более продвинутыми и их труднее обнаружить. В отчете выделяется несколько типов векторов атак:
Типы векторов атак:
- Обход защиты (Jailbreaking): Эта техника включает создание враждебных промптов, которые обходят меры безопасности модели. Несмотря на улучшения в защите ИИ, исследования Cisco показывают, что даже простые методы обхода остаются эффективными против продвинутых моделей, таких как DeepSeek R1.
- Непрямое внедрение промптов: В отличие от прямых атак, этот вектор включает косвенное манипулирование входными данными или контекстом, который использует модель ИИ. Злоумышленники могут предоставлять скомпрометированные исходные материалы, такие как вредоносные PDF-файлы или веб-страницы, заставляя ИИ генерировать непреднамеренные или вредоносные выходные данные. Эти атаки особенно опасны, поскольку они не требуют прямого доступа к системе ИИ, позволяя злоумышленникам обходить многие традиционные средства защиты.
- Извлечение и отравление обучающих данных: Исследователи Cisco продемонстрировали, что чат-боты могут быть обмануты для раскрытия частей своих обучающих данных. Это вызывает серьезные опасения о конфиденциальности данных, интеллектуальной собственности и соответствия нормам. Злоумышленники также могут отравлять обучающие данные, внедряя вредоносные входные данные. Тревожно, что отравление всего 0,01% больших наборов данных, таких как LAION-400M или COYO-700M, может повлиять на поведение модели, и это можно сделать с небольшим бюджетом (около 60 долларов США), делая эти атаки доступными для многих злоумышленников.
В отчете подчеркиваются серьезные опасения относительно текущего состояния этих атак, причем исследователи достигли 100% успеха против таких продвинутых моделей, как DeepSeek R1 и Llama 2. Это раскрывает критические уязвимости в безопасности и потенциальные риски, связанные с их использованием. Кроме того, в отчете выявляется появление новых угроз, таких как голосовые методы обхода защиты, которые специально разработаны для атаки на мультимодальные модели ИИ.
Выводы исследования безопасности ИИ от Cisco
Исследовательская команда Cisco оценила различные аспекты безопасности ИИ и выявила несколько ключевых выводов:
- Алгоритмический обход защиты: Исследователи показали, что даже лучшие модели ИИ могут быть автоматически обмануты. Используя метод под названием “Дерево атак с обрезкой” (TAP), исследователи обошли защиту GPT-4 и Llama 2.
- Риски в тонкой настройке: Многие компании выполняют тонкую настройку фундаментальных моделей для повышения релевантности для конкретных областей. Однако исследователи обнаружили, что тонкая настройка может ослабить внутренние защитные механизмы. Настроенные версии оказались более чем в три раза более уязвимыми к обходу защиты и в 22 раза более склонными к генерации вредоносного контента, чем оригинальные модели.
- Извлечение обучающих данных: Исследователи Cisco использовали простой метод декомпозиции, чтобы заставить чат-ботов воспроизводить фрагменты новостных статей, что позволяет восстанавливать источники материала. Это создает риски для раскрытия конфиденциальных или собственных данных.
- Отравление данных: Команда Cisco демонстрирует, как легко и недорого отравить масштабные веб-наборы данных. За около 60 долларов исследователи смогли отравить 0,01% таких наборов данных, как LAION-400M или COYO-700M. Более того, они подчеркивают, что этого уровня отравления достаточно, чтобы вызвать заметные изменения в поведении модели.
Роль ИИ в киберпреступности
ИИ не только является целью – он также становится инструментом для киберпреступников. В отчете отмечается, что автоматизация и социальная инженерия на основе ИИ сделали атаки более эффективными и трудно обнаружимыми. От фишинговых афер до клонирования голоса, ИИ помогает преступникам создавать убедительные и персонализированные атаки.
В отчете также выявляется рост вредоносных инструментов ИИ, таких как “DarkGPT”, специально разработанных для помощи в киберпреступности путем генерации фишинговых писем или эксплуатации уязвимостей. Что делает эти инструменты особенно тревожными, так это их доступность. Даже малоквалифицированные преступники теперь могут создавать высокоперсонализированные атаки, которые обходят традиционные методы защиты.
Лучшие практики для безопасности ИИ
Учитывая нестабильный характер безопасности ИИ, Cisco рекомендует организациям несколько практических шагов:
- Управление рисками на протяжении всего жизненного цикла ИИ: Крайне важно выявлять и снижать риски на каждом этапе жизненного цикла ИИ, от поиска данных и обучения модели до развертывания и мониторинга. Это также включает защиту сторонних компонентов, применение строгих ограничений и жесткий контроль точек доступа.
- Использование установленных практик кибербезопасности: Хотя ИИ уникален, традиционные лучшие практики кибербезопасности по-прежнему необходимы. Такие методы, как контроль доступа, управление разрешениями и предотвращение потери данных, могут играть жизненно важную роль.
- Фокус на уязвимых областях: Организациям следует сосредоточиться на областях, которые, скорее всего, станут объектами атак, таких как цепочки поставок и сторонние приложения ИИ. Понимая, где лежат уязвимости, компании могут внедрить более целенаправленные методы защиты.
- Обучение сотрудников: По мере распространения инструментов ИИ важно обучать пользователей ответственному использованию ИИ и осведомленности о рисках. Хорошо информированный персонал помогает снизить случайное раскрытие данных и злоупотребление.
Взгляд в будущее
Внедрение ИИ будет продолжать расти, а вместе с ним будут развиваться и риски безопасности. Правительства и организации по всему миру признают эти проблемы и начинают разрабатывать политики и нормативные акты для обеспечения безопасности ИИ.
Как подчеркивается в отчете Cisco, баланс между безопасностью ИИ и прогрессом будет определять следующую эру развития и внедрения ИИ. Организации, которые ставят безопасность в приоритет наряду с инновациями, будут лучше всего подготовлены к тому, чтобы справиться с вызовами и воспользоваться возникающими возможностями.