Николас Катманн занимает должность директора по информационной безопасности (CISO) в LogicGate, где руководит программой информационной безопасности компании, контролирует инновации в области безопасности платформы и взаимодействует с клиентами по вопросам управления киберрисками. С более чем двадцатилетним опытом работы в ИТ и более 18 лет в кибербезопасности, Катманн создавал и руководил операциями безопасности в малом бизнесе и предприятиях из списка Fortune 100.
LogicGate — платформа управления рисками и соответствием нормативным требованиям, которая помогает организациям автоматизировать и масштабировать свои программы по управлению, рискам и соответствию (GRC). Через свой флагманский продукт Risk Cloud®, LogicGate позволяет командам идентифицировать, оценивать и управлять рисками в масштабах предприятия с настраиваемыми рабочими процессами, аналитикой в реальном времени и интеграциями.
Искусственный интеллект в роли CISO и CIO
Катманн служит одновременно директором по информационной безопасности (CISO) и директором по информационным технологиям (CIO) в LogicGate. По его мнению, в ближайшие 2-3 года мы увидим значительный рост агентного искусственного интеллекта, который способен кардинально переосмыслить подход к бизнес-процессам на ежедневной основе.
“Любые задачи, которые обычно адресуются ИТ-службе поддержки — например, сброс паролей, установка приложений и многое другое — могут выполняться ИИ-агентом. Другим критически важным случаем использования станет применение ИИ-агентов для выполнения утомительных аудиторских оценок, что позволит CISO и CIO сосредоточиться на более стратегических запросах”, — отмечает эксперт.
Подход к внедрению ИИ с сохранением высокого уровня безопасности
В то время как в США наблюдается тенденция к дерегулированию, в Европейском Союзе нормативные требования, напротив, ужесточаются. Поэтому, если вы руководите международной компанией, следует предвидеть необходимость соблюдения глобальных нормативных требований относительно ответственного использования ИИ.
Для компаний, работающих исключительно в США, Катманн предвидит период обучения с точки зрения внедрения ИИ. “Я считаю важным для таких предприятий формировать строгую политику управления искусственным интеллектом и сохранять человеческий контроль в процессе внедрения, обеспечивая, чтобы ничто не выходило из-под контроля”, — подчеркивает специалист.
Слепые зоны при интеграции ИИ в существующие структуры кибербезопасности
Основной уязвимой областью является расположение данных и пути их передачи. Внедрение ИИ только усложняет надзор в этой сфере. Поставщики включают функции ИИ в свои продукты, но данные не всегда напрямую передаются модели ИИ или вендору. Это делает традиционные инструменты безопасности, такие как DLP и мониторинг веб-ресурсов, фактически слепыми.
От “бумажных тигров” к действенным стратегиям управления ИИ
Под “бумажными тиграми” Катманн подразумевает стратегии управления, с которыми знакома только небольшая команда, и которые не соблюдаются или даже не понимаются во всей организации. Искусственный интеллект имеет всеобъемлющий характер, затрагивая каждую группу и каждую команду. Стратегии типа “один размер подходит всем” не будут работать.
По мнению эксперта, основные составляющие надежной структуры управления могут варьироваться, но такие организации, как IAPP, OWASP, NIST и другие консультативные органы, предлагают довольно хорошие основы для определения того, что следует оценивать. Самая сложная часть — выяснить, когда требования применяются к каждому конкретному случаю.
Борьба с дрейфом моделей ИИ и обеспечение ответственного использования
Дрейф и деградация — естественная часть использования технологий, но ИИ может значительно ускорить этот процесс. Когда дрейф становится слишком большим, требуются корректирующие меры. Необходима комплексная стратегия тестирования, которая отслеживает и измеряет точность, предвзятость и другие тревожные признаки с течением времени.
Компании, стремящиеся избежать предвзятости и дрейфа, должны начать с обеспечения наличия инструментов для их выявления и измерения.
Предвзятость ИИ в финансовых решениях
Катманн делится опытом общения с исследователем ИИ/МО в крупном транснациональном банке, который экспериментировал с ИИ и языковыми моделями в своих моделях оценки рисков. Даже будучи обученными на больших и точных наборах данных, модели принимали удивительные, необоснованные решения об одобрении или отказе в андеррайтинге.
“Например, если слова “отличный кредитный рейтинг” упоминались в стенограмме чата или коммуникациях с клиентами, модели по умолчанию отказывали в кредите — независимо от того, сказал ли это клиент или сотрудник банка”, — объясняет эксперт. Если банки собираются полагаться на ИИ, им необходим лучший надзор и подотчетность, а такие “сюрпризы” должны быть сведены к минимуму.
Аудит алгоритмов, принимающих важные решения
Это возвращает нас к комплексной модели тестирования, где необходимо постоянно тестировать и сравнивать алгоритм/модели в максимально приближенном к реальному времени режиме. Это может быть сложным, поскольку результаты модели могут иметь желаемые результаты, но для выявления выбросов потребуются люди.
“На примере банковской деятельности, модель, которая отказывает во всех кредитах в целом, будет иметь отличный рейтинг риска, поскольку ни один из предоставленных ею кредитов никогда не станет проблемным. В этом случае, организация, внедряющая модель/алгоритм, должна нести ответственность за результат работы модели, точно так же, как если бы решение принимали люди”, — утверждает Катманн.
Как ИИ меняет ландшафт киберстрахования
Инструменты ИИ отлично справляются с обработкой больших объемов данных и поиском закономерностей или тенденций. Со стороны клиентов эти инструменты будут играть ключевую роль в понимании фактического риска организации и управлении этим риском. Со стороны андеррайтеров эти инструменты помогут находить несоответствия и организации, чья зрелость в области безопасности снижается с течением времени.
Тактические шаги для ответственного внедрения ИИ
Для компаний, желающих ответственно внедрить ИИ, Катманн рекомендует следующие шаги:
- Понять свои варианты использования и задокументировать желаемые результаты. Все хотят внедрить ИИ, но важно сначала обдумать свои цели и двигаться от них в обратном порядке — с чем, по мнению эксперта, сегодня многие организации испытывают трудности.
- Исследовать различные структуры ИИ и понять, какие из применимых контрольных механизмов важны для ваших вариантов использования и реализации.
- Создать сильное управление ИИ, что критически важно для бизнеса, как для снижения рисков, так и для эффективности, поскольку автоматизация полезна только в той мере, в какой полезны ее входные данные.
Организации, использующие ИИ, должны делать это ответственно, поскольку партнеры и потенциальные клиенты задают сложные вопросы о распространении и использовании ИИ. Незнание ответа может привести к потере деловых возможностей, что напрямую влияет на итоговый результат.
Прогноз главного риска, связанного с ИИ, на ближайшие пять лет
Катманн прогнозирует, что по мере встраивания агентного ИИ в большее количество бизнес-процессов и приложений, злоумышленники будут заниматься мошенничеством и злоупотреблениями, манипулируя этими агентами для достижения вредоносных результатов.
“Мы уже видели это на примере манипулирования агентами обслуживания клиентов, что приводило к несанкционированным сделкам и возвратам средств. Злоумышленники использовали языковые уловки, чтобы обойти политики и вмешаться в процесс принятия решений агентом”, — заключает эксперт.