В рамках Национальной киберстратегии стоимостью 2,6 миллиарда фунтов стерлингов правительство работает над защитой и продвижением Великобритании в Интернете. Это включает в себя лидерство в технологиях, жизненно важных для кибердержавы, и обеспечение безопасности следующего поколения подключенных технологий, включая искусственный интеллект ( ИИ ).

Чтобы обеспечить полную реализацию возможностей ИИ , системы необходимо разрабатывать, развертывать и эксплуатировать безопасным и ответственным образом. Опубликованные здесь исследовательские отчеты поддерживают политическую работу правительства в области кибербезопасности ИИ и дополняют призыв к выработке мнений по кибербезопасности ИИ , который проводится в период с мая по июль 2024 года.

Для получения дополнительной информации и для внесения вашего вклада, пожалуйста, ознакомьтесь с Призывом к вынесению мнений по кибербезопасности ИИ .

Об этой работе было объявлено на конференции CyberUK 2024.

Для получения дополнительной информации, пожалуйста, прочитайте сообщение для прессы.

Это часть нашего плана по обеспечению того, чтобы Великобритания продолжала оставаться ведущей ответственной и демократической кибердержавой с безопасной цифровой экономикой.

Опубликовано 15 мая 2024 г.

Исследования и анализ

Риски кибербезопасности для искусственного интеллекта

Опубликовано 15 мая 2024 г.

Управляющее резюме

Департамент науки, инноваций и технологий поручил Grant Thornton UK LLP и Манчестерскому столичному университету разработать оценку рисков кибербезопасности для искусственного интеллекта ( ИИ ). Целью оценки было выявление и картирование уязвимостей на протяжении всего жизненного цикла ИИ , а также оценка использования и воздействия каждой уязвимости, определение уязвимостей программного обеспечения и уязвимостей, специфичных для ИИ , чтобы помочь контекстуализировать результаты.

Оценка включала два обзора литературы, в которых оценивались два различных, но взаимодополняющих направления исследований: научная литература и отчеты правительства и промышленности. Результаты также были объединены с отзывами межотраслевых интервью с клиентами и экспертами. Для всех исследовательских публикаций применялась перекрестная проверка, а для публикаций была установлена точка отсечения 10 февраля 2024 года, чтобы гарантировать, что отчет основан на новейшем анализе с учетом постоянно меняющегося технологического ландшафта.

Обзоры литературы выявили ряд уязвимостей, в том числе специфических для ИИ на каждом этапе жизненного цикла ИИ , а именно: проектирование, разработка, развертывание и обслуживание. Уязвимости тщательно картированы на каждом этапе жизненного цикла ИИ с оценкой их использования и воздействия (см. раздел 4). Чтобы предложить дополнительный взгляд на потенциальные риски, был выбран набор из 23 тематических исследований, как реальных, так и теоретических доказательств концепций, включающих кибератаки, связанные с уязвимостями ИИ (см. Раздел 5).

Информация, полученная в результате интервью с 5 клиентами из сфер страхования, банковского дела и СМИ, продемонстрировала готовность рынка и практические последствия уязвимостей ИИ . Результаты разделили организации на две отдельные группы: те, которые не знают об использовании ИИ и связанных с этим рисках кибербезопасности в своей деятельности, и те, которые осознают эти риски, но не имеют внутреннего опыта для оценки и управления рисками.

Текущая литература о рисках кибербезопасности для ИИ не содержит единой комплексной оценки рисков кибербезопасности, связанных с ИИ , на каждом этапе жизненного цикла ИИ . Таким образом, данная оценка рисков направлена на восполнение этого пробела, опираясь при этом на важный вклад, внесенный промышленностью и правительствами других стран. Это было достигнуто путем тщательной оценки потенциального использования, воздействия и рисков кибербезопасности, связанных с ИИ, связанных с каждым этапом жизненного цикла. Кроме того, как отмечалось выше, в отчете отражены кибератаки, возникшие из-за уязвимостей в системах искусственного интеллекта .

В отчете также подчеркивается, что быстрое внедрение ИИ продолжает создавать сложные риски кибербезопасности, которые традиционные методы не могут в достаточной степени устранить. Крайне важен целостный подход к устранению киберрисков на протяжении всего жизненного цикла ИИ . Уменьшая уязвимости на каждом этапе жизненного цикла ИИ , организации могут усилить надежные меры безопасности и повысить устойчивость к развивающимся киберугрозам.

1. Введение

Искусственный интеллект ( ИИ ) в последнее время стал свидетелем быстрого ускорения своего развития и интеграции в различных секторах, оказывая глубокое влияние на отрасли, экономику и общество во всем мире. Этот замечательный прогресс в первую очередь объясняется значительными прорывами в области машинного обучения, глубокого обучения и масштабным развитием вычислительных возможностей.

Хотя технологии искусственного интеллекта усовершенствовали и повысили эффективность и производительность, они по-прежнему подвержены постоянно растущему числу угроз безопасности и уязвимостей. Поэтому быстрое развитие ИИ требует четкого понимания развивающихся рисков, которые конкретно связаны с ИИ .

Департамент науки, инноваций и технологий поручил Grant Thornton UK LLP и Манчестерскому столичному университету разработать комплексную оценку рисков кибербезопасности, непосредственно связанных с искусственным интеллектом . Это включало выявление конкретных уязвимостей на каждом этапе жизненного цикла ИИ с разграничением программного обеспечения и уязвимостей, специфичных для ИИ , а также оценку использования и воздействия каждой уязвимости.

Цель и задачи оценки

Целью оценки было выработать понимание рисков кибербезопасности для ИИ путем выявления конкретных уязвимостей на каждом этапе жизненного цикла ИИ и оценки использования и воздействия каждой уязвимости. Для реализации своей цели исследование преследовало следующие задачи:

Идентификация и определение уязвимостей, специфичных для ИИ . В этом отчете была предпринята попытка четко обозначить уязвимости, специфичные для ИИ , а также уязвимости, применимые к традиционному программному обеспечению. Это различие необходимо для разработки надежных протоколов и инфраструктур безопасности для ИИ .
Оценка эксплуатации и воздействия. Целью отчета было изучение того, как злоумышленники могут использовать уязвимости для компрометации систем искусственного интеллекта , кражи данных, нарушения работы служб или выполнения других несанкционированных действий. Это предполагает изучение потенциальных векторов атак, которые могут использовать уязвимость.
Выявление тематических исследований кибератак. Целью отчета было выявить тематические исследования кибератак на модели и системы искусственного интеллекта , охватывающие как реальные события, так и теоретические доказательства концепций.

Решая эти задачи, отчет призван предоставить полезную информацию для защиты моделей и систем ИИ от киберугроз, повышения целостности, конфиденциальности и доступности критически важных данных и операций для систем ИИ .

Структура отчета

Отчет структурирован следующим образом. В разделе 2 представлен обзор методологии, используемой для проведения оценки рисков, а в разделе 3 объясняется жизненный цикл ИИ и представлен обзор текущего состояния исследований в области кибербезопасности моделей и систем ИИ . В разделе 4 представлены результаты оценки рисков, выявляющие уязвимости, а также потенциальные возможности использования и воздействия на четырех этапах жизненного цикла ИИ . Результаты представляют собой доказательства, отражающие каждый из этих этапов и связанные с ним риски кибербезопасности. После этого в разделе 5 представлен список тематических исследований, демонстрирующих влияние на системы искусственного интеллекта , с выделением различных характеристик атак, персонажей, парадигм ML и вариантов использования. Наконец, в разделе 6 представлены результаты интервью с клиентами из различных секторов, позволяющие оценить их готовность к рынку и изучить их навигацию в сфере кибербезопасности, особенно в отношении уязвимостей ИИ .

2. Методология

Мы приняли целостный подход к оценке рисков и провели комплексную оценку, объединив обзор литературы и интервью с клиентами. Мы провели два обзора литературы, оценивая два различных, но взаимодополняющих направления исследований. Первый поток литературы ( LS1 ) был посвящен правительственным и отраслевым отчетам, тогда как второй поток литературы ( LS2 ) был сосредоточен на влиятельных, рецензируемых научных публикациях. Это означало, что каждый поток имел четкую и целенаправленную сферу действия, сохраняя при этом более полное понимание различных аспектов рисков кибербезопасности, связанных с ИИ . Правительственные и отраслевые отчеты помогли подтвердить выводы научной литературы и продемонстрировать, как концепции и эмпирические исследования соотносятся с реальными условиями. И наоборот, академическая литература предоставила концептуальные модели, которые помогли контекстуализировать выводы, представленные в правительственных и промышленных отчетах.

Для определения включения литературы использовался метод « Предпочитаемые элементы отчетности для систематических обзоров и мета-анализов» ( PRISMA ) (Page et al., 2021). Метод PRISMA , как системный подход, использовался для проведения всесторонних обзоров различных баз данных соответствующих исследований, скрининга для определения приемлемости на основе заранее определенных критериев, извлечения ключевых данных из выбранных исследований и синтеза результатов для формулирования выводов. Этот структурированный процесс обеспечивает прозрачность и надежность обзора, позволяя принимать обоснованные решения и представлять результаты. Используя метод PRISMA , мы стремились свести к минимуму предвзятость и обеспечить охват литературной среды как на LS1 , так и на LS2 . Кроме того, метод PRISMA облегчает синтез результатов нескольких исследований, позволяя нам объединить два потока исследований LS1 и LS2 в одно последовательное и актуальное исследование, обогащая общую глубину и масштаб результатов и делая значимые выводы.

В качестве условий поиска в LS1 и LS2 была включена единообразная терминология , включая «Искусственный интеллект», «ИИ », «Риск», «Кибер» и «Безопасность». Соответственно, мы определили первоначальную партию записей из следующих ресурсов: 1) государственная политика, парламентские комитеты и официальные документы, 2) национальное руководство по кибербезопасности, 3) международные отчеты, корпоративные документы, информационные записки и заключения, 4) отраслевые отчеты, официальные документы и статьи — все для LS1 , а также базы данных научных публикаций для LS2 . Мы оценивали записи на соответствие критериям, оценивая объем, детализацию и точность документов, а также то, была ли работа заменена новыми итерациями. Затем мы вручную оценивали соответствие каждой статьи данному конкретному исследованию для включения в окончательный синтез собранной информации. Этот всесторонний поиск помог определить ключевые связанные работы, которые легли в основу исследования. Однако включенные источники были ограничены англоязычными, а материалы на всех других языках были исключены из рассмотрения. Кроме того, никаких ограничений в зависимости от года публикации не применялось. Ограничение ресурсов в последние годы может привести к упущению из виду влиятельного вклада, который сформировал область ИИ . Для обеспечения более глубокого понимания исследовательской среды был применен комплексный подход, охватывающий как старую, так и новейшую литературу. Подробная информация о каждом этапе метода PRISMA , использованного в этом исследовании, представлена на схеме ниже.

Отобранная литература была обобщена, проанализирована и обобщена, а идеи и выводы были включены в оценку риска. Результаты были отображены в таблицах, в которых указаны уязвимости кибербезопасности на протяжении всего жизненного цикла ИИ , а также их использование и влияние. Также был составлен список тематических исследований, в которых представлены подробные отчеты об инцидентах безопасности и которые обогащают понимание того, как риски безопасности проявляются в различных контекстах.

На основании обзора научной литературы мы провели интервью с двумя экспертами в области технологий искусственного интеллекта и кибербезопасности. Комплексный анализ литературных исследований и отзывов из пяти интервью с клиентами позволил нам получить полное представление о киберрисках для ИИ , оценить текущие события в отрасли и потенциальное влияние академических исследований на промышленные приложения.

Рисунок 1 – Схема PRISMA для LS1 и LS2 .

Ограничения исследования

Ограничение нашего подхода заключается в возможности пропустить соответствующие источники, помимо тех, которые включены в определенные нами потоки литературы, LS1 и LS2 . Хотя эти потоки были призваны охватить широкий спектр публикаций от различных заинтересованных сторон, включая государственные органы, промышленность и академические учреждения, разнородный характер литературы означает, что могут существовать идеи и точки зрения из альтернативных источников, не включенных в наши критерии поиска. Кроме того, мы полагаемся на извлечение ключевых слов и ручную оценку для отбора кандидатов на участие, возможно, непреднамеренно упустили из виду соответствующую литературу. Чтобы смягчить вышеуказанные ограничения, мы применили подход перекрестной проверки, при котором поиск, скрининг и выбранные источники LS1 проверялись исследователями LS2 , и наоборот. Это включало изучение актуальности, достоверности и вклада в оценку рисков. Путем совместного обсуждения исследователи выявили пробелы или совпадения в освещении литературы между двумя потоками и определили области, где необходимо найти дополнительную литературу, а также избыточную информацию, которую необходимо устранить.

Еще одно ограничение связано с ранней стадией интеграции искусственного интеллекта и кибербезопасности в промышленности, что приводит к нехватке подходящих тематических исследований, доступных для рассмотрения. Ограниченное количество реальных случаев могло ограничить нашу способность делать конкретные выводы или обобщать результаты, выходящие за рамки теоретических рамок. Этот дефицит, возможно, также препятствовал глубине анализа практических реализаций, что привело к потенциальному пробелу в понимании практических последствий мер кибербезопасности ИИ . Чтобы смягчить это ограничение, мы провели серию интервью с клиентами Grant Thornton из разных секторов, чтобы объединить реальный опыт и проблемы, гарантируя, что оценка рисков включает практические проблемы, с которыми сталкиваются организации.

Наконец, хотя интервью с экспертами предоставили ценную дополнительную информацию, выбор интервьюируемых и объем вопросов могли привести к смещению выборки и ограничить широту охватываемых точек зрения. Более того, хотя опрошенные имели общее представление о приложениях машинного обучения, некоторым не хватало детального понимания жизненного цикла ИИ , необходимого для эффективной оценки уязвимостей и ландшафта рисков.

3. Предыстория

Жизненный цикл ИИ

В этом отчете мы обсуждаем ИИ на различных этапах, известных как жизненный цикл ИИ , показанный на рисунке 2 ниже. Жизненный цикл ИИ состоит из четырех основных этапов: проектирование, разработка, развертывание и обслуживание, каждый из которых играет решающую роль в создании и поддержании эффективной системы ИИ .

Рисунок 2. Жизненный цикл ИИ

На этапе проектирования основное внимание уделяется пониманию проблемной области, сбору и подготовке соответствующих данных, выбору подходящих алгоритмов и разработке прототипа для проверки ключевых концепций. Основной мотивацией является планирование и обоснование интеграции ИИ , концептуализация системы ИИ и определение ее целей и функций (Чоудхури и Асан, 2020). Этот этап закладывает основу для последующей разработки системы ИИ .

Этап разработки включает в себя предварительную обработку данных, внедрение системы искусственного интеллекта посредством выбора алгоритма, обучение модели, оценку и оптимизацию. Данные подготавливаются и вводятся в выбранные алгоритмы для обучения моделей ИИ , которые затем оцениваются и оптимизируются для достижения желаемых показателей производительности. На этом этапе часто проводятся итеративные эксперименты для точной настройки модели и повышения ее эффективности (Nguyen et al., 2021).

После разработки система переходит на этап развертывания и интегрируется в свою операционную среду. Здесь обученная модель оценивается на предмет масштабируемости и производительности, а также отслеживается на предмет каких-либо проблем или отклонений в производительности. Стратегия и структура непрерывного мониторинга и сбора обратной связи используются для обеспечения эффективной работы системы ИИ в реальных условиях и решения любых проблем, которые могут возникнуть (Ху и др., 2021).

Фаза обслуживания включает в себя постоянные действия, такие как мониторинг производительности, переобучение модели, исправление ошибок, обновления и усовершенствования системы искусственного интеллекта . Модели ИИ могут со временем ухудшаться, требуя периодического переобучения с использованием обновленных данных для поддержания производительности. Устранение ошибок, внедрение обновлений и обеспечение безопасности и соответствия требованиям системы имеют решающее значение для ее долгосрочного успеха. Применяя структурированный подход на каждом этапе жизненного цикла, организации могут разрабатывать и поддерживать системы ИИ , которые приносят пользу и воздействие, одновременно снижая риски и обеспечивая подотчетность (Lehne et al., 2019).

Операции и оценка имеют решающее значение для обеспечения устойчивой жизнеспособности и эффективности систем искусственного интеллекта (Агентство Европейского Союза по кибербезопасности, 2020; Сильва и Алахакун, 2022). Операции включают в себя рутинный надзор и контроль над системой ИИ , который состоит из приема, обработки и принятия решений данных (Сильва и Алахакун, 2022). Постоянная оценка на протяжении всего жизненного цикла ИИ позволяет выявлять потенциальные опасности, недостатки и возникающие препятствия, тем самым способствуя профилактическим мерам по сохранению целостности и функциональности системы (Инициатива по трансформации Объединенной целевой группы, 2012 г.; Агентство Европейского Союза по кибербезопасности, 2023d). .

Ситуация в области кибербезопасности ИИ

Термин « ландшафт кибербезопасности ИИ » относится к широкому спектру соображений, стратегий, технологий и нормативных мер, направленных на защиту систем искусственного интеллекта от киберрисков. Это включает в себя выявление, оценку и устранение потенциальных уязвимостей в системах ИИ , а также разработку защитных мер для защиты этих систем от кибератак. Оценка киберрисков в развивающейся сфере ИИ становится сложной задачей из-за растущей сложности и взаимосвязанности ИИ и кибербезопасности. Академические исследователи, правительственные ведомства и ведущие организации в области искусственного интеллекта активно изучают эффективные подходы к решению этих проблем. В этом разделе представлено краткое изложение существующих исследований, которые использовались для формирования нашей оценки риска. Мы предоставляем тематический обзор ограниченных исследований в этой области и дифференцируем их в зависимости от объема исследований. Мы также включаем краткую информацию о тех правительственных учреждениях, департаментах и органах, которые отвечают за оценку и устранение киберрисков для ИИ , чтобы дополнительно контекстуализировать эту работу.

Чтобы установить фундаментальное понимание широты и глубины исследований, проводимых в этой области, было проведено тщательное изучение объема исследований. Мы выявили 72 оценки рисков, связанных с ИИ , а также 28 публикаций, посвященных правительственным ведомствам, агентствам, функциям или отраслевым организациям, изучающим риски кибербезопасности для ИИ . Что касается масштаба, в 12 исследованиях конкретно обсуждались риски планирования проекта, в 22 обсуждались вопросы сбора и подготовки данных, в 19 изучалась разработка моделей, в 10 исследованиях рассматривались валидация и сравнительный анализ, а в 7 исследованиях изучались риски, связанные с распространением и обслуживанием. Кроме того, в 18 публикациях представлен общий обзор ситуации в области кибербезопасности ИИ , а в 22 исследованиях всесторонне рассмотрены возможные риски, подчеркнуты важность использования обширных методологий оценки рисков.

Заметный пробел, преобладающий в приведенных выше исследованиях, заключается в отсутствии внимания к отдельным этапам, составляющим весь жизненный цикл ИИ , при картировании рисков кибербезопасности. Таким образом, 29 из общего числа исследований были сосредоточены на областях, которые считались входящими в конкретную фазу жизненного цикла ИИ , на основании проведенной аналитической работы, тогда как остальные 71 оценивали риски на нескольких этапах или использовали более комплексный подход. Более того, хотя исследования, документирующие отдельные кибератаки на системы искусственного интеллекта , доступны, подробное описание этих атак и их последствий для систем искусственного интеллекта не было широко представлено. Это указывает на заметный пробел в современной литературе, поскольку такие сопоставления имеют решающее значение для понимания того, как уязвимости могут трансформироваться в реальные атаки в практических условиях.

После всестороннего обзора текущих публикаций становится очевидным, что активные меры принимаются во всем мире. Правительственные учреждения по всему миру, такие как Генеральный секретариат Совета ЕС (2022 г.), Институт безопасности ИИ США ( USAISI ) (2023b), Китайский отраслевой альянс искусственного интеллекта (Луонг и Арнольд, 2021 г.), Японский институт безопасности ИИ (METI, 2024 г.) ), а Министерство науки и стратегии ИКТ Республики Корея ( MSIT , 2024) активно занимается пониманием и управлением рисками инноваций в области ИИ . В частности, создание таких организаций, как Центральная функция управления рисками ИИ ( CAIRF ) правительства Великобритании (2023 г.) , Пограничная рабочая группа по ИИ и Институты безопасности ИИ , наряду с согласованными усилиями Национального центра кибербезопасности Великобритании и Агентства США по кибербезопасности и безопасности инфраструктуры ( 2023 г.) означает коллективный шаг к более эффективному управлению рисками в области инноваций в области искусственного интеллекта .

Эти инициативы, наряду со Стратегией кибербезопасности (2023a), изложенной Агентством Европейского Союза по кибербезопасности ( ENISA ), и структурой управления рисками искусственного интеллекта (NIST, 2023a) Национального института стандартов и технологий (NIST), играют важную роль. решающую роль. Они не только признают необходимость структурированного выявления и определения приоритетов рисков, но также намекают на более широкое понимание, которое охватывает как традиционные, так и специфические соображения, связанные с ИИ . Такие комплексные стратегии имеют решающее значение для устранения пробелов, выявленных в первоначальном обзоре, в частности, необходимости детального картирования теоретических и реальных кибератак на протяжении всего жизненного цикла ИИ . Интеграция этих правительственных усилий в систему оценки рисков кибербезопасности ИИ позволяет определить путь к смягчению выявленных уязвимостей и повышению надежности систем ИИ во всем мире.

Ведущие организации в области искусственного интеллекта , включая Anthropic, AWS, Cohere, Darktrace, Google DeepMind, Meta, Microsoft, NVIDIA, OpenAI, OWASP, Palo Alto и Rapid7, также решают проблемы и риски, связанные с передовыми моделями искусственного интеллекта . Хотя конкретные ссылки (Apruzzese et al., 2023; Anthropic, 2023a, 2023b, 2023c; AWS, 2024; Brundage et al., 2018; Cohere, 2023; Google, 2023; Horvitz, 2022; Marshall et al., 2024; NVIDIA , 2024; OpenAI, 2023, 2024; OWASP, 2024; Shevlane et al., 2023) выделяют несколько вкладов некоторых этих организаций, важно признать усилия более широкого сообщества. Многие организации, не ограничиваясь перечисленными, вносят значительный вклад в исследования, разработку и внедрение стратегий и методологий безопасности ИИ для смягчения возникающих киберрисков, связанных с развертыванием ИИ . Таким образом, коллективные знания, рекомендации и действия этой разнообразной группы заинтересованных сторон также имеют решающее значение для навигации по сложному ландшафту безопасности ИИ и кибербезопасности.

Однако текущая литература не охватывает всестороннюю оценку рисков кибербезопасности, связанных с ИИ , на каждом этапе жизненного цикла ИИ . Игнорирование этих этапов подрывает эффективность стратегий снижения рисков, делая организации уязвимыми для непредвиденных угроз, которые могут возникнуть в любой момент жизненного цикла ИИ . Таким образом, существует острая необходимость в более широком подходе, распознающем и устраняющем риски кибербезопасности на всех этапах жизненного цикла ИИ . Данная оценка рисков направлена на восполнение этого пробела путем тщательной оценки потенциального использования, воздействия и рисков кибербезопасности, связанных с ИИ , связанных с каждым этапом жизненного цикла. Отобранная литература была обобщена, проанализирована и обобщена, а идеи и выводы были включены в оценку риска. Также был составлен список тематических исследований, которые обогатили понимание того, как риски безопасности проявляются в различных контекстах. На основе обзора литературы мы также провели интервью с экспертами как в области технологий искусственного интеллекта , так и в области кибербезопасности, что позволило нам получить и представить всестороннее понимание ландшафта киберрисков для ИИ .

4. Результаты оценки рисков

Наш анализ построен так, чтобы ориентироваться в сложной среде рисков, подчеркивая различия между общими уязвимостями программного обеспечения и уязвимостями, специфичными для систем искусственного интеллекта . При выборе уязвимостей для включения важно различать их корни и связь с искусственным интеллектом , программным обеспечением или с тем и другим. Мы исходим из того, что если уязвимость возникает только из-за существования ИИ , особенно машинного обучения, она идентифицируется исключительно как уязвимость ИИ . И наоборот, если уязвимость возникает из-за фундаментальных проблем с инфраструктурой программного обеспечения и сохраняется независимо от присутствия ИИ , она относится к программному обеспечению. Однако если уязвимость сохраняется при участии ИИ или программного обеспечения, считается, что она связана с обоими. Этот аналитический подход помогает определить конкретное влияние уязвимостей на различные компоненты нашего метода категоризации на протяжении жизненного цикла ИИ .

Мы воздержались от упорядочивания или ранжирования выявленных уязвимостей при оценке риска из-за субъективности и потенциальной предвзятости, присущих такому ранжированию, а также отсутствия существующей литературы, подтверждающей этот подход. Более того, каждая уязвимость оценивается независимо, без учета возможных существующих взаимосвязей между ними, а также их использования и воздействия. Хотя признается, что определенные кибер-уязвимости, связанные с ИИ, могут проявляться на различных этапах жизненного цикла ИИ , наша оценка рисков намеренно воздерживается от включения этого аспекта из-за потенциальных опасений субъективности. Наше внимание по-прежнему сосредоточено на предоставлении структурированной оценки, а не на присвоении иерархической значимости.

Этап проектирования

Фаза проектирования систем искусственного интеллекта представляет собой критический этап, на котором закладывается основа для разработки системы, охватывающая различные сложные процессы, такие как сбор данных, подготовка, планирование и проектирование моделей.

Уязвимость	Эксплуатация
Отсутствие надежной архитектуры безопасности ( ИИ /программное обеспечение). Устойчивая архитектура безопасности не спроектирована должным образом, в ней отсутствуют средства контроля доступа, принципы безопасного проектирования и правильные сетевые конфигурации (BÈcue, PraÁa и Gama, 2021; Агентство Европейского Союза по кибербезопасности, 2023). .	Отсутствие архитектуры безопасности может привести к несанкционированному доступу или внедрению вредоносного кода. Введение искаженных данных во время обучения ставит под угрозу процесс принятия решений и искажает результаты (BÈcue, PraÁa and Gama, 2021).
Неадекватное моделирование угроз ( ИИ ). Недостаточная идентификация потенциальных угроз, уязвимостей и векторов атак в системе ИИ , что приводит к игнорированию уязвимостей и неадекватному проектированию системы (Брэдли, 2020; Агентство Европейского Союза по кибербезопасности., 2020; Чжан и др., 2022).	Злоумышленники используют непредвиденные угрозы и поверхности атак, внедряя отравленные данные во время подготовки или сбора данных, влияя на этап разработки модели (Брэдли, 2020; Ху и др., 2021; Чжан и др., 2022).
Недостаточные меры защиты конфиденциальности данных ( ИИ ). Отсутствие мер по защите конфиденциальных данных во время разработки, тестирования и развертывания модели, что может привести к нарушению конфиденциальности (Чанг и Гайрола, 2018 г.; Агентство Европейского Союза по кибербезопасности, 2023 г.).	Недостаточная конфиденциальность данных может привести к несанкционированному доступу, внедрению зараженных данных и нарушению конфиденциальности пользовательских данных на различных этапах внедрения ИИ (Чианг и Гайрола, 2018).
Небезопасная аутентификация и авторизация (программное обеспечение). Слабые или неправильно реализованные механизмы аутентификации и авторизации, включая такие риски, как слабая политика паролей и отсутствие многофакторной аутентификации (Агентство Европейского Союза по кибербезопасности, 2020, 2023; Мирский и др., 2023).	Злоумышленники могут использовать уязвимости для получения несанкционированного доступа, кражи конфиденциальных данных или выдачи себя за законных пользователей, что приводит к утечке данных и несанкционированным изменениям в системе (Агентство Европейского Союза по кибербезопасности, 2020, 2023; Мирский и др., 2023).
Неадекватная проверка и очистка входных данных (программное обеспечение). Злоумышленники манипулируют запросами SQL через поля ввода из-за неадекватной проверки, что приводит к несанкционированному доступу и изменению информации базы данных (Ху и др., 2021).	Эксплуатация может привести к несанкционированному доступу к информации базы данных или ее изменению, что приведет к краже, потере или повреждению данных. В тяжелых случаях злоумышленники могут получить административные права на информацию системы базы данных (Hu et al., 2021).
Неадекватное выходное кодирование (программное обеспечение). Включение ненадежных данных на веб-страницу без надлежащего выходного кодирования или экранирования позволяет злоумышленникам выполнять сценарии Malicio, подвергая опасности пользовательские данные и ставя под угрозу взаимодействие (Carlo et al. 2023).	Эксплуатация может привести к перехвату сеанса, порче веб-сайта, перенаправлению на вредоносные сайты или фишингу, что напрямую влияет на пользователей и ставит под угрозу их данные и взаимодействие с приложением (Carlo et al. 2023).
Небезопасное хранение и передача данных (программное обеспечение). Неправильное шифрование или обработка данных во время хранения или передачи, что создает риск перехвата и несанкционированного доступа, что приводит к краже и взлому данных.	Незащищенные данные могут быть перехвачены во время передачи или доступны через взломанные системы хранения, что приводит к краже данных и нарушениям.
Недостаточная обработка и регистрация ошибок (программное обеспечение). Плохая обработка ошибок и неадекватные механизмы регистрации могут раскрыть злоумышленникам детали системы и затруднить обнаружение инцидентов и реагирование (Агентство Европейского Союза по кибербезопасности, 2023).	Использование неадекватной обработки ошибок может дать представление об архитектуре системы, что облегчит дальнейшие атаки. Неэффективное ведение журнала затрудняет обнаружение и реагирование на инциденты безопасности. (Агентство Европейского Союза по кибербезопасности., 2023).
Неадекватная оценка безопасности при выборе модели ИИ ( ИИ ). Неспособность учитывать последствия безопасности при выборе моделей ИИ , что приводит к принятию моделей с присущими им уязвимостями (Боулемтафес, Дерхаб и Чаллал, 2020).	Злоумышленники могут использовать уязвимости в отдельных моделях ИИ , такие как восприимчивость к состязательным атакам или плохое обобщение, что приводит к неверным результатам, компрометации системы или манипулированию поведением модели, что потенциально может привести к финансовым потерям, репутационному ущербу или нарушению конфиденциальности (Boulemtafes, Derhab и Чаллал, 2020).
Сбор и подготовка данных ( ИИ /программное обеспечение). Производительность и обучение модели зависят от качественной подготовки данных, включая выбор функций, извлечение, интеграцию и очистку. Это влияет на производительность системы и способность обрабатывать многомерные данные (Haakman et al., 2021; Silva and Alahakoon, 2022).	Слабые средства контроля доступа могут быть использованы злоумышленниками для получения несанкционированного доступа, потенциального изменения моделей ИИ , утечки конфиденциальных данных или нарушения процесса разработки (Mirsky et al., 2023).
Использование ненадежных источников для маркировки данных ( ИИ /программное обеспечение). Уязвимость модификации меток позволяет злоумышленникам изменять или манипулировать метками данных, ставя под угрозу целостность и надежность моделей машинного обучения (Маджид и Хван, 2023).	Модификация метки. Эта подугроза характерна для контролируемого обучения и приводит к атаке, в ходе которой злоумышленник повреждает метки обучающих данных (Маджид и Хван, 2023).
Внедрение предвзятости в модели машинного обучения ( ИИ ). Эта уязвимость относится к преднамеренному внесению предвзятости в модели машинного обучения или наборы данных, используемые для их обучения, что приводит к искаженным или несправедливым результатам в процессах принятия решений. Эти предвзятости могут возникать из различных источников, включая предвзятые данные обучения или преднамеренное манипулирование дизайном модели (Феррер и др., 2021; Васильев, 2024).	Злоумышленники используют эту уязвимость, вводя предвзятые данные в процесс обучения или манипулируя архитектурой модели в целях достижения определенных результатов. Такое введение предвзятости может привести к дискриминационным или неточным прогнозам, увековечиванию социальных предубеждений или несправедливому обращению с людьми (Феррер и др., 2021; Василев, 2024).**

Этап разработки

На этапе разработки жизненного цикла ИИ модели ИИ создаются и уточняются для конкретных задач. Этот этап включает в себя выбор подходящих алгоритмов, обучение и оценку производительности модели. Для повышения точности и надежности проводятся итерационные процессы настройки и оптимизации модели.

Уязвимость	Эксплуатация
Рекомендации по небезопасному коду AI ( AI ). Уязвимости в коде с открытым исходным кодом, особенно в таких инструментах, как GitHub Copilot, возникают из-за ограничений в моделях программирования. Эти модели могут непреднамеренно изучить небезопасные шаблоны кодирования, что приводит к рекомендации кода с уязвимостями безопасности (Ху и др., 2021; Карло и др., 2023; Национальный центр кибербезопасности Великобритании и Агентство кибербезопасности и безопасности инфраструктуры США, 2023).	Эксплуатация предполагает использование предложений небезопасного кода для создания или обслуживания программного обеспечения со скрытыми уязвимостями. Это может привести к несанкционированному доступу, утечке данных и распространению небезопасных методов кодирования (Mirsky et al., 2023).
Уязвимости кода ( ИИ /программное обеспечение). Уязвимости кода в исходном коде системы ИИ могут быть использованы, ставя под угрозу целостность, конфиденциальность или доступность системы (Чиан и Гайрола, 2018; Мирский и др., 2023).	Злоумышленники могут использовать ошибки кодирования, переполнение буфера или небезопасные зависимости для выполнения произвольного кода, манипулирования моделями ИИ или получения несанкционированного доступа к системным ресурсам (Carlo et al., 2023).
Незащищенная обработка данных в системах искусственного интеллекта ( ИИ /программное обеспечение). Недостаточная защита данных во время хранения и передачи между различными компонентами системы искусственного интеллекта (Сильва и Алахакун, 2022 г.).	Злоумышленники могут перехватывать данные или манипулировать ими во время хранения или передачи, что приводит к несанкционированному доступу или изменению конфиденциальной информации (Nguyen et al., 2021).
Слабый контроль доступа ( ИИ /программное обеспечение). Неадекватное ограничение доступа к средам, моделям или данным разработки ИИ , позволяющее неавторизованным пользователям выполнять действия, выходящие за рамки их разрешений (Чиан и Гайрола, 2018).	Эксплуатация предполагает получение злоумышленниками несанкционированного доступа, потенциальное изменение моделей ИИ , утечку конфиденциальных данных или нарушение процесса разработки (Mirsky et al., 2023).
Неадекватная проверка и очистка входных данных ( ИИ ). Эта уязвимость позволяет вводить инструкции/команды в модель ИИ , что приводит к отклонению ее поведения от предполагаемого. Он включает в себя внедрение команд, которые заставляют модель выполнять непредусмотренные задачи, потенциально ставя под угрозу целостность системы (Ху и др., 2021; Васильев, 2024).	Поведение модели ИИ может быть непреднамеренно изменено злоумышленником, который введет в нее команды, заставляя ее выполнять несанкционированные задачи или генерировать неверные ответы . Потенциальные последствия разнообразны; они могут включать несанкционированный доступ, утечку данных или подрыв выходных данных системы, в зависимости от конкретного варианта использования и контекста (Ху и др., 2021; Мирский и др., 2023; Васильев, 2024).
Восприимчивость к входным возмущениям ( ИИ ). Входные возмущения позволяют изменять действительные входные данные для моделей искусственного интеллекта , что приводит к неверным выходным данным, обычно известным как примеры уклонения или состязательности. Это создает риски, прежде всего, для систем принятия решений, влияя на надежность их результатов (Hu et al., 2021).	Злоумышленники могут искажать действительные входные данные для моделей ИИ , заставляя их постоянно выдавать неправильные выходные данные, что приводит к неправильным решениям в критически важных приложениях, таких как беспилотные транспортные средства или диагностика здравоохранения, что приводит к угрозам безопасности, финансовым потерям или нарушению безопасности (Ху и др. , 2021).
Небезопасная цепочка поставок ИИ ( ИИ /программное обеспечение). Неспособность обеспечить безопасность компонентов ИИ , приобретенных у внешних поставщиков, что приводит к потенциальному риску безопасности и целостности системы ИИ (Ху и др., 2021).	Злоумышленники могут использовать уязвимости в компонентах искусственного интеллекта , полученных из незащищенных источников , для внедрения в систему бэкдоров, вредоносного ПО или другого вредоносного кода, что потенциально может привести к утечке данных, компрометации системы или несанкционированному доступу (Hu et al., 2021).
Неадекватная защита активов ( ИИ /программное обеспечение). Отсутствие надлежащей идентификации, отслеживания и защиты активов, связанных с ИИ , включая модели, данные, программное обеспечение и документацию, что делает их уязвимыми для несанкционированного доступа, манипуляций или кражи (Агентство Европейского Союза по Кибербезопасность., 2020; Родригес, 2020).	Злоумышленники могут использовать слабые места в процессах управления активами для получения несанкционированного доступа к конфиденциальным активам, связанным с ИИ , таким как модели или наборы данных, что приводит к утечке данных, краже интеллектуальной собственности или нарушению целостности системы (Rodrigues, 2020).

Этап развертывания

Фаза развертывания жизненного цикла ИИ знаменует собой переход разработанных моделей ИИ из сред разработки в реальные приложения. На этом этапе основное внимание смещается в сторону обеспечения эффективной и результативной работы ИИ- решения в оперативных условиях. Развертывание модели, настройка инфраструктуры и механизмы мониторинга реализованы для поддержки непрерывной работы систем искусственного интеллекта .

Уязвимость	Эксплуатация
Небезопасные конечные точки API ( ИИ /программное обеспечение) — уязвимости в интерфейсах, которые обеспечивают связь между различными компонентами системы ИИ , неадекватная защита конечных точек, которые предоставляют функциональность внешним объектам (Boulemtafes, Derhab and Challal, 2020; Carlo et al., 2023).	Эксплуатация предполагает, что злоумышленники используют недостаточно защищенный API для получения несанкционированного доступа, ввода вредоносных данных или нарушения нормальной работы системы искусственного интеллекта . Воздействие включает в себя несанкционированный доступ к данным, отказ в обслуживании или манипулирование входными данными модели ИИ (Carlo et al., 2023).
Инфраструктура ( ИИ /программное обеспечение). Вопросы инфраструктуры на этапе развертывания включают конфигурацию и настройку физических и виртуальных компонентов, необходимых для поддержки оперативной интеграции системы ИИ в назначенной среде (Сильва и Алахакун, 2022).	Недостаточное внимание к безопасности инфраструктуры приводит к появлению уязвимостей, позволяющих несанкционированный доступ, что приводит к утечкам данных, простоям в работе или перебоям в обслуживании. Состязательные атаки на безопасность инфраструктуры могут быть использованы во время развертывания для несанкционированного доступа, что приведет к сбоям в обслуживании (Rodrigues, 2020; Carlo et al., 2023).
Отсутствие шифрования во время передачи данных (программное обеспечение). Отсутствие шифрования во время передачи данных означает неспособность защитить данные при их перемещении между различными компонентами или объектами внутри системы ИИ (Boulemtafes, Derhab and Challal, 2020).	Состязательные атаки могут использовать отсутствие шифрования во время передачи данных и манипулировать конфиденциальной информацией. Подслушивание незашифрованных данных во время передачи позволяет злоумышленникам незаконно получать конфиденциальную информацию или манипулировать ею, осуществлять несанкционированный доступ к частным данным и нарушать конфиденциальность данных (Mirsky et al., 2023).
Уязвимости конфигурации в облачных сервисах ( ИИ /программное обеспечение). Неправильная конфигурация облачных сервисов, например неправильная настройка или настройка облачных компонентов, таких как хранилище, вычислительные ресурсы или базы данных (Boulemtafes, Derhab and Challal, 2020).	В состязательных атаках используются неправильно настроенные параметры облака для получения несанкционированного доступа к службам ИИ , что потенциально может привести к утечке данных или сбоям в работе служб (Боулемтафес, Дерхаб и Чаллал, 2020; Карло и др., 2023).
Кража модели ( ИИ ). Кража модели позволяет злоумышленникам извлечь архитектуру или веса обученной модели ИИ , создать функционально эквивалентные копии. Кроме того, некоторые уязвимости программного обеспечения, такие как небезопасное хранилище или слабый контроль доступа, могут непреднамеренно способствовать краже модели (Chang et al., 2020).	Злоумышленники могут извлечь архитектуру или обученные модели ИИ , создав функционально эквивалентные копии для несанкционированного использования или кражи интеллектуальной собственности. Это может привести к финансовым потерям, несанкционированному доступу к запатентованной технологии или использованию конкурентных преимуществ (Chang et al., 2020).
Извлечение подсказок ( ИИ /программное обеспечение). Извлечение подсказок позволяет злоумышленникам извлекать или реконструировать системные подсказки, предоставленные модели ИИ , потенциально раскрывая конфиденциальную информацию и ставя под угрозу безопасность системы (Ху и др., 2021).	Злоумышленники могут извлекать или реконструировать системные запросы, которые передаются моделям искусственного интеллекта , что может поставить под угрозу безопасность системы и, возможно, раскрыть конфиденциальную информацию, включая несанкционированный доступ, нарушения безопасности данных или нарушения конфиденциальности (Ху и др., 2021).
Доступность выходных данных модели ( ИИ ) — неспособность защитить модели и данные ИИ от прямого и косвенного доступа, увеличивая риск несанкционированной реконструкции модели, кражи или подделки данных, ставя под угрозу целостность и надежность модели (Bouacida and Mohapatra, 2021; Hu et al. , 2021; Васильев 2024).	Злоумышленники могут попытаться получить доступ к моделям напрямую или запросить модели через приложения, чтобы восстановить функциональность модели, украсть конфиденциальные данные или подделать модели, подрывая их надежность и достоверность, что потенциально может привести к утечке данных, потере интеллектуальной собственности или снижению производительности системы (Bouacida и Мохапатра, 2021; Ху и др., 2021; Васильев, 2024).
Неадекватная оценка и тестирование ( ИИ /программное обеспечение). Выпуск моделей, приложений или систем ИИ без тщательной оценки безопасности, тестирования или четкого информирования об ограничениях, что подвергает пользователей потенциальным рискам безопасности или режимам сбоев (Rodrigues, 2020; Carlo et al., 2023).	Злоумышленники могут использовать уязвимости в недостаточно оцененных или протестированных системах ИИ для компрометации пользовательских данных, нарушения работы системы или использования слабых мест в системе безопасности, что потенциально может привести к утечке данных, финансовым потерям или репутационному ущербу, подрывая доверие пользователей и уверенность в системе ИИ (Родригес, 2020; Карло и др., 2023).

Этап технического обслуживания

На этапе обслуживания жизненного цикла ИИ акцент смещается на поддержание производительности и актуальности развернутых решений ИИ с течением времени. Это предполагает постоянный мониторинг производительности модели, качества данных и целостности системы для обеспечения постоянной эффективности в реальных приложениях. Задачи обслуживания включают обновление моделей новыми данными для поддержания актуальности и точности, устранение любых отклонений или ухудшения производительности, а также адаптацию к меняющимся потребностям пользователей или изменениям окружающей среды. Регулярные оценки и аудиты проводятся для оценки производительности решения ИИ по заранее заданным показателям и выявления областей для улучшения или оптимизации (2020; Буасида и Мохапатра, 2021; 2023).

Уязвимость	Эксплуатация
Отложенные исправления безопасности ( ИИ /программное обеспечение). Отложенные исправления безопасности относятся к отсрочке применения обновлений или исправлений известных уязвимостей в программном обеспечении и компонентах, используемых в ИИ (Carlo et al., 2023).	Злоумышленники могут использовать неисправленные уязвимости, ставить под угрозу целостность системы, выполнять произвольный код, манипулировать моделями искусственного интеллекта или получать несанкционированный доступ к конфиденциальной информации. Состязательные атаки могут быть нацелены на известные уязвимости в устаревших компонентах ИИ , пытаясь получить несанкционированный доступ, манипулировать моделями или украсть данные (Carlo et al., 2023).
Распад модели и дрейф концепции ( ИИ ). Распад модели и дрейф концепции относятся к ухудшению эффективности модели ИИ с течением времени из-за изменения распределения входных данных или сдвигов в базовых данных (Чжан и др., 2022; Агентство Европейского Союза по кибербезопасности. 2020). ).	Использование снижения производительности модели позволяет злоумышленникам манипулировать прогнозами, что приводит к искажению результатов, неверным прогнозам или снижению производительности. Злоумышленники могут намеренно влиять на распределение входных данных, чтобы манипулировать прогнозами ИИ , что приводит к неправильным или предвзятым результатам (Агентство Европейского Союза по кибербезопасности, 2020; Чжан и др., 2022).
Инсайдерские угрозы ( ИИ ). Инсайдерские угрозы связаны со злонамеренными действиями внутреннего персонала, имеющего доступ к системе, моделям или конфиденциальной информации ИИ (Мирски и др., 2023).	Инсайдеры используют привилегии доступа для участия в несанкционированных действиях, ставя под угрозу конфиденциальность, целостность и доступность моделей ИИ и конфиденциальных данных. Состязательные атаки проявляются как преднамеренные действия сотрудников с привилегированным доступом, включая кражу данных или саботаж моделей и данных ИИ (Мирский и др., 2023).
Недостаточное ведение журнала ( ИИ /программное обеспечение). Ведение журнала на этапе обслуживания включает систематическую запись и мониторинг активности системы, ошибок и показателей производительности, чтобы облегчить постоянную оценку и оптимизацию системы ИИ (Чжан и др., 2022; Агентство Европейского Союза по кибербезопасности). . 2020).	Недостаточные процедуры регистрации могут замедлить обнаружение проблем, затруднить их разрешение и позволить злоумышленникам использовать необнаруженные уязвимости, что приведет к несанкционированному доступу или манипулированию системой ИИ . Состязательные атаки могут быть направлены на недостаточное ведение журнала с целью воспользоваться ограниченным пониманием операций системы и, возможно, оставить уязвимости незамеченными (Брэдли, 2020).

5. Список тематических исследований

Атаки на системы искусственного интеллекта приводят к заметному переходу от контролируемых настроек к практическим производственным системам (Hu et al., 2021). Это изменение подчеркивает растущую необходимость понимания таких атак в реальных ситуациях (Hu set al., 2021; Carlo et al., 2023; Агентство Европейского Союза по кибербезопасности., 2023d). Тематические исследования предоставляют примеры из реальной жизни, когда риски материализовались или были смягчены, предлагая практическое понимание оценки рисков.

Следующие тематические исследования демонстрируют влияние на операционные системы искусственного интеллекта , демонстрируя различные особенности атак, персонажей, методологии машинного обучения и затронутые варианты использования. В атаках используется множество тактик, таких как уклонение, отравление, репликация модели и использование обычных уязвимостей программного обеспечения. В их число входят различные злоумышленники, от обычных пользователей до опытных красных команд, которые сосредоточены на атаках на модели машинного обучения в таких средах, как облачные, локальные и периферийные установки. В этих тематических исследованиях рассматриваются приложения, чувствительные и не чувствительные к безопасности, и предлагается подробное представление об уязвимостях, с которыми системы ИИ сталкиваются в реальных сценариях.

Имя и источник	Описание
Утечка конфиденциальности плагина ChatGPT \n Дата происшествия: май 2023 г. \n Исполнитель: Embrace The Red. \n Цель: OpenAI ChatGPT. \n (Гупта и др., 2023)	Уязвимость в ChatGPT, известная как «косвенное внедрение подсказок», позволяет злоумышленнику получить контроль над сеансом чата и украсть историю разговора, используя плагины ChatGPT для передачи вредоносным веб-сайтам. Из-за этой атаки пользователи могут быть подвержены утечке личной информации ( PII ) из полученного сеанса чата.
Косвенные угрозы быстрого внедрения: пират данных Bing Chat \n Дата инцидента: 2023 г. \n Исполнитель: Кай Грешаке, Саарский университет. \n Цель: Microsoft Bing Chat \n (Greshake и др., 2023 г.)	Пользователь может предоставить Bing Chat разрешение на просмотр и доступ к веб-страницам, которые в данный момент открыты во время разговора в чате, с помощью нового чат-бота Bing Chat LLM от Microsoft . Исследователи показали, как злоумышленник может вставить вредоносный скрипт в браузер пользователя, чтобы незаметно превратить Bing Chat в инструмент социальной инженерии, который ищет и крадет личные данные. Эта атака может быть проведена без необходимости задавать пользователю вопросы о веб-сайте или делать что-либо, кроме взаимодействия с чатом Bing, когда страница открыта в браузере.
PoisonGPT \n Дата происшествия: июль 2023 г. \n Исполнитель: исследователи безопасности Mithril \n Цель: пользователи HuggingFace. \n (Хуан и др., 2023 г.)	Предварительно обученная модель большого языка ( LLM ) с открытым исходным кодом, которой исследователи Mithril Security манипулируют для создания фиктивной реальности. Чтобы подчеркнуть слабость цепочки поставок LLM , им удалось успешно загрузить отравленную модель обратно в HuggingFace, крупнейший центр моделей, доступный для общественности. Пользователи могли загрузить зараженную модель, получить и распространить зараженную информацию и данные, что потенциально могло привести к ряду негативных последствий.
Выполнение произвольного кода с помощью Google Colab. \n Дата происшествия: июль 2022 г. \n Актер: Тони Пьяцца \n Цель: Google Colab. \n (Вализаде и Бергер, 2023 г.)	Google Colab — это сервис Jupyter Notebook на базе виртуальной машины. Блокноты Jupyter, которые включают в себя типичные функции командной строки Unix и фрагменты исполняемого кода Python, часто используются для исследований и экспериментов в области машинного обучения и обработки данных. Эта функция выполнения кода позволяет пользователям не только изменять и визуализировать данные, но также загружать файлы из Интернета и манипулировать ими, работать с файлами на виртуальных машинах и многое другое. \n Кроме того, пользователи могут использовать URL-адреса для предоставления доступа к блокнотам Jupyter другим пользователям. Пользователи, использующие ноутбуки, содержащие вредоносный код, рискуют непреднамеренно запустить вредоносное ПО, которое может быть скрыто или запутано — например, в загруженном скрипте. \n Пользователю будет предложено предоставить блокноту доступ к своему Google Диску, когда он откроет общий блокнот Jupyter в Colab. Хотя могут быть веские причины предоставить кому-либо доступ к Google Диску, например, разрешить им заменять файлы своими собственными, могут быть и плохие, включая кражу данных или открытие сервера для Google Диска жертвы. Этот эксперимент выявляет последствия выполнения произвольного кода и подключения Colab к Google Диску.
Обход проверки личности ID.me \n Дата инцидента: октябрь 2020 г. \n Репортер: внутреннее расследование ID.me \n Действующее лицо: одно лицо \n Цель: Департамент занятости штата Калифорния \n Департамент развития \n (Laborde et al., 2020)	С помощью автоматической системы проверки личности ID.me человек подал не менее 180 мошеннических заявок на пособие по безработице в штате Калифорния в период с октября 2020 года по декабрь 2021 года. После того, как были приняты десятки ложных заявлений, этому человеку было выплачено не менее 3,4 миллиона долларов. \n Мужчина использовал украденную личную информацию и фотографии, на которых он носит парики, чтобы создать несколько фальшивых личностей и поддельные водительские права. Затем он зарегистрировал учетные записи ID.me и завершил процедуру проверки личности. Процедура сравнивает селфи с идентификационным изображением для аутентификации личной информации и подтверждения того, что пользователь является тем, кем он себя называет. Используя тот же парик в своем селфи, мужчина смог подтвердить личность украденного. \n После этого человек использовал подтвержденные ID.me личные данные для подачи ложных заявлений по безработице в Департамент развития занятости Калифорнии ( EDD ). Поддельные лицензии были одобрены системой из-за недостатков в процедуре проверки личности ID.me на тот момент. После принятия этого человека платежи отправлялись во многие места, к которым он мог получить доступ, и он использовал банкоматы для снятия средств. Человек смог получить пособие по безработице на общую сумму не менее 3,4 миллиона долларов. В конце концов EDD и ID.me обнаружили мошеннические действия и предупредили о них федеральные власти. Что касается этого и еще одного случая мошенничества, то в мае 2023 года этот человек был признан виновным в электронном мошенничестве и краже личных данных при отягчающих обстоятельствах и приговорен к 6 годам и 9 месяцам тюремного заключения.
Достижение выполнения кода в MathGPT с помощью быстрого внедрения. \n Дата происшествия: 28 января 2023 г. \n Актер: Людвиг-Фердинанд Штумпп \n Цель: MathGPT (https://mathgpt.streamlit.app/) \n (Дин, Цен и Вэй, 2023 г.)	GPT-3 — это большая языковая модель ( LLM ), которая используется общедоступным приложением Streamlit MathGPT для решения арифметических задач, создаваемых пользователями. \n Согласно недавним исследованиям и экспериментам, когда дело доходит до непосредственного выполнения точных математических вычислений, LLM, такие как GPT-3, работают плохо. Однако когда их просят разработать исполняемый код, отвечающий на данный запрос, они могут предоставить более точные результаты. Запрос пользователя на естественном языке в приложении MathGPT переводится в код Python с использованием GPT-3 , а затем выполняется. Пользователю отображается результат расчета вместе с запущенным кодом. \n Атаки с быстрым внедрением, при которых вредоносные действия пользователя заставляют модели вести себя неожиданно, могут повлиять на некоторые LLM . Злоумышленник в этом инциденте исследовал множество путей переопределения подсказки, сгенерировав код, который позволил ему выполнить атаку типа «отказ в обслуживании» и получить доступ к переменным среды хост-системы приложения и API-ключу приложения GPT-3 . Следовательно, злоумышленник мог привести к сбою программы или израсходовать весь бюджет запросов API. \n Команды MathGPT и Streamlit были проинформированы о путях атак и их результатах, и они оперативно приняли меры по устранению уязвимостей, отфильтровав определенные запросы и изменив ключ API.
Скомпрометированная цепочка зависимостей PyTorch-nightly \n Дата инцидента: 25 декабря 2022 г. \n Репортер: PyTorch \n Исполнитель: Неизвестно \n Цель: PyTorch \n (Ladisa et al., 2023)	Вредоносное ПО, отправленное в репозиторий кода Python Package Index ( PyPI ) с 25 по 30 декабря 2022 года, скомпрометировало пакеты Linux для предварительной версии PyTorch, известной как Pytorch-nightly. Вредоносный пакет был установлен с помощью pip, менеджера пакетов PyPI , вместо подлинного, поскольку он имел то же имя, что и зависимый от PyTorch пакет. \n Из-за атаки на цепочку поставок, получившей название «путаница зависимостей», конфиденциальные данные о компьютерах Linux, на которых работали затронутые версии PyTorch-nightly, были обнародованы. PyTorch объявил о проблеме и первых попытках ее устранения 30 декабря 2022 года. Они включали переименование и удаление зависимостей torchtriton.
Запутанные нейронные сети для защиты от вредоносных программ. \n Дата инцидента: 23 июня 2021 г. \n Исполнитель: группа по исследованию машинного обучения «Лаборатории Касперского» \n Цель: модель машинного обучения «Лаборатории Касперского» для защиты от вредоносных программ \n (Дженна и др., 2023 г.)	Детекторы вредоносного ПО ML все чаще используются в облачных вычислениях и системах хранения данных. В таких ситуациях системы пользователей используются для построения характеристик модели, которые затем отправляются на серверы компаний, занимающихся кибербезопасностью. Эта ситуация «серого ящика» была исследована исследовательской группой «Лаборатории Касперского», которая продемонстрировала, что информации о функциях достаточно для состязательной атаки на модели машинного обучения. \n Не имея доступа к «белому ящику» к одной из моделей ML для защиты от вредоносных программ «Лаборатории Касперского», они эффективно избежали обнаружения большинства злонамеренно измененных вредоносных файлов.
Бэкдор-атака на модели глубокого обучения в мобильных приложениях \n Дата инцидента: 18 января 2021 г. \n Исполнитель: Юаньчунь Ли, Цзяи Хуа, Хаоюй Ван, Чуньянг Чен, Юньсинь Лю \n Цель: Android-приложения на основе машинного обучения \n (Ли и др.) ., 2021)	Модели глубокого обучения становятся неотъемлемой частью мобильных приложений. Исследователи Microsoft Research показали, что большое количество моделей глубокого обучения, используемых в мобильных приложениях, подвержены бэкдор-атакам «инъекции нейронной нагрузки». Они собрали реальные мобильные приложения глубокого обучения из Google Play и провели над ними эмпирическое исследование. Они обнаружили 54 приложения, которые могут быть атакованы, в том числе известные приложения безопасности, необходимые для идентификации лиц, родительского контроля, распознавания валюты и финансовых услуг.
Обход системы идентификации лиц с помощью физических мер \n Дата происшествия: 2020 г. \n Исполнитель: Красная команда MITRE AI \n Цель: коммерческая служба идентификации лиц \n (Чжэн и др., 2023 г.)	Красная команда искусственного интеллекта из MITRE провела атаку с уклонением от физического домена против коммерческой службы идентификации лиц, чтобы вызвать преднамеренную неправильную классификацию. Традиционные корпоративные методы ATT&CK, включая выполнение кода через API и поиск действительных учетных записей, в этой операции перемежались с состязательными атаками, специфичными для ML.
Microsoft Edge AI Evasion \n Дата инцидента: февраль 2020 г. \n Исполнитель: Azure Red Team \n Цель: новый продукт Microsoft AI \n (Sivaram et al., 2022)	Команда Azure Red Team провела учение Red Team по новинке Microsoft, специально разработанной для выполнения рабочих нагрузок ИИ на периферии. Целью этого упражнения было вызвать неправильную классификацию в модели МО путем постоянного манипулирования целевым изображением с помощью автоматизированной системы.
Сбой в работе службы Microsoft Azure \n Дата происшествия: 2020 г. \n Исполнитель: Microsoft AI Red Team \n Цель: внутренняя служба Microsoft Azure \n (Torkura et al., 2020)	Красная команда Microsoft AI Red Team провела учение красной команды на внутренней службе Azure с явной целью вызвать сбой в работе службы. Традиционные корпоративные методы ATT&CK, включая кражу данных и обнаружение действительных учетных записей, в этой операции перемежались с состязательными шагами, специфичными для ML, включая примеры офлайн- и онлайн-уклонения.
Отравление Тэя \n Дата происшествия: 23 марта 2016 г. Репортер: Microsoft \n Исполнитель: пользователи 4chan \n Цель: чат-бот Tay AI от Microsoft \n (Нефф и Надь, 2016 г.)	Microsoft разработала чат-бота Твиттера Tay с целью развлечь и вовлечь пользователей. В отличие от предыдущих чат-ботов, которые полагались на заранее запрограммированные сценарии для ответов, Тэй мог напрямую влиять на разговоры, в которых он участвовал, благодаря своим возможностям машинного обучения. \n Согласованное нападение побудило злонамеренных пользователей распространять через Твиттер оскорбительные и нецензурные выражения в адрес Тэя, в результате чего Тэй создавал контент, который был столь же подстрекательским по отношению к другим пользователям. \n В течение двадцати четырех часов после появления бота Microsoft прекратила поддержку Tay и принесла публичные извинения, подробно описав уроки, извлеченные из его неудачи.
ProofPoint Evasion \n Дата инцидента: 9 сентября 2019 г. \n Исполнитель: исследователи Silent Break Security \n Цель: система защиты электронной почты ProofPoint \n (Sivaram et al., 2022)	В репозитории кода, известном как Proof Pudding, подробно описан метод, используемый исследователями машинного обучения для обхода системы защиты электронной почты ProofPoint (CVE-2019-20634). В частности, они использовали информацию, полученную в результате имитации модели машинного обучения для защиты электронной почты, чтобы обойти действующую систему. Точнее, это понимание позволило ученым создавать злонамеренные электронные сообщения, которые получали положительные оценки и уклонялись от обнаружения системой. ProofPoint присваивает каждому слову в электронном письме числовую оценку, которая определяется комбинацией нескольких переменных. Если общая оценка письма будет сочтена недостаточной, будет сгенерирована ошибка, обозначающая его как СПАМ.
Репликация модели GPT-2 \n Дата происшествия: 22 августа 2019 г. \n Действующее лицо: исследователи из Университета Брауна \n Цель: OpenAI GPT-2 \n (Ли, Чжан и Хэ, 2022 г.)	OpenAI разработала языковую модель GPT-2, которая позволяет создавать образцы текста исключительного качества. OpenAI приняла многоуровневый график выпусков в ответ на опасения, что GPT-2 может быть использован в злонамеренных целях, включая выдачу себя за других, создание вводящих в заблуждение новостных статей, ложного контента в социальных сетях или спама. Первоначально они распространили уменьшенную, сравнительно более слабую версию GPT-2, сопровождаемую техническим разъяснением методологии, но не предоставили полную обученную модель. \n Исследователи из Университета Брауна эффективно воспроизвели модель, используя информацию, опубликованную OpenAI, и артефакты машинного обучения с открытым исходным кодом перед выпуском полной модели. Это иллюстрирует, как злоумышленник, обладающий адекватными вычислительными ресурсами и техническими знаниями, мог имитировать GPT-2 и использовать его в злонамеренных целях до того, как его обнаружило сообщество AI Security.
Неправильная конфигурация ClearviewAI \n Дата происшествия: апрель 2020 г. \n Исполнитель: исследователи SpiderSilk \n Цель: инструмент распознавания лиц Clearview AI \n (Anisetti et al., 2020)	Приложение для распознавания лиц, разработанное Clearview AI, ищет совпадения в общедоступных изображениях. Этот инструмент использовался правоохранительными органами и другими организациями для следственных целей. \n Несмотря на защиту паролем; репозиторий исходного кода Clearview AI был взломан таким образом, что любой пользователь мог создать учетную запись. Воспользовавшись этой уязвимостью, неавторизованное лицо получило доступ к хранилищу частного кода, в котором хранятся учетные данные Clearview AI , ключи от контейнеров облачного хранилища, содержащих 70 000 образцов видео, дубликаты его приложений и токены Slack. Злоумышленник, получивший доступ к обучающим данным, может вызвать произвольную неправильную классификацию развернутой модели.
Атака на службу машинного перевода — Google Translate, Bing Translator и Systran Translate \n Дата инцидента: 30 апреля 2020 г. \n Исполнитель: Исследование искусственного интеллекта Беркли \n Цель: Google Translate, Bing Translator, Systran Translate. \n (Уоллес, Стерн и Сонг, 2021)	Службы машинного перевода (например, Systran Translate, Google Translate и Bing Translator) предлагают пользовательские интерфейсы и API, доступные для общественности. Эти общедоступные конечные точки были использованы исследовательской группой из Калифорнийского университета в Беркли для создания тиражируемой модели, качество перевода которой было близко к качеству готовых к производству моделей. Помимо иллюстрации функциональной кражи интеллектуальной собственности из системы «черного ящика», они эффективно перенесли состязательные примеры в реальные производственные сервисы, используя тиражируемую модель. Состязательные входные данные эффективно вызывают целевые сдвиги слов, генерируют ненормативную лексику и приводят к удалению предложений на веб-сайтах Systran Translate и Google Translate.
Взлом камеры на систему распознавания лиц \n Дата инцидента: 2020 г. \n Репортер: команда Ant Group AISEC \n Действующее лицо: два человека \n Цель: служба распознавания лиц государственной налоговой службы Шанхая \n (Веннам и др., 2021)	Обходя традиционную модель аутентификации с распознаванием лиц в реальном времени, эта форма атаки с захватом камеры предоставляет злоумышленникам доступ к привилегированным системам и позволяет выдавать себя за жертву. \n Это нападение было использовано двумя лицами в Китае для проникновения в налоговую систему местного правительства. Они создали фиктивную дочернюю корпорацию и выставляли счета-фактуры налоговой системы фиктивным клиентам. Схема была инициирована отдельными лицами в 2018 году и привела к мошенническому получению 77 миллионов долларов.
Обход обнаружения вредоносного ПО Cylance с помощью искусственного интеллекта \n Дата инцидента: 7 сентября 2019 г. \n Исполнитель: Skylight Cyber \n Цель: CylancePROTECT, Cylance Smart Antivirus \n (Лукас и др., 2021 г.)	Чтобы обойти обнаружение детектора вредоносных программ AI Cylance при добавлении к вредоносному файлу, исследователи Skylight разработали универсальную строку обхода.
Отравление VirusTotal \n Дата происшествия: 2020 г. \n Репортер: McAfee Advanced Threat Research \n Исполнитель: Неизвестно \n Цель: VirusTotal \n (Ranade et al., 2021)	По данным McAfee Advanced Threat Research, количество необычных сообщений об определенном семействе программ-вымогателей возросло. Согласно результатам расследования дела, через известную платформу обмена вирусами был обнаружен быстрый приток образцов программ-вымогателей из этого конкретного семейства. Последующее расследование показало, что образцы были эквивалентны с точки зрения сходства строк и кода, причем степень сходства колебалась от 98 до 74%. Примечательно, что продолжительность, необходимая для создания каждого образца, была идентична. В ходе дальнейшего расследования ученые обнаружили, что исходный файл был изменен и содержал аберрантные варианты с использованием инструмента манипулирования метаморфическим кодом «метаме». Хотя эти варианты не являются последовательно исполняемыми, они остаются в семействе программ-вымогателей до тех пор, пока не будут идентифицированы.
Уклонение от обнаружения алгоритма генерации домена ботнета (DGA) \n Дата инцидента: 2020 г. \n Исполнитель: исследовательская группа искусственного интеллекта Palo Alto Networks \n Цель: модуль обнаружения DGA на основе машинного обучения Palo Alto Networks \n (Upadhyay, 2020 г.)	Используя метод мутации общего доменного имени, исследовательская группа Security AI в Palo Alto Networks смогла обойти детектор алгоритма генерации домена ботнета (DGA) на основе сверточной нейронной сети. Это метод мутации общего домена, который может обойти большинство модулей обнаружения DGA на основе ML. Общий метод мутации обходит большинство модулей обнаружения DGA DGA на основе машинного обучения и может использоваться для оценки надежности и эффективности всех методов обнаружения DGA, разработанных отраслевыми фирмами по обеспечению безопасности, до их внедрения в производство.
Уклонение от детектора глубокого обучения для обнаружения вредоносного трафика C&C \n Дата инцидента: 2020 г. \n Исполнитель: исследовательская группа искусственного интеллекта Palo Alto Networks \n Цель: система обнаружения вредоносного ПО Palo Alto Networks \n (Ново и Морла, 2020 г.)	Модель глубокого обучения была оценена исследовательской группой Security AI в Palo Alto Networks с целью обнаружения трафика управления и контроля (C&C) вредоносного ПО в HTTP-трафике. Черпая вдохновение из общедоступной статьи Ле и др., они построили модель, которая продемонстрировала производительность, сопоставимую с производственной моделью, и была обучена на аналогичном наборе данных. После этого были созданы состязательные выборки, запрошена модель, и состязательная выборка соответствующим образом модифицировалась до тех пор, пока модель не удалось обойти.

6. Результаты интервью с клиентами

В исследовании также были использованы данные интервью с клиентами Grant Thornton из различных секторов, включая частное здравоохранение, страхование, управление фондами, юридические фирмы, гостиничные сети, глобальные банки, национальные газеты и ведущих научных исследователей из Великобритании и США. Эти организации, в которых работают от 1000 до более 20 000 человек, работают на рынке Великобритании.

Интервью проводились для оценки готовности и опыта клиентов в разработке, управлении и развертывании продуктов искусственного интеллекта на протяжении всего жизненного цикла искусственного интеллекта с упором на такие темы, как управление рисками, целостность данных, реагирование на инциденты, безопасность моделей, соответствие нормативным требованиям и анализ угроз. Целью этих обсуждений было обоснование оценки на практическом опыте и обеспечение точного отражения текущих проблем, которые рассматривают эти организации.

В таблице, следующей за этим разделом, перечислены опрошенные клиенты и ученые, при этом указано, что только 5 клиентских организаций и 2 ученых участвовали в опросе из-за наличия мест или внутренней политики. Организации анонимизируются с помощью уникального префикса, используемого в последующих ссылках. Из 17 организаций, приглашенных на собеседование для участия в исследовании, только 7 были опрошены либо из-за нехватки времени, либо из-за организационной политики, приведшей к отказу от участия. Среди них только одна организация в настоящее время внедрила решение искусственного интеллекта в своей организационной ИТ-инфраструктуре.

Организация (префикс)	интервью	Позиция
Здравоохранение и страхование (HI1)	Да	Директор группы безопасности
Специалист по кибербезопасности (CS1)	Да	Н/Д
Мировой банк из топ-50 (BK1)	Да	Глобальный директор по информационной безопасности
Национальная газета (НН1)	Да	Редактор, ответственный за ИИ
Управляющий пенсионным инвестиционным фондом (ПИ1)	Да	Глобальный директор по информационной безопасности
Эксперт по кибербезопасности, академик из Великобритании (AC1)	Да	Профессор компьютерных наук
Эксперт по кибербезопасности правительства США (AC2)	Да	Эксперт по кибербезопасности искусственного интеллекта

Применение ИИ /МО

Респондентам был задан вопрос о текущем использовании ИИ или ОД в их организации. За исключением одного банковского клиента (BK1), все подтвердили отсутствие приложений искусственного интеллекта или машинного обучения в своих рабочих процессах, за исключением стандартных инструментов искусственного интеллекта , таких как Microsoft Copilot или ChatGPT 3.5, в рамках корпоративных служб подписки Microsoft Azure. Один клиент, специализирующийся на кибербезопасности (CS1), намеренно разработал политику, позволяющую отложить внедрение и внедрение передовых решений искусственного интеллекта до тех пор, пока индустрия кибербезопасности не разработает более надежные решения кибербезопасности для систем искусственного интеллекта с проверенной репутацией.

Целостность и защита данных

Признавая важность качества и целостности данных для функциональности модели ИИ , клиентов спросили об их мерах по контролю данных, специфичных для ИИ . Выяснилось, что специализированных средств контроля целостности данных ИИ пока не существует. Исключением является BK1, который предполагает, что существующие системы предотвращения потери данных будут сигнализировать о серьезных утечках данных, хотя это практически не проверялось. BK1 приступил к созданию системы классификации рисков, направленной на устранение рисков кибербезопасности, связанных с ИИ , таких как конфиденциальность данных и отравление.

Безопасность модели искусственного интеллекта

Клиенты, в том числе BK1, еще не сосредоточились на безопасности моделей искусственного интеллекта или машинного обучения. BK1, однако, заявил о планах обеспечить соблюдение минимальных стандартов в своих коммерческих соглашениях, чтобы обеспечить возможность обращения в суд в случае нарушения безопасности.

Оценка и управление рисками

Высшее руководство признало растущую важность рисков кибербезопасности для ИИ и ищет решения у стартапов и корпоративных организаций. В 2023 году HI1 инициировала процесс оценки и управления рисками для систем искусственного интеллекта , используя опыт архитекторов кибербезопасности и директора по информационной безопасности Группы. Они обращаются за советом к таким корпоративным организациям, как Microsoft и MITRE AI , а также к недавним документам британского NCSC. HI1 и PI1 признают необходимость усовершенствовать свои меры кибербезопасности для ИИ и сотрудничают со специализированными стартапами для поиска решений. Однако они осознают свои ограничения в оценке эффективности этих услуг. Чтобы решить эту проблему, они сотрудничают с академическими экспертами для оценки требований и эффективности предлагаемых решений. Тем временем BK1 создал обширную таксономию рисков для устранения конкретных рисков ИИ , включая эффект «черного ящика», инверсию модели, конфиденциальность данных, отравление и общий жизненный цикл ИИ . Однако большинство организаций сосредоточены на соблюдении существующих правил и стандартов безопасности, а внедрение ИИ пока не является приоритетом.

Реагирование на инцидент

Ни один из клиентов пока не разработал планы реагирования на инциденты специально для инцидентов кибербезопасности, затрагивающих системы ИИ .

Соответствие нормативным требованиям и стандартам

Консенсус среди различных заинтересованных сторон заключается в недостаточной осведомленности о каких-либо конкретных правилах кибербезопасности, адаптированных к ИИ . Признаются обширные существующие правила кибербезопасности, которые, несмотря на их широту, не решают уникальные проблемы ИИ . BK1 и PI1 следят за выпуском целевых правил и стандартов кибербезопасности ИИ , которые, как они ожидают, приведут к реальным изменениям в отрасли.

Приложение 1 – Ссылки

Анисетти М. и др. (2020) «Ландшафт угроз безопасности», Белая книга «Угрозы безопасности» [Препринт].

Аббас Р. и др. (2023) Искусственный интеллект ( ИИ ) в кибербезопасности: дорожная карта социально-технических исследований. Институт Алана Тьюринга. Доступно по адресу: https://www.turing.ac.uk/sites/default/files/2023-11/ai_in_cybersecurity.pdf (дата обращения: 3 января 2024 г.).

Anthropic (2023a) Политика ответственного масштабирования Anthropic, версия 1.0.

Антропный (2023b) Пограничная модель безопасности. Доступно по адресу: https://www.anthropic.com/news/frontier-model-security#entry:146893@1:url (дата обращения: 7 февраля 2024 г.).

Антропный (2023c) Frontier Threats Red Teaming для безопасности ИИ . Доступно по адресу: https://www.anthropic.com/news/frontier-threats-red-teaming-for-ai-safety#entry:146918@1:url (дата обращения: 7 февраля 2024 г.).

Апруццезе Г. и др. (2023) «Настоящие злоумышленники не вычисляют градиенты»: преодоление разрыва между состязательными исследованиями и практикой машинного обучения», конференция IEEE 2023 года по безопасному и надежному машинному обучению (SaTML). Конференция IEEE 2023 г. по безопасному и надежному машинному обучению (SaTML), Роли, Северная Каролина, США: IEEE, стр. 339–364. Доступно по адресу: https://doi.org/10.1109/SaTML54575.2023.00031.

AWS (2024 г.) Платформа внедрения облака для искусственного интеллекта, машинного обучения и генеративного искусственного интеллекта — технический документ.

Беку А., Праа И. и Гама Дж. (2021) «Искусственный интеллект, киберугрозы и Индустрия 4.0: вызовы и возможности», Обзор искусственного интеллекта, 54(5), стр. 3849–3886. Доступно по адресу: https://doi.org/10.1007/s10462-020-09942-2.

Буасида Н. и Мохапатра П. (2021) «Уязвимости в федеративном обучении», IEEE Access, 9, стр. 63229–63249. Доступно по адресу: https://doi.org/10.1109/ACCESS.2021.3075203.

Булемтафес А., Дерхаб А. и Чаллал Ю. (2020) «Обзор методов сохранения конфиденциальности для глубокого обучения», Neurocomputing, 384, стр. 21–45. Доступно по адресу: https://doi.org/10.1016/j.neucom.2019.11.041.

Брэдли, П. (2020) «Стандарты управления рисками и активное управление злонамеренными намерениями в искусственном суперинтеллекте», AI & SOCIETY, 35(2), стр. 319–328. Доступно по адресу: https://doi.org/10.1007/s00146-019-00890-2.

Браммер, З. (2023) Как доступ влияет на риск. Институт безопасности и технологий.

Брандейдж, М. и др. (2018) «Злонамеренное использование искусственного интеллекта: прогнозирование, предотвращение и смягчение последствий». arXiv. Доступно по адресу: https://doi.org/10.48550/arXiv.1802.07228.

Карло А. и др. (2023) «Важность систем кибербезопасности для регулирования новых технологий искусственного интеллекта для космических приложений», Журнал Space Safety Engineering, 10 (4), стр. 474–482. Доступно по адресу: https://doi.org/10.1016/j.jsse.2023.08.002.

Чанг, К.-Л. и другие. (2020) «Оценка устойчивости моделей искусственного интеллекта к состязательным атакам», в материалах 1-го семинара ACM по безопасности и конфиденциальности в области искусственного интеллекта. Нью-Йорк, штат Нью-Йорк, США: Ассоциация вычислительной техники (SPAI №20), стр. 47–54. Доступно по адресу: https://doi.org/10.1145/3385003.3410920.

Чен С., Панде А. и Мохапатра П. (2014) «Сенсорное распознавание лиц: усовершенствованная система биометрической аутентификации для смартфонов», в материалах 12-й ежегодной международной конференции по мобильным системам, приложениям и услугам. Нью-Йорк, штат Нью-Йорк, США: Ассоциация вычислительной техники (MobiSys í14), стр. 109–122. Доступно по адресу: https://doi.org/10.1145/2594368.2594373.

Чанг Ф. и Гайрола Д. (2018) «InfoClean: защита конфиденциальной информации при очистке данных», Журнал качества данных и информации, 9 (4), стр. 22:1-22:26. Доступно по адресу: https://doi.org/10.1145/3190577.

Чоудхури А. и Асан О. (2020) «Роль искусственного интеллекта в обеспечении безопасности пациентов: систематический обзор литературы», JMIR Medical Informatics, 8 (7), стр. е18599. Доступно по адресу: https://doi.org/10.2196/18599.

Cohere (2023 г.) Состояние безопасности ИИ , контекст Cohere. Доступно по адресу: https://txt.cohere.com/the-state-of-ai-security (дата обращения: 28 марта 2024 г.).

Куппенс Ф., Куппенс-Булахия Н. и Гарсия-Альфаро Дж. (2019) «Управление неправильной конфигурацией компонентов сетевой безопасности». arXiv. Доступно по адресу: https://doi.org/10.48550/arXiv.1912.07283.

Дин Дж., Цен Ю. и Вэй X. (2023) «Использование модели большого языка для решения и объяснения физических текстовых задач, приближающихся к человеческому уровню». arXiv. Доступно по адресу: https://doi.org/10.48550/arXiv.2309.08182.

Дженна А. и др. (2023) «Обнаружение, анализ и устранение вредоносных программ на основе искусственного интеллекта», Symmetry, 15(3), стр. 677. Доступно по адресу: https://doi.org/10.3390/sym15030677.

ETSI (2022) Защита искусственного интеллекта (SAI); Онтология угроз ИИ . Доступно по адресу: https://www.etsi.org/deliver/etsi_gr/SAI/001_099/001/01.01.01_60/gr_SAI001v010101p.pdf (дата обращения: 3 января 2024 г.).

Генеральный секретариат Совета ЕС (2022 г.) Предложение по постановлению Европейского парламента и Совета, устанавливающему гармонизированные правила в отношении искусственного интеллекта (Закон об искусственном интеллекте) и вносящее поправки в некоторые законодательные акты Союза. Межинституциональный файл. Харт Паблишинг.

Агентство Европейского Союза по кибербезопасности. (2020) Проблемы кибербезопасности ИИ : ландшафт угроз для искусственного интеллекта. ЛУ: Офис публикаций. Доступно по адресу: https://data.europa.eu/doi/10.2824/238222 (дата обращения: 29 февраля 2024 г.).

Агентство Европейского Союза по кибербезопасности. (2021a) Безопасность алгоритмов машинного обучения. ЛУ: Офис публикаций. Доступно по адресу: https://data.europa.eu/doi/10.2824/874249 (дата обращения: 9 февраля 2024 г.).

Агентство Европейского Союза по кибербезопасности. (2021b) Безопасность алгоритмов машинного обучения. ЛУ: Офис публикаций. Доступно по адресу: https://data.europa.eu/doi/10.2824/874249 (дата обращения: 7 февраля 2024 г.).

Агентство Европейского Союза по кибербезопасности. (2023a) Кибербезопасность и конфиденциальность в искусственном интеллекте : прогнозирование спроса на электросети. ЛУ: Офис публикаций. Доступно по адресу: https://data.europa.eu/doi/10.2824/92851 (дата обращения: 29 февраля 2024 г.).

Агентство Европейского Союза по кибербезопасности. (2023b) Кибербезопасность искусственного интеллекта и стандартизация. ЛУ: Офис публикаций. Доступно по адресу: https://data.europa.eu/doi/10.2824/277479 (дата обращения: 16 декабря 2023 г.).

Агентство Европейского Союза по кибербезопасности. (2023c) Стандартизация в поддержку кибербезопасности ИИ . ЛУ: Офис публикаций. Доступно по адресу: https://data.europa.eu/doi/10.2824/277479 (дата обращения: 29 февраля 2024 г.).

Феррер, X. и др. (2021) «Предвзятость и дискриминация в искусственном интеллекте : междисциплинарная перспектива», журнал IEEE Technology and Society Magazine, 40 (2), стр. 72–80. Доступно по ссылке: https://doi.org/10.1109/MTS.2021.3056293.

Google (2023 г.) Представляем Google Secure AI Framework, Google. Доступно по адресу: https://blog.google/technology/safety-security/introducing-googles-secure-ai-framework/ (дата обращения: 7 февраля 2024 г.).

Грешейк, К. и др. (2023) «Не то, на что вы подписались: компрометация реальных LLM — интегрированных приложений с помощью непрямого быстрого внедрения», в материалах 16-го семинара ACM по искусственному интеллекту и безопасности. Нью-Йорк, штат Нью-Йорк, США: Ассоциация вычислительной техники (AISec í23), стр. 79–90. Доступно по адресу: https://doi.org/10.1145/3605764.3623985.

Гупта М. и др. (2023) «От чата к угрозе: влияние генеративного искусственного интеллекта на кибербезопасность и конфиденциальность», IEEE Access [Препринт]. Доступно по адресу: https://doi.org/10.1109/ACCESS.2023.3300381.

Хаакман М. и др. (2021) « Модели жизненного цикла ИИ необходимо пересмотреть: предварительное исследование в Fintech», Эмпирическая разработка программного обеспечения, 26, стр. 1–29. Доступно по адресу: https://doi.org/10.1007/s10664-021-09993-1.

Хорвиц, Э. (2022) Искусственный интеллект и кибербезопасность: растущие проблемы и перспективные направления. Заявление. Подкомитет по кибербезопасности Сената США по вооруженным силам: Microsoft.

Палата общин (2023 г.) Управление искусственным интеллектом: промежуточный отчет: ответ правительства на девятый отчет комитета. Аналитический документ HC 248. Правительство Великобритании.

Хаус, ТВ (2023 г.) Указ о безопасном, надежном и заслуживающем доверия развитии и использовании искусственного интеллекта, Белый дом. Доступно по адресу: https://www.whitehouse.gov/briefing-room/presidential-actions/2023/10/30/executive-order-on-the-safe-secure-and-trustworthy-development-and-use-of. -искусственный интеллект/ (дата обращения: 29 января 2024 г.).

Ху, Ю. и др. (2021) «Безопасность искусственного интеллекта: угрозы и меры противодействия», ACM Computing Surveys, 55(1), стр. 20:1-20:36. Доступно по адресу: https://doi.org/10.1145/3487890.

Хуанг С. и др. (2023) «Обзор этики искусственного интеллекта», IEEE Transactions on Artificial Intelligence, 4 (4), стр. 799–819. Доступно по адресу: https://doi.org/10.1109/TAI.2022.3194503.

Инициатива по трансформации совместной целевой группы (2012 г.). Руководство по проведению оценки рисков. 0 изд. НИСТ СП 800-30р1. Гейтерсбург, Мэриленд: Национальный институт стандартов и технологий, с. НИСТ СП 800-30р1. Доступно по адресу: https://doi.org/10.6028/NIST.SP.800-30r1.

Хан, А.А. и др. (2023) « Этика искусственного интеллекта : эмпирическое исследование взглядов практиков и законодателей», IEEE Transactions on Computal Social Systems, 10 (6), стр. 2971–2984. Доступно по адресу: https://doi.org/10.1109/TCSS.2023.3251729.

Лаборд Р. и др. (2020) «Система управления идентификацией, ориентированная на пользователя, на основе проверяемых учетных данных W3C и универсальной структуры аутентификации FIDO», на 17-й ежегодной конференции IEEE по коммуникациям и сетям (CCNC) в 2020 году. 17-я ежегодная конференция IEEE по потребительским коммуникациям и сетям (CCNC), 2020 г., стр. 1–8. Доступно по адресу: https://doi.org/10.1109/CCNC46108.2020.9045440.

Ладиса П. и др. (2023) «Путешествие в центр атак на цепочку поставок программного обеспечения», IEEE Security & Privacy, 21 (6), стр. 34–49. Доступно по адресу: https://doi.org/10.1109/MSEC.2023.3302066.

Ле, Х. и др. (2018) «URLNet: изучение представления URL-адресов с помощью глубокого обучения для обнаружения вредоносных URL-адресов». arXiv. Доступно по адресу: https://doi.org/10.48550/arXiv.1802.03162.

Лене, М. и др. (2019) «Почему цифровая медицина зависит от совместимости», npj Digital Medicine, 2(1), стр. 1–5. Доступно по адресу: https://doi.org/10.1038/s41746-019-0158-1.

Ли, К., Чжан, М. и Хэ, Ю. (2022) «Дилемма стабильности-эффективности: исследование прогрева длины последовательности для обучения моделей GPT», «Достижения в области нейронных систем обработки информации», 35, стр. 26736–26750.

Ли, Ю. и др. (2021) «DeepPayload: бэкдор-атака на модели глубокого обучения посредством нейронного внедрения полезной нагрузки», 43-я Международная конференция IEEE/ACM по разработке программного обеспечения (ICSE) в 2021 году. 43-я Международная конференция по программной инженерии (ICSE) IEEE/ACM, 2021 г., стр. 263–274. Доступно по адресу: https://doi.org/10.1109/ICSE43902.2021.00035.

Лукас, К. и др. (2021) «Модернизация вредоносного ПО: нарушение статического анализа на основе машинного обучения путем изменения исполняемых байтов», в материалах азиатской конференции ACM 2021 года по компьютерной и коммуникационной безопасности. Нью-Йорк, штат Нью-Йорк, США: Ассоциация вычислительной техники (ASIA CCS ’21), стр. 744–758. Доступно по адресу: https://doi.org/10.1145/3433210.3453086.

Луонг, Н. и Арнольд, З. (2021) «Китайский отраслевой альянс искусственного интеллекта», Центр безопасности и новых технологий. Доступно по адресу: https://cset.georgetown.edu/publication/chinas-artificial-intelligence-industry-alliance/ (дата обращения: 3 марта 2024 г.).

Маджид, А. и Хван, С.О. (2023) «Когда ИИ обеспечивает конфиденциальность информации: состязательная роль ИИ в сценарии совместного использования данных», IEEE Access, 11, стр. 76177–76195. Доступно по адресу: https://doi.org/10.1109/ACCESS.2023.3297646.

Маршалл А. и др. (2024) Обеспечение будущего искусственного интеллекта и машинного обучения в Microsoft. Доступно по адресу: https://learn.microsoft.com/en-us/security/engineering/securing-artificial-intelligence-machine-learning (дата обращения: 7 февраля 2024 г.).

METI (2024 г.) Запуск Института безопасности искусственного интеллекта Министерства экономики, торговли и промышленности. Доступно по адресу: https://www.meti.go.jp/english/press/2024/0214_001.html (дата обращения: 3 марта 2024 г.).

Мирский Ю. и др. (2023) «Угроза наступательного ИИ для организаций», Компьютеры и безопасность, 124(C). Доступно по адресу: https://doi.org/10.1016/j.cose.2022.103006.

Мкандер Дж. и др. (2023) «Аудит больших языковых моделей: трехуровневый подход», ИИ и этика [Препринт]. Доступно по адресу: https://doi.org/10.1007/s43681-023-00289-2.

MSIT (2024 г.) MSIT объявляет о стратегии по созданию надежного искусственного интеллекта. Доступно по адресу: https://www.msit.go.kr/eng/bbs/view.do?sCode=eng&mId=4&mPid=2&pageIndex=&bbsSeqNo=42&nttSeqNo=509&searchOpt=ALL&searchTxt (по состоянию на 3 марта 2024 г.).

Нарайанан, Б.Н. и Давулуру, ВСП (2020) «Ансамблевая система классификации вредоносных программ с использованием глубоких нейронных сетей», Electronics, 9 (5), стр. 721. Доступно по адресу: https://doi.org/10.3390/electronics9050721.

Нефф, Г. и Надь, П. (2016) «Разговор с ботами: симбиотическое агентство и случай Тая», International Journal of Communication, 10, стр. 4915–4931.

Нгуен, округ Колумбия и др. (2021) «Федеративное обучение для Интернета вещей: комплексное исследование», IEEE Communications Surveys & Tutorials, 23(3), стр. 1622–1658. Доступно по адресу: https://doi.org/10.1109/COMST.2021.3075439.

Ньювенхейс, Л.Дж.М., Эренхард, М.Л. и Прауз, Л. (2018) «Переход к облачным вычислениям: влияние прорывных технологий на бизнес-экосистему корпоративного программного обеспечения», Технологическое прогнозирование и социальные изменения, 129, стр. 308–313. Доступно по адресу: https://doi.org/10.1016/j.techfore.2017.09.037.

NIST (2023a) Структура управления рисками искусственного интеллекта ( AI RMF 1.0). НИСТ АИ 100-1. Гейтерсбург, Мэриленд: Национальный институт стандартов и технологий (США), с. НИСТ АИ 100-1. Доступно по адресу: https://doi.org/10.6028/NIST. АИ .100-1.

NIST (2023b) Институт безопасности искусственного интеллекта США, NIST. Доступно по адресу: https://www.nist.gov/artificial-intelligence/artificial-intelligence-safety-institute (дата обращения: 3 марта 2024 г.).

Ново, К. и Морла, Р. (2020) «Обнаружение на основе потоков и уклонение от зашифрованного трафика вредоносных программ C2 на основе прокси», в материалах 13-го семинара ACM по искусственному интеллекту и безопасности. Нью-Йорк, штат Нью-Йорк, США: Ассоциация вычислительной техники (AISecí20), стр. 83–91. Доступно по адресу: https://doi.org/10.1145/3411508.3421379.

NVIDIA (2024) NVIDIA AI Кибербезопасность, NVIDIA. Доступно по адресу: https://www.nvidia.com/en-gb/industries/cybersecurity/ (дата обращения: 7 февраля 2024 г.).

OpenAI (2023) Подход OpenAI к пограничным рискам. Доступно по адресу: https://openai.com/global-affairs/our-approach-to-frontier-risk (дата обращения: 7 февраля 2024 г.).

OpenAI (2024 г.) Платформа OpenAI. Доступно по адресу: https://platform.openai.com (дата обращения: 7 февраля 2024 г.).

OWASP (2024 г.) Руководство по безопасности и конфиденциальности ИИ . Доступно по адресу: https://owasp.org/www-project-ai-security-and-privacy-guide/ (дата обращения: 9 февраля 2024 г.).

Пейдж, MJ и др. (2021) « Пояснение и разработка PRISMA 2020: обновленное руководство и образцы отчетности по систематическим обзорам», BMJ, 372, стр. н160. Доступно по адресу: https://doi.org/10.1136/bmj.n160.

Ранаде, П. и др. (2021) «Создание ложной информации о киберугрозах с использованием моделей на основе трансформаторов», Международная совместная конференция по нейронным сетям 2021 года (IJCNN). Международная совместная конференция по нейронным сетям 2021 г. (IJCNN), стр. 1–9. Доступно по адресу: https://doi.org/10.1109/IJCNN52387.2021.9534192.

Родригес, Р. (2020) «Правовые вопросы и права человека в области ИИ : пробелы, проблемы и уязвимости», Журнал ответственных технологий, 4, стр. 100005. Доступно по адресу: https://doi.org/10.1016/j.jrt.2020.100005.

Шевлан Т. и др. (2023) «Модель оценки экстремальных рисков». arXiv. Доступно по адресу: https://doi.org/10.48550/arXiv.2305.15324.

Сильва Д.Д. и Алахакун Д. (2022) «Жизненный цикл искусственного интеллекта: от концепции до производства», Patterns, 3(6). Доступно по адресу: https://doi.org/10.1016/j.patter.2022.100489.

Сиварам Дж. и др. (2022) «Состязательное машинное обучение: рост преступности с использованием искусственного интеллекта ». Рочестер, Нью-Йорк. Доступно по адресу: https://doi.org/10.2139/ssrn.4155496.

Торкура, К.А. и др. (2020) «CloudStrike: Chaos Engineering для обеспечения безопасности и отказоустойчивости в облачной инфраструктуре», IEEE Access, 8, стр. 123044–123060. Доступно по адресу: https://doi.org/10.1109/ACCESS.2020.3007338.

Упадхай, С. (2020) «Обнаружение алгоритма генерации домена (DGA)».

Министерство науки, инноваций и технологий Великобритании (2023a) Регулирование ИИ : инновационный подход. Командный документ 815. Правительство Великобритании. Доступно по адресу: https://www.gov.uk/government/publications/ai-regulation-a-pro-innovation-approach (дата обращения: 18 декабря 2023 г.).

Министерство науки, инноваций и технологий Великобритании (2023b) Институт безопасности искусственного интеллекта : обзор. Политический документ. Правительство Великобритании. Доступно по адресу: https://www.gov.uk/government/publications/ai-safety-institute-overview (дата обращения: 18 декабря 2023 г.).

Национальный центр кибербезопасности Великобритании и Агентство кибербезопасности и безопасности инфраструктуры США (2023 г.). Рекомендации по разработке безопасных систем искусственного интеллекта . Руководство. Правительство Великобритании.

Усынин Д. и др. (2021) «Состязательное вмешательство и его смягчение в совместном машинном обучении с сохранением конфиденциальности», Nature Machine Intelligence, 3 (9), стр. 749–758. Доступно по адресу: https://doi.org/10.1038/s42256-021-00390-3.

Вализаде М. и Бергер М. (2023) «Вывод регулярных выражений на основе поиска на графическом процессоре», Труды ACM по языкам программирования, 7 (PLDI), стр. 160:1317-160:1339. Доступно по адресу: https://doi.org/10.1145/3591274.

Васильев, А. (2024) Состязательное машинное обучение: таксономия и терминология атак и мер по их устранению. НИСТ AI НИСТ AI 100-2e2023. Гейтерсбург, Мэриленд: Национальный институт стандартов и технологий, с. НИСТ AI НИСТ AI 100-2e2023. Доступно по адресу: https://doi.org/10.6028/NIST. АИ .100-2e2023.

WikiVisa — ВикиВиза — VikiVisa

Исследования и анализ

Исследование кибербезопасности ИИ – основной отчет

Опубликовано 15 мая 2024 г.

1. Резюме

Введение

Департамент науки, инноваций и технологий (DSIT) поручил IFF Research провести опрос предприятий в ключевых секторах, чтобы понять, как они используют искусственный интеллект (ИИ) и как предприятия реализуют методы и процессы кибербезопасности вокруг развертываемых ими технологий ИИ.

Количественный опрос был разработан в сотрудничестве с DSIT. Полевая работа проводилась с использованием компьютерного телефонного интервью (CATI) и проходила с 10 января по 13 февраля 2024 года. Всего было проведено 350 интервью с предприятиями, которые в настоящее время используют или планируют использовать ИИ в девяти секторах (более подробную информацию см. на стр. 6), чтобы в опросе приняло большое количество участников.

Основные цели исследования заключались в том, чтобы понять:

Какие типы технологий используются и для каких целей;
Практика кибербезопасности бизнеса – в общих чертах и конкретно для ИИ;
Будущие планы бизнеса в отношении искусственного интеллекта и кибербезопасности; и
Как эти виды деятельности и отношения различаются между предприятиями в разных секторах и разного размера.

Глоссарий, включающий определения различных типов ИИ, можно найти в Приложении в конце настоящего отчета.

Ключевые результаты

Опрос был направлен на создание надежной выборочной базы предприятий, которые внедрили хотя бы одну технологию искусственного интеллекта, а также предприятий, которые планировали внедрить искусственный интеллект в будущем, чтобы обеспечить возможность получения надежных результатов. 68% компаний, участвовавших в опросе, в настоящее время используют хотя бы одну технологию искусственного интеллекта, а 32% планируют внедрить искусственный интеллект в будущем. Из компаний, которые в настоящее время используют ИИ, 64% внедряли один тип технологии ИИ, 22% использовали два типа ИИ и 14% использовали три или более.

Среди тех, кто в настоящее время использует ИИ, обработка и генерация естественного языка были наиболее распространены: 38% предприятий использовали его. 27% использовали машинное обучение, 25% использовали компьютерное зрение, обработку и генерацию изображений, 9% использовали аппаратное обеспечение, связанное с искусственным интеллектом, и 8% использовали роботизированную автоматизацию процессов.

Более половины компаний используют каждый тип технологии искусственного интеллекта не менее одного года. Что касается машинного обучения, то более половины предприятий (52%) используют его более 3 лет. Среди тех, кто еще не внедрил ИИ, но планирует это сделать, чаще всего планировали сделать это – во всех технологиях ИИ – более чем через год.

Каждая технология искусственного интеллекта чаще всего внедрялась путем покупки внешнего программного обеспечения или готовых к использованию систем (от 38% до 60%). Примерно каждая пятая компания разработала машинное обучение (21%) и аппаратное обеспечение, связанное с искусственным интеллектом (19%), собственными силами. Разработка ИИ, скорее всего, была передана на аутсорсинг для аппаратного обеспечения, связанного с ИИ (34%). Основной причиной использования технологий искусственного интеллекта была экономия финансов или затрат для бизнеса (35%). 14% использовали его для написания документов. 13% указали на скорость и эффективность, а еще 12% использовали его для создания контента в более широком смысле.

Из тех, кто в настоящее время использует технологии искусственного интеллекта, почти половина респондентов (47%) не имели конкретных методов кибербезопасности специально для искусственного интеллекта, а 13% не были в этом уверены. Среди тех, кто планирует использовать ИИ в будущем, 25% заявили, что в их организации не будет конкретных практик или процессов кибербезопасности, непосредственно касающихся технологии ИИ, после того, как запланированные технологии будут развернуты, а еще 25% выразили сомнение.

Среди тех, кто не имел или не собирался использовать конкретные методы или процессы кибербезопасности ИИ, было несколько ключевых причин, почему они не приняли конкретные методы. 14% не задумывались об этом или недостаточно знали об этом, а 14% заявили, что не используют ИИ для чего-то важного.

В ходе опроса участникам также был задан вопрос, существуют ли конкретные требования или функции кибербезопасности, которые, как они ожидают, будут встроены в модели и системы компаний, занимающихся искусственным интеллектом. 39% респондентов ответили «нет», а значительное меньшинство (33%) не были уверены.

Если задать более общий вопрос о методах кибербезопасности, то 90% всех предприятий имеют хотя бы один механизм корпоративного управления или управления рисками. Чуть менее трех четвертей (72%) имели официальную политику или политики, охватывающие риски кибербезопасности, а около двух третей имели либо План обеспечения непрерывности бизнеса, охватывающий кибербезопасность (67%), либо письменный список наиболее важных рисков. данные, системы или активы, которые их организация хочет защитить (64%).

За последние 12 месяцев чуть более трех четвертей (78%) предприятий предприняли хотя бы одну меру для выявления рисков кибербезопасности. Наиболее распространенными мерами, принимаемыми организациями, было проведение оценки риска, охватывающей риск кибербезопасности (59%), или инвестирование в специальные инструменты, предназначенные для мониторинга безопасности, такие как системы обнаружения вторжений (55%).

2. Введение

Фон

Департамент науки, инноваций и технологий (DSIT) поручил IFF Research провести исследование, чтобы понять, как искусственный интеллект (ИИ) используется предприятиями в ключевых секторах и как предприятия реализуют методы и процессы кибербезопасности вокруг развертываемых ими технологий ИИ.

Искусственный интеллект — это более широкая область, охватывающая системы, основанные на знаниях, системы, управляемые данными, и системы с поддержкой машинного обучения, включая классическое машинное обучение (обучение с учителем, обучение без учителя), глубокое обучение и обучение с подкреплением, подразумевая разработку систем, которые могут выполнять задачи, требующие человеческого интеллекта. Использование ИИ растет. По оценкам, в апреле 2023 года 16% всех предприятий Великобритании внедрили хотя бы одну технологию искусственного интеллекта ^{[сноска 1]} , и с появлением более доступных и мощных моделей генеративного искусственного интеллекта это число, вероятно, значительно увеличится. Растущее использование ИИ в бизнесе открывает огромные возможности; однако без соответствующих гарантий существуют также значительные риски. Это особенно касается кибербезопасности, которая является важным предварительным условием безопасности систем искусственного интеллекта. Именно в этом контексте DSIT поручил IFF Research провести первичное исследование среди британских предприятий.

Научно-исследовательские цели

Основные цели исследования заключались в том, чтобы понять:

Какие типы технологий используются и для каких целей;
Практика кибербезопасности бизнеса – в общих чертах и конкретно для ИИ;
Будущие планы бизнеса в отношении искусственного интеллекта и кибербезопасности; и
Как эти виды деятельности и отношения различаются между предприятиями в разных секторах и разного размера.

Глоссарий, включающий определения различных типов ИИ, можно найти в Приложении в конце настоящего отчета.

Полевые исследования

Этот отчет основан на данных количественного телефонного опроса, состоящего из 350 интервью, проведенных в период с января по февраль 2024 года с британскими предприятиями, которые в настоящее время используют или планируют использовать ИИ в следующих секторах:

D,E,H: Электроснабжение, газ и кондиционирование воздуха; Водоснабжение; Канализация, утилизация отходов и восстановительная деятельность; Транспортировка и хранение
С: Производство
Г: Оптовая и розничная торговля
J: Информация и коммуникация
К: Финансовая и страховая деятельность
М: Профессиональная, научная и техническая деятельность
Вопрос: Деятельность в области здравоохранения и социальной работы

3. Методология

Количественный опрос был разработан в сотрудничестве с DSIT и уточнен на этапе пилотных полевых работ (полная информация о методологии включена в прилагаемый технический отчет). Интервью длились в среднем 15 минут, а полевая работа проводилась с использованием компьютерного телефонного интервью (CATI) в период с 10 января по 13 февраля 2024 года (включая пилотный этап полевых работ). Группа, проводившая интервью, попросила поговорить с человеком, ответственным за кибербезопасность в организации.

Опрошенные участники занимали различные должности, часто входящие в сферу ИТ или операций, например: руководитель ИТ-отдела, ИТ-директор/менеджер, операционный директор/менеджер, менеджер по развитию бизнеса и офис-менеджер.

Секторы интересов и цели интервью

Целью данного исследования было опросить в общей сложности 350 британских предприятий, поровну распределенных по семи (сгруппированным) секторам, как показано в Таблице 3.1. Секторы были выбраны путем картирования секторов SIC, где внедрение ИИ, вероятно, будет высоким, а также секторов критической национальной инфраструктуры, где, вероятно, будут существовать наибольшие социальные последствия от использования уязвимостей кибербезопасности.

Таблица 3.1. Цели интервью по секторам

Сектор	Цель
D, E, H: Электроснабжение, газ и кондиционирование воздуха; Водоснабжение; Канализация, утилизация отходов и восстановительная деятельность; Транспортировка и хранение	50
С: Производство	50
Г: Оптовая и розничная торговля	50
J: Информация и коммуникация	50
К: Финансовая и страховая деятельность	50
М: Профессиональная, научная и техническая деятельность	50
Вопрос: Деятельность в области здравоохранения и социальной работы	50

Образец

Выборка для опроса была получена из Market Location, коммерческой базы данных предприятий Великобритании. Опрос был направлен на создание надежной выборочной базы предприятий, которые внедрили хотя бы одну технологию искусственного интеллекта, а также предприятий, которые планировали внедрить искусственный интеллект в будущем, чтобы обеспечить возможность получения надежных результатов. На этапе составления выборки не было возможности узнать, входят ли предприятия в исследование или нет, поэтому необходимо было проверить это с помощью вопроса на этапе набора персонала.

Проведенные интервью и процент ответов

Профиль участвующих предприятий

Всего было проведено 350 интервью, разделенных по размеру и сектору в Таблице 3.2.

Таблица 3.2. Профиль участвующих предприятий

Сектор	Микро (1-9)	Маленький (10-49)	Средний (50-249)	Большой (250+)	Общий
D, E, H: Электроснабжение, газ и кондиционирование воздуха; Водоснабжение; Канализация, утилизация отходов и восстановительная деятельность; Транспортировка и хранение	11	21	13	5	50
С: Производство	18	16	8	8	50
Г: Оптовая и розничная торговля	20	12	10	8	50
J: Информация и коммуникация	23	18	6	3	50
К: Финансовая и страховая деятельность	27	15	4	4	50
М: Профессиональная, научная и техническая деятельность	23	11	11	5	50
Вопрос: Деятельность в области здравоохранения и социальной работы	14	17	9	10	50
Общий	136	110	61	43	350

Результаты звонков и процент ответов на опросы

Результат звонка определяется как определенный ответ на приглашение к опросу, т.е. было ли проведено интервью или интервью не удалось провести и причина была установлена. Среди 10 924 предприятий, которым звонили хотя бы один раз, доля ответивших на опрос составила 3% (показано в Таблице 3.3). Сюда входили предприятия, где окончательный результат не был достигнут, например, где группа, проводившая интервью, не смогла дозвониться до нужного человека, где была назначена встреча, чтобы перезвонить позже, или где или куда поступил звонок автоответчик. Среди 2193 предприятий, где был достигнут определенный результат звонка, уровень отклика составил 16% (показано в Таблице 3.4).

10% компаний отсеялись, поскольку подтвердили, что их организация не использует ИИ и не рассматривает возможность его внедрения в будущем. Однако эта доля увеличивается до 48%, если основываться на записях, в которых был достигнут окончательный результат. Ожидалось, что высокая доля отсеянных предприятий и последующее более низкое количество ответов будут обусловлены особыми квалификационными требованиями к предприятиям, которые должны использовать или планируют использовать ИИ.

Таблица 3.3. Нескорректированная доля ответов

Описание	Число	%
Всего записей, вызванных хотя бы один раз	10 924	100%
Завершенный	350	3%
Отсеивание — организация не использует ИИ и не рассматривает возможность его внедрения в будущем.	1059	10%
Отказ ответчика	486	4%
Респондент недоступен во время полевых исследований	234	2%
Контакт установлен – нет определенного результата	2707	25%
Прямого контакта с респондентом не было.	5,056	46%
Превышение квоты	64	1%
Недоступно (например, неверный номер, не обслуживается)	968	9%

Таблица 3.4. Скорректированная доля ответов на основе окончательного результата звонка

Описание	Число	%
Окончательный результат звонка	2193	100%
Завершенный	350	16%
Отсеивание — организация не использовала ИИ и не рассматривает возможность его внедрения в будущем.	1059	48%
Отказ ответчика	486	22%
Респондент недоступен во время полевых исследований	234	11%
Превышение квоты	64	3%

Из 350 предприятий, принявших участие в опросе, 239 в настоящее время используют ИИ. Доля этих предприятий среди всех тех, для которых мы имеем однозначный ответ, используют они ИИ или нет, равняется 21%. Это немного выше, чем данные ONS в апреле 2023 года, согласно которым примерно 16% всех британских предприятий внедрили хотя бы одну технологию искусственного интеллекта. ^{[сноска 2]}

Причины отказа от использования ИИ

Респондентам, подтвердившим в ходе опроса, что они не используют или не планируют использовать какие-либо инструменты искусственного интеллекта в бизнесе, был задан вопрос, что мешает их организации внедрить технологии искусственного интеллекта.

Среди 193 ответивших компаний наиболее распространенной причиной было то, что они не выявили потребности в ИИ, в том числе считали его неактуальным для своего сектора или отрасли (44%). Каждый десятый заявил, что не думал об ИИ или недостаточно о нем знает (10%) и не интересуется им, например, предпочитая человеческое взаимодействие (9%). 8% считают ИИ ненужным из-за небольшого размера своего бизнеса, 6% заявили, что им не хватает времени или ресурсов для его настройки, а 6% обеспокоены безопасностью моделей и систем ИИ, включая безопасность и конфиденциальность данных.

Анализ и взвешивание данных

Крупный и средний бизнес в этом опросе перепредставлен по сравнению с бизнесом. Это было осознанное решение: Департаменту требовалась обширная выборочная база данных видов бизнеса. Поэтому был рассмотрен вопрос о взвешивании по размеру и сектору. Однако, поскольку количество интервью невелико, веса были сочтены слишком большими для применения и оказали бы значительное негативное влияние на эффективный размер базы. В частности, это означало бы, что невозможно было бы сообщить о результатах деятельности предприятий определенного размера или сектора. Таким образом, результаты этого опроса не могут считаться репрезентативными для бизнес-населения, однако они все же могут дать полезную информацию о поведении принявших участие предприятий.

4. Использование ИИ

В этой главе рассматриваются:

типы ИИ, используемые организациями;
как долго они их используют;
как был принят ИИ; и
причины использования технологии искусственного интеллекта

Типы используемого ИИ

В целом, 68% предприятий в настоящее время используют хотя бы одну технологию искусственного интеллекта, а остальные 32% планируют внедрить искусственный интеллект в будущем. На рис. 4.1 показаны типы технологий искусственного интеллекта, которые в настоящее время используются и планируются в этих компаниях. Чаще всего использовалась обработка и генерация естественного языка: 38% предприятий в настоящее время используют этот тип ИИ, а еще 27% планируют внедрить его в будущем. Представители сектора информации и коммуникаций, скорее всего, в настоящее время используют этот тип ИИ (54%).

Предприятия в сфере здравоохранения и социальной работы чаще, чем предприятия в целом, в настоящее время используют компьютерное зрение, обработку и генерацию изображений (42% по сравнению с 25% в целом). Предприятия в этом секторе также чаще используют оборудование, связанное с искусственным интеллектом (19% по сравнению с 9% в целом). Использование роботизированной автоматизации процессов было значительно выше среди крупных предприятий (23% по сравнению с 8% в целом).

Рисунок 4.1 Использование технологий искусственного интеллекта

В настоящее время использую

Не используется, но планирует принять в будущем

Не используется

Не знаю

Обработка и генерация естественного языка

38%

27%

31%

Машинное обучение

27%

28%

42%

Компьютерное зрение/обработка и генерация изображений

25%

20%

52%

Аппаратное обеспечение, связанное с ИИ

15%

67%

Роботизированная автоматизация процессов (RPA)

16%

71%

Источник: Исследование кибербезопасности ИИ. Вопрос Б1. Что касается следующих технологий искусственного интеллекта, не могли бы вы сообщить мне, использует ли ваша организация их в настоящее время (включая пилотное тестирование), не в настоящее время, но планируете внедрить их в будущем или не планирует их использовать. База: Все (350)

Из компаний, которые в настоящее время используют ИИ, 64% внедряли один тип технологии ИИ, 22% использовали два типа ИИ, а 14% использовали три или более. Между тем, среди предприятий, планирующих внедрить ИИ в будущем, 43% планировали внедрить один тип ИИ, 26% планировали внедрить два типа ИИ и 31% планировали внедрить три или более.

Рисунок 4.2. Количество технологий искусственного интеллекта, которые компании используют или планируют использовать

Источник: Исследование кибербезопасности ИИ. Количество технологий искусственного интеллекта из B1. База: те, кто в настоящее время использует ИИ (239), и те, кто не использует ИИ, но планирует это сделать в будущем (111).

Тех, кто в настоящее время использует ИИ, спросили, какие конкретные продукты ИИ они используют. Самым распространенным продуктом был ChatGPT (38%), за ним следовали:

15% — ИИ с аппаратными и физическими продуктами;
8% — инструменты искусственного интеллекта в офисе Microsoft (кроме второго пилота);
5% — второй пилот Microsoft;
5% — Близнецы (ранее Гугл Бард);
5% — Шалфей;
4% — инструмент искусственного интеллекта в творческом пакете Adobe; и
3% — Ксеро.

Остальные продукты искусственного интеллекта, используемые в настоящее время, упомянули не более 2% предприятий. Там, где были единичные упоминания о продуктах, они по-прежнему относились к категории «прочие» в наборе данных. 9% компаний, которые в настоящее время внедряют ИИ, не смогли назвать конкретный продукт.

Продолжительность использования ИИ

Более половины компаний используют каждый тип технологии искусственного интеллекта не менее одного года. Более половины компаний (52%), использующих ИИ в машинном обучении, делают это более 3 лет.

Рисунок 4.3 Продолжительность использования каждой технологии искусственного интеллекта

В настоящее время пилотный проект

Используется 1-3 года.

Используется более 3 лет

Не знаю

Роботизированная автоматизация процессов (RPA)

33%

56%

Машинное обучение

14%

27%

52%

Аппаратное обеспечение, связанное с ИИ

16%

31%

44%

Компьютерное зрение/обработка и генерация изображений

23%

39%

30%

Обработка и генерация естественного языка

39%

48%

10%

Источник: Исследование кибербезопасности ИИ. Внимание * означает малый базовый размер . Вопрос Б2. Пожалуйста, не могли бы вы сказать мне, тестирует ли ваша организация в настоящее время следующую технологию, использовала ли она ее в течение 1–3 лет или использовала более 3 лет. База: те, кто в настоящее время используют ИИ (239); RPA (27)*, машинное обучение (94), Аппаратное обеспечение, связанное с ИИ (32)*, Компьютерное зрение/обработка и генерация изображений (88) и Обработка и генерация естественного языка (132).

Среди тех, кто еще не внедрил ИИ, но планирует это сделать, чаще всего планировали сделать это более чем через год. Это справедливо для различных технологий искусственного интеллекта, как показано на рисунке 4.4. В следующем году, скорее всего, будут внедрены обработка и генерация естественного языка (18%), а также компьютерное зрение, обработка и генерация изображений (17%).

Значительное количество записей было «обратно закодировано» после полевых исследований. Именно здесь респонденты первоначально заявили, что они не использовали перечисленные технологии искусственного интеллекта, а вместо этого использовали альтернативную технологию, и поэтому им не задавали этот вопрос. После полевых исследований эти «другие» технологии были проверены, и выяснилось, что все они попадают в эти пять категорий ИИ, и впоследствии были обратно закодированы в соответствующую технологию.

Рисунок 4.4. Когда организации, которые в настоящее время не используют ИИ, планируют его внедрить

Планируем принять в следующем году

Планируем принять дальше в будущем

Нет ответа из-за обратного кодирования

Не знаю

Обработка и генерация естественного языка

18%

49%

24%

Компьютерное зрение/обработка и генерация изображений

17%

41%

35%

Аппаратное обеспечение, связанное с ИИ

54%

37%

Машинное обучение

44%

40%

Роботизированная автоматизация процессов (RPA)

30%

54%

Источник: Исследование кибербезопасности ИИ. Вопрос Б3. Пожалуйста, не могли бы вы сказать мне, планирует ли ваша организация внедрить следующую технологию в следующем году или планируете ли вы внедрять ее дальше в будущем. База: те, кто не использует ИИ, но планирует это сделать (111); Обработка и генерация естественного языка (94), Компьютерное зрение/обработка и генерация изображений (69), Аппаратное обеспечение, связанное с искусственным интеллектом (52), машинное обучение (98) и RPA (56).

Как был принят ИИ

Каждая технология искусственного интеллекта чаще всего внедрялась путем покупки внешнего программного обеспечения или готовых к использованию систем, как показано на рисунке 4.5. Примерно каждая пятая компания разработала машинное обучение (21%) и аппаратное обеспечение, связанное с искусственным интеллектом (19%), собственными силами. Разработка ИИ, скорее всего, была передана на аутсорсинг для аппаратного обеспечения, связанного с ИИ (34%).

Микропредприятия с меньшей вероятностью передавали на аутсорсинг разработку обработки и генерации естественного языка (5% против 14% среди предприятий в целом) и с большей вероятностью приобретали стороннее программное обеспечение или готовые к использованию системы для компьютерного зрения, обработки и генерации изображений (78% против 60% среди предприятий в целом).

Рисунок 4.5. Как была внедрена технология искусственного интеллекта

Разработано собственными силами (полностью или путем адаптации существующего программного обеспечения).

Путем покупки внешнего программного обеспечения или готовых к использованию систем.

Передал разработку приложений искусственного интеллекта внешним поставщикам

Не знаю

Отказался

Машинное обучение

21%

49%

23%

Аппаратное обеспечение, связанное с ИИ

19%

38%

34%

Компьютерное зрение/обработка и генерация изображений

15%

60%

14%

11%

Роботизированная автоматизация процессов (RPA)

15%

48%

22%

15%

Обработка и генерация естественного языка

14%

60%

14%

12%

Источник: Исследование кибербезопасности AI. Внимание * означает низкий базовый размер . Вопрос Б4. Как ваша организация внедрила следующую технологию: [Технология]. База: те, кто в настоящее время используют ИИ (239); машинное обучение (94), Аппаратное обеспечение, связанное с искусственным интеллектом (32) *, Компьютерное зрение/обработка и генерация изображений (88), RPA (27) * и Обработка и генерация естественного языка (132).

Причины использования технологии искусственного интеллекта

Чуть более трети компаний, которые в настоящее время используют ИИ, заявили, что делают это с целью экономии финансов или затрат своего бизнеса (35%). Те, кто заявил, что у них есть методы кибербезопасности, специально разработанные для существующих технологий искусственного интеллекта, с большей вероятностью сообщали об использовании искусственного интеллекта для экономии финансов или затрат по сравнению с теми, у кого таких методов не было (42% против 29%). 14% использовали ИИ для написания документов, 13% указали на скорость и эффективность, а еще 12% использовали его для создания контента в более широком смысле. 8% сообщили, что используют ИИ для улучшения качества или расширения предложения своих продуктов.

Рисунок 4.6 Причины использования технологии искусственного интеллекта

Финансовая/экономия затрат

35%

Помощь в написании документов

14%

Скорость и эффективность

13%

Для создания контента (не указано)

12%

Обслуживание клиентов

Улучшить качество/расширить предложение продуктов

Анализ данных / Исследования

Медицинская диагностика / Сканирование

В настоящее время экспериментируем/пилотируем/тестируем

Кибербезопасность

Связанные с оборудованием

Управление персоналом и поддержка обучения

Другой причиной

14%

Не знаю/Отказался

Источник: Исследование кибербезопасности ИИ. Вопрос Б5. По каким причинам ваша организация использует технологии искусственного интеллекта? База: Те, кто в настоящее время используют ИИ (239)

5. Практика кибербезопасности вокруг ИИ

В этой главе рассматриваются практики кибербезопасности организаций, связанные с технологиями искусственного интеллекта, которые они внедряют.

Практика кибербезопасности, непосредственно касающаяся ИИ

Из тех, кто в настоящее время использует технологии искусственного интеллекта, как показано на рисунке 5.1, две пятых (40%) заявили, что у них есть конкретные методы или процессы кибербезопасности, явно относящиеся к технологии искусственного интеллекта, которую они внедряют. Чуть менее половины (47%) заявили, что у них нет такой практики специально для ИИ, а 13% не были в этом уверены.

Микропредприятия и организации, использующие только одну технологию искусственного интеллекта, с меньшей вероятностью применяли методы кибербезопасности в отношении используемой ими технологии искусственного интеллекта (31% и 35% соответственно). Аналогичным образом, те, кто приобрел готовые продукты искусственного интеллекта, с меньшей вероятностью имели определенные методы работы (31%), в то время как те, кто передал разработку искусственного интеллекта на аутсорсинг, имели значительно больше шансов иметь существующие методы (63%). ^{[сноска 3]} Предприятия, которые разработали технологии искусственного интеллекта собственными силами, не имели ни большей, ни меньшей вероятности иметь конкретные методы или процессы кибербезопасности по сравнению с предприятиями в целом.

Среди тех, кто планирует использовать ИИ в будущем, половина (50%) заявили, что в их организации будут внедрены конкретные методы или процессы кибербезопасности, непосредственно касающиеся технологии ИИ, как только запланированные технологии будут развернуты. При этом 25% заявили, что у них не будет такой практики, а 25% выразили неуверенность.

Рисунок 5.1. Имеют ли организации или планируют иметь конкретные методы кибербезопасности, касающиеся технологии искусственного интеллекта.

Источник: Исследование кибербезопасности ИИ. Вопрос С1. Существуют ли в вашей организации конкретные методы или процессы кибербезопасности, касающиеся используемой вами технологии искусственного интеллекта? База: Те, кто в настоящее время использует технологии искусственного интеллекта (239). Вопрос С2. Будет ли в вашей организации применяться конкретные методы или процессы кибербезопасности, непосредственно относящиеся к технологии ИИ, после того, как запланированные вами технологии ИИ будут развернуты? База: планирующие использовать технологию искусственного интеллекта (111).

Из тех, кто имеет или собирается использовать определенные методы или процессы кибербезопасности с использованием ИИ, чуть более четверти упомянули о развертывании межсетевых экранов для ИИ (27%). Пятая часть организаций сообщили о том, что личные данные не передаются третьим лицам (19%). Как показано на рисунке 5.2, чуть менее трети (29%) не знали, какими именно являются или будут эти методы кибербезопасности. Хотя участники заявили, что они являются подходящим человеком для обсуждения кибербезопасности, некоторые из опрошенных не занимали ИТ-специальностей и, следовательно, могли быть причиной того, что они не были уверены в конкретных существующих практиках и процессах.

Рисунок 5.2. Процессы кибербезопасности, непосредственно относящиеся к технологиям искусственного интеллекта, которые в настоящее время развернуты или которые предприятия планируют внедрить.

Межсетевые экраны для ИИ

27%

Обеспечение того, чтобы личные данные не были переданы третьим лицам

19%

Мы нанимаем внешнего поставщика

Защита логина/пароля

Политика использования

Защита, встроенная в программное обеспечение

Разведка сигналов атаки на основе искусственного интеллекта (например, Vectra)

GDPR и оценка рисков защиты данных

Аккредитация Cyber Essentials

Киберстрахование

Обучение персонала вопросам кибербезопасности

Не знаю

29%

Источник: Исследование кибербезопасности ИИ. Вопрос С3. Пожалуйста, не могли бы вы кратко описать, что представляют собой/могут быть эти практики или процессы? База: те, кто имеет или собирается использовать определенные методы или процессы кибербезопасности с использованием ИИ (150).

Для тех, кто не имел или не собирался использовать конкретные методы или процессы кибербезопасности ИИ, было несколько ключевых причин, почему они не приняли конкретные методы. 14% не задумывались об этом или не считали, что знают об этом достаточно, а 14% заявили, что не используют ИИ для чего-то важного (и поэтому считают это ненужным). Примерно каждый десятый заявил, что ИИ недостаточно широко используется, чтобы гарантировать принятие конкретных мер (11%), и что он в любом случае входит в их общую практику кибербезопасности (10%). Те, кто покупал готовые продукты, чаще говорили, что ИИ недостаточно широко используется, чтобы гарантировать принятие конкретных мер кибербезопасности (18% против 11% в целом).

Две пятых (39%) всех компаний, принявших участие в опросе, заявили, что не существует каких-либо конкретных требований или функций кибербезопасности, которые, как они ожидают, будут встроены в модели и системы компаний, занимающихся искусственным интеллектом, а еще треть (33%) были неуверенны. Каждый десятый (11%) заявил, что ожидает встроенной защиты данных и конфиденциальности, причем этот показатель возрастает до 23% среди крупных организаций и до 17% среди тех, кто приобрел готовые инструменты искусственного интеллекта. Другие упомянули более высокий уровень безопасности (3%), обеспечение законности и надежности источников данных (2%) и защиту от хакерских/кибератак (2%). 3% заявили, что безопасность уже встроена в систему искусственного интеллекта. Микроорганизации чаще говорили, что не существует каких-либо конкретных кибертребований, которые они ожидали бы включить в модели и системы компаний, занимающихся искусственным интеллектом (47% против 39% в целом).

Из тех организаций, которые передали разработку своих технологий искусственного интеллекта на аутсорсинг, 81% заявили, что они не обнаружили уязвимости и не подверглись взлому в результате использования службы искусственного интеллекта, развернутой в их инфраструктуре. 11% выявили уязвимость, но не были взломаны, а 4% столкнулись со взломом. Существенных различий между подгруппами не наблюдалось.

6. Общие правила кибербезопасности

В этой последней главе рассматриваются общие практики кибербезопасности. Как было заявлено организациям, принявшим участие в опросе, это означает любую стратегию, процессы, методы или технологии, которые организации используют для защиты своих сетей, компьютеров, программ или данных, которые они хранят, от повреждения, атаки или несанкционированного доступа.

Общие практики кибербезопасности

Как показано на рисунке 6.1, результаты значительно различались в зависимости от размера организации. Крупные предприятия с большей вероятностью использовали все три этих механизма (88%, 93% и 81% соответственно). С другой стороны, микропредприятия, как правило, с меньшей вероятностью имели какие-либо из этих механизмов: 15% заявили, что у них их вообще нет. 7% всех предприятий не имели ни одного из перечисленных механизмов управления рисками, а 3% заявили, что не уверены.

Имелись также некоторые различия по секторам. Официальная политика или политики, охватывающие риски кибербезопасности, наиболее распространены среди тех, кто занимается здравоохранением и социальной работой (85%). План обеспечения непрерывности бизнеса, охватывающий вопросы кибербезопасности, наиболее распространен среди представителей финансовой и страховой деятельности (85%). Аутсорсинговый поставщик, который управляет их кибербезопасностью, был наиболее распространенным в группе секторов, состоящей из электроснабжения, газа и кондиционирования воздуха; Водоснабжение; Канализация, утилизация отходов и восстановительная деятельность; и «Транспортировка и хранение» (72%), а также в финансовой и страховой деятельности (72%). В организациях сектора информации и коммуникаций, а также финансовой и страховой деятельности чаще всего были члены совета директоров, отвечающие за кибербезопасность (69% и 72% соответственно).

Те, кто применял методы кибербезопасности специально для технологий искусственного интеллекта, с большей вероятностью имели:

Аутсорсинговый провайдер, который управляет их кибербезопасностью (67% против 58% в целом);
Наличие официальной политики или политик, охватывающих риски кибербезопасности (87% против 72% в целом);
План обеспечения непрерывности бизнеса, охватывающий кибербезопасность (83% против 67% в целом); и
Письменный список наиболее важных данных, систем или активов, которые организация хочет защитить (75% против 64% в целом).

Рисунок 6.1 Действующие в настоящее время механизмы управления или управления рисками

Все

Крупные организации (250+ сотрудников)

Микроорганизации (1-9 сотрудников)

Действующая официальная политика или политики

72%

88%

60%

План непрерывности бизнеса

67%

93%

51%

Письменный список критически важных данных, систем или активов.

64%

81%

46%

Аутсорсинговый провайдер кибербезопасности

58%

44%

52%

Члены правления, отвечающие за кибербезопасность

55%

60%

52%

Ничего из этого

15%

Не знаю

Источник: Исследование кибербезопасности ИИ. Вопрос Д1. Какие из следующих механизмов корпоративного управления или управления рисками (если таковые имеются) у вас имеются? База: Все (350).

На вопрос о конкретных стандартах или аккредитациях кибербезопасности, как показано на рисунке 6.2, 34% организаций ответили, что придерживаются стандарта безопасности данных индустрии платежных карт (PCI DSS). Это сопоставимо с 27% предприятий в Обзоре нарушений кибербезопасности за 2023 год. ^{[сноска 4]} Примерно три из десяти (29%) придерживались стандарта Cyber Essentials, а еще 12% следовали стандарту Cyber Essentials Plus (по сравнению с 5% и 2% соответственно в Обзоре нарушений кибербезопасности). Чуть менее одной пятой (18%) соответствовали стандарту ISO 27000 (по сравнению с 9% предприятий, которые придерживались ISO 27001 в исследовании нарушений кибербезопасности), а 14% следовали требованиям любого Национального института стандартов и технологий (NIST). стандартов (по сравнению с 3% предприятий, которые придерживались ISO 27001 в исследовании нарушений кибербезопасности). Около четверти организаций не соблюдали ни один из этих стандартов (26%), а 14% не знали об этом.

Рисунок 6.2 Стандарты или аккредитации, которых придерживаются организации

Стандарт безопасности данных индустрии платежных карт (PCI DSS)

34%

Стандарт Cyber Essentials

29%

Стандарт ИСО 27000

18%

Любые стандарты Национального института стандартов и технологий (NIST)

14%

Стандарт Cyber Essentials Plus

14%

Ничего из этого

26%

Не знаю

14%

Источник: Исследование кибербезопасности ИИ. Вопрос Д2. Каких из следующих стандартов или аккредитаций, если таковые имеются, придерживается ваша организация? База: Все (350)

Стандарт Cyber Essentials чаще придерживались крупные и средние предприятия (49% и 44% соответственно), а также предприятия информационно-коммуникационного сектора (46%).

Стандарт Cyber Essentials Plus чаще придерживались представители среднего бизнеса и предприятий информационно-коммуникационного сектора (25% и 23% соответственно).

Крупные предприятия с большей вероятностью будут соблюдать стандарты Национального института стандартов и технологий (NIST) (33%).

Стандарт безопасности данных индустрии платежных карт с большей вероятностью будут соблюдать представители оптовой и розничной торговли (49%), а стандарт ISO 27000 с большей вероятностью будут соблюдать представители сектора информации и коммуникаций (31%) .

При этом микропредприятия и предприятия сферы профессиональной, научной и технической деятельности с большей вероятностью не придерживались ни одного из этих стандартов (40% и 42% соответственно).

За последние 12 месяцев чуть более трех четвертей (78%) предприятий предприняли хотя бы одну из мер, перечисленных на рисунке 6.3, в целях выявления рисков кибербезопасности. Это сопоставимо с 51% предприятий, которые приняли хотя бы одну меру в Обзоре нарушений кибербезопасности 2023 года. ^{[сноска 5]} Наиболее распространенными мерами, принимаемыми организациями, было проведение оценки риска, охватывающей риск кибербезопасности (59% по сравнению с 29 % предприятий, участвовавших в исследовании нарушений кибербезопасности), или инвестировать в конкретные инструменты, предназначенные для мониторинга безопасности, такие как системы обнаружения вторжений (55% по сравнению с 30% предприятий, участвовавших в исследовании нарушений кибербезопасности). Представители сектора «Финансовая и страховая деятельность», скорее всего, проводили оценку рисков, охватывающую риски кибербезопасности (74%), а представители сектора «Информация и связь», скорее всего, использовали специальные инструменты, предназначенные для мониторинга безопасности (75%).

Чуть менее половины (48%) провели аудит уязвимостей кибербезопасности (по сравнению с 15% предприятий в Обзоре нарушений кибербезопасности), увеличившись до 65% предприятий в секторе информации и коммуникаций и 64% предприятий в финансовом секторе. и сектор страховой деятельности.

Две пятых (40%) проверяли осведомленность персонала, например, с помощью имитационных упражнений по фишингу. Для сравнения: в исследовании нарушений кибербезопасности участвовало 19% предприятий. Треть предприятий (33%) провели тестирование на проникновение по сравнению с 11% предприятий в исследовании нарушений кибербезопасности. Около четверти предприятий (24%) использовали или инвестировали в разведку об угрозах по сравнению с 9% предприятий в исследовании нарушений кибербезопасности.

Крупные предприятия с большей вероятностью принимали какие-либо меры, перечисленные на рисунке 6.3, чем в среднем по предприятиям с численностью менее 250 сотрудников.

15% предприятий не предприняли ни одной из мер, перечисленных в опросе, для выявления рисков кибербезопасности для своих организаций, а среди микропредприятий эта цифра выросла до одной четверти (25%). 7% не знали, осуществляла ли их организация какую-либо из этих мероприятий.

Рисунок 6.3 Действия, предпринятые для выявления рисков кибербезопасности за последние 12 месяцев

Оценка рисков, охватывающая риски кибербезопасности

59%

Использовались специальные инструменты, предназначенные для мониторинга безопасности, такие как системы обнаружения вторжений.

55%

Аудит уязвимостей кибербезопасности

48%

Проверка осведомленности и реагирования персонала (например, с помощью имитационных упражнений по фишингу)

40%

Проверка на проницаемость

33%

Использовали или инвестировали в разведку угроз

24%

Ничего из этого

15%

Не знаю

Источник: Исследование кибербезопасности ИИ. Вопрос Д3. Что из перечисленного (если таковое было) вы предприняли за последние 12 месяцев для выявления рисков кибербезопасности вашей организации? База: Все (350)

7. Приложение: Глоссарий

Искусственный интеллект (ИИ) : более широкая область, охватывающая системы, основанные на знаниях, системы, управляемые данными, и системы с поддержкой машинного обучения, включая классическое машинное обучение (обучение с учителем, обучение без учителя), глубокое обучение и обучение с подкреплением, что относится к разработке систем. который может выполнять задачи, требующие человеческого интеллекта.

Машинное обучение : включает алгоритмы, которые могут получать знания из данных и генерировать классификацию, прогнозы или шаблоны без явного программирования, чему способствуют помеченные данные (обучение с учителем) или немаркированные данные (обучение без учителя).

Компьютерное зрение/обработка и генерация изображений : использование программирования искусственного интеллекта для создания, генерации, анализа, интерпретации и манипулирования цифровыми изображениями.

Аппаратное обеспечение, связанное с искусственным интеллектом : примеры включают чипы для периферийных вычислений, квантовое оборудование, интегральные схемы специального назначения (ASIC), нейроморфное оборудование и программируемую вентильную матрицу (FPGA).

Обработка и генерация естественного языка : использование программирования искусственного интеллекта для создания письменных или устных повествований из набора данных, включая создание компьютерного кода или расшифровку аудио в текст в реальном времени.

Робототехническая автоматизация процессов (RPA) : программная технология, которая упрощает создание, развертывание и управление программными роботами, которые имитируют действия людей, взаимодействующих с цифровыми системами и программным обеспечением.

Понимание внедрения ИИ и настроений среди людей и предприятий в Великобритании – Управление национальной статистики (ons.gov.uk) , июнь 2023 г. ↩
Понимание внедрения ИИ и настроений среди людей и предприятий в Великобритании – Управление национальной статистики (ons.gov.uk) , июнь 2023 г. ↩
Базовый размер предприятий, передавших разработку ИИ на аутсорсинг, невелик (35), поэтому к полученным результатам следует относиться с осторожностью. ↩
Исследование нарушений кибербезопасности, 2023 г. — GOV.UK (www.gov.uk) ↩
Исследование нарушений кибербезопасности, 2023 г. — GOV.UK (www.gov.uk) ↩

WikiVisa — ВикиВиза — VikiVisa

Исследования и анализ

Исследование кибербезопасности ИИ – технический отчет

Опубликовано 15 мая 2024 г.

1. Введение

Фон

Искусственный интеллект — это более широкая область, охватывающая системы, основанные на знаниях, системы, управляемые данными, и системы с поддержкой машинного обучения, включая классическое машинное обучение (обучение с учителем, обучение без учителя), глубокое обучение и обучение с подкреплением, подразумевая разработку систем, которые могут выполнять задачи, требующие человеческого интеллекта. Использование ИИ растет. По оценкам, в апреле 2023 года 16% всех предприятий Великобритании внедрили хотя бы одну технологию искусственного интеллекта [1] , и с появлением более доступных и мощных моделей генеративного искусственного интеллекта это число, вероятно, значительно увеличится. Растущее использование ИИ в бизнесе открывает огромные возможности; однако без соответствующих гарантий существуют также значительные риски. Это особенно касается кибербезопасности, которая является важным предварительным условием безопасности систем искусственного интеллекта. Именно в этом контексте DSIT поручил IFF Research провести первичное исследование среди британских предприятий.

Научно-исследовательские цели

Основные цели исследования заключались в том, чтобы понять:

Какие типы технологий используются и для каких целей;
Практика кибербезопасности бизнеса – в общих чертах и конкретно для ИИ;
Будущие планы бизнеса в отношении искусственного интеллекта и кибербезопасности; и
Как эти виды деятельности и отношения различаются между предприятиями в разных секторах и разного размера.

Этот отчет

Этот отчет дополняет основной отчет и содержит более подробную информацию о подходе к исследованию, включая информацию о когнитивном интервью, пилотных полевых работах, выборке, взвешивании, анализе данных и результатах выборки.

2. Методология

Дизайн исследования

Опрос был направлен на создание надежной выборочной базы предприятий, которые внедрили хотя бы одну технологию искусственного интеллекта, а также предприятий, которые планировали внедрить искусственный интеллект в будущем, чтобы обеспечить возможность получения надежных результатов. Количественное исследование включало два этапа. Во-первых, в период с 10 по 12 января 2024 года был проведен пилотный телефонный опрос из 20 интервью. Пилотный опрос позволил получить первоначальное представление о доле предприятий, которые могут отсеять неиспользование или рассмотрение возможности использования ИИ.

Основной телефонный опрос, состоящий из 350 интервью с предприятиями различного размера и отрасли, был проведен в период с 24 января по 13 февраля 2024 года. Интервью длились в среднем около 15 минут. Копию анкеты можно найти в Приложении.

Секторы интересов

Исследование было нацелено на британские предприятия, которые в настоящее время используют или планируют использовать ИИ в следующих секторах:

D,E,H: Электроснабжение, газ и кондиционирование воздуха; Водоснабжение; Канализация, утилизация отходов и восстановительная деятельность; Транспортировка и хранение
С: Производство
Г: Оптовая и розничная торговля
J: Информация и коммуникация
К: Финансовая и страховая деятельность
М: Профессиональная, научная и техническая деятельность
Вопрос: Деятельность в области здравоохранения и социальной работы

Секторы были выбраны путем картирования секторов SIC, где внедрение ИИ, вероятно, будет высоким, а также секторов критической национальной инфраструктуры, где, вероятно, будут существовать наибольшие социальные последствия от использования уязвимостей кибербезопасности. Выбранный список секторов был составлен на основе нескольких источников данных, в том числе отчета ONS «Понимание восприятия ИИ и настроений среди людей и предприятий в Великобритании, июнь 2023 года», а также отчета Департамента цифровых технологий, культуры, СМИ и спорта (DCMS) «AI». Активность в бизнесе Великобритании», отчет.

Выборка

Выборка для опроса была получена из Market Location, коммерческой базы данных предприятий Великобритании. На этапе составления выборки не было возможности узнать, входят ли предприятия в исследование или нет, поэтому необходимо было проверить это с помощью вопроса на этапе набора персонала. Была приобретена выборка из 21 000 предприятий, чтобы обеспечить достаточное количество записей, по которым можно позвонить и добиться желаемого количества интервью как для пилотной, так и для основной стадии полевой работы.

3. Пилотные полевые работы

В преддверии основного этапа количественных полевых исследований компания IFF Research провела пилотную анкету в период с 10 по 12 января 2024 года. Эти интервью проводились по телефону интервьюерами IFF, поэтому в условиях, повторяющих то, как будет проходить основной этап полевых исследований.

Всего было проведено 20 интервью: 12 с предприятиями, которые в настоящее время используют ИИ, и 8 с теми, кто планирует внедрить его в будущем. Средняя продолжительность опроса составила 14 минут 53 секунды.

Проведенные интервью и процент ответов

Всего для пилотного проекта было загружено 1200 записей. В таблице 3.1 представлены результаты вызовов для вызываемых записей.

Таблица 3.1. Сводная информация о результатах звонков во время пилотного проекта

Описание	Число
Доступен пилотный образец	1200
Завершенный	20
Отсеивание (S2/A1/B1) — организация не использовала ИИ и не рассматривает возможность его внедрения в будущем (в среднем 12 % подключенных вызовов).	131
Отказ ответчика	44
Отказ – недоступен в период полевых работ	10
Контакт установлен – нет определенного результата	526
Прямого контакта с респондентом не было.	381
Недоступно (например, неверный номер, не обслуживается)	88

Профиль пилотных респондентов

В таблицах 3.2 и 3.3 показаны итоги с разбивкой по размеру бизнеса и сектору (для пилотного проекта квоты не были установлены).

Таблица 3.2 Профиль предприятий по размеру

Размер бизнеса	Частота
Микро: 1-9 сотрудников	12
Малый: 10-49 сотрудников	3
Средний: 50-249 сотрудников	3
Большой: 250+ сотрудников	2

Таблица 3.3 Профиль предприятий по секторам

Сектор бизнеса	Частота
Производство	1
Оптовая и розничная торговля	1
Информация и коммуникация	6
Профессиональная, научная и техническая деятельность	11
Деятельность в области здравоохранения и социальной работы	1

Результаты пилотного проекта

В целом пилотный проект показал, что анкета работает хорошо и не требует существенных изменений для основного этапа полевых работ. После завершения пилотного проекта в анкету были внесены только два основных изменения.

Вопрос B1 состоял из списка различных технологий искусственного интеллекта, который был зачитан респондентам, чтобы они могли сказать по каждому из них, использует ли их организация их в настоящее время (включая пилотные проекты), не в настоящее время, но планирует внедрить их в будущем или не имеет планов. чтобы использовать его. Этот вопрос был пересмотрен для основного этапа, чтобы включить конкретные примеры различных технологий искусственного интеллекта, чтобы помочь предприятиям распознать инструменты искусственного интеллекта, которые они могут использовать. Вопрос также был обновлен, чтобы уточнить, что нас интересуют существующие инструменты ИИ, а также инструменты ИИ, которые они разрабатывают сами.

В вопросе C3 компаниям предлагалось кратко обобщить конкретные методы или процессы кибербезопасности, которые они используют в отношении технологии искусственного интеллекта, которую они внедряют, или те, которые они планируют использовать для будущих технологий искусственного интеллекта. Во время пилотных полевых исследований это был вопрос с открытым текстом, однако пилотные ответы использовались для введения некоторых предварительных кодов для вопроса, основанных на наиболее распространенных ответах. Это сокращает время, которое интервьюер тратит на вопрос, и впоследствии экономит время респондента.

4. Основная полевая работа

Основной этап полевых работ проводился с использованием компьютерного телефонного интервью (CATI) в период с 24 января по 13 февраля 2024 года. Интервью длились в среднем 15 минут.

Группа, проводившая интервью, попросила поговорить с человеком, ответственным за кибербезопасность в организации. Опрошенные участники занимали различные должности, часто входящие в сферу ИТ или операций, например: руководитель ИТ-отдела, ИТ-директор/менеджер, операционный директор/менеджер, менеджер по развитию бизнеса и офис-менеджер.

Цели интервью

Целью данного исследования было опросить в общей сложности 350 британских предприятий, поровну распределенных по семи (сгруппированным) секторам, как показано в Таблице 4.1.

Таблица 4.1. Цели интервью по секторам

Сектор	Цель
D, E, H: Электроснабжение, газ и кондиционирование воздуха; Водоснабжение; Канализация, утилизация отходов и восстановительная деятельность; Транспортировка и хранение	50
С: Производство	50
Г: Оптовая и розничная торговля	50
J: Информация и коммуникация	50
К: Финансовая и страховая деятельность	50
М: Профессиональная, научная и техническая деятельность	50
Вопрос: Деятельность в области здравоохранения и социальной работы	50

Проведенные интервью и процент ответов

Профиль участвующих предприятий

Всего было проведено 350 интервью, разделенных по размеру и сектору в Таблице 4.2.

Таблица 4.2. Профиль участвующих предприятий

Сектор	Микро (1-9)	Маленький (10-49)	Средний (50-249)	Большой (250+)	Общий
D, E, H: Электроснабжение, газ и кондиционирование воздуха; Водоснабжение; Канализация, утилизация отходов и восстановительная деятельность; Транспортировка и хранение	11	21	13	5	50
С: Производство	18	16	8	8	50
Г: Оптовая и розничная торговля	20	12	10	8	50
J: Информация и коммуникация	23	18	6	3	50
К: Финансовая и страховая деятельность	27	15	4	4	50
М: Профессиональная, научная и техническая деятельность	23	11	11	5	50
Вопрос: Деятельность в области здравоохранения и социальной работы	14	17	9	10	50
Общий	136	110	61	43	350

Результаты звонков и процент ответов на опросы

Результат звонка определяется как определенный ответ на приглашение к опросу, т.е. было ли проведено интервью или интервью не удалось провести и причина была установлена. Среди 10 924 предприятий, которым звонили хотя бы один раз, доля ответивших на опрос составила 3% (показано в Таблице 4.3). Сюда входили предприятия, где окончательный результат не был достигнут, например, где группа, проводившая интервью, не смогла дозвониться до нужного человека, где была назначена встреча, чтобы перезвонить позже, или где или куда поступил звонок автоответчик. Среди 2193 предприятий, где был достигнут определенный результат звонка, уровень отклика составил 16% (показано в Таблице 4.4).

Таблица 4.3. Нескорректированная доля ответов

Описание	Число	%
Всего записей, вызванных хотя бы один раз	10 924	100%
Завершенный	350	3%
Отсеивание — организация не использует ИИ и не рассматривает возможность его внедрения в будущем.	1059	10%
Отказ ответчика	486	4%
Респондент недоступен во время полевых исследований	234	2%
Контакт установлен – нет определенного результата	2707	25%
Прямого контакта с респондентом не было.	5,056	46%
Превышение квоты	64	1%
Недоступно (например, неверный номер, не обслуживается)	968	9%

Таблица 4.4. Скорректированная доля ответов на основе окончательного результата звонка

Описание	Число	%
Окончательный результат звонка	2193	100%
Завершенный	350	16%
Отсеивание — организация не использовала ИИ и не рассматривает возможность его внедрения в будущем.	1059	48%
Отказ ответчика	486	22%
Респондент недоступен во время полевых исследований	234	11%
Превышение квоты	64	3%

Причины отказа от использования ИИ

Среди 193 ответивших компаний наиболее распространенной причиной было то, что они не выявили потребности в ИИ, в том числе считали его неактуальным для своего сектора или отрасли (44%). 10% заявили, что не думали об ИИ или недостаточно знают о нем и не интересуются им, например, предпочитая человеческое взаимодействие (9%). 8% считают ИИ ненужным из-за небольшого размера своего бизнеса, 6% заявили, что им не хватает времени или ресурсов для его настройки, а 6% обеспокоены безопасностью моделей и систем ИИ, включая безопасность и конфиденциальность данных.

Анализ и взвешивание данных

Крупный и средний бизнес в этом опросе перепредставлен по сравнению с бизнесом. Это было осознанное решение: Департаменту требовалась обширная выборочная база данных видов бизнеса. Поэтому был рассмотрен вопрос о взвешивании по размеру и сектору. Однако, поскольку количество интервью невелико, веса были сочтены слишком большими для применения и оказали бы значительное негативное влияние на эффективный размер базы. В частности, это означало бы, что невозможно было бы сообщить о результатах деятельности предприятий определенного размера или сектора. Таким образом, результаты опроса нельзя считать репрезентативными для деловых кругов, однако они все же могут дать полезную информацию о поведении принявших участие предприятий.

5. Приложение: Анкета

Скринер

СПРОСИТЬ ТЕЛЕФОНИСТУ

С1. Доброе утро/день. Меня зовут, я звоню из IFF Research. Могу ли я поговорить с [ЕСЛИ НАЗВАН КОНТАКТ: ] [ЕСЛИ НЕТ НАЗВАН КОНТАКТ: лицо, ответственное за кибербезопасность в вашей организации]?

ЕСЛИ НЕОБХОДИМО:

В их число могут входить сотрудники вашей организации, занимающие такие должности, как:

Главный информационный директор (CIO)
Главный технический директор (CTO)
Директор по информационной безопасности (CISO)
Директор по безопасности
Руководитель отдела кибербезопасности/информационной безопасности
Старшая ИТ-должность (например, ИТ-директор)

ДОБАВЬТЕ, ЕСЛИ НЕОБХОДИМО: Мы проводим опрос от имени Департамента науки, инноваций и технологий, чтобы улучшить понимание департаментом того, как искусственный интеллект (ИИ) используется предприятиями в ключевых секторах и как предприятия реализуют методы и процессы кибербезопасности. вокруг технологии искусственного интеллекта, которую они внедряют. Результаты этого опроса предоставят бесценную информацию для разработки политики в этой области.

Результат звонка	Код	Действие
Перенесено	1	ПРОДОЛЖАТЬ
Трудное назначение	2	НАЗНАЧИТЬ ВСТРЕЧУ
Мягкая встреча	3	НАЗНАЧИТЬ ВСТРЕЧУ
Помолвлен	4	ПЕРЕЗВОНИТЬ
Отказ	5	ЗАКРЫВАТЬ
Отказ – политика компании	6	ЗАКРЫВАТЬ
Отказ – Принимал участие в недавнем опросе.	7	ЗАКРЫВАТЬ
На сайте никто не может ответить на вопросы	8	ЗАКРЫВАТЬ
Недоступно в срок	9	ЗАКРЫВАТЬ
Факс	10	ЗАКРЫВАТЬ
Нет ответа/ответить на телефон	11	ЗАКРЫВАТЬ
Жилой номер	12	ЗАКРЫВАТЬ
Крайний срок	13	ЗАКРЫВАТЬ
Компания закрыта	14	ЗАКРЫВАТЬ
Запросить электронное письмо с подтверждением	—	СОБЕРИТЕ АДРЕС ЭЛЕКТРОННОЙ ПОЧТЫ, ЗАТЕМ ПРОДОЛЖИТЕ ИЛИ НАЗНАЧИТЕ ВСТРЕЧУ

СПРОСИТЬ ВСЕХ

С2. Доброе утро/день, меня зовут ИМЯ, я звоню из IFF Research, независимой компании по исследованию рынка. Мы проводим опрос от имени Департамента науки, инноваций и технологий.

Они хотят улучшить свое понимание того, как искусственный интеллект (ИИ) используется предприятиями в ключевых секторах и как предприятия реализуют методы и процессы кибербезопасности вокруг развертываемых ими технологий ИИ.

Опрос займет всего около 10 минут, а результаты этого опроса предоставят бесценную информацию для разработки политики в этой области. Не подходящее ли сейчас время обсудить с вами несколько вопросов?

Все, что вы скажете, будет храниться в строжайшей конфиденциальности, и Департаменту науки, инноваций и технологий не будет сообщено, кто принял участие. В рамках наших процедур контроля качества все интервью записываются автоматически.

ДОБАВЬТЕ, ЕСЛИ НЕОБХОДИМО: Мы заинтересованы в общении с вами, даже если ваша организация в настоящее время не использует технологии искусственного интеллекта, но вы можете рассмотреть возможность их внедрения в будущем.

Результат звонка	Код	Действие
Продолжать	1	ПРОДОЛЖАТЬ
Направлено кому-то другому в заведении	2	ПЕРЕДАЧА И ВНОВЬ ВНЕДРЕНИЕ
Трудное назначение	3	НАЗНАЧИТЬ ВСТРЕЧУ
Мягкое назначение	4	НАЗНАЧИТЬ ВСТРЕЧУ
Отказ	5	СПАСИБО И ЗАКРЫВАЕМ
Отказ. Организация не использовала ИИ и не рассматривает возможность его внедрения в будущем.	6	СПАСИБО И ЗАКРЫВАЕМ
Отказ – политика компании	7	СПАСИБО И ЗАКРЫВАЕМ
Отказ – принимал участие в недавнем опросе	8	СПАСИБО И ЗАКРЫВАЕМ
Недоступно в срок	9	СПАСИБО И ЗАКРЫВАЕМ
Запросить электронное письмо с подтверждением	—	СОБЕРИТЕ АДРЕС ЭЛЕКТРОННОЙ ПОЧТЫ, ЗАТЕМ ПРОДОЛЖИТЕ ИЛИ НАЗНАЧИТЕ ВСТРЕЧУ (ТЕКСТ ЭЛЕКТРОННОЙ ПОЧТЫ СМ. В ПРИЛОЖЕНИИ)

ЗАВЕРЕНИЯ, МОЖНО ИСПОЛЬЗОВАТЬ ПРИ НЕОБХОДИМОСТИ

Проведение собеседования займет около 10 минут.

Обратите внимание, что все данные будут представлены в совокупной форме, и ваши ответы не будут переданы в Министерство науки, инноваций и технологий каким-либо образом, который позволит идентифицировать вас или ваш бизнес.

Если вам нужна дополнительная информация о том, как IFF обрабатывает и обрабатывает личные данные, а также информацию о ваших правах в соответствии с правилами защиты данных на доступ к вашим личным данным, отзыв согласия или возражение против обработки ваших личных данных, вы можете посетить: https: //www.iffresearch.com/privacy-policy/

Если респондент желает подтвердить достоверность опроса или получить дополнительную информацию о целях и задачах, он может обратиться:

IFF, по вопросам исследования: AISecurityPractices@iffresearch.com
DSIT, чтобы подтвердить подлинность опроса: cybersurveys@dsit.gov.uk
MRS (Общество маркетинговых исследований) для подтверждения того, что IFF является настоящей исследовательской компанией: 0800 975 9596, www.mrs.org.uk.

А. Предыстория организации

ЧИТАЙТЕ ВСЕМ:

Я хотел бы начать с получения некоторых подробностей о вашей организации.

СПРОСИТЬ ВСЕХ

А1. Используете ли вы или планируете использовать какие-либо инструменты искусственного интеллекта в бизнесе?

Это может быть на любом уровне и для любой задачи, включая новейшие генеративные инструменты, такие как ChatGPT, Microsoft Co-pilot, и более сложные решения, включая машинное обучение и роботизированную автоматизацию. Нас интересуют инструменты искусственного интеллекта, которые вы, возможно, разрабатываете сами, а также существующие готовые инструменты искусственного интеллекта.

НЕ ЗАЧИТЫВАЙТЕ. ОДИН КОД.

Да	1
Нет	2
Не знаю	3	СПАСИБО И ЗАКРЫТЬ: Мы хотим поговорить с организациями, которые используют или планируют использовать ИИ. Спасибо за ваше время сегодня.
Отказался	4	СПАСИБО И ЗАКРЫТЬ: Мы хотим поговорить с организациями, которые используют или планируют использовать ИИ. Спасибо за ваше время сегодня.

ЕСЛИ НЕ ИМЕЕТ ПЛАНОВ ПО ВНЕДРЕНИЮ ТЕХНОЛОГИЙ ИИ (A1=2)

А2. Что помешало вашей организации внедрить технологии искусственного интеллекта?

ЕСЛИ РЕСПОНДЕНТ ГОВОРИТ, ЧТО ОНИ ЯВЛЯЮТСЯ МАЛЫМ БИЗНЕСОМ, УЗНАЙТЕ, ЯВЛЯЕТСЯ БАРЬЕРОМ ФИНАНСОВЫЕ ЗАТРАТЫ, НЕЗНАННОСТЬ ИЛИ ПРОСТО СЧИТАЕТ ИИ НЕНУЖНЫМ

НЕ ЗАЧИТЫВАЙТЕ. МУЛЬТИ КОД

Обеспокоенность по поводу безопасности моделей и систем ИИ (включая безопасность/конфиденциальность данных)	1	СПАСИБО И ЗАКРЫТЬ: Спасибо вам за это. Остальная часть опроса актуальна только для организаций, которые используют или планируют использовать ИИ. Спасибо за ваше время сегодня.
Финансовые затраты	2	СПАСИБО И ЗАКРЫТЬ: Спасибо вам за это. Остальная часть опроса актуальна только для организаций, которые используют или планируют использовать ИИ. Спасибо за ваше время сегодня.
Организации не хватает технических ресурсов	3	СПАСИБО И ЗАКРЫТЬ: Спасибо вам за это. Остальная часть опроса актуальна только для организаций, которые используют или планируют использовать ИИ. Спасибо за ваше время сегодня.
Организация неясна в целях использования ИИ	4	СПАСИБО И ЗАКРЫТЬ: Спасибо вам за это. Остальная часть опроса актуальна только для организаций, которые используют или планируют использовать ИИ. Спасибо за ваше время сегодня.
Не выявили в этом необходимости (в т.ч. не актуально для сектора/отрасли)	5	СПАСИБО И ЗАКРЫТЬ: Спасибо вам за это. Остальная часть опроса актуальна только для организаций, которые используют или планируют использовать ИИ. Спасибо за ваше время сегодня.
Не думал об этом/не знаю об этом достаточно	6	СПАСИБО И ЗАКРЫТЬ: Спасибо вам за это. Остальная часть опроса актуальна только для организаций, которые используют или планируют использовать ИИ. Спасибо за ваше время сегодня.
Сочтено ненужным из-за небольшого размера бизнеса.	7	СПАСИБО И ЗАКРЫТЬ: Спасибо вам за это. Остальная часть опроса актуальна только для организаций, которые используют или планируют использовать ИИ. Спасибо за ваше время сегодня.
Другое (пожалуйста укажите)	8	СПАСИБО И ЗАКРЫТЬ: Спасибо вам за это. Остальная часть опроса актуальна только для организаций, которые используют или планируют использовать ИИ. Спасибо за ваше время сегодня.
Не знаю	9	СПАСИБО И ЗАКРЫТЬ: Спасибо вам за это. Остальная часть опроса актуальна только для организаций, которые используют или планируют использовать ИИ. Спасибо за ваше время сегодня.
Отказался	10	СПАСИБО И ЗАКРЫТЬ: Спасибо вам за это. Остальная часть опроса актуальна только для организаций, которые используют или планируют использовать ИИ. Спасибо за ваше время сегодня.

СПРОСИТЬ ВСЕХ

А3. Главный штаб вашей организации находится в Великобритании?

НЕ ЗАЧИТЫВАЙТЕ. ОДИН КОД.

Да	1
Нет	2
Отказался	3	СПАСИБО И ЗАКРЫВАЕМ

ЕСЛИ ГЛАВНЫЙ ШТАБ-КВАРТИРА НАХОДИТСЯ НЕ В ВЕЛИКОБРИТАНИИ (A3=2)

А4. Доступны ли ваши продукты и/или услуги для продажи в Великобритании?

НЕ ЗАЧИТЫВАЙТЕ. ОДИН КОД.

Да	1
Нет	2	СПАСИБО И ЗАКРЫВАЕМ
Отказался	3	СПАСИБО И ЗАКРЫВАЕМ

СПРОСИТЬ ВСЕХ

А5. Что из этого лучше всего отражает размер вашей организации, исходя из количества сотрудников, работающих в вашей организации, включая вас самих?

ЗАЧИТАТЬ. ОДИН КОД

Микро: 1-9 сотрудников	1
Малый: 10-49 сотрудников	2
Средний: 50-249 сотрудников	3
Большой: 250+ сотрудников	4
Не знаю	5	СПАСИБО И ЗАКРЫВАЕМ
Отказался	6	СПАСИБО И ЗАКРЫВАЕМ

СПРОСИТЬ ВСЕХ

А6. У меня есть [ПРИМЕР СЕКТОРА] в качестве общего описания основной деятельности вашей компании. Учитывая, что это лишь общее описание, правильно ли это звучит?

Да	1
Нет	2
Не знаю	3

ЕСЛИ НЕ СОГЛАСЕН С СЕКТОРОМ ОБРАЗЦА (A6=2/3)

А7. Какова основная деятельность вашей компании?

ИНТЕРВЬЮЕР ПРОСМОТРИТ СЛЕДУЮЩЕЕ: НАЧНИТЕ С ПЕРВОГО И ИСПОЛЬЗУЙТЕ ДРУГИЕ ТОЛЬКО ЕСЛИ НЕОБХОДИМО ПОЛУЧИТЬ ЧЕТКУЮ ИНФОРМАЦИЮ • Каков основной продукт или услуга этого учреждения? • Что именно производится или делается в этом заведении?


НАПИСАТЬ В. БУДЕТ БЫТЬ КОДИРОВАН 4-ЗНАЧНЫМ SIC 2007.

Не знаю	2
Отказался	3

B Использование ИИ

ЧИТАЙТЕ ВСЕМ:

Мои следующие вопросы касаются использования вашей организацией искусственного интеллекта (ИИ).

СПРОСИТЬ ВСЕХ

Б1. Что касается следующих технологий искусственного интеллекта, не могли бы вы сообщить мне, использует ли ваша организация их в настоящее время (включая пилотное тестирование), не в настоящее время, но планируете внедрить их в будущем или не планирует их использовать.

ПРИМЕЧАНИЕ ДЛЯ ИНТЕРВЬЮЕРА/ДОБАВЬТЕ, ЕСЛИ НЕОБХОДИМО: Нас интересуют инструменты ИИ, которые вы, возможно, разрабатываете сами, а также существующие готовые инструменты ИИ.

ЗАЧИТАТЬ. ОДИН КОД ДЛЯ КАЖДОГО

Технологии	В настоящее время использую	Не используется, но планирует принять в будущем	Не используется	Не знаю	Отказался
_1 Машинное обучение ДОБАВЬТЕ, ЕСЛИ НЕОБХОДИМО: это отрасль искусственного интеллекта, которая фокусируется на использовании данных и алгоритмов для имитации способа обучения людей, постепенно повышая его точность. Примеры инструментов искусственного интеллекта включают машинное обучение Microsoft Azure, IBM Watson и Google TensorFlow.
_2 Обработка и генерация естественного языка. ДОБАВЬТЕ, ЕСЛИ НЕОБХОДИМО: Это использование программирования искусственного интеллекта для создания письменных или устных повествований из набора данных, включая создание компьютерного кода или транскрибирование аудио в текст в реальном времени. Примеры инструментов искусственного интеллекта включают ChatGPT и Bard.
_3 Компьютерное зрение/обработка и генерация изображений ДОБАВЬТЕ, ЕСЛИ НЕОБХОДИМО: Это использование программирования искусственного интеллекта для создания, генерации, анализа, интерпретации и манипулирования цифровыми изображениями. Примеры инструментов искусственного интеллекта включают OpenCV и Viso Suite.
_4 Аппаратное обеспечение, связанное с ИИ, ДОБАВЛЯЙТЕ, ЕСЛИ НЕОБХОДИМО: например, микросхемы периферийных вычислений, квантовое оборудование, интегральные схемы специального назначения (ASIC), нейроморфное оборудование и программируемую вентильную матрицу (FPGA).
_5 Роботизированная автоматизация процессов (RPA)

СПРОСИТЬ ВСЕХ

Б1а. Существуют ли какие-либо другие технологии искусственного интеллекта, не упомянутые в вашей организации, которые в настоящее время используются (в том числе в пилотном режиме) или планируются к внедрению в будущем?

МУЛЬТИ КОД.

Да – другая технология 1 (уточните)	1	НАПИСАТЬ В
Да – другая технология 2 (уточните)	2	НАПИСАТЬ В
Да – другая технология 3 (уточните)	3	НАПИСАТЬ В
Нет	4	ЭКСКЛЮЗИВ
Не знаю	5	ЭКСКЛЮЗИВ

СПРОСИТЕ, ЕСЛИ ИСПОЛЬЗУЕТСЯ ДРУГАЯ ТЕХНОЛОГИЯ (B1A_1-3 ≠ ПУСТО)

Б1б. И, пожалуйста, не могли бы вы сказать мне, использует ли ваша организация его в настоящее время (включая пилотный проект) или нет, но планируете ли это делать в будущем.

ЗАЧИТАТЬ. ОДИН КОД ДЛЯ КАЖДОГО

Технологии	В настоящее время использую	Не используется, но планирует принять в будущем	Не знаю	Отказался
DS: ПОКАЗАТЬ, ЕСЛИ B1a_1 ≠ ПУСТО.
Б1а_1
DS: ПОКАЗАТЬ, ЕСЛИ B1a_2 ≠ ПУСТО.
Б1а_2
DS: ПОКАЗАТЬ, ЕСЛИ B1a_3 ≠ ПУСТО.
Б1а_3

B1Дум

ФАКТНАЯ ПЕРЕМЕННАЯ, НЕ СПРАШИВАЙТЕ

В настоящее время использует ИИ в одной или нескольких технологиях.	1	(B1_1 = 1 или B2_2 = 1 или B1_3 = 1 или B1_4 = 1 или B1_5 = 1 или B1b_1 = 1 или B1b_2 = 1 или B1b_3 = 1)
Не использует ИИ ни в одной технологии, но планирует внедрить его в будущем.	2	(B1_1 ≠ 1 или B2_2 ≠ 1 или B1_3 ≠ 1 или B2_4 ≠ 1 или B1_5 ≠ 1 или B1b_1 ≠ 1 или B1b_2 ≠ 1 или B1b_3 ≠ 1) И (B1_1 = 2 или B2_2 = 2 или B1_3 = 2 или B2_4 = 2 B1_5 = 2 или B1b_1 = 2 или B1b_2 = 2 или B1b_3 = 2)
Не использует и пока не планирует использовать конкретную технологию.	3	(B1_1 ≠ 1-2 или B2_2 ≠ 1-2 или B1_3 ≠ 1-2 или B2_4 ≠ 1-2 или B1_5 ≠ 1-2 или B1b_1 ≠ 1-2 или B1b_2 ≠ 1-2 или B1b_3 ≠ 1-2)

ПРОВЕРЬТЕ: ЕСЛИ B1DUM=3: Мы хотим поговорить с организациями, которые используют или планируют использовать ИИ. Спасибо за ваше время сегодня.

ЕСЛИ В НАСТОЯЩЕЕ ВРЕМЯ ИСПОЛЬЗУЕТ ТЕХНОЛОГИИ ИИ (B1Dum = 1)

Б1с. Не могли бы вы рассказать мне, какие конкретные продукты искусственного интеллекта вы используете?


НАПИСАТЬ В

Не знаю	2
Отказался	3

ЕСЛИ В НАСТОЯЩЕЕ ВРЕМЯ ИСПОЛЬЗУЕТ ТЕХНОЛОГИИ ИИ (B1Dum = 1)

БИ 2. Скажите, пожалуйста, ваша организация в настоящее время тестирует следующую технологию, использовала ее в течение 1–3 лет или использовала ее более 3 лет.

ЗАЧИТАТЬ. ОДИН КОД ДЛЯ КАЖДОГО

DS: ПОКАЗЫВАТЬ ТОЛЬКО КОДЫ, ГДЕ B1_1-6=1 или B1b_1-3 = 1)

	Технологии	В настоящее время пилотный проект	Используется 1-3 года.	Используется более 3 лет	Не знаю	Отказался
Машинное обучение
Обработка и генерация естественного языка
Компьютерное зрение/обработка и генерация изображений
Аппаратное обеспечение, связанное с ИИ
Роботизированная автоматизация процессов
Б1а_1
Б1а_2
Б1а_3

ЕСЛИ ПЛАНИРУЕТСЯ ВНЕДРЕНИЕ ТЕХНОЛОГИЙ ИИ В БУДУЩЕМ (B1Dum = 2)

Б3. Пожалуйста, не могли бы вы сказать мне, планирует ли ваша организация внедрить следующую технологию в следующем году или планируете ли вы внедрять ее дальше в будущем.

ЗАЧИТАТЬ. ОДИН КОД ДЛЯ КАЖДОГО

DS: ПОКАЗЫВАТЬ ТОЛЬКО КОДЫ, ГДЕ B1_1-6=2 или B1b_1-3=2

	Технологии	В настоящее время пилотный проект	Используется 1-3 года.	Используется более 3 лет	Не знаю	Отказался
Машинное обучение
Обработка и генерация естественного языка
Компьютерное зрение/обработка и генерация изображений
Аппаратное обеспечение, связанное с ИИ
Роботизированная автоматизация процессов
Б1а_1
Б1а_2
Б1а_3

ЕСЛИ В НАСТОЯЩЕЕ ВРЕМЯ ИСПОЛЬЗУЕТ ТЕХНОЛОГИИ ИИ (B1Dum = 1)

Б4. Как ваша организация внедрила следующую технологию?

ЗАЧИТАТЬ. ОДИН КОД ДЛЯ КАЖДОГО

DS: ПОКАЗЫВАТЬ ТОЛЬКО КОДЫ, ГДЕ B1_1-6=1 или B1b_1-3 = 2

	Технологии	В настоящее время пилотный проект	Используется 1-3 года.	Используется более 3 лет	Не знаю	Отказался
Машинное обучение
Обработка и генерация естественного языка
Компьютерное зрение/обработка и генерация изображений
Аппаратное обеспечение, связанное с ИИ
Роботизированная автоматизация процессов
Б1а_1
Б1а_2
Б1а_3

ЕСЛИ В НАСТОЯЩЕЕ ВРЕМЯ ИСПОЛЬЗУЕТ ТЕХНОЛОГИИ ИИ (B1Dum = 1)

Б5. По каким причинам ваша организация использует технологии искусственного интеллекта?

ЕСЛИ РЕСПОНДЕНТ ГОВОРИТ, ДЛЯ ЧЕГО ОНИ ИСПОЛЬЗУЮТ ИИ, УЗНАЙТЕ, ПОЧЕМУ ОНИ ИСПОЛЬЗУЮТ ИИ, А НЕ СОТРУДНИК, ВЫПОЛНЯЮЩИЙ ЗАДАЧУ САМОСТОЯТЕЛЬНО.

НЕ ЗАЧИТЫВАЙТЕ. МУЛЬТИ КОД

Кибербезопасность	1
Обнаружение мошенничества	2
Финансовая экономия (включая эффективность, производительность и автоматизацию)	3
Алгоритмическая торговля	4
Обслуживание клиентов	5
Управление запасами	6
Набор персонала	7
Другое (пожалуйста укажите)	8	НАПИСАТЬ В
Не знаю	9	ЭКСКЛЮЗИВ
Отказался	10	ЭКСКЛЮЗИВ

СПРОСИТЕ, ИСПОЛЬЗУЕТ ЛИ ТЕХНОЛОГИИ ИИ ДЛЯ ЗАЩИТЫ КИБЕРБЕЗОПАСНОСТИ (B5 = 1)

Б6. А как ваша организация использует технологии искусственного интеллекта для защиты кибербезопасности?

ОДИН КОД


НАПИСАТЬ В

Не знаю	2
Отказался	3

C Практика кибербезопасности вокруг ИИ

ЕСЛИ ИСПОЛЬЗУЕТ ИЛИ РАССМАТРИВАЕТ ИСПОЛЬЗОВАНИЕ ТЕХНОЛОГИЙ ИИ (B1DUM = 1-2)

Мои следующие вопросы касаются практики кибербезопасности вашего бизнеса, связанной с технологиями искусственного интеллекта.

ЕСЛИ ИСПОЛЬЗУЕТ ТЕХНОЛОГИИ ИИ (B1DUM = 1)

С1. Существуют ли в вашей организации конкретные методы или процессы кибербезопасности, касающиеся используемой вами технологии искусственного интеллекта?

НЕ ЗАЧИТЫВАЙТЕ. ОДИН КОД.

Да	1
Нет	2
Не знаю	3
Отказался	4

ЕСЛИ РАССМАТРИВАЕТСЯ ИСПОЛЬЗОВАНИЕ ТЕХНОЛОГИЙ ИИ ИЛИ НЕ ИМЕЕТ ТЕХНОЛОГИЙ ИИ (B1DUM = 2)

С2. Будет ли в вашей организации применяться конкретные методы или процессы кибербезопасности, непосредственно относящиеся к технологии ИИ, после того, как запланированные вами технологии ИИ будут развернуты?

НЕ ЗАЧИТЫВАЙТЕ. ОДИН КОД.

Да	1
Нет	2
Не знаю	3
Отказался	4

ЕСЛИ ЕСТЬ СПЕЦИАЛЬНЫЕ ПРАКТИКИ ИЛИ ПРОЦЕССЫ ИИ КИБЕРБЕЗОПАСНОСТИ (C1=1 ИЛИ C2 =1)

С3. Пожалуйста, не могли бы вы кратко описать эти практики или процессы < TEXT SUB, если B1Dum = 1 «является»> < TEXT SUB, если B1Dum = 2 «может быть»>?

НЕ ЗАЧИТЫВАЙТЕ. МУЛЬТИ КОД

Обеспечение того, чтобы личные данные не были переданы третьим лицам	1
Межсетевые экраны для ИИ	2
Разведка сигналов атаки на основе искусственного интеллекта (например, Vectra)	3
Другое (пожалуйста укажите)	4
Не знаю	5
Отказался	6

ЕСЛИ НЕ ИМЕЕТ СПЕЦИАЛЬНЫХ ПРАКТИКИ ИЛИ ПРОЦЕССОВ ИИ КИБЕРБЕЗОПАСНОСТИ (C1=2 ИЛИ C2 = 2)

С4. Пожалуйста, не могли бы вы кратко объяснить, почему это так?


НАПИСАТЬ В

Не знаю	2
Отказался	3

ЕСЛИ ИСПОЛЬЗУЕТ ИЛИ РАССМАТРИВАЕТ ИСПОЛЬЗОВАНИЕ ТЕХНОЛОГИЙ ИИ (B1DUM = 1-2)

С5. Существуют ли особые требования или функции кибербезопасности, которые, как вы ожидаете, будут встроены в модели и системы компаний, занимающихся искусственным интеллектом?


ЕСЛИ ДА: НАПИШИТЕ

Нет	2
Не знаю	3
Отказался	4

ЕСЛИ ОНИ ОТВЕЧАЮТ РАЗРАБОТКУ СВОЕЙ ТЕХНОЛОГИИ ИИ (B4_1-8=3)

С6. Обнаружила ли ваша организация уязвимость или была ли она взломана в результате использования службы искусственного интеллекта, развернутой в вашей инфраструктуре?

ПОДСКАЖИТЕ ПРИ НЕОБХОДИМОСТИ. ОДИН КОД

Да, был взломан	1
Да, обнаружена уязвимость, но она не была взломана	2
Нет	3
Не знаю)	4
Отказался	5

D Общие правила кибербезопасности

ЧИТАЙТЕ ВСЕМ:

В оставшейся части опроса мы будем задавать вопросы о кибербезопасности. Под этим мы подразумеваем любую стратегию, процессы, методы или технологии, которые используют организации для защиты своих сетей, компьютеров, программ или данных, которые они хранят, от повреждения, атаки или несанкционированного доступа.

СПРОСИТЬ ВСЕХ

Д1. Какие из следующих механизмов корпоративного управления или управления рисками (если таковые имеются) у вас имеются?

ЗАЧИТАТЬ. МУЛЬТИ КОД

Члены правления, отвечающие за кибербезопасность	1
Аутсорсинговый провайдер, который управляет вашей кибербезопасностью	2
Наличие официальной политики или политик, охватывающих риски кибербезопасности.	3
План обеспечения непрерывности бизнеса, охватывающий кибербезопасность	4
Письменный список наиболее важных данных, систем или активов, которые ваша организация хочет защитить.	5
НЕ ЗАЧИТЫВАЙТЕ: Ничего из этого	6	ОДИН КОД
НЕ ЗАЧИТЫВАТЬ: Не знаю	7	ОДИН КОД
НЕ ЗАЧИТЫВАТЬ: Отказался	8	ОДИН КОД

СПРОСИТЬ ВСЕХ

Д2. Каких из следующих стандартов или аккредитаций, если таковые имеются, придерживается ваша организация?

ЗАЧИТАТЬ. МУЛЬТИ КОД

Стандарт безопасности данных индустрии платежных карт или PCI DSS.	1
Любые стандарты Национального института стандартов и технологий (NIST)	2
Стандарт Cyber Essentials	3
Стандарт Cyber Essentials Plus	4
Стандарт ИСО 27000	5
НЕ ЗАЧИТЫВАЙТЕ: Ничего из этого	6	ОДИН КОД
НЕ ЗАЧИТЫВАТЬ: Не знаю	7	ОДИН КОД
НЕ ЗАЧИТЫВАТЬ: Отказался	8	ОДИН КОД

СПРОСИТЬ ВСЕХ

Д3. Что из перечисленного (если таковое было) вы предприняли за последние 12 месяцев для выявления рисков кибербезопасности вашей организации?

ЗАЧИТАТЬ. МУЛЬТИ КОД

Аудит уязвимостей кибербезопасности	1
Оценка рисков, охватывающая риски кибербезопасности	2
Использовали или инвестировали в разведку угроз	3
Использовались специальные инструменты, предназначенные для мониторинга безопасности, такие как системы обнаружения вторжений.	4
Проверка на проницаемость	5
Проверка осведомленности и реагирования персонала (например, с помощью имитационных упражнений по фишингу)	6
НЕ ЗАЧИТЫВАЙТЕ: Ничего из этого	7	ОДИН КОД
НЕ ЗАЧИТЫВАТЬ: Не знаю	8	ОДИН КОД
НЕ ЗАЧИТЫВАТЬ: Отказался	9	ОДИН КОД

СПРОСИТЬ ВСЕХ

Д4. Каков был примерный оборот вашего бизнеса за последний финансовый год?

НЕ ЗАЧИТЫВАЙТЕ. ОДИН КОД.

ЕСЛИ НЕОБХОДИМО: ПОДСКАЖИТЕ ДИАПАЗОНЫ

0–49 999 фунтов стерлингов	1
50 000–84 999 фунтов стерлингов	2
85 000–249 999 фунтов стерлингов	3
250 000–499 999 фунтов стерлингов	4
500 000–999 999 фунтов стерлингов	5
1 000 000 фунтов стерлингов — 4 999 999 фунтов стерлингов	6
5 000 000 фунтов стерлингов – 24 999 999 фунтов стерлингов	7
£25 000 000+	8
Не знаю	9
Отказался	10

E Благодарим и закрываем

СПРОСИТЬ ВСЕХ

Е1. Большое спасибо, что нашли время поговорить с нами сегодня. Готовы ли вы, чтобы мы перезвонили вам по поводу этого конкретного исследования – если нам понадобится уточнить какую-либо информацию?

Да	1
Нет	2

СПРОСИТЬ ВСЕХ

Е2. В ближайшем будущем мы, возможно, проведем несколько дополнительных интервью, чтобы более подробно изучить некоторые области, обсуждаемые в этом опросе. Можно ли связаться с вами по поводу участия в этом исследовании? Согласие на контакт не означает, что вы должны принять участие. Вы можете отказаться в любое время, если мы свяжемся с вами.

Да	1
Нет	2

ЕСЛИ СОГЛАСИЕ НА ПОВТОРНЫЙ СВЯЗЬ (E1=1 ИЛИ E2=1)

Е3. И могу ли я просто проверить, лучший ли номер [NUMBER] для того, чтобы вам позвонить?

Да	1
Нет — напишите номер	2

ЕСЛИ СОГЛАСИЕ НА ПОВТОРНЫЙ СВЯЗЬ (E1=1 ИЛИ E2=1)

Е4. Пожалуйста, можно еще несколько подробностей:

Имя: …………………..	РАЗРЕШИТЬ ОТКАЗАННЫЙ ВАРИАНТ
Должность: …………………..	РАЗРЕШИТЬ ОТКАЗАННЫЙ ВАРИАНТ
Адрес электронной почты: …………………..	РАЗРЕШИТЬ ОТКАЗАННЫЙ ВАРИАНТ

ЧИТАЙТЕ ВСЕМ

Вы разговаривали с NAME из IFF от имени Департамента науки, инноваций и технологий. Большое спасибо за ваше время сегодня.

Хотите ли вы получить бесплатный номер телефона Общества маркетинговых исследований на случай, если захотите проверить наши учетные данные? (Если да, то это 0800 975 9596).

[1] Понимание восприятия ИИ и настроений людей и предприятий в Великобритании – Управление национальной статистики (ons.gov.uk) , июнь 2023 г.

[2] Понимание восприятия ИИ и настроений людей и предприятий в Великобритании – Управление национальной статистики (ons.gov.uk) , июнь 2023 г.

WikiVisa — ВикиВиза — VikiVisa

Cyber security of AI — Исследования кибербезопасности ИИ в UK 2024

Исследования кибербезопасности ИИ

Документы

Подробности

1. Резюме

Введение

Ключевые результаты

2. Введение

Фон

Научно-исследовательские цели

Полевые исследования

3. Методология

Секторы интересов и цели интервью

Таблица 3.1. Цели интервью по секторам

Образец

Проведенные интервью и процент ответов

Профиль участвующих предприятий

Таблица 3.2. Профиль участвующих предприятий

Результаты звонков и процент ответов на опросы

Таблица 3.3. Нескорректированная доля ответов

Таблица 3.4. Скорректированная доля ответов на основе окончательного результата звонка

Причины отказа от использования ИИ

Анализ и взвешивание данных

4. Использование ИИ

Типы используемого ИИ

Продолжительность использования ИИ

Как был принят ИИ

Причины использования технологии искусственного интеллекта

5. Практика кибербезопасности вокруг ИИ

Практика кибербезопасности, непосредственно касающаяся ИИ

6. Общие правила кибербезопасности

Общие практики кибербезопасности

7. Приложение: Глоссарий

1. Введение

Фон

Научно-исследовательские цели

Этот отчет

2. Методология

Дизайн исследования

Секторы интересов

Выборка

3. Пилотные полевые работы

Проведенные интервью и процент ответов

Профиль пилотных респондентов

Результаты пилотного проекта

4. Основная полевая работа

Цели интервью

Проведенные интервью и процент ответов

Профиль участвующих предприятий

Результаты звонков и процент ответов на опросы

Таблица 4.3. Нескорректированная доля ответов

Таблица 4.4. Скорректированная доля ответов на основе окончательного результата звонка

Причины отказа от использования ИИ

Анализ и взвешивание данных

5. Приложение: Анкета

Скринер

А. Предыстория организации

B Использование ИИ

C Практика кибербезопасности вокруг ИИ

D Общие правила кибербезопасности

E Благодарим и закрываем

О нас

NOTA BENE