В декабре Группа по оценке опубликовала новое приложение к Magenta Book, в котором основное внимание уделяется передовой практике оценки воздействия методов оценки ИИ ( нажмите здесь, чтобы прочитать руководство ). Руководство повысит безопасность и уверенность, с которыми правительственные департаменты и агентства могут внедрять технологии ИИ, гарантируя, что инновации в государственном секторе будут идти в ногу с частным сектором. Оно отражает понимание уникальных проблем, создаваемых ИИ, и необходимость индивидуальных подходов для решения этих проблем.

Руководство было разработано совместно с Департаментом транспорта и пограничной экономики в консультации с ведущими специалистами по ИИ. Ожидается, что оно станет ценным ресурсом для политиков, специалистов государственного сектора и цифровых специалистов, работающих над интеграцией решений ИИ в правительственные операции. В дальнейшем руководство будет совместно разрабатываться с Центральным офисом цифровых технологий и данных (CDDO) . 

Что охватывает руководство?

В руководстве подробно описывается передовой опыт, включая дизайн оценки, методологию и сроки, для оценки воздействия новых инструментов и технологий ИИ, внедряемых в государственном секторе. В частности, оно рекомендует использовать рандомизированные контрольные испытания при тестировании нового продукта ИИ для получения высококачественных доказательств предполагаемых и непреднамеренных последствий внедрения этих новых технологий. Руководство также включает ряд гипотетических тематических исследований для иллюстрации возможных высококачественных подходов к оценке воздействия различных типов инструментов ИИ.

Обратите внимание: в этом руководстве не рассматривается, как оценивать качество, безопасность и точность новых инструментов ИИ. Этот процесс обычно называют «оценкой модели» или мероприятиями по обеспечению, и обычно его выполняют специалисты по цифровым технологиям, данным и технологиям (DDaT), а не социальные исследователи. Вместо этого новое руководство по ИИ фокусируется на влиянии инструментов ИИ на решения и результаты. Пример оценки воздействия инструмента ИИ можно найти здесь , а пример оценки модели инструмента ИИ можно найти здесь .

Почему это руководство важно?

Недавний рост возможностей технологий искусственного интеллекта (ИИ) привел к повышению интереса к использованию ИИ в правительстве. Тщательная оценка влияния использования ИИ в правительстве (включая вопросы процесса, влияния и соотношения цены и качества) имеет важное значение для того, чтобы убедиться, что мы понимаем влияние новых систем ИИ, способны улучшить текущие вмешательства и можем информировать о разработке будущей политики. Предоставляя основу для оценки влияния и эффективности инструментов ИИ, руководство подчеркивает приверженность правительства поддержанию высоких стандартов оценки и подотчетности при использовании новых технологий.

Что будет дальше?

Группа по оценке будет работать с CDDO, чтобы помочь внедрить передовой опыт оценки в цифровые процессы в правительстве и работать над поддержкой коллег, разрабатывающих и предоставляющих оценки воздействия вмешательств ИИ. Если у вас есть проект или часть работы, связанная с ИИ, которую вы хотели бы обсудить с группой по оценке, вы можете связаться с группой по оценке по адресу: etf@cabinetoffice.gov.uk . 

Полезные ссылки

• Руководство по оценке воздействия вмешательств ИИ
• Пурпурная книга
• Генеративная структура ИИ для правительства
• План действий по возможностям ИИ для правительства
• Институт безопасности искусственного интеллекта (AISI)
• Инкубатор искусственного интеллекта (i.AI) 

Примеры передовой практики

• «Генеративный ИИ в действии: измерение влияния генеративного ИИ на производительность»
• «Влияние генеративного ИИ на высококвалифицированный труд: данные трех полевых экспериментов с разработчиками программного обеспечения»
• «ИИ и бизнес-анализ: создание надежных инструментов — тестирование чат-ботов на основе ИИ в сфере государственной службы»

Тестирование и разработка модели

• Подход Института безопасности ИИ к оценкам (обратите внимание, что это руководство относится к оценке риска моделей ИИ, а не к оценке воздействия)
• Статья i.AI о разработке и тестировании моделей ИИ (обратите внимание, что это относится к тестированию и оценке моделей, а не к оценке воздействия)
• Структура Inspect Института безопасности ИИ (обратите внимание, что это руководство предназначено для оценки модели, а не для оценки воздействия)
• Лаборатория искусственного интеллекта Национальной службы здравоохранения (NHS AI Lab), см. также премию «Искусственный интеллект в здравоохранении и уходе»