В этой схеме изложено видение Департамента энергетической безопасности и Net Zero ( DESNZ ) по обеспечению эффективных, инновационных и результативных результатов мониторинга и оценки, которые закладывают основу для постоянно улучшающейся доказательной базы для принятия решений.

Программный документ

Система мониторинга и оценки DESNZ

Эти рамки определяют долгосрочную и стратегическую приверженность департамента надежному и пропорциональному мониторингу и оценке.

От: Департамент энергетической безопасности и Net Zero
Опубликовано: 27 марта 2024 г.

Документы

Департамент энергетической безопасности и Net Zero: Система мониторинга и оценки (доступная веб-страница)

HTML

Департамент энергетической безопасности и Net Zero: Система мониторинга и оценки (PDF)

PDF , 1,52 МБ , 32 страницы.

Подробности

В этой схеме изложено видение Департамента энергетической безопасности и Net Zero ( DESNZ ) по обеспечению эффективных, инновационных и результативных результатов мониторинга и оценки, которые закладывают основу для постоянно улучшающейся доказательной базы для принятия решений.

Для реализации этого видения существуют шесть основных целей:

Обеспечить всесторонний, соответствующий и пропорциональный охват мониторингом и оценкой.
Прочно внедрить мониторинг и оценку в процессы управления.
Наращивать потенциал и возможности в аналитических, реализующих проекты и политических профессиях.
Способствовать созданию позитивной культуры обучения.
Поддерживать независимое и прозрачное обеспечение качества результатов.
Поощрять изучение новых и инновационных подходов к мониторингу и оценке.

Это первая система мониторинга и оценки DESNZ . В нем изложено, как выглядит мониторинг и оценка в департаменте, основные стандарты мониторинга и оценки, а также какие мероприятия будут способствовать достижению наших целей и общего видения.

Опубликовано 27 марта 2024 г.

Программный документ

Департамент энергетической безопасности и Net Zero: Система мониторинга и оценки (доступная веб-страница)

Опубликовано 27 марта 2024 г.

Предисловие

Я рад представить первую структуру Департамента энергетической безопасности и мониторинга и оценки Net Zero.

DESNZ — это департамент, несущий основную ответственность за построение зеленой экономики и энергетической системы, которая будет приносить пользу каждому. Наши усилия направлены на выполнение юридически обязывающего обязательства Великобритании по достижению нулевого уровня выбросов при одновременном содействии устойчивому экономическому росту. Чтобы это произошло, мы ускоряем строительство сетевой инфраструктуры и внутреннего производства энергии за счет увеличения инвестиций. Это создаст рабочие места и будет способствовать росту новых «зеленых» секторов.

В это время глобальной неопределенности мы также по-прежнему фокусируемся на помощи домохозяйствам и бизнесу путем обеспечения энергетической безопасности и повышения энергоэффективности. Департамент стремится осуществить долгосрочные улучшения на наших энергетических рынках, которые обеспечат безопасность поставок и принесут пользу потребителям за счет снижения затрат на электроэнергию.

Политика и программы Департамента должны стать первопроходцами в инновационных подходах для достижения нашей цели с нулевым уровнем выбросов и обеспечения безопасности нашей энергетики. Своевременный и точный мониторинг и оценка ( МиО ) имеют решающее значение для этих инициатив, поскольку они обеспечивают подотчетность государственных расходов и направляют процесс принятия решений путем оценки нашей текущей деятельности. Оценка также служит основой для эффективной будущей политики и разработки программ, предоставляя фактические данные о влиянии и эффективности предыдущих мер.
Эта Рамочная программа отражает нашу твердую приверженность и стремление реализовать комплексную программу мониторинга и оценки. Он демонстрирует, как мы обеспечим надлежащий мониторинг и оценку ключевых политик и программ, а также внедрим процессы управления для поддержания надежной и качественной доказательной базы. Мы будем стремиться способствовать формированию позитивной культуры обучения и изучать инновационные подходы к мониторингу и оценке , чтобы предоставлять наиболее своевременные и информативные данные.

Джереми Поклингтон CB
Постоянный секретарь
Департамента энергетической безопасности и Net Zero

Управляющее резюме

Мониторинг и оценка реализации и воздействия наших мер ^{[сноска 1]} имеют важное значение для работы Департамента энергетической безопасности и чистого нуля ( DESNZ ): реализовывать нашу политику по назначению, разумно расходовать деньги налогоплательщиков, противостоять внешний контроль и создание нашей будущей доказательной базы.

Будучи новой организацией, DESNZ должна внедрить систему мониторинга и оценки, которая будет служить основой для политики, программ и стратегии в рамках нашего разнообразного и целостного на национальном уровне энергетического портфеля. Система мониторинга и оценки Департамента была запущена для руководства нашей деятельностью и ожиданиями в этой области, а также для демонстрации нашей публичной приверженности формированию решений на основе надежных доказательств.

Движущей силой Рамочной программы является наше общее видение: обеспечить эффективные, инновационные и действенные результаты мониторинга и оценки, которые закладывают основу для постоянно улучшающейся доказательной базы для принятия решений. Для реализации этого видения были разработаны шесть основных целей, сопровождаемых действиями по поддержке и измерению прогресса.

Цели…	Ключевые действия…
Обеспечить всесторонний, соответствующий и пропорциональный охват мониторинга и оценки.	Требование хорошо разработанных планов мониторинга и оценки для обеспечения раннего обдумывания требований к фактическим данным на этапе разработки политики или программы. Обмен передовым опытом и стандартами качества внутри компании и с партнерскими организациями.
Прочно внедрить мониторинг и оценку в процессы управления.	Пересмотр и укрепление наших структур управления мониторингом и оценкой. Централизованное отслеживание и надзор за ключевыми рисками и обновления обязательств по мониторингу и оценке.
Повысить потенциал и возможности в аналитических профессиях, реализации проектов и политических профессиях.	Предоставление комплексного предложения по обучению и внутреннего руководства для поддержки соответствующих специалистов. Содействие взаимному обучению через внутреннюю сеть мониторинга и оценки.
Способствовать позитивной культуре обучения	Создание связей между областями политики, а также между оценкой и оценкой. Участие в межправительственных группах для изучения общих проблем и передового опыта.
Поддерживать независимое и прозрачное обеспечение качества результатов.	Внедрение обеспечения качества в ключевые моменты жизненного цикла мониторинга и оценки. Содействие проведению внешней экспертной оценки перед публикацией оценки.
Поощрять изучение новых и инновационных подходов к мониторингу и оценке.	Максимизация воздействия и использования инновационных и существующих наборов данных. Стремление использовать автоматизированные и воспроизводимые подходы к мониторингу и анализу. Поддержание прочных связей с внешними экспертами. Активное использование возможностей возникающих тенденций.

1. Введение

Департамент энергетической безопасности и Net Zero ( DESNZ ) был создан в качестве министерского департамента в феврале 2023 года, чтобы сосредоточиться на энергетическом портфеле бывшего Департамента бизнеса, энергетики и промышленной стратегии ( BEIS ) при поддержке 14 агентств и государственных органов.

На DESNZ возложена значительная ответственность за обеспечение долгосрочного энергоснабжения Великобритании, обеспечение надлежащего функционирования энергетических рынков, повышение энергоэффективности и продвижение перехода к чистому нулю. Крайне важно, чтобы DESNZ мог успешно решать эти задачи, несмотря на сложность и глобальную неопределенность, связанную с изменением климата и отсутствием энергетической безопасности, подогреваемым войной в Украине.

Поскольку для одновременного достижения чистого нулевого уровня и развития долгосрочных поставок устойчивой энергии необходимы смелые и комплексные меры, необходимы надежные доказательства для максимизации социальных выгод и минимизации рисков и затрат при доставке. Мониторинг и оценка играют жизненно важную роль в предоставлении этих данных во всех областях политики и на всех этапах жизненного цикла нашей политики и программ.

Управляя ходом наших мер, мониторинг может предоставлять раннюю и постоянную информацию для активного управления производительностью и, при необходимости, информировать об изменениях «на лету», чтобы помочь гарантировать реализацию ожидаемых преимуществ. Обобщая данные о наших мерах, оценка одинаково важна для подотчетности, извлечения уроков из решений и демонстрации ответственного использования государственных денег.

Цель Рамочной программы

Это первая система мониторинга и оценки DESNZ . Будучи новым отделом, DESNZ планирует опираться на все более качественные данные, собранные его предшественником, BEIS , о влиянии прошлых и существующих мер в области энергетики посредством мониторинга и оценки. Таким образом, данная концепция в значительной степени основана на системе мониторинга и оценки BEIS , опубликованной в 2020 году. ^{[сноска 2]}

В нем изложены долгосрочные и стратегические обязательства департамента по обеспечению надежного и пропорционального мониторинга и оценки, включая:

Как выглядят мониторинг и оценка в DESNZ , включая общие рекомендации по стандартам и ожиданиям.
Наше видение заключается в внедрении надежных данных мониторинга и оценки в процесс принятия решений во всем отделе.
Конкретные действия, которые предпринимает отдел для реализации видения.

2. Мониторинг и оценка в DESNZ

Мониторинг и оценка представляют собой отдельные, но взаимодополняющие подходы, основанные на принципах «Пурпурной книги» Министерства финансов ^{[сноска 3]} и «Зеленой книги». ^{[сноска 4]}

2.1 Как выглядит мониторинг в DESNZ ?

Мониторинг – это систематический сбор данных о результативности для оценки прогресса и достижения политических целей в сравнении с поставленными задачами, а также для выявления и устранения узких мест в реализации.

ОЭСР ^{[сноска 5]}

Мониторинг имеет основополагающее значение для достижения целей отдела, поскольку данные мониторинга используются для:

оценить, обеспечило ли вмешательство целевые результаты (например, количество установленных единиц), результаты и воздействие;
продемонстрировать, достигает ли вмешательство целевую группу населения;
вносить научно обоснованные изменения «на лету» для управления производительностью во время доставки и поддержки реализации ожидаемых преимуществ;
связь с другими наборами государственных административных, частных и академических данных для создания более полных наборов данных;
обеспечить возможность дальнейших исследований и оценок путем сбора контактных данных и характеристик лиц, затронутых вмешательством, и аналогичной группы сравнения;
понять восприятие/отношение заинтересованных сторон к вмешательству;
выпускать статистические и другие публикации, посвященные прозрачности, и отвечать на запросы о свободе информации;
обеспечить работу по вопросам финансов, мошенничества/ошибок и аудита;
предоставить информацию для анализа затрат и выгод и определить, были ли предположения о вмешательстве верными.

Все политики и программы DESNZ должны осуществлять пропорциональный и качественный мониторинг для оценки и улучшения производительности и информирования об обучении до и на протяжении всего процесса реализации. Планы мониторинга должны быть разработаны на этапе проектирования, чтобы можно было принять меры к началу вмешательства.

В приложении A1 представлены два тематических исследования по мониторингу, иллюстрирующие реализацию и использование мониторинга.

2.2 Как выглядит оценка в DESNZ ?

Согласно Magenta Book, «оценка – это систематическая оценка плана, реализации и результатов вмешательства». ^{[сноска 6]}

В DESNZ есть два основных фактора оценки политики и программ : обучение и подотчетность. Обучение помогает управлять риском и неопределенностью, связанными с вмешательством и его реализацией; дает понимание того, что для кого работает, как, почему и при каких обстоятельствах; и информирует о решениях по проектированию и реализации.

Подотчетность гарантирует, что DESNZ прозрачен для своих заинтересованных сторон, например, в отношении того, как были потрачены государственные деньги (например, информирование об обзорах расходов, проверках Национального аудиторского управления, ^{[сноска 7]} и требования Комитета по политике регулирования) ^{[сноска 8]} , насколько целенаправленным является вмешательство и обеспечивает ли регулирование надлежащий баланс между нагрузкой и защитой.

Распространенное заблуждение относительно оценки состоит в том, что она происходит только в конце политики или программы. В действительности, оценки могут предоставить важную информацию для ключевых моментов принятия решений, пока вмешательство активно. По этой причине оценку следует использовать в дополнение к мониторингу, когда требуется более комплексная оценка в определенные моменты для получения подробных данных о разработке, реализации, ходе и реальных эффектах вмешательства.

Чтобы обеспечить высокое качество результатов, DESNZ обязуется следовать принципам Magenta Book ^{[сноска 9]} при проведении внутренних или внешних оценок по широкому спектру типов (процесс, воздействие и соотношение цены и качества) и подходов. Все оценочные публикации DESNZ рецензируются внешними экспертами и должны соответствовать протоколу GSR . ^{[сноска 10]}

Чтобы проиллюстрировать, как оценка проводится на практике в DESNZ , в Приложение A1 включен пример исследования декарбонизации, в котором использовался подход смешанного метода, основанный на потребностях в фактических данных.

2.3 Какова связь между мониторингом, оценкой и управлением выгодами?

Мониторинг, оценка и управление льготами имеют прочные и укрепляющие связи.

Управление выгодами – это итеративный подход к управлению программой, целью которого является обеспечение того, чтобы выгоды (желаемые изменения) от вмешательства были четко определены, измеримы и достигнуты, а любые недостатки сведены к минимуму. ^{[сноска 11]} Оно сопровождает управление финансами и затратами и проводится на протяжении всего жизненного цикла проекта и после его завершения.

Мониторинг может предоставить важные данные, позволяющие понять, реализуются ли ожидаемые выгоды от вмешательства (например, посредством сбора и анализа данных о количестве установленных интеллектуальных счетчиков по сравнению с первоначально прогнозируемым количеством – более подробную информацию см. в примере 1 в Приложении A1 ). В случаях, связанных с большей сложностью или косвенными причинно-следственными путями, оценка может установить, были ли достигнуты ожидаемые выгоды (например, уровень экономии энергии, полученный в результате установки и использования интеллектуальных счетчиков), а также «как» и «почему» они были достигнуты. были достигнуты. Оценка также может предоставить данные о дополнительных и более трудных для измерения воздействиях вмешательства, помимо ожидаемых преимуществ и недостатков.

На практике подходы к мониторингу, управлению выгодами и оценке могут взаимодействовать и по-разному информировать друг друга на разных этапах политического цикла. Поэтому важно, чтобы они были тщательно спланированы на ранней стадии и реализованы комплексно, чтобы максимизировать возможности для обучения, как показано в тематическом исследовании интеллектуальных счетчиков в Приложении A1 .

3. Стандарты мониторинга и оценки

Соображения по мониторингу и оценке должны быть заложены в разработку и реализацию наших мероприятий в DESNZ . Это необходимо для того, чтобы как вмешательство, так и мониторинг и оценка были адаптированы для максимизации потенциала для получения надежных и полезных результатов, которые могут помочь улучшить текущую реализацию и принятие будущих решений.

Рисунок 2: Диаграмма, показывающая основные ожидания от мониторинга и оценки DESNZ

Демонстрация извлеченных уроков из предыдущего МиО при разработке мер вмешательства. Планы
МиО , разрабатываемые в ходе разработки политики и программ, должны основываться на предыдущих фактических данных.
Уточнить цели вмешательства и ожидаемые эффекты в теории изменений.
Это обеспечивает общее понимание предлагаемой причинно-следственной цепочки, ведущей от вкладов к воздействиям.
Оцените, какой уровень мониторинга и оценки является пропорциональным. Мероприятия
по мониторингу и оценке должны быть приоритетными, чтобы обеспечить эффективность и соотношение цены и качества.
Оцените, какие доказательства необходимы, кто будет их использовать и когда они потребуются.
Понимая диапазон требований, можно адаптировать действия для получения доказательств для принятия решений.
Определите цели и вопросы оценки.
Обеспечение их четкого определения поможет сузить фокус оценки и поддержку.
Определить подходящий подход к мониторингу.
Все проекты и программы должны проводить мониторинг соответствующих индикаторов и показателей.
Определите подходящий подход к оценке.
Подходы следует рассматривать в каждом конкретном случае и выбирать так, чтобы они наилучшим образом отражали потребности в фактических данных.
Определите требования к данным МиО.
Требования к данным должны быть заложены с самого начала всех мероприятий, чтобы обеспечить успешный сбор данных.
Обеспечьте ресурсы для мониторинга и оценки.
Необходимо заранее рассмотреть вопрос о финансовых ресурсах, владении и координации с органами, осуществляющими реализацию.
Проведение или заказ работ по мониторингу и оценке
осуществляется собственными силами и партнерами по реализации. Оценки заказываются или проводятся собственными силами.
Использование и публикация результатов мониторинга и оценки.
Необходимо следовать рекомендациям по публикации отчетов об оценке и данных мониторинга (например, в качестве управленческой информации).

На рисунке 2 представлен обзор фундаментальных ожиданий в области мониторинга и оценки, которые возлагаются на разработчиков политики и программ в департаменте. Более подробную информацию об этих ожиданиях и этапах, на которых они реализуются, см. в Приложении A2 .

4. Концепция мониторинга и оценки DESNZ

Видение DESNZ заключается в предоставлении эффективных, действенных и инновационных результатов мониторинга и оценки, которые подкрепляют постоянно улучшающуюся доказательную базу для принятия решений. Это видение является движущей силой нашей стратегии по улучшению мониторинга и оценки во всем отделе и дает четкое представление о наших долгосрочных амбициях.

Для достижения этой цели DESNZ стремится:

Обеспечить комплексный и пропорциональный охват мониторингом и оценкой всех политик и программ DESNZ и его партнерских организаций.
Прочно внедрите мониторинг и оценку в процессы управления, чтобы обеспечить успешное проведение мониторинга и оценки даже в сложных обстоятельствах.
Наращивать потенциал и возможности в области политики, реализации проектов и аналитических профессий для проведения и заказа мониторинга и оценки на основе передовой практики.
Содействовать формированию позитивной культуры обучения в DESNZ , где уроки мониторинга и оценки служат основой для принятия политических и программных решений и их реализации, а также для будущего планирования мониторинга и оценки.
Поддерживать независимое и прозрачное обеспечение качества результатов, чтобы заинтересованные стороны могли быть уверены в результатах, полученных в результате мониторинга и оценки политики и программ DESNZ .
Поощрять изучение новых и инновационных подходов к мониторингу и оценке для расширения существующих возможностей и повышения эффективности.

Более подробная информация представлена в разделах ниже.

Мы будем работать над достижением этой концепции с течением времени и предпримем ряд мероприятий для достижения вспомогательных целей.

4.1 Обеспечение комплексного мониторинга и оценки

В соответствии с постоянной необходимостью сбалансировать высокое качество мониторинга и оценки с другими приоритетами, такими как эффективность и соотношение цены и качества, DESNZ работает над созданием надлежащего, но пропорционального охвата посредством ряда действий.

4.1.1 Требование хорошо разработанных планов мониторинга и оценки

Для каждого бизнес-кейса, предлагающего значительное, инновационное или спорное инвестирование средств налогоплательщиков, DESNZ требует надежного плана мониторинга и оценки.

Для каждой оценки воздействия, предлагающей существенное изменение регулирования, требующее обязательного обязательного рассмотрения, DESNZ требует подробного плана проверки после реализации ^{[сноска 12]} ( PIR ).

Планы мониторинга и оценки должны включать подробную информацию о дизайне и методологическом подходе, а также практические соображения, такие как ресурсы и бюджет. Дополнительную информацию о критериях, по которым DESNZ оценивает планы мониторинга и оценки инвестиций и регулирования, см. в Приложении A3 .

4.1.2 Поощрение передового опыта в наших партнерских организациях

DESNZ – это министерский департамент, поддерживаемый 14 партнерскими организациями (агентствами и государственными органами). ^{[сноска 13]} Значительная часть расходов DESNZ осуществляется через эти партнерские организации ( ПО ), за которые департамент в конечном итоге подотчетен парламенту. ОП несут ответственность за мониторинг и оценку областей политики, которые они реализуют, а DESNZ поддерживает передовой опыт различными способами:

Обеспечивая совместную работу PO с политическими группами в DESNZ для разработки планов мониторинга и оценки до реализации политики или программы, чтобы полностью учитывать требования к доказательствам.
Путем обмена передовым опытом и стандартами качества с ОП .

Дополнительную информацию о соображениях обеспечения пропорционального охвата см. на рисунке 3 в Приложении A2 .

4.2 Внедрение мониторинга и оценки в процессы управления

Управление является ключевым вспомогательным механизмом, позволяющим нам отслеживать нашу деятельность и обеспечивать подотчетность. Чтобы обеспечить пропорциональный мониторинг и оценку, даже в сложных обстоятельствах, DESNZ стремится прочно внедрить подходы к мониторингу и оценке посредством анализа и укрепления наших новых и унаследованных структур управления.

Структуры управления в DESNZ включают советы по инвестициям, реализации и управлению, которые выполняют функции аудита для обеспечения пропорционального и успешного планирования, обеспечения ресурсами и осуществления мониторинга и оценки. Дополнительную информацию об основных структурах управления инвестициями, законодательстве и оценках см. в Приложении A3 .

4.2.1 Централизованное отслеживание выполнения обязательств по мониторингу и оценке

Центральная группа по мониторингу и оценке департамента играет ключевую роль в отслеживании хода мониторинга и оценки в департаменте и ОП , а также в передаче любых ключевых вопросов советам департаментов.

4.3 Создание потенциала и возможностей для мониторинга и оценки

Внедрение экспертных знаний имеет важное значение для обеспечения комплексного и эффективного мониторинга и оценки. DESNZ принимает ряд мер для наращивания потенциала и возможностей мониторинга и оценки среди своих специалистов по аналитике, политике и реализации проектов.

4.3.1 Предложение комплексного пакета обучения и ресурсов

DESNZ предлагает обучение по внутреннему мониторингу и оценке для политиков, в котором подчеркивается важность рассмотрения мониторинга и оценки на всех этапах политического цикла и сотрудничества с аналитиками, имеющими опыт мониторинга и оценки во время разработки политики или программы.

Департамент также увеличивает потенциал и возможности аналитической оценки с помощью ряда средств, в том числе:

Предоставление углубленного обучения мониторингу и оценке в рамках нашего основного предложения по обучению и развитию для аналитиков DESNZ , чтобы гарантировать, что они обладают навыками, необходимыми для эффективной работы.
Внутренняя сеть мониторинга и оценки, которая регулярно собирается для поддержки проведения качественной оценки путем содействия взаимному обучению и распространению практических ресурсов.

4.4 Содействие формированию позитивной культуры обучения

Эффективность нашей политики зависит от сильной и безопасной культуры мониторинга и оценки, при которой своевременная и точная обратная связь и анализ позволяют оценить, какой эффект имело вмешательство, и эти знания быстро учитываются при принятии политических или программных решений.

DESNZ признает, что важной частью этого процесса обучения является признание того, что даже когда политика не дает желаемых результатов – даже если она приводит к неожиданным или нежелательным результатам – это все еще ценные возможности для развития наших знаний и возможности адаптации будущей политики. для обеспечения лучших результатов.

Наша цель — увеличить количество оценок, которые информируют и влияют на лучшую реализацию политики и принятие решений во всех областях нашей политики, обеспечивая поток информации о том, что работает хорошо, а что нет. В рамках департамента этому способствует внутренняя онлайн-база данных ключевых аналитических результатов политического цикла.

4.4.1 Взаимодействие с другими отделами для изучения того, что работает

Чтобы учиться на общих проблемах и передовом опыте мониторинга и оценки, DESNZ тесно сотрудничает с другими государственными ведомствами. В качестве пары примеров:

DESNZ входит в Межправительственную группу оценки ( CGEG ) — это междисциплинарная группа, в которой представлены представители большинства крупных ведомств, целью которой является улучшение предложения, стимулирование спроса и поощрение использования качественных оценочных данных в правительстве. . Целью этого является улучшение разработки, реализации и подотчетности политики.
В конкретных областях политики также важны межправительственные рабочие группы. Например, межправительственная группа Международного климатического финансирования ( ICF ) ^{[сноска 14]} по мониторингу, оценке и обучению ежемесячно встречается с представителями DESNZ , Министерства иностранных дел и развития и Департамента окружающей среды, продовольствия и сельских дел. Эта группа позволяет совместно работать над подтверждением общих целей и составлением четкой общей картины воздействия финансирования ICF .

4.5 Поддержание независимого и прозрачного обеспечения качества результатов

Департамент признает, что беспристрастная и эффективная оценка качества имеет решающее значение для обеспечения надежности результатов нашего мониторинга и оценки. Таким образом, как внутренние, так и внешние процессы обеспечения качества были тщательно внедрены.

В ходе проекта оценки политические группы следуют собственным процедурам обеспечения качества в соответствии с Системой доказательных данных DESNZ . Они также созывают руководящие группы на ключевых этапах исследования для обеспечения качества и влияния на стратегические решения.

4.5.1 Обеспечение рецензирования всех опубликованных оценок

Группа внешних рецензентов DESNZ ( PRG ) была создана для обеспечения независимой проверки с целью обеспечения качества опубликованных оценок и повышения достоверности наших выводов. В состав группы входят независимые эксперты по оценке, что позволяет использовать широкий спектр точек зрения.

Процесс выглядит следующим образом:

На ключевых этапах проектов оценки, особенно на этапе определения объема и проектирования, командам рекомендуется консультироваться с ЭГП .
Перед публикацией все оценки должны быть отправлены на экспертную оценку двум рецензентам, имеющим опыт работы в соответствующих областях политики и методологиях оценки. Затем предоставляются комментарии, и группы по оценке работают над их отражением в опубликованной версии отчета.

4.6 Поощрение новых и инновационных подходов к мониторингу и оценке

Департамент стремится быть в авангарде инноваций в области мониторинга и оценки. Новое и инновационное естественным образом меняется со временем, поэтому особое внимание будет уделяться:

Максимизация воздействия и использования инновационных и существующих наборов данных. Это помогает повысить строгость мониторинга и оценки, минимизировать исследовательскую нагрузку и гарантировать, что мы продолжаем предоставлять самые современные данные для принятия решений. Например, департамент использует существующую опубликованную национальную статистику – «Дайджест энергетической статистики Великобритании» ( DUKES ) и «Энергетические тенденции» – для измерения прогресса в достижении политических целей, таких как декарбонизация энергетического сектора к 2035 году, путем отслеживания количества электроэнергии, вырабатываемой возобновляемыми источниками энергии. Для получения дополнительной информации см. Приложение A1 .
Активное внедрение и рассмотрение инновационных подходов к мониторингу и оценке. За последние два десятилетия произошли огромные изменения в подходах, используемых для мониторинга и оценки, и этот темп изменений, вероятно, продолжится. Например, департамент будет стремиться использовать автоматизированные и воспроизводимые подходы к мониторингу и анализу, где это возможно, что приведет к повышению эффективности сбора и обработки данных, а также повышению точности анализа данных.
Сохранение активной позиции в максимальном использовании возможностей новых тенденций. Например, быстрое развитие искусственного интеллекта открывает потенциал для изменений в областях, имеющих отношение к оценке, таких как планирование первичных исследований, проведение обзоров фактических данных и анализ наборов данных.
Поддержание прочных связей с национальными и международными экспертами, чтобы обеспечить доступ департамента к лучшим навыкам, опыту и доказательной базе.

5. Следующие шаги

Это первая система мониторинга и оценки DESNZ . В нем изложена как наша текущая позиция, так и четкий путь того, как мы можем расширить передовую практику мониторинга и оценки во всех наших амбициозных мероприятиях в области энергетики и чистого нулевого уровня.

Мы стремимся максимизировать возможности для обучения и совершенствования посредством обеспечения всестороннего мониторинга и оценки, внедрения эффективных процессов управления, создания политического и аналитического потенциала и возможностей, содействия позитивной культуре обучения и поощрения новых и инновационных подходов.

Мы понимаем, что для полной реализации видения и целей настоящей Рамочной программы потребуются время и ресурсы. Это потребует постоянного спроса и ожидания результатов мониторинга и оценки со стороны старших менеджеров и лиц, принимающих решения, адекватных ресурсов и возможностей оценки со стороны наших политиков и аналитиков, а также эффективного сотрудничества с нашими партнерскими организациями. По этим причинам мы будем использовать Рамочную программу в качестве платформы для развития диалога и сотрудничества между нашими сотрудниками, партнерами и другими заинтересованными сторонами в правительстве и за его пределами.

Группа централизованного мониторинга и оценки департамента будет регулярно проверять прогресс в достижении наших целей и информировать директора по анализу и высшее руководство по мере необходимости. Это будет включать в себя:

Оценка развития планирования мониторинга и оценки во всем отделе.
Составление карты применения текущих процессов управления и обеспечения качества для выявления пробелов и дальнейших областей для улучшения.
Мониторинг диапазона и использования возможностей обучения и развития для создания потенциала департамента по мониторингу и оценке.
Обеспечение внутренней доступности знаний, полученных в результате оценок, и отслеживание выполнения наших обязательств для внешних публикаций.
Определение возможностей использования новых и инновационных подходов как для мониторинга, так и для оценки.

Приложение А1. Практические примеры мониторинга и оценки DESNZ

Практический пример 1: Взаимосвязь между мониторингом, оценкой и управлением выгодами в программе внедрения интеллектуальных счетчиков

Программа «Умный счетчик» использует сочетание мероприятий по мониторингу и оценке, чтобы отслеживать и понимать, реализуются ли ожидаемые выгоды, и поддерживать реализацию программы.

«Умные» счетчики заменяют традиционные счетчики газа и электроэнергии в рамках модернизации национальной инфраструктуры, которая сделает энергетическую систему более эффективной, максимально увеличит использование возобновляемых источников энергии и обеспечит нулевой уровень выбросов. По состоянию на март 2023 года в домах и на малых предприятиях было установлено 32,4 миллиона счетчиков (57% всех соответствующих счетчиков) ^{[сноска 15]} .

Ключевым ожидаемым преимуществом внедрения является то, что потребители будут использовать данные и отзывы об использовании энергии, предоставляемые интеллектуальными счетчиками, для снижения энергопотребления. ^{[сноска 16]} Хотя энергосбережение является высоким приоритетом для управления выгодами, тип оценочных исследований, необходимых для оценки их предоставления, не поддерживает регулярный мониторинг, отчасти из-за значительных задержек, связанных со сбором достаточного количества данных для обеспечения надежности анализа ( и не подвержены влиянию, например, сезонных тенденций или краткосрочных эффектов).

Для решения этой проблемы в рамках Программы была проведена всесторонняя ранняя оценка (Проект раннего обучения) ^{[сноска 17]} , в которой квазиэкспериментальный анализ энергосбережения от ранних установок сочетался с теоретической оценкой (на основе опросов и качественных исследований) для выявления условия и возможности, которые приведут к максимальной экономии от последующих установок.

Эта работа легла в основу ряда основных показателей преимуществ энергосбережения (например, предоставление индивидуальных рекомендаций при установке), которые были интегрированы в деятельность по мониторингу для предоставления регулярной информации о реализации этой области преимуществ и дополняли периодические полные оценки энергосбережения. Он также послужил основой для нескольких последующих проектов. ^{[сноска 18]}

Пример 2: Оценка смешанным методом реформированной системы стимулирования возобновляемых источников тепла

Схема стимулирования реформированного возобновляемого тепла ( RHI ) была направлена на поощрение установки и использования технологий возобновляемого тепла ( RHT ) и поддержку развития устойчивого рынка возобновляемого тепла, который в меньшей степени зависел от субсидий. Первоначально схема была разработана для удовлетворения требований Директивы Европейского Союза (ЕС) по возобновляемым источникам энергии (2009/28/EC), но после выхода из ЕС акцент сместился на декарбонизацию.

Цель оценки заключалась в том, чтобы понять влияние реформ системы как на отечественное, так и на неместное RHI , а также извлечь уроки для дальнейшего развития политики. Он принял подход к оценке, основанный на теории, и основывался на принципах реалистической оценки; стремясь развивать, проверять и совершенствовать реалистические теории о реформированной RHI на протяжении всего ее существования.

Доказательства были собраны в рамках нескольких рабочих потоков, проведенных в период с 2017 по 2022 год. Они включали: анализ административных данных RHI , повторяющийся опрос кандидатов, качественные исследования с участием заявителей и цепочки поставок возобновляемого тепла, квазиэкспериментальный анализ (проектирование разрывов регрессии), Оценка устойчивых рынков, Оценка экономической эффективности субсидий и Оценка конкуренции и торговли. Данные об этих действиях были синтезированы с использованием реалистических теорий «Контекст, Механизм, Результат ( CMO )».

Оценка показала, что в целом реформы оказались успешными в повышении экономической эффективности субсидий для обеих схем, а также в повышении уверенности в инвестициях в цепочку поставок и положительно повлияли на внедрение тепловых насосов. Кроме того, оценка показала высокий уровень удовлетворенности технологиями возобновляемого тепла: удовлетворенность бытовыми тепловыми насосами составила 84% в течение шести месяцев после установки, увеличившись до 92% после двух зим.

Было подготовлено два окончательных отчета ^{[сноска 19]} , и выводы, полученные в результате оценки, были использованы при разработке нескольких политик, включая Схему поддержки зеленого газа, где они поддержали решение сделать тарифные гарантии обязательной частью процесса подачи заявок; и Схема модернизации котлов – где они поддержали решения об уровнях грантов.

Практический пример 3: Мониторинг декарбонизации электроэнергетического сектора с использованием опубликованной национальной статистики

Правительственные ведомства публикуют широкий спектр официальной статистики в целях общественного блага. К ним относятся Национальные статистические данные Великобритании, которые прошли независимую проверку и аккредитованы Управлением по регулированию статистики как полностью соответствующие высоким стандартам надежности, качества и ценности, предусмотренным Кодексом практики статистики. ^{[сноска 20]} Там, где можно использовать существующие опубликованные официальные или национальные статистические данные для мониторинга хода реализации политики вместо необходимости создания отдельных потоков МиО , это может сэкономить время, затраты и обеспечить надежные показатели.

Правительство поставило цель декарбонизировать энергетический сектор к 2035 году. Это означает, что больше электроэнергии должно производиться из низкоуглеродных источников (возобновляемых и ядерных), которые не выделяют углекислый газ в момент производства. Оставшееся производство ископаемого топлива должно быть компенсировано технологиями улавливания, использования и хранения углерода. Эта политика контролируется с помощью публикуемой национальной статистики, при этом выбросы энергетического сектора Великобритании сообщаются в ежегодной статистике выбросов парниковых газов. ^{[сноска 21]} Более подробная информация, включая объем и долю электроэнергии, вырабатываемой из каждого вида топлива в Великобритании, публикуется в ежегодном Дайджесте энергетической статистики Великобритании ( DUKES ) и ежеквартальных статистических публикациях Energy Trends. Одним из показателей, используемых для мониторинга прогресса декарбонизации энергетического сектора, является доля производства низкоуглеродной электроэнергии с течением времени (опубликовано в таблице 5.6 DUKES ^{[сноска 22]} и таблице 5.1 Energy Trends ^{[сноска 23])} , которая выросла с 23% в производстве электроэнергии в Великобритании. генерации в 2010 году до 56% в 2022 году.

Опубликованная статистика может и будет меняться по мере изменения требований пользователей. Отдельная строка, показывающая долю производства электроэнергии с помощью низкоуглеродных технологий, была добавлена в Дайджест энергетической статистики Великобритании ( DUKES ), чтобы помочь пользователям сделать этот показатель доступным и устранить необходимость суммировать сами доли возобновляемых источников энергии и ядерной энергии.

Пример 4: Мониторинг Фонда декарбонизации социального жилья ( SHDF )

Новая официальная статистика была разработана для авторитетного мониторинга результатов конкретных схем, таких как SHDF , и дополняет внутреннюю работу по мониторингу для поддержки точной настройки и реализации политики в режиме реального времени.

Программа SHDF направлена на улучшение энергетических показателей домов, сдаваемых в аренду по социальному принципу, для сокращения выбросов углекислого газа и расходов на топливо, борьбы с бедностью и поддержки «зеленых» рабочих мест. ^{[сноска 24]}

Чтобы обеспечить эффективность и максимизировать существующее обучение, подход к производству официальной статистики для SHDF опирается на подходы, конвейеры и системы обработки, разработанные для предыдущих схем, таких как схемы «Обязательства энергетических компаний» и «Гранты на зеленые дома». Все получатели грантов SHDF обязаны ежемесячно предоставлять данные в DESNZ . Эти данные передаются в защищенную систему управления данными департамента ( DMS ). Затем их извлекает группа статистиков, которые перемещают данные на аналитическую платформу (CBAS), где они выполняют серию проверок качества данных. ^{[сноска 25]} Результатом является ежемесячный выпуск официальной статистики ^{[сноска 26]} на сайте gov.uk ^{[сноска 27]} , обеспечивающей прозрачную доказательную базу о результатах схемы для использования правительством, парламентом и общественностью.

Группы реализации проекта используют данные получателей грантов для создания информационных панелей для внутреннего мониторинга, чтобы понять прогресс, связанный с ключевыми индикаторами (например, установленными мерами) и контрольными точками, согласованными на этапе планирования. Это помогает направить поддержку получателям грантов SHDF и гарантировать, что схема продолжает работать.

Помимо официальной статистики и внутреннего мониторинга, собранные данные способствуют более детальной оценке, позволяющей понять, принесло ли такое использование государственных средств в рамках SHDF соотношение цены и качества и ожидаемые выгоды. Он также используется для других статистических, исследовательских целей и целей предотвращения мошенничества.

Приложение А2. Стандарты мониторинга и оценки в DESNZ

В DESNZ мониторинг и оценка должны быть встроены в план вмешательства и учитываться на протяжении всего процесса его разработки и реализации. Помимо максимизации эффективности и минимизации финансовых затрат, это позволит адаптировать как вмешательство, так и мониторинг и оценку так, чтобы максимизировать потенциал для получения надежных, полезных результатов, которые могут помочь улучшить текущую реализацию, а также принятие будущих решений. Результаты и уроки предыдущих оценок должны учитываться при обосновании, целях и оценке будущих мер. Соответственно, ожидается, что политические группы свяжутся со своими местными аналитиками как можно раньше при разработке новых мер вмешательства.

Ожидания от планирования мониторинга и оценки в DESNZ

Раннее размышление о мониторинге максимизирует нашу способность отслеживать прогресс, а учет оценочных соображений в дизайне вмешательства гарантирует, что можно достичь надежного понимания результатов. Без этого невозможно собрать соответствующие исходные данные, а также не будет доступна группа сравнения или контрольная группа, которая поможет понять, что произойдет в отсутствие политики или программы.

Существует одиннадцать основных ожиданий от планирования мониторинга и оценки в DESNZ :

1) Продемонстрировать, как уроки предыдущего мониторинга и оценки были учтены в планировании вмешательства.

Планы мониторинга и оценки, составленные на этапе разработки политики или программы, должны включать информацию о том, как предыдущие данные повлияли на разработку вмешательства. Если таких доказательств нет, необходимо предоставить объяснение.

2) Уточнить цели вмешательства и ожидаемые эффекты в теории изменений.

Как указано в «Пурпурной книге», разработка теории изменений важна для создания общего понимания и структуры для рассмотрения предлагаемых исходных данных, связанных с политикой или программой, а также причинно-следственной цепочки, ведущей от этих исходных данных к ожидаемым результатам и воздействиям. ^{[сноска 28]}

Теорию изменений следует разработать и протестировать с участием ключевых заинтересованных сторон, чтобы гарантировать, что любые проблемы и предположения идентифицированы и проверены на соответствие реальности. После завершения разработки теории она должна быть подписана старшим ответственным сотрудником и/или советом проекта/программы. Затем его следует регулярно обновлять по мере развития мероприятий и доказательной базы.

3) Оценить, какой уровень мониторинга и оценки является соразмерным

Не все вмешательства потребуют одинакового уровня изучения или одинаковых потребностей в обучении. Например, новаторское вмешательство, которое сопряжено с высоким риском и затратами, вероятно, потребует всестороннего мониторинга на протяжении всего процесса реализации и широкомасштабной оценки с использованием ряда подходов и методов. Принимая во внимание, что вмешательство с низким уровнем риска, хорошо обоснованное или низкоприоритетное вмешательство может потребовать лишь легкого мониторинга и оценки для подтверждения того, что оно было проведено так, как предполагалось, и достигло прогнозируемых результатов. Поэтому деятельность по мониторингу и оценке должна быть приоритетной, чтобы обеспечить эффективность и соотношение цены и качества.

Таблица 1: Сводка коэффициентов пропорциональности, определяющих масштаб деятельности по мониторингу и оценке

	Факторы, способствующие увеличению расходов/ усилий на мониторинг и оценку	Факторы, способствующие снижению расходов/усилий на мониторинг и оценку
Для проведения интервенций	Инвестиции имеют высокую денежную стоимость.	Инвестиции имеют низкую денежную стоимость.
Для регуляторного вмешательства	Ожидаемое воздействие является высоким (см. рекомендации по пропорциональности Комитета по регуляторной политике ( RPC ) ^{[сноска 29]} и дополнительные рекомендации Magenta Book ^{[сноска 30]} ). Существует установленное законом обязательство по проведению анализа после реализации ( PIR ).	Ожидаемый эффект низкий. Законодательного обязательства по составлению PIR не существует .
Для всех вмешательств	Вмешательство носит громкий характер, имеет стратегическое значение или вызывает споры. Существует высокая степень сопутствующего риска, неопределенности или новизны. МиО, вероятно, восполнит пробел в стратегических фактических данных и расширит базу данных о том, что работает. Результаты МиО, вероятно, повлияют на реализацию мер и их дальнейшее внедрение, например, если данные мониторинга необходимы для принятия решений в период реализации. Ожидаются распределительные последствия, которые означают, что определенные группы населения пострадают непропорционально.	Вмешательство менее стратегически важно. Природа причинных механизмов и последствий вмешательства хорошо изучена или может быть оценена путем рассмотрения небольшого числа факторов. Дальнейшие МиО вряд ли дополнят доказательную базу. Будет мало возможностей повлиять на реализацию вмешательства. Воздействие на распределение не ожидается или будет ограниченным.

В Таблице 1 представлены несколько критериев, на основе которых следует учитывать масштабы планируемой деятельности по мониторингу и оценке. Эти критерии обеспечивают определенный уровень гибкости, позволяющий выносить взвешенные и разумные суждения не только о дизайне, но и о ресурсах и бюджете. Гибкость особенно важна, учитывая, что в некоторых сценариях вмешательства могут относиться как к факторам, поддерживающим как увеличение усилий/расходов, так и снижение усилий/расходов.

Что касается новых мер, которые внедряются быстрыми темпами и будут действовать лишь в течение короткого времени, существуют дополнительные соображения, касающиеся того, что осуществимо с учетом временных ограничений. В этих случаях может существовать компромисс между своевременностью и строгостью деятельности по мониторингу и оценке. Однако приоритет должен быть отдан обеспечению своевременного мониторинга с самого начала реализации, чтобы возможности положительного влияния на реализацию мер были максимальными.

4) Оцените, какие доказательства необходимы, кто будет их использовать и когда они потребуются.

При разработке плана мониторинга и оценки важно с самого начала иметь четкое представление об аудитории и предполагаемом использовании результатов мониторинга и оценки, а также о сроках принятия решений, которые необходимо учитывать, например, в обзорах расходов. ^{[сноска 31]} Это будет иметь решающее значение, например, для определения того, какие данные необходимо собрать.

Понимая диапазон требований и их относительную приоритетность, мониторинг и оценку можно адаптировать для получения соответствующих фактических данных в требуемые сроки, а также можно заранее принять решение о вопросах, на которые можно реально ответить в желаемые сроки.

На этом этапе следует начать рассматривать связи между требованиями к управлению выгодами, мониторингу и оценке.

5) Определить цели и вопросы оценки.

Цели оценки должны быть четко определены и значимы, чтобы сузить фокус оценки и обеспечить актуальность ее результатов для лиц, принимающих решения. Важно вернуться к теории изменений при разработке целей, чтобы понять основные предположения и ожидаемые результаты и воздействия, которые необходимо проверить, а также пробелы в фактических данных, которые необходимо заполнить.

Примеры целей оценки включают в себя:

Предложение «извлеченных уроков» для обоснования разработки запланированной пилотной схемы основного инвестиционного проекта тепловых сетей и любых будущих подобных схем.
Понимание последствий предоставления дополнительного финансирования местным органам власти для целевых установок энергоэффективности среди объектов частной арендуемой недвижимости в рамках проекта Green Deal Communities.

Оценки могут быть разработаны так, чтобы ответить на широкий круг потенциальных вопросов. С самого начала важно четко понимать, что представляют собой эти вопросы и как предполагается использовать результаты их ответов, кем и когда. Хорошо разработанные вопросы оценки должны отражать цели оценки, задачи вмешательства, а также приоритеты и потребности заинтересованных сторон в фактических данных.

Примеры оценочных вопросов включают в себя:

Что сработало хорошо, что хуже и почему?
Какую часть воздействия можно отнести на счет вмешательства?
Были ли разные группы затронуты по-разному, как, почему и при каких обстоятельствах?
Является ли вмешательство эффективным использованием ресурсов?

6) Определить подходящий подход к мониторингу.
Все проекты и программы должны осуществлять мониторинг соответствующих индикаторов и показателей. ^{[сноска 32]} Мониторинг используется для многих целей, как указано в Главе 2. Важно с самого начала определить предполагаемые цели и влияние мониторинга, включая, помимо прочего, оценку. После того как будут определены все виды использования мониторинга, следует уделить внимание требованиям к данным (обсуждаемым далее в настоящем Приложении).

Подход к мониторингу должен быть подкреплен выбором соответствующих индикаторов SMART (конкретных, измеримых, достижимых, релевантных и ограниченных по времени), которые используют источники данных хорошего качества и отражают прямые последствия предпринятой деятельности. В то время как индикаторы, связанные с вкладами и результатами, обычно используются при мониторинге эффективности и принятии решений «на лету» в течение периода реализации, индикаторы результатов и объективных показателей больше всего подходят для мониторинга или оценки долгосрочных последствий политики или программы.

Чтобы получить преимущества от мониторинга, важно уделить внимание тому, как данные о ходе вмешательства (например, ключевые показатели эффективности и другие показатели) могут быть сообщены в нужное время и нужным лицам, принимающим решения (политика и другие показатели). заинтересованные стороны).

7) Определить подходящий подход к оценке

При оценке в DESNZ следует использовать надежные подходы к планированию и методологии, рекомендованные в Пурпурной книге ^{[сноска 33],} чтобы обеспечить понимание различных аспектов наших мер, таких как воздействие, причинно-следственная связь, эффективность, результативность, соотношение цены и качества и непредвиденные последствия.

Подходы и методологии следует рассматривать в каждом конкретном случае и выбирать так, чтобы они наилучшим образом отражали потребности в фактических данных. При необходимости для проверки воздействия и причинно-следственной связи можно использовать экспериментальные и квазиэкспериментальные методы либо на совокупном уровне, либо для подгрупп воздействий и процессов. Там, где такие подходы не подходят, теоретические методы могут эффективно установить, в какой степени фактические данные показывают, что вмешательство вызвало желаемое изменение, и можно ли игнорировать другие возможные объяснения изменения.

Теоретические методы, как правило, особенно подходят для оценки сложных мер или простых мер в сложных условиях. В таких ситуациях, когда определение размера эффекта часто может быть затруднено, теоретические методы могут подтвердить, оказало ли вмешательство эффект в желаемом направлении. Они также могут объяснить, почему вмешательство сработало или нет, и предоставить информацию о его переводе на другие группы населения, места или периоды времени.

Решения о подходе и методологии оценки следует принимать только после того, как будет рассмотрена пропорциональность, четко сформулированы цели и вопросы оценки, а также имеется хорошо развитое понимание контекста, имеющихся фактических данных и возможностей для сбора данных. Для сложных программ или политик зачастую наиболее подходящим для максимизации возможностей обучения является подход смешанного метода.

8) Определить требования к данным для мониторинга и оценки.

Требования к данным мониторинга и оценки должны быть заложены с самого начала любого вмешательства, чтобы процессы сбора данных и аналитические каналы были установлены наряду с разработкой программ или политики и соответствующим законодательством. Если этого не происходит, оценка может оказаться невозможной, строго ограниченной или неоправданно дорогостоящей, а многие виды деятельности по мониторингу (например, аудит) могут оказаться более трудными.

Планирование мероприятий должно включать:

Определение того, какие источники данных и другие текущие процессы сбора данных уже существуют : существующие источники часто могут удовлетворить, по крайней мере, некоторые потребности в фактических данных, создать более богатый набор данных, улучшить анализ, избежать дублирования сбора данных и снизить нагрузку. Источники могут включать административные данные, данные мониторинга из других схем, данные местных органов власти или крупномасштабные (долгосрочные) обследования. При эффективном проведении объединение наборов данных может позволить получить ответы на сложные вопросы мониторинга и оценки экономически эффективным способом. Необходимо позаботиться о оценке качества и полезности данных и обеспечить возможность сбора точных уникальных идентификаторов, позволяющих вести записи по паре, например, уникальные справочные номера недвижимости. При отсутствии уникальных идентификаторов необходимо тщательно рассмотреть соответствующие протоколы.

Определение дополнительных требований к данным : DESNZ , как отдел, который часто реализует политику через посредников (например, местные органы власти), а не напрямую, может не иметь доступа к достаточно точным и полным данным из существующих источников. Существует ряд соображений, например, потребуются ли данные, связанные с результатами, или финансовые данные, относящиеся к расходам на политику/программу. Важно определить роли и обязанности по сбору данных и обеспечить наличие соответствующих систем и разрешений.

Требования к защите и безопасности данных . Требования к защите данных следует учитывать на этапе разработки мер, чтобы данные можно было совместно использовать, использовать и хранить надлежащим образом. Это часто включает в себя включение сбора данных в необходимые стандарты и механизмы доставки с внешними партнерами, например, путем проведения оценки воздействия на защиту данных или заключения соглашений о совместном использовании данных и схем уведомлений о конфиденциальности.

Оцифровка и автоматизация сбора и обработки данных : В соответствии со стратегией воспроизводимых аналитических конвейеров ( RAP ) функции анализа ^{[сноска 34]} данные мониторинга должны быть воспроизводимыми, пригодными для повторного использования, высококачественными и эффективными. DESNZ разработал план реализации ^{[сноска 35],} отвечающий стратегии RAP и устанавливающий, как департамент будет предоставлять правильные инструменты, необходимые возможности и правильную культуру. Данные должны быть «цифровыми по умолчанию», что означает, что, где это возможно, системы, поддерживающие прием, хранение, обработку и визуализацию данных, должны быть цифровыми и автоматизированными, чтобы повысить эффективность и точность данных, а также снизить административную нагрузку. При необходимости следует использовать существующие системы и трубопроводы.

Организация сбора данных : Как будет координироваться сбор данных, следует продумать на раннем этапе, например, путем создания логической структуры (логической структуры) с соответствующими индикаторами, показывающими, что измеряется, а также исходными показателями, контрольными точками и целями для измерения прогресса. Логические рамки должны разрабатываться при участии партнеров по реализации.

Требования к данным мониторинга для регулятивных обзоров после внедрения

Данные мониторинга могут обеспечить относительно простую доказательную базу для регуляторных обзоров после реализации ( PIR ). В тех случаях, когда регулирование оказывает незначительное воздействие и несоразмерно проведению существенного сбора первичных данных или дополнительного анализа, данные мониторинга могут быть особенно полезны. В некоторых случаях информация мониторинга, имеющая отношение к нормативному акту, может уже собираться на регулярной основе. В других обстоятельствах необходимо будет запланировать сбор дополнительных данных и проведение более комплексной оценки ( дополнительную информацию об ожиданиях при планировании ПИО см. в Приложении А3 ).

Дополнительные требования к данным оценки

Качественные оценки возможны только при наличии последовательных, точных и полных данных. Помимо данных мониторинга и административных данных, оценки часто требуют дополнительных данных, чтобы можно было проверить, как связаны входные данные, результаты, результаты и воздействие вмешательства.

Количественные данные должны быть собраны для оценки изменений в результатах как в «леченых», так и в контрфактических группах – например, опросы, проводимые до и после реализации вмешательства, для оценки изменений в отношениях и поведении.

Должны быть собраны качественные данные для оценки процессов реализации и того, материализовались ли ожидаемые результаты и воздействия (те, которые невозможно оценить количественно); выявить любые непредвиденные результаты, признать влияние более широких контекстуальных факторов или опыта участников или восприятия реализации; и изучить процессы, связанные с преобразованием входных данных в результаты, чтобы понять, что для кого работает, как и в каком контексте.

Соответствующие данные оценки обычно собираются до начала вмешательства (исходный уровень), во время родов (промежуточный) и после завершения (последующий контроль), чтобы можно было оценить изменения «до и после». Точный период времени для сбора данных «после» должен быть согласован с ожидаемым сроком реализации результатов и воздействия.

9) Обеспечьте безопасность ресурсов

Как уже упоминалось, требуется суждение о масштабе и форме мониторинга и оценки, необходимых для вмешательства, в том числе о том, должно ли оно быть заказано внешними организациями или проводиться (частично или полностью) собственными силами. В некоторых обстоятельствах может быть полезно провести обзорное исследование или технико-экономическое обоснование для поддержки этого процесса принятия решений.

Все оценки, даже те, которые поручаются внешнему подрядчику, потребуют значительного внутреннего вклада (со стороны аналитиков, специалистов по политике и специалистов по реализации проектов), чтобы гарантировать их успешную разработку и реализацию. То же самое касается мониторинга, даже если часть работы по мониторингу будет выполняться партнером по доставке. Необходимо будет рассмотреть несколько ресурсов, а именно:

Финансовые ресурсы : Невозможно указать фиксированную сумму или долю бюджета для мониторинга и оценки, поскольку она будет варьироваться в зависимости от вышеизложенных соображений и типа требуемых данных. Бюджеты на оценку, выполняемую внешними организациями, могут варьироваться от десятков тысяч до миллионов фунтов в зависимости от уровня доказательств и требуемых ресурсов.

Управление и владение : В соответствии с принципами Aqua Book ^{[сноска 36]} , система доказательств DESNZ представляет собой подход обеспечения качества с четкими и ясными ролями и обязанностями, при котором обеспечение качества является непрерывным и пропорциональным, а также существует явный контрольный журнал, в котором фиксируются источники доказательств. , рассмотрение и разрешение, связанное с фактическими данными и аналитическими продуктами.

Руководящие группы : Создание руководящей группы по мониторингу и оценке поможет обеспечить разработку и управление мероприятиями в соответствии с требованиями соответствующих заинтересованных сторон и соблюдение графика. В состав руководящей группы обычно входят руководитель(и) политики и соответствующие члены команды, вспомогательные аналитики, экономисты, ответственные за оценку проекта, ключевые партнеры по реализации, другие правительственные ведомства, коллеги по финансам, аудиту, цифровым технологиям и ИТ. Руководящие группы особенно важны для крупномасштабного мониторинга и оценки, но такого рода проверка и поддержка всегда полезны, даже при незначительном мониторинге и оценке. В этих случаях можно использовать существующие группы управления.

Органы реализации : Успешный мониторинг и оценка будут зависеть от участия и сотрудничества тех организаций и отдельных лиц, которые участвуют в реализации политики или программы. Во многих случаях они будут лицом вмешательства и окажут огромное влияние на качество данных и их полезность для мониторинга и оценки. Ключевым фактором должно стать минимизация нагрузки на заинтересованные стороны.

10) Провести или поручить мониторинг и оценку

Проведение мониторинга, включая работу над механизмами защиты данных, созданием и управлением «конвейерами» для приема, обработки, визуализации и публикации данных, требует выделенных ресурсов в рамках DESNZ и партнеров по доставке.

Все оценки должны проводиться специальным внутренним менеджером проекта и иметь определенное техническое задание и спецификацию проекта. В случаях, когда необходим ввод в эксплуатацию, следует следовать внутренним указаниям по закупкам.

11) Использовать и публиковать результаты мониторинга и оценки.

Во время планирования мониторинга и оценки следует учитывать, как будут использоваться и распространяться результаты.

Мониторинг публикаций

Чтобы обеспечить общественную прозрачность и подотчетность, данные мониторинга публикуются в виде статистических данных, публикаций о прозрачности или управленческой информации. DESNZ придерживается Кодекса практики статистики и других указаний Управления по регулированию статистики ^{[сноска 37]} в отношении таких публикаций, чтобы обеспечить упорядоченный выпуск данных в доступной форме.

Оценочные публикации

DESNZ ожидает, что все наши оценки будут соответствовать пяти принципам государственного протокола социальных исследований. ^{[сноска 38]}

Принцип 1: Результаты государственных социальных исследований и анализа (включая оценку) будут доступны общественности.
Принцип 2: Каждый отчет должен иметь прозрачное техническое приложение, чтобы результаты можно было воспроизвести.
Принцип 3: Государственные социальные исследования и анализ должны публиковаться таким образом, чтобы способствовать общественному доверию (на результаты не должны влиять политические соображения).
Принцип 4: Будут разработаны механизмы для всех социальных исследований и анализа, проводимых правительством ( DESNZ должен публично объявлять о том, какие исследовательские проекты были заказаны, и публиковать информацию высокого уровня об этих проектах).
Принцип 5: Ответственность за публикацию результатов социальных исследований и анализа, проводимых правительством, должна быть четкой (в случае DESNZ это руководитель государственного отдела социальных исследований).

Как указано в Главе 4, DESNZ требует, чтобы все отчеты об оценке, заказанные по внешнему заказу, перед публикацией направлялись на независимую экспертную оценку, а комментарии рецензентов учитывались.

Другие способы распространения и использования данных оценки также должны рассматриваться на раннем этапе и регулярно пересматриваться руководящей группой, например, определение лучших каналов связи и результатов для охвата пользователей. Одностраничные резюме, видеоматериалы, инфографика и привлекательные инструменты могут помочь донести ключевые сообщения до нужной аудитории. Формат результатов должен быть согласован со всеми заинтересованными сторонами, заинтересованными в оценке, информировать о ходе реализации и ключевых моментах принятия решений, а также учитывать их при разработке новой политики.

Процедуры закрытия проектов оценки облегчают использование результатов:

Данные количественной оценки должны быть надлежащим образом обезличены и, по возможности, отправлены в защищенное хранилище данных, такое как Служба данных Великобритании ^{[сноска 39]} , для облегчения дальнейшего анализа.
Все соответствующие материалы должны быть представлены во внутреннюю онлайн-базу ключевых аналитических документов DESNZ .
Отчеты об оценке DESNZ должны быть опубликованы на сайте gov.uk или devtracker ^{[сноска 40],} а также в предстоящем межправительственном реестре оценок. Обзоры после реализации ( PIR ) должны быть опубликованы на сайтах gov.uk и законодательстве.gov.uk вместе с любыми заключениями ПКР о качестве доказательств (более подробную информацию о требованиях PIR и управлении см. в Приложении A3 ).
Результаты оценки должны быть легко доступны политикам и доступны, когда они могут влиять на решения.
Отчеты должны иметь прозрачное техническое приложение, чтобы результаты можно было воспроизвести.

Приложение А3. Ключевые процессы управления

Управление оценкой

Существует несколько процессов управления, применимых к вводу в эксплуатацию и реализации проектов оценки в DESNZ .

На этапах проектирования и ввода в эксплуатацию:

Все предложения по заказным оценкам проверяются и обеспечиваются качеством группой старших аналитиков, прежде чем будет дано одобрение на закупку.
Информация о планировании мониторинга и оценки должна быть представлена на этапе проектирования внутренней системе мониторинга и оценки отдела. ^{[сноска 41]}

В ходе проекта:

Политические группы следуют собственным процедурам обеспечения качества в соответствии с Системой доказательств DESNZ . Они также будут создавать руководящие группы на ключевых этапах исследования для обеспечения качества и влияния на стратегические решения.
Центральная группа по мониторингу и оценке департамента регулярно проверяет ключевые риски и обновленную информацию об оценках, представленных в систему внутреннего мониторинга и оценки департамента, передавая любые интересующие вопросы директору по анализу DESNZ и высшему руководству.
Центральная группа по мониторингу и оценке также проверяет ход мониторинга и оценки проектов в портфеле крупных проектов правительства ^{[сноска 42]} каждые шесть месяцев и предоставляет соответствующие обновления директору по анализу и старшим советам директоров.

На этапе публикации:

Все отчеты об оценке представляются на внешнюю рецензию независимыми экспертами по оценке. Комментарии рецензентов затем рассматриваются перед публикацией; дополнительную информацию см. в главе 4.
Ожидается, что все исследовательские и оценочные проекты DESNZ будут соблюдать Государственный протокол публикаций социальных исследований . ^{[сноска 43]}
Все отчеты об оценке должны быть загружены во внутреннюю онлайн-базу ключевых аналитических документов DESNZ .

Управление инвестициями

Комитет по портфелю и инвестициям DESNZ (PIC) тщательно изучает и одобряет значительные, ^{[сноска 44]} рискованные или спорные инвестиции средств налогоплательщиков, предлагаемые департаментом на этапах стратегического экономического обоснования, общего экономического обоснования и полного экономического обоснования. Как показано на рисунке 3, если требуется одобрение PIC, первым этапом является этап «ключевого держателя», на котором эксперты всего отдела рассматривают бизнес-кейсы, чтобы оценить, предоставляют ли они PIC достаточную информацию для принятия обоснованного решения. Если одобрение ПОС не требуется, экономическое обоснование должно следовать процедуре утверждения расходов Группы Генерального директора.

Рисунок 3. Диаграмма, показывающая процессы управления инвестициями DESNZ

Разработать бизнес-кейс

Или:

Утверждение ПОС не требуется:
процедура утверждения расходов Генеральным директором Группы

Или: Требуется одобрение PIC:
Комитет по портфельным инвестициям (PIC)
Рассмотрение и согласие ключевого держателя

План мониторинга и оценки, соответствующий стандартам, представленным на рисунке 4, ожидается в разделе управления экономического обоснования. Это оценивается на этапе держателя ключей командой центрального анализа, а затем PIC.

Рисунок 4. Схема, подробно описывающая требования DESNZ к планированию инвестиционного мониторинга и оценки

Стратегический бизнес-кейс

Обеспечивает первоначальную оценку необходимой деятельности по мониторингу и оценке.

Включает в себя:

Как предыдущие МиО повлияли на разработку политики
Ожидаемые воздействия и результаты вмешательства
Вероятный масштаб оценки с точки зрения пропорциональности
Требования к предварительным данным
Первоначальная оценка бюджета и ресурсов для МиО
Рассмотрение возможностей пилотирования/тестирования перед внедрением

Краткое описание бизнес-кейса

Дает более развернутое представление о масштабах амбиций и новых планах.

Включает предыдущие пункты и:

Теория изменений (логическая модель и описание того, что ожидается), рассмотренная соответствующими заинтересованными сторонами и подписанная СРО/советом программы.
основные цели мониторинга и оценки
вероятные способы использования и пользователи данных МиО
Общий график основных этапов планирования и проведения оценки в соответствии с графиком программы

Полное бизнес-кейс

Подробно описывается объем работ, чтобы обеспечить достаточные ресурсы и четкие обязанности.

Включает предыдущие пункты и:

набор оценочных вопросов
предлагаемые механизмы сбора данных, включая ответственность за доступ к данным и договоренности о качестве с партнерами по доставке
первоначальная структура мониторинга и отчетности, включая логическую структуру ключевых показателей, источников данных, контрольных точек, целей и плана отчетности
Подробности исследовательского подхода и методологий
Бюджет и ресурсы МиО

Регулирующее управление

Департаменты и партнерские организации обязаны проводить оценки воздействия (ОВ), оценивающие затраты и выгоды от нормативных изменений до проведения консультаций, принятия и реализации. Обзоры после внедрения ( PIR ) этих нормативных изменений являются ключевым элементом цикла разработки политики и обеспечивают основанную на фактических данных оценку эффективности меры после ее реализации и начала эксплуатации (в течение определенного периода времени). Положения о проверке в рамках первичного или вторичного законодательства, где они применяются, в настоящее время налагают установленную законом обязанность проводить ОРП в установленные сроки. Данные ОПИ будут способствовать принятию решений о продлении, изменении, отмене или замене этой меры.

Рисунок 5: Диаграмма, показывающая процессы регулирования регулирования DESNZ

1. Разработка IA/ PIR и заявления о разрешении

Либо: подпись главного аналитика не требуется.

2. Аналитические процедуры утверждения команды по политике
Перейти к «нет». 4.

Или: Требуется подпись главного аналитика.

2. Анализ группы централизованного анализа
3. Утверждение главного аналитика
4. Подача на утверждение Специальному советнику и министру
5. Подача на рассмотрение комитета по политике регулирования
6. Подача на рассмотрение кабинета министров

IA и PIR нормативных актов, которые имеют большое влияние, имеют высокий статус или основаны на новом/инновационном анализе, требуют рассмотрения командой центрального анализа DESNZ и утверждения директором по анализу перед утверждением министром для публикации. Те, кому не требуется этот уровень утверждения, следуют аналитическим процедурам утверждения своей политической группы, как показано на рисунке 5. Анализ как IA, так и PIR , отвечающих определенным критериям, также тщательно проверяется RPC . ^{[сноска 45]}

Ожидается, что для всех нормативных актов, находящихся на этапе ОВ, в ОВ будет включен обобщенный план мониторинга и оценки. В DESNZ более подробный план проверки PIR , соответствующий внутреннему шаблону, также требуется для каждого сильнодействующего нормативного акта с обязательным обязательством по проверке.

Эти планы должны быть основаны на принципах Пурпурной книги по проведению PIR ^{[сноска 46]} и проверены группой центрального анализа, используя в качестве руководства следующий контрольный список.

Планы PIR должны:

Быть всеобъемлющим и пропорциональным масштабу рассматриваемых нормативных актов.
Опишите ключевые цели рассматриваемого нормативного акта(ов)
Определите любые существующие доказательства/данные и укажите источник.
Обосновать решение собирать/не собирать новые доказательства
Там, где это применимо, укажите реалистичные и подходящие сроки для сбора доказательств.
Включите исследовательские вопросы, которые актуальны и соответствуют ключевым целям.
Опишите, как будут привлекаться ключевые заинтересованные стороны

Подробные планы подотчетности и мониторинга прогресса, а также передачи.

«Вмешательство» — это любая политика, программа или другая государственная деятельность, призванная вызвать изменения. ↩
Система мониторинга и оценки BEIS ↩
Книга Маджента ↩
Зеленая книга: оценка и оценка в центральном правительстве 2020 ↩
ОЭСР: Мониторинг и оценка ↩
Книга Маджента ↩
См. НАО: О нас для получения дополнительной информации о роли Государственного контроля. ↩
Дополнительную информацию о Комитете по регуляторной политике см. в Комитете по регуляторной политике ↩
Книга Маджента ↩
Протоколы публикаций государственных социальных исследований ↩
Дополнительные рекомендации по управлению выгодами см. в Руководстве по инфраструктуре и органам власти: Руководство по эффективному управлению выгодами в крупных проектах ↩
Обзор после реализации обеспечивает обоснованную оценку эффективности нормативного акта после его внедрения и эксплуатации в течение соответствующего периода времени. ↩
Департамент энергетической безопасности и Net Zero ↩
Международное климатическое финансирование ↩
Статистика умных счетчиков ↩
Внедрение интеллектуальных счетчиков: анализ затрат и выгод 2019 ↩
Проект раннего обучения по интеллектуальному измерению и мелкомасштабные поведенческие испытания ↩
В одном проекте были определены лучшие практические подходы к консультированию по вопросам энергоэффективности: « Руководство по передовой практике предоставления рекомендаций по энергоэффективности домохозяйствам во время посещений по установке интеллектуальных счетчиков» . В другом проекте были опробованы инновационные подходы к обратной связи по энергопотреблению, такие как приложения: конкурс SENS Smart Energy Saving . ↩
Внутренняя оценка RHI : Реформы оценки стимулирования внутренней возобновляемой тепловой энергии . Оценка небытового RHI : Реформы оценки стимулирования небытового возобновляемого тепла ↩
Кодекс практики статистики ↩
Статистика выбросов парниковых газов в Великобритании ↩
Электричество: глава 5. Сборник энергетической статистики Соединенного Королевства ( DUKES ) ↩
Электричество: Раздел 5 Тенденции в энергетике ↩
Фонд декарбонизации социального жилья, волна 2 ↩
Одна из проверок качества включает проверку установок на соответствие записям Trustmark, чтобы гарантировать, что меры по энергоэффективности зарегистрированы и соответствуют требуемому стандарту качества. Другой предполагает сравнение информации из схемы SHDF с другими схемами энергоэффективности, чтобы гарантировать, что затраты, экономия энергии и выбросов углерода в целом согласованы между схемами, и понять любые различия. ↩
Подготовлено в соответствии с Кодексом практики статистики. ↩
Статистика Фонда декарбонизации социального жилья ↩
Книга Маджента ↩
Руководство по пропорциональности в нормативных документах ↩
Книга Маджента ↩
Обзоры расходов обычно проводятся каждые два-пять лет. Обычно они устанавливают ведомственные бюджеты на три-пять лет вперед и определяют масштаб и характер программ государственных услуг и государственных инвестиций. ↩
Например, количество приложений, количество интеллектуальных счетчиков в домах и на малых предприятиях по всей Великобритании или процент людей с интеллектуальными счетчиками, которые говорят, что предприняли шаги по сокращению энергопотребления. ↩
Книга Маджента ↩
Стратегия воспроизводимых аналитических конвейеров: Раздел 1 ↩
Стратегия воспроизводимых аналитических конвейеров функции анализа ( RAP ) до 2023 года: план внедрения DESNZ , местный стратегический план ↩
Книга Aqua: Руководство по проведению качественного анализа для правительства ↩
Например, нормативные рекомендации OSR по прозрачному опубликованию и использованию статистики и данных: PID – когда данные цитируются публично, они должны быть опубликованы в доступной форме ↩
Протоколы публикаций государственных социальных исследований ↩
Служба данных Великобритании ↩
Devtracker FCDO ↩
Онлайн-база данных, созданная для регистрации мероприятий по мониторингу и оценке во всех областях политики DESNZ . ↩
Управление крупных проектов ↩
Протоколы публикаций государственных социальных исследований ↩
Проекты, стоимость всего жизненного цикла которых превышает 50 миллионов фунтов стерлингов для DESNZ (или других делегированных полномочий, где это применимо). ↩
Комитет по регуляторной политике ↩
Дополнительное руководство Magenta Book. Руководство по проведению регулятивных проверок после реализации ↩

WikiVisa — ВикиВиза — VikiVisa

DESNZ — система мониторинга и оценки Net Zero

Система мониторинга и оценки DESNZ

Документы

Департамент энергетической безопасности и Net Zero: Система мониторинга и оценки (доступная веб-страница)

Департамент энергетической безопасности и Net Zero: Система мониторинга и оценки (PDF)

Подробности

Предисловие

Управляющее резюме

1. Введение

Цель Рамочной программы

2. Мониторинг и оценка в DESNZ

2.1 Как выглядит мониторинг в DESNZ ?

2.2 Как выглядит оценка в DESNZ ?

2.3 Какова связь между мониторингом, оценкой и управлением выгодами?

3. Стандарты мониторинга и оценки

4. Концепция мониторинга и оценки DESNZ

4.1 Обеспечение комплексного мониторинга и оценки

4.1.1 Требование хорошо разработанных планов мониторинга и оценки

4.1.2 Поощрение передового опыта в наших партнерских организациях

4.2 Внедрение мониторинга и оценки в процессы управления

4.2.1 Централизованное отслеживание выполнения обязательств по мониторингу и оценке

4.3 Создание потенциала и возможностей для мониторинга и оценки

4.3.1 Предложение комплексного пакета обучения и ресурсов

4.4 Содействие формированию позитивной культуры обучения

4.4.1 Взаимодействие с другими отделами для изучения того, что работает

4.5 Поддержание независимого и прозрачного обеспечения качества результатов

4.5.1 Обеспечение рецензирования всех опубликованных оценок

4.6 Поощрение новых и инновационных подходов к мониторингу и оценке

5. Следующие шаги

Приложение А1. Практические примеры мониторинга и оценки DESNZ

Приложение А2. Стандарты мониторинга и оценки в DESNZ

Ожидания от планирования мониторинга и оценки в DESNZ

Приложение А3. Ключевые процессы управления

Управление оценкой

Управление инвестициями

Регулирующее управление

О нас

NOTA BENE