Сектор цифровых технологий Великобритании («цифровые технологии») является существенной и растущей частью экономики Великобритании. Его успех и успех экономики в целом также тесно переплетены, поскольку цифровые технологии все больше внедряются во все сектора. Правительство Великобритании осуществило широкий набор мероприятий по поддержке сектора, в том числе программу Tech Nation (TN).

Чтобы лучше понять влияние этого вмешательства, DCMS заказала эту оценку воздействия, чтобы получить:

• всеобъемлющий обзор результатов и воздействия программы ТС.
• дополнительные надежные количественные доказательства влияния этих типов вмешательств, чтобы помочь поддержать будущие бизнес-кейсы.

TN состоит из нескольких инициатив. Некоторые инициативы обеспечивают большую практическую поддержку, чем другие, а некоторые инициативы со временем существенно изменились. Поэтому мы использовали разные подходы к оценке для каждой из четырех сопоставимых групп инициатив. ^{[сноска 1]}

Вместо этого мы разделили инициативы TN на 4 группы в зависимости от их характеристик и типа используемого подхода к оценке.

• Группа 1 — инициативы роста, направленные на то, чтобы помочь предприятиям успешно пройти переход от стартапа к масштабированию и далее. Они могут быть оценены количественно и включают: Future Fifty, Upscale и Northern/Rising Stars.
• Группа 2 — более простые инициативы, в том числе Founder’s Network (бесплатная онлайн-сеть для стартапов и их расширение для совместной работы и обмена знаниями) и Digital Business Academy (бесплатная онлайн-платформа для обучения, которая предлагает краткие курсы обучения цифровым и бизнес-навыкам). . Они были оценены качественно.
• Группа 3 — в эту группу входила схема TN Visa, которая предлагает путь в Великобританию для исключительно талантливых людей из-за рубежа. Эта инициатива требовала индивидуального подхода, основанного на сценариях.
• Группа 4 — эта последняя группа включает в себя веб-сайт TN, отчеты и техническое погружение (курс, помогающий участникам лучше понять сектор цифровых технологий Великобритании). Эти инициативы претерпели существенные изменения в последние годы и лучше всего подходят для промежуточной оценки (результатов и предварительных результатов).

В целом наша оценка показывает, что эти инициативы приносят существенную пользу:

• Группа 1. Мы обнаружили, что участие в программах Future 50, Upscale и Northern/Rising Stars приводит к увеличению занятости поддерживаемых предприятий на 14–25 % через 1–2 года после того, как они завершили инициативу. ^{[сноска 2]} Это означает, что инициативы Группы 1 создают значительную дополнительную валовую добавленную стоимость ( ВДС ).). Future Fifty и Upscale, две крупнейшие инициативы, приносят от 11 до 20 миллионов фунтов стерлингов и от 4 до 7 миллионов фунтов стерлингов соответственно для каждой когорты поддерживаемых фирм. Однако имеющихся данных было недостаточно, чтобы оценить, исчезает ли этот эффект через 1-2 года (поскольку другие фирмы догоняют) или сохраняется в долгосрочной перспективе (поскольку поддерживаемые фирмы сохраняют свое преимущество и/или продолжают расти быстрее). . Более поздние инициативы (Кибер, прикладной ИИ и финтех), вероятно, окажут аналогичное влияние, но не могут быть оценены напрямую, поскольку они были представлены только в 2018 и 2019 годах, а данные о результатах поддерживаемых фирм после их участия в инициативах отсутствуют. доступно еще. Более подробно это описано в Разделе 2. ^{[сноска 3]}
• Группа 2 — мы нашли качественные доказательства того, что администраторы баз данных и Founders Network помогают своим пользователям достигать своих целей, часто лучше, чем доступные альтернативы. Мы также обнаружили, что эти инициативы можно расширить с относительно низкими затратами и предоставить выгоды значительно более широкому кругу пользователей, чем их нынешняя база. Этот анализ кратко изложен в Разделе 3.
• Группа 3 — мы нашли доказательства того, что TN использует схему экономически эффективно, снижая административную нагрузку на Министерство внутренних дел. Схема обеспечивает единственный путь въезда в Великобританию для ряда высококвалифицированных мигрантов. Это кратко изложено в Разделе 4.
• Группа 4 — для веб-сайта, отчетов TN и Tech-Immersion мы обнаружили явные доказательства того, что каждая из этих инициатив со временем улучшилась. Однако нам не удалось выявить четких доказательств долгосрочных результатов этих инициатив. Это кратко изложено в Разделе 5.

В рамках нашей оценки DCMS также запросила обзор выполнения TN прошлых рекомендаций. В целом мы обнаружили, что основная часть предыдущих рекомендаций была выполнена или находится в процессе выполнения. Обзор выполнения прошлых рекомендаций включен в Приложение B.

Заглядывая вперед, наша оценка предлагает дополнительные рекомендации для работы инициатив TN и будущих оценок воздействия TN.

Эксплуатационные рекомендации

• Группа 1 – в настоящее время мы не даем никаких дополнительных рекомендаций. Это связано с тем, что используемые методы оценки (эконометрика) сосредоточены на получении надежных оценок воздействия, а не на изучении того, как было достигнуто какое-либо воздействие. Таким образом, эти методы менее подходят для предоставления рекомендаций о том, как улучшить инициативы в будущем.
• Группа 2 – а) формально определить предполагаемых бенефициаров с учетом различных потребностей различных групп пользователей и соответствующим образом адаптировать предложение, и б) более активно продвигать эти инициативы среди работодателей и пользователей других инициатив ТС.
• Группа 3 – а) для повышения осведомленности о визовой схеме за счет расширения зарубежного маркетинга и б) для обмена опытом и знаниями, полученными в результате разработки платформы для подачи заявлений на получение визы, с другими назначенными компетентными органами (DCB).
• Группа 4 – для инициативы Tech Immersion, чтобы обеспечить полное использование онлайн-компонента при проведении курса.
• В масштабах всей программы — для активного продвижения и отслеживания связей между инициативами, например, с помощью сети EEM для перекрестного продвижения (других) инициатив среди текущих пользователей и их сотрудников.

Рекомендации по оценке

• Группа 1 – а) воспроизвести количественную оценку воздействия с использованием обновленных данных, когда они будут доступны, чтобы расширить размер выборки и изучить более долгосрочные воздействия, и б) изучить возможность использования регрессионного плана разрыва (RDD) в будущих оценках для повышения точности количественный анализ.
• Группа 2 — пересмотреть логическую структуру, чтобы обновить теорию изменений и помочь в формировании будущей стратегии, а также начать регулярно собирать данные о характеристиках пользователей.
• Группа 3 — для сбора более подробных данных о стоимости работы схемы TN Visa (включая разбивку накладных расходов и затрат на веб-сайт).
• Группа 4 — для обеспечения сбора данных об использовании с течением времени, а также для увеличения количества данных о характеристиках и результатах пользователей (этому поможет разделение модели маркетинговой логики на уровне инициативы).
• В масштабах всей программы : а) определить более точное распределение накладных расходов по каждой из инициатив, чтобы помочь в будущих оценках, и б) обновить структуру оценки для создания пересмотренных подробных логических моделей.

1. Введение и подход

Сектор цифровых технологий является существенной и растущей частью экономики Великобритании. Это мировой лидер. Великобритания превосходит страны аналогичного размера и занимает четвертое место в мире по объему инвестиций в цифровые технологии после США, Китая и Индии. ^{[сноска 4]} Успех сектора цифровых технологий и экономики в целом также тесно переплетены, поскольку цифровые технологии все больше внедряются во все сектора. ^{[сноска 5]} Правительство Великобритании осуществило широкий набор мероприятий по поддержке сектора, в том числе программу TN. TN получила около 6,96 млн фунтов стерлингов основного финансирования в 2019–2020 годах, и ожидается, что она будет получать аналогичную сумму в каждый из следующих двух лет. ^{[сноска 6]} Этот грант предназначен для помощи TN:

• развивать и поддерживать сектор цифровых технологий Великобритании;
• поддерживать зарождающиеся отрасли в секторе цифровых технологий; а также
• улучшить связи и связи между сектором цифровых технологий (как по регионам, так и по отраслям) ^{[сноска 7]}

DCMS поручил Frontier Economics оценить программу TN, чтобы получить четкое представление о ее воздействии и обеспечить эффективность государственной поддержки.

TN ранее оценивалась в 2017 году, но с тех пор характер и форма ее поддержки британского сектора цифровых технологий претерпели несколько изменений (и тем более с момента ее создания в 2010 году). В 2018 году TN заменила Tech City UK и Tech North, чтобы сделать организацию более ориентированной на всю Великобританию и расширить свою деятельность и охват. За это время также было запущено несколько новых инициатив (например, инициатива Fintech была представлена ​​в 2018 году), а существующие были значительно пересмотрены, например, путем изменения формата и перезапуска (например, веб-сайт был перезапущен, а DBA реструктурирована в 2018 году).

DCMS попросил нас предоставить обновленную оценку воздействия, чтобы отразить изменения в реализации программы TN и заполнить пробелы в существующей базе данных. Это включало изучение воздействия новых или значительно пересмотренных инициатив и повышение надежности существующих оценок, где это возможно.

Кроме того, оценка отвечает следующим методологическим требованиям.

• Где возможно, для количественной оценки воздействия и экономических выгод инициатив TN.
• Метод, используемый для количественной оценки этих преимуществ, должен предоставить DCMS надежные и надежные оценки для поддержки оценок и разработки бизнес-кейсов для будущих (аналогичных) программ в секторе цифровых технологий.
• Если количественная оценка невозможна, провести качественную оценку воздействия инициатив ТС. ^{[сноска 8]}
• Если детальная оценка невозможна (например, потому что инициатива возникла слишком недавно), провести промежуточную оценку.
• Проверить, насколько хорошо были реализованы рекомендации предыдущих оценок.

Мы выделили четыре группы инициатив, отражающие: предполагаемые результаты и воздействие инициатив; имеющиеся доказательства; и тип вопроса, на который DCMS и TN должны ответить, чтобы понять текущее влияние TN и то, как его можно увеличить в будущем.

Количественная оценка воздействия — подходит для вмешательств, которые, как ожидается, окажут значительное и измеримое влияние на деятельность фирмы.

• Future Fifty, Upscale и Northern/Rising Stars — оцениваются непосредственно с помощью эконометрического анализа.
• Fintech, Applied AI и Cyber ​​не оцениваются напрямую, поскольку они были реализованы слишком недавно (с 2018, 2019 и 2019 годов соответственно). Тем не менее, мы сообщаем об их ожидаемых преимуществах.

Качественная оценка воздействия и анализ охвата . Подходит для вмешательств, которые, как ожидается, окажут рассеянное воздействие на большое количество пользователей.

• Цифровая бизнес-академия и Founders Network оценивались путем: а) проведения интервью с ведущими поставщиками и потенциальными пользователями и б) опроса существующих пользователей.

Оценка воздействия на основе сценариев . Подходит для вмешательств, в которых трудно объективно определить контрфактический эффект. Чтобы лучше понять чистое влияние TN, полезно сравнить статус-кво, включая вмешательство TN, с различными теоретическими сценариями того, что могло бы произойти без вмешательства.

• Визовая схема TN была оценена с использованием специального анализа, в ходе которого были выявлены два гипотетических контрфакта. Анализ основан на кабинетных исследованиях, интервью с руководителем инициативы, анализе данных мониторинга и опросе владельцев виз.

Промежуточная оценка (результаты и ранние результаты) — подходит для вмешательств, для которых мало количественных данных, часто потому, что они были введены относительно недавно.

• Веб-сайт, отчет и техническое погружение TN были оценены посредством интервью с руководителями инициатив и анализа данных мониторинга, основанных на существующих данных для веб-сайта и отчета, а также первоначальной оценки технического погружения.

2. Количественная оценка воздействия

Цель инициатив Группы 1 (Future Fifty, Upscale, Northern/Rising Stars, Fintech, Cyber ​​и Applied AI) — ускорить рост поддерживаемых предприятий. Как правило, это включает в себя предоставление фирмам практической поддержки для успешного перехода от запуска к масштабированию (и далее).

Следовательно, чтобы оценить влияние инициатив группы 1, нам необходимо проверить гипотезу о том, что поддерживаемые фирмы растут быстрее, чем они могли бы в противном случае. Для этого мы измерили рост числа сотрудников и оценили это влияние, используя подход сопоставления показателей склонности ( PSM ). Подход PSM позволяет нам измерить, насколько поддерживаемые фирмы работали по сравнению с фирмами с аналогичными характеристиками.

Подход PSM позволяет нам оценить воздействие на занятость. Затем мы преобразуем их в воздействие на валовую добавленную стоимость ( ВДС ). Чтобы соответствовать руководству HMT по оценке воздействия («Зеленая книга» — допущение о полной занятости), мы предположили, что дополнительные работники, нанятые фирмами, поддерживаемыми TN, были бы наняты в другом месте. Однако новые рабочие места, созданные в результате поддержки TN, скорее всего, приведут к увеличению ВДС , производимой экономикой Великобритании. Это связано с тем, что масштабирование цифровых технологий обычно дает более высокую ВДС на одного работника, чем средний бизнес в Великобритании. ^{[сноска 9]} Мы оцениваем влияние инициатив Группы 1 на ВДС Великобритании.путем умножения количества дополнительных рабочих мест на соответствующую надбавку к ВДС на одного работника.

2.1 Данные и объем

2.1.1 Используемые данные

Для реализации подхода, описанного выше, нам нужны данные на уровне фирм как для поддерживаемых, так и для неподдерживаемых фирм, включая информацию о: а) росте занятости, б) получали ли они поддержку и в) характеристиках этих фирм. Информация о характеристиках фирм помогает нам оценить сопоставимость поддерживаемых и неподдерживаемых фирм.

Анализ вводит переменные из ряда различных наборов данных. Они связаны друг с другом с помощью регистрационного номера компании (CRN). Используемые наборы данных были следующими.

• данные ТН. Это идентифицирует фирмы-участники с флагами для различных инициатив и лет.
• База данных бизнес-структуры ONS ( BSD ) 2012-2018. Этот набор данных охватывает подавляющую часть экономической деятельности Великобритании — все фирмы, зарегистрированные в качестве плательщиков НДС или PAYE. Он дает информацию о занятости и текучести кадров, а также о секторе и географии. BSD извлекается ежегодно . На момент нашего анализа самой последней доступной версией BSD была версия 2018.
• Бохерст. Это база данных, охватывающая быстрорастущие фирмы, которая включает обширную информацию об экономической деятельности фирм, помимо их стандартных кодов отраслевой классификации. ^{[сноска 10]} Включение в Beauhurst само по себе является сильным идентификатором фирм, похожих на фирмы TN. Мы определили фирмы, наиболее похожие на участников TN, применив фильтры по возрасту бизнеса (мы включили фирмы, созданные в период с 2003 по 2016 год), секторам (технологии, профессиональные/деловые услуги, СМИ и розничная торговля) и географии (Север, Лондон). На основе этих фильтров мы затем извлекли случайную выборку фирм, из которых около 1500 можно было сопоставить с данными BSD . ^{[сноска 11]}

2.1.2 Обработка инициатив и ежегодных когорт по объему

Первые значительные инициативы Группы 1 начались в 2014 году и продолжаются до настоящего времени. Поскольку последние доступные данные BSD включают только информацию о занятости в фирмах до (и включительно) 2018 года, мы можем наблюдать влияние инициатив TN на занятость после участия только для фирм, которые получили поддержку в 2017 году или ранее. На практике это означает, что этот анализ был сосредоточен на когортах фирм, которые участвовали в инициативах Future Fifty, Upscale, Northern/Rising Stars (и FintechForAll) до 2018 года. не могли непосредственно оценить их воздействие.

Независимо от инициативы, каждая ежегодная когорта поддерживаемых фирм относительно невелика (20-30 фирм), поэтому было невозможно оценить влияние каждого вмешательства отдельно для каждой когорты. ^{[сноска 12]} Вместо этого мы сосредоточились на расчетном среднем воздействии на поддерживаемые фирмы через 1 и 2 года после участия (t+1 и t+2) на основе показателей всех когорт в период с 2014 по 2017 год. ^{[сноска 13]}

2.2 Методология

Цель анализа состоит в том, чтобы оценить лечебный эффект от участия в инициативах TN путем сравнения показателей участников (т. е. фирм) с заслуживающей доверия контрольной группой (т. е. фирмами, не поддерживаемыми TN). Выявление заслуживающей доверия контрольной группы является главной задачей (и целью) предлагаемого нами эконометрического анализа.

Если определена подходящая контрольная группа, то можно отделить воздействие лечения (т.е. участие в TN) от предполагаемого, т.е. того, что произошло бы для участников без поддержки TN. Использование подходящей контрольной группы важно, потому что вполне вероятно, что фирмы TN выросли бы больше, чем «средняя» фирма, независимо от их участия в инициативах TN. Более того, простое сравнение деятельности компаний до и после поддержки TN вряд ли уместно, поскольку темпы роста компаний обычно меняются со временем независимо от участия в инициативах роста (рост обычно замедляется по мере увеличения размера компаний).

В контрольную группу входят фирмы того же возраста, состава секторов и размера, что и фирмы, участвующие в TN. Затем мы сравниваем результаты двух групп. Разница между ними интерпретируется как воздействие инициативы: лечебный эффект.

2.2.1 Моделирование склонности к получению поддержки

Чтобы определить правильную контрольную группу неподдерживаемых фирм, мы используем PSM . PSM — это надежный статистический метод, который:

• во-первых, оценивает, какие характеристики фирмы важны для определения вероятности участия в оцениваемой инициативе; а также
• затем сравнивает поддерживаемые фирмы с неподдерживаемыми фирмами, которые наиболее похожи с точки зрения важных характеристик, определенных ранее. ^{[сноска 14]}

Наш анализ включает информацию о следующих характеристиках фирмы:

• переменная лечения: переменная-индикатор, указывающая, участвовали ли фирмы в инициативах Группы 1 (источник: данные программы).
• характеристики фирмы по данным BSD :
  • размер в базовом году: занятость и оборот ^{[сноска 15] [сноска 16]}
  • предыдущий рост занятости — разница в росте занятости в базовом году по сравнению с 3 годами, предшествующими базовому году.
  • показатель, определяющий, была ли фирма создана за последние 3 года
  • индикатор сектора, определяющий, находится ли фирма в (в широком смысле) секторе цифровых технологий: коды SIC 58-63; ^{[сноска 17]}
  • региональный индикатор, определяющий, находится ли фирма на севере Англии
  • возраст фирмы в базисном году
• Характеристики фирмы по данным Beauhurst:
  • академический показатель, определяющий, является ли фирма дочерней компанией ^{[сноска 18]}
  • индикатор акселератора, определяющий, участвовала ли фирма в акселераторе ^{[сноска 19]}
  • Индикатор сектора / модного слова, определяющий, относится ли фирма к категориям Fintech, Media, Retail, Tech / IP ^{[сноска 20]}

Хотя есть много других переменных характеристик фирм, которые можно было бы включить, они не помогли нам определить устойчивую контрольную группу, поскольку они были: уже хорошо охвачен некоторыми включенными переменными (например, дополнительное модное слово, которое сильно коррелирует с уже включенным). Выбор переменных был основан на процедуре выбора модели, в которой мы сначала указываем теоретические факторы релевантности (например, размер, сектор, местоположение, история), а затем тестируем различные переменные в этой группе, чтобы определить те из них, которые обладают наилучшей объяснительной силой.

Первый этап процедуры PSM показывает, что поддержанные фирмы:

• с большей вероятностью, чем неподдерживаемые фирмы, будут расположены в Лондоне
• участвовали в акселераторах или спинаутах
• в основном в таких секторах, как Fintech, СМИ, розничная торговля или IP
• как правило, крупнее, чем другие фирмы Beauhurst в выборке
• быстро росли до присоединения к инициативе ^{[сноска 21]}

2.3 Оценка выгод для поддерживаемых фирм

2.3.1 Основные результаты

На втором этапе процедуры PSM каждая инициативная фирма сопоставляется с фирмами с наиболее близкими склонностями к обращению («ближайший сосед»), и результаты для двух групп сравниваются. ^{[сноска 22]} Мы измеряем результаты компаний как их пропорциональное изменение в занятости (рабочие места PAYE) через 1/2/3 года после начала инициативы (эта переменная результата получена из BSD ). ^{[сноска 23]}

На рисунке 1 ниже показаны результаты для группы лечения (строка A) и результаты контрольной группы в строках B и C, где D показывает эффект лечения (разница между лечением и контролем). Наконец, строка E описывает статистическую значимость эффекта лечения – она измеряет уровень уверенности в том, что наблюдаемый эффект лечения не возник случайно. ^{[сноска 24]} В столбцах показаны результаты для разных временных горизонтов (т.е. годы после исходного уровня).

Рисунок 1. Влияние на оплачиваемые рабочие места

	Рабочие места PAYE относительно базового года (базовый уровень = 100)	Год т+1	Год т+2	Год т+3
А	Лечение — поддерживаемые фирмы	141	166	174
Б	«Сырой» контроль — все неподдерживаемые фирмы без перевзвешивания PSM	120	135	147
С	Контроль – неподдерживаемые фирмы с повторным взвешиванием PSM	124	133	151
Д	Эффект лечения (A/C-1)	+14%	+25%	+15%
Е	Статистическая значимость D	***(1%)	***(1%)	(Инсиг)

Источник: Пограничный анализ данных ONS ( BSD ), Beauhurst и TN.

Как и ожидалось, мы обнаруживаем, что поддерживаемые фирмы растут с течением времени (строка A) и что они растут быстрее, чем «сырая» контрольная группа всех неподдерживаемых фирм (строка B).

Когда мы сравниваем поддерживаемые фирмы с надежной контрольной группой, определенной с помощью PSM , мы по-прежнему обнаруживаем, что поддерживаемые фирмы растут более быстрыми темпами. Например, через 2 года фирмы экспериментальной группы были на 66% больше с точки зрения занятости, чем в исходном состоянии, тогда как в группе сравнения было только на 33% больше. Короче говоря, мы находим убедительные доказательства роста занятости на 14-25% для поддерживаемых фирм через 1-2 года после их участия в инициативе TN Group 1 (Future Fifty, Upscale или Northern/Rising Stars). ^{[сноска 25]}

Расчетный эффект инициатив TN через три года после участия статистически не отличается от нуля. Однако это может быть связано с относительно небольшим размером выборки, используемой для оценки t+3. Важно иметь в виду, что состав выборки меняется в зависимости от временных горизонтов. В то время как результат t+1 будет включать инициативы с 2014 по 2017 год и включает 131 участвующую фирму в выборке, результат t+3 получен только из когорт 2014 и 2015 годов и включает только 43 участвующие фирмы в выборке.

2.3.2 Анализ устойчивости и чувствительности

Чтобы проверить надежность наших результатов, мы проверили, насколько хорошо подход достигает своей цели по устранению всех наблюдаемых различий между участвующими фирмами и контрольной группой.

Самая важная из этих проверок включает проверку того, следуют ли экспериментальная и контрольная группы «общим тенденциям». Если две группы, построенные с помощью PSM , действительно похожи, они должны показать схожую траекторию роста в период до лечения. На Рисунке 2 ниже мы показываем траекторию роста участвующих фирм по сравнению как с более широкой контрольной группой всех фирм в объединенном наборе данных Beauhurst/ BSD , так и с более узкой контрольной группой, рассчитанной с помощью PSM . ^{[сноска 26]} Как видно, за 3 года, предшествовавших присоединению к инициативе, участвующие фирмы увеличили свою занятость в пять раз, тогда как более широкая контрольная группа только удвоилась. Тем не менее, ПСМ .Группа сравнения показывает очень похожую траекторию роста компаний-участниц в преддверии базового года. Затем контролирующие фирмы продолжают расти после базового года, но не так быстро, как фирмы, поддерживаемые инициативой TN.

Мы также проверили наличие статистически значимых различий между экспериментальной группой и группой сравнения PSM по всем характеристикам, наблюдаемым в наших данных (технически это известно как «критерий баланса»). Мы не находим различий между двумя группами по подавляющему большинству переменных, за исключением доли очень молодых фирм (менее 1 года). Это выше в группе сравнения PSM (6% против 1,5%), чем в группе лечения.

Мы также проводим ряд дополнительных тестов, которые более подробно описаны в разделе A.2 приложения. Все эти различные тесты подтверждают, что наши оценки воздействия инициатив группы TN 1 не обусловлены наблюдаемыми различиями между рассматриваемыми и контрольными фирмами (например, это не тот случай, когда поддерживаемые фирмы уже росли более высокими темпами до присоединения к инициативам TN). или с помощью конкретных допущений моделирования. По-прежнему возможно, что обработанные и контрольные фирмы различаются по характеристикам, которые нельзя было наблюдать или представить в наших данных, и это частично объясняет более высокие темпы роста фирм, поддерживаемых TN, по сравнению с контрольной группой. Например, может случиться так, что фирмы, поддерживаемые TN, возглавляются более опытным или амбициозным персоналом.

Однако это ограничение всех подходов к количественной оценке, выходящих за рамки экспериментальных методов (т. е. методов, в которых контрольная и экспериментальная группы явно распределяются случайным образом, или квазиэкспериментальных методов, при которых отбор в экспериментальной группе почти случайный), которые не были применимы для данного исследования. оценка. Несмотря на это предостережение, наш подход значительно улучшает доказательную базу, существовавшую до этого проекта, которая основывалась на собственной субъективной оценке участниками воздействия инициатив TN.

2.3.3 Ограничения подхода к оценке

• Время воздействия — различные инициативы TN могут возникать в разные моменты года и могут различаться по продолжительности (такие инициативы, как Rising Stars, действуют в течение нескольких дней, инициатива Upscale — в течение 6 месяцев, а Future Fifty — от 6 месяцев до 2 лет). . Напротив, переменная BSD PAYE сообщается только один раз в год в апреле (но с информацией за последний квартал). Поэтому мы можем только приблизить время между вмешательством и измеренным воздействием. По этой причине наш ключевой результат следует интерпретировать как эффект от 1 до 2 лет.
• Долговечность выгоды. Размеры выборки слишком малы, чтобы окончательно определить воздействие через несколько лет после участия. Таким образом, рассчитанный прирост на 14-25% является лишь первоначальным приростом занятости после участия в инициативе. Это не означает, что в последующие периоды выгоды не накапливаются, а скорее означает, что у нас недостаточно данных, чтобы оценить это с точностью.
• Различия между инициативами. Дезагрегирование данных по годам/инициативам усложняет точное определение влияния на занятость. Ключевая проблема с выборками меньшего размера заключается в том, что становится труднее определить достаточно схожий набор фирм-сравнений. Мы описываем эти различные сокращения в разделе A.2.3 Приложения, и, хотя все они предполагают положительный эффект, они менее надежны, поэтому наша предпочтительная основная оценка относится ко всем инициативам. Тем не менее, дезагрегированный анализ предполагает, но не показывает окончательно, что инициативы, поддерживающие более крупные фирмы (Future Fifty, Upscale), скорее всего, окажут пропорционально меньшее воздействие, чем инициативы, поддерживающие более мелкие. Таким образом, оценка прироста в 25% должна быть сильно оговорена для Upscale и Future Fifty. ^{[сноска 27]}

2.4 Оценка предполагаемого воздействия на ВДС

Эконометрический анализ оценивает дополнительный рост занятости, который может быть связан с участием в TN. Чтобы преобразовать эту оценку роста в влияние на ВДС , мы действуем в три этапа.

1. Мы применяем оценочный диапазон 14-25% к среднему размеру компании на исходном уровне, чтобы рассчитать рост занятости на фирму.
2. Затем мы масштабировали этот рост по количеству фирм в каждой инициативе.
3. Наконец, мы умножаем это на разницу между ВДС цифрового сектора на одного работника (99 тысяч фунтов стерлингов) и ВДС всех секторов на одного работника (56 тысяч фунтов стерлингов) на одного работника. быть добавленным; скорее влияние ВДС исходит из предположения, что работники переходят с работы с более низкой производительностью на работу с более высокой производительностью.

Чтобы проиллюстрировать расчет ВДС , давайте рассмотрим случай Upscale.

В среднем в год насчитывается 30 фирм со средним базовым штатом сотрудников 23 человека. Используя более консервативные оценки прироста в 14% (с учетом предостережений, отмеченных в разделах 2.3.2 и 2.3.3), каждая когорта (т.е. 30 фирм) имеет около 98 дополнительных работников через 1-2 года после реализации инициативы по сравнению с предполагаемым. ^{[сноска 29]} Это связано с совокупным воздействием на ВДС в размере 4,2 млн фунтов стерлингов в период от 1 до 2 лет после реализации инициативы.

В идеале эти выгоды следует сравнивать с затратами. Компания TN не смогла точно распределить накладные расходы между различными программами, поэтому мы приблизили их. Для каждой инициативы (например, Future Fifty, Upscale и т. д.) мы оценили общую среднюю годовую стоимость путем суммирования прямых затрат и пропорциональной доли накладных расходов. Хотя это разумное приближение, оно частично занижает общую стоимость инициатив, которые имеют низкие прямые затраты, но высокие накладные расходы (дополнительное описание методологии расчета затрат приведено в разделе A.3 Приложения).

Выгоды и издержки инициатив показаны на рисунке 3 ниже. Это сравнивает влияние ВДС (т.е. выгоды) с годовыми затратами. ^{[сноска 30]} Обратите внимание, что влияние ВДС представляет собой годовой показатель (т. е. каждый год фирмы больше, чем сопоставимые компании), но мы не знаем точно, в какой период каждый раз проявляется этот эффект и как долго (как поясняется в разделе 2.3.3). Напротив, затраты на инициативу носят разовый характер, т. е. они понесены только в том году, когда инициатива проводится для этой конкретной когорты.

Рис. 3. Выгоды и издержки инициативы TN — группа 1

	Средний размер компании на исходном уровне (количество сотрудников)	Среднее количество компаний в год	Влияние на ВДС через 1-2 года после участия (рост на 14% / 25%).	Средняя стоимость в год
Будущие пятьдесят	84	23	+11,5 млн фунтов стерлингов / +20,5 млн фунтов стерлингов	0,5 млн фунтов стерлингов
Высококлассный	23	30	+4,2 млн фунтов стерлингов / +7,5 млн фунтов стерлингов	0,4 млн фунтов стерлингов
Северные / Восходящие звезды	3	21	+0,3 млн фунтов стерлингов / +0,6 млн фунтов стерлингов	0,5 млн фунтов стерлингов
Финтех для всех	5	61	+1,8 млн фунтов стерлингов / +3,1 млн фунтов стерлингов	0,2 млн фунтов стерлингов
Финтех*	22	22	+3,0 млн фунтов стерлингов / +5,3 млн фунтов стерлингов	0,6 млн фунтов стерлингов
Кибер/Прикладной ИИ*	15	46	+4,1 млн фунтов стерлингов / +7,3 млн фунтов стерлингов	0,4 млн фунтов стерлингов

Источник: Пограничный анализ данных ONS ( BSD ), Beauhurst и TN.

Примечание. * Для Fintech, Cyber ​​​​и Applied AI это только ожидаемые последствия, а не прямые оценки. Поскольку BSD 2019 недоступен, мы использовали оценки участников и размера компании TN за 2019 год (фирмы сообщают TN оценки размера компании). (Шаги могут не суммироваться точно из-за округления).

Ограничения на интерпретацию – затраты/выгоды по инициативам TN

Некоторая осторожность необходима при сравнении относительных выгод и затрат между инициативами. Поскольку предполагаемая выгода рассчитывается как пропорциональное увеличение, и одно и то же значение используется во всех инициативах, это автоматически дает гораздо большую выгоду инициативам с большими когортами и большим количеством сотрудников. В свете предостережений, описанных в разделах 2.3.2 и 2.3.3, к более высокой оценке Future Fifty и Upscale следует относиться с еще большей осторожностью. Эти предостережения, наряду с неопределенностью в оценках затрат, означают, что, хотя можно было бы пойти дальше и преобразовать приведенные выше цифры в соотношение затрат и выгод, мы бы не рекомендовали этого делать.

В то время как агрегирование информации о затратах по всем инициативам группы 1 могло бы помочь смягчить некоторые проблемы измерения, связанные с распределением затрат, агрегирование выгод по инициативам создало бы те же проблемы для анализа на уровне инициативы, и, в частности, проблемы с использованием более высоких оценки инициатив Future Fifty и Upscale.

3. Качественная оценка воздействия

Инициативы группы 2 включают Академию цифрового бизнеса (DBA) и Founders Network:

• DBA — это онлайн-платформа, предлагающая небольшие курсы, которые помогут нынешним и потенциальным основателям начать и развивать свой бизнес.
• Founders Network — это бесплатная сеть технологических предпринимателей, которая размещается на узле TN.

В то время как инициативы Группы 1 обеспечивают интенсивную поддержку примерно 150 компаниям в год, DBA и Founders Network предоставляют легкую поддержку большему количеству пользователей (более 3000 в год). Инициативы легкие, их цели далеко идущие, например, улучшить цифровые навыки пользователей или расширить сотрудничество в этом секторе. Это говорит о том, что эконометрическая оценка, используемая для группы 1, не подходит, поскольку было бы трудно точно оценить индивидуальное воздействие, поскольку существует множество других факторов, которые могут повлиять на эти цели. Воздействие также может значительно варьироваться от одного пользователя к другому в зависимости от их потребностей, что затрудняет оценку надежного среднего воздействия.

Эти инициативы не имеют себе равных в том смысле, что общая стоимость предоставления этих услуг практически не зависит от количества пользователей. Если DBA и Founders Network принесут пользу пользователям, TN сможет легко увеличить окупаемость своих инвестиций, расширив их до более широкого круга пользователей.

Поэтому наша оценка направлена ​​на то, чтобы понять:

• пользуются ли эти услуги пользователями DBA и FN; а также
• как преимущества могут варьироваться в зависимости от характеристик пользователя.

В результате этого анализа мы также выясняем, каких дополнительных пользователей в принципе можно охватить с помощью DBA и FN, и какую пользу они могут извлечь из этих услуг.

3.1 Методология

Качественная оценка Академии цифрового бизнеса (DBA) и Founders Network была проведена на основе данных из трех источников:

• данные пользователей TN, чтобы понять, как эти инициативы изменились со времени предыдущей оценки;
• опрос существующих пользователей (онлайн-опрос) для понимания характера и интенсивности выгоды для пользователей и мнения пользователей о наличии/заменяемости альтернатив этим программам ТС; а также
• интервью с 7 основателями, которые в настоящее время не используют инициативы. Эти интервью позволили нам изучить характеристики и потребности потенциальных пользователей.

На рис. 4 и рис. 5 показаны ключевые фрагменты информации, которые мы смогли собрать из каждого из этих источников данных для DBA и Founders Network соответственно.

Рисунок 4. Данные, собранные для оценки Digital Business Academy

Онлайн-опрос участников инициативы	Пользовательские данные ТН	7 интервью с основателями (не пользователями)
Ключевые области вопросов опроса: – Характеристики пользователей (например, статус занятости, возраст, квалификация, местонахождение, технический подсектор) – Мотивация для регистрации (основные навыки или потребности в знаниях, например, для помощи в открытии бизнеса) – Использование администраторов баз данных (количество пройденные курсы, какие курсы) – Ожидаемые и реализованные преимущества – Сравнение с реализованными или предполагаемыми преимуществами аналогичных ресурсов	– Данные о количестве активных учащихся (пользователей, прошедших не менее 30% курса DBA) и завершивших курс начиная с четвертого квартала 2017 г. – Анализ (по TN) данных Google Analytics о количестве людей, посетивших страницу веб-сайта DBA ( по возрасту и местоположению) — Статистика рейтинга поля	Мы опросили основателей, чтобы изучить: – Характеристики бизнеса или отдельных лиц – Стремления (развивать компанию, начать работать в секторе цифровых технологий, начать технический бизнес…) – Потребность в навыках в секторе цифровых технологий – Использование других подобных ресурсов – Знакомство с TN и DBA — вероятность того, что в будущем они зарегистрируются (или попросят сотрудников зарегистрироваться) в DBA, и предполагаемые потенциальные выгоды от этого.

Рисунок 5: Данные, собранные для оценки Founders Network

Онлайн-опрос участников инициативы	Пользовательские данные ТН	7 непользовательских интервью с основателями
Основные области вопросов опроса: – Бизнес-характеристики участников и время присоединения к сети учредителей – Мотивация для присоединения к сети и были ли реализованы ожидаемые выгоды – Уровни использования/наиболее полезные аспекты – Взаимодействие с другими сетями предпринимателей и сравнение реализованных или предполагаемых потенциальных выгод с учредителями Сеть	– Тематическое исследование: примеры того, как сеть основателей принесла пользу – Еженедельные данные об использовании – количество участников, которые входят в систему и публикуют сообщения – Местоположение участников (из базы данных участников)	Мы опросили основателей, чтобы изучить: – Характеристики их бизнеса – Текущую сетевую деятельность в конкретном секторе цифровых технологий и любые существенные сетевые потребности, сдерживающие рост бизнеса – Знакомство с TN и Founders Network и вероятность участия – Воспринимаемые преимущества регистрации в Founders Network

3.2 Оценка пользы для пользователей

3.2.1 Академия цифрового бизнеса

Выводы из пользовательских данных TN

Чтобы оценить влияние Академии цифрового бизнеса (DBA), мы начали с анализа данных, предоставленных TN, об использовании, завершении и рейтингах.

В 2019 году увеличилось количество учащихся, записавшихся на курсы DBA и прошедших их. TN измеряет количество активных учащихся на сайте. Активный учащийся определяется как пользователь, прошедший не менее 30 % курса в данном квартале. В течение 12 месяцев, с сентября 2018 по 2019 год, в среднем 2500 активных учащихся в квартал. Это на 16% больше, чем в среднем за квартал за предыдущие 12 месяцев (2145 активных учащихся за квартал). Увеличение числа пользователей не обязательно означает, что инициативы имеют положительный экономический эффект, но предполагает, что инициативы достигают своих краткосрочных результатов, охватывая более широкую аудиторию.

Обнадеживает то, что база пользователей DBA растет, в то время как относительно большая часть пользователей завершает курсы. С третьего квартала 2018 года доля активных учащихся, прошедших курсы (прошедших хотя бы один курс в квартал), выросла с 15% до как минимум 20% (см. рис. 6). ^{[сноска 31]} Это повышение совпадает с расширением курсов, доступных на DBA. В период с сентября по декабрь 2018 года на платформу было добавлено 28 новых курсов. Эти курсы вошли в шорт-лист премии Learning Technologies Awards в номинации «Превосходство в разработке учебного контента для государственного и некоммерческого сектора». ^{[сноска 32]}

Глядя на процент завершения отдельных курсов, а не на долю пользователей, прошедших их, можно сказать, что средний показатель завершения курса DBA составляет 30%. Для сравнения, недавнее исследование, проведенное учеными из Массачусетского технологического института (MIT), показало, что процент завершения онлайн-курсов, проводимых MIT, составляет всего 4%. Даже курсы, которые были адаптированы для повышения процента завершения за счет интерактивности, имеют процент завершения всего 12-15%. ^{[сноска 33]}

Курсы DBA высоко оценены пользователями. ^{[сноска 34]} Средняя оценка курсов сильно сконцентрирована между 4,5 и 4,8 из 5. Из 85 курсов 73 имеют среднюю оценку в этом диапазоне. Самый низкий средний рейтинг курса — 4,3.

Выводы из данных опроса

В предыдущей оценке инициатив TN, проведенной в 2017 году, респондентов спрашивали, в какой степени использование DBA изменило их взгляды или понимание цифровых технологий. Респондентам было предложено шесть различных фраз, чтобы оценить, как администратор базы данных изменил их взгляды или понимание. Два примера из них: «Улучшение моего понимания одного или нескольких аспектов цифрового бизнеса» и «Улучшение моего понимания того, что требуется для создания / ведения цифрового бизнеса». ^{[сноска 35]} По каждой из шести фраз, использованных для оценки того, как администратор баз данных изменил их взгляды или понимание, от 81% до 94% респондентов заявили, что администратор базы данных оказал хотя бы какое-то влияние. Наш опрос показывает аналогичные положительные результаты выборки из 28 пользователей баз данных. ^{[сноска 36]}

Во-первых, 93% респондентов опроса указали, что использование администратора баз данных помогло им достичь своей цели. ^{[сноска 37]}

Во-вторых, мы обнаружили, что администратор базы данных помогал респондентам несколькими способами:

• 39% респондентов заявили, что это помогло «улучшить их понимание конкретной области бизнеса цифровых технологий».
• 29% респондентов заявили, что это «повысило уверенность в моей способности запустить/развивать свой бизнес в области цифровых технологий».
• 29% респондентов заявили, что в результате использования DBA они «внедрили новые стратегии/способы мышления».
• Более того, 39% респондентов выбрали несколько способов, которыми использование DBA повлияло на их поведение или знания.

Респонденты также сообщили, что у DBA есть ряд преимуществ перед альтернативными бесплатными ресурсами:

• 82% респондентов выбрали хотя бы один способ, в котором DBA лучше других бесплатных ресурсов.
• 54% респондентов отметили как минимум два преимущества DBA перед другими бесплатными ресурсами.

Наиболее распространенными причинами, по которым DBA считалось лучше, чем другие бесплатные ресурсы, были «общее качество» и «актуальность содержания», которые были выбраны более чем половиной респондентов.

Точно так же респонденты считают, что администратор баз данных имеет ряд преимуществ по сравнению с платными ресурсами:

• 61% респондентов выбрали хотя бы один способ, в котором DBA был лучше, чем другие платные ресурсы.
• 36% респондентов выбрали не менее двух способов
• Почти половина респондентов (46%) посчитали, что «актуальность контента» на DBA лучше, чем на других платных ресурсах.

Опрос также показал, что некоторые темы курса оказываются более эффективными, чем другие (см. рис. 7). 46% респондентов заявили, что курсы «Маркетинг и продажи» оказали значительное влияние. Для сравнения, только 14% респондентов заявили, что курсы «Люди» оказали значительное влияние.

3.2.2 Сеть учредителей

Founders Network — это бесплатная сеть технологических предпринимателей штата Теннесси. За последний год общее количество членов Founders Network неуклонно росло. По состоянию на 13 ноября 2019 года в Founders Network насчитывалось 811 участников, что на 189% больше, чем в январе 2019 года, когда было всего 280 участников. Доля участников, активных в Founders Network, колеблется от ~18% до ~38% и не уменьшается с расширением инициативы.

Когда в 2017 году проводилась предыдущая оценка инициатив TN, Founders Network была всего лишь инициативой Tech North. На тот момент было 232 участника.

После создания TN в сентябре 2018 года Founders Network была перезапущена. В течение 4 месяцев количество участников превысило количество участников предыдущей итерации инициативы. С тех пор Founders Network продолжает расти.

• 50% респондентов опроса заявили, что использование Founders Network помогло им каким-то образом достичь целей присоединения.
• Тем не менее, основатели также указали, что они не склонны использовать Founders Network регулярно: почти половина основателей заходит в Founders Network реже, чем раз в месяц (49%), а публикует сообщения еще реже (63% сказали, что они публиковали или редко отвечали на вопросы). /никогда).
• Кроме того, большинство респондентов (67%) заявили, что используют его меньше, чем другие сети для предпринимателей в Интернете.

3.2.3 Ограничения подхода к оценке

Хотя данные TN и ответы на опросы свидетельствуют о том, что эти две инициативы имеют преимущества, важно отметить, что результаты опроса также имеют ряд ограничений.

• Опрос предоставляет моментальный снимок данных от подмножества пользователей. Поэтому он не фиксирует, как взгляды пользователей меняются с течением времени.
• Участники опроса могут не полностью представлять всех пользователей, и поэтому опрос не даст полной картины преимуществ и областей, требующих улучшения. В частности, из-за ограниченного времени на местах результаты опроса основаны на небольшом размере выборки (28 для пользователей DBA и 41 для пользователей Founders Network).
• Опросы могут быть менее надежными и более субъективными, чем отслеживание фактического использования. Респонденты могут не обязательно иметь четкую или полную память о своем прошлом поведении и действиях.

Таким образом, регулярный сбор данных об использовании и предполагаемых преимуществах значительной выборки пользователей (если не всех пользователей), скорее всего, даст более надежные результаты.

3.3 Характеристики, от которых зависит польза для пользователя

Хотя точные выгоды подсчитать невозможно, похоже, что есть выгоды, получаемые пользователями DBA и Founders Network. Таким образом, учитывая, что затраты на доставку в основном фиксированы, TN может стремиться увеличить число бенефициаров, чтобы максимизировать окупаемость своих инвестиций (т. е. путем предоставления большей совокупной выгоды при аналогичных затратах).

По этой причине мы дополняем нашу оценку инициатив анализом текущих и потенциальных пользователей. Используя результаты опроса и семь интервью с непользователями, мы сосредоточились на четырех ключевых наборах характеристик, по которым выгоды могут различаться.

Стадия карьеры пользователей

Наш анализ выявил 3 типа потенциальных пользователей администраторов баз данных: учредители, сотрудники и лица, стремящиеся войти в сектор цифровых технологий. ^{[сноска 38]}

У каждого из этих пользователей могут быть разные потребности. Многие люди, работающие в секторе цифровых технологий, в настоящее время не заинтересованы в создании компании, но могут иметь амбиции улучшить свои навыки. Например, эти люди будут искать другой набор курсов для основателей.

Кроме того, могут быть люди, которые в настоящее время не работают в секторе цифровых технологий, но рассматривают возможность присоединиться к нему. Самая очевидная и самая многочисленная группа – студенты. Опять же, типы курсов, которые были бы полезны для этих людей, вероятно, будут разными.

Местоположение пользователей

Наш анализ выявил 2 типа потенциальных компаний/физических лиц, которые могут захотеть присоединиться к Сети основателей (FN): те, кто находится в технологических кластерах, и те, кто находится вне кластеров.

Компании или частные лица, базирующиеся в технологическом кластере, могут быть лучше объединены в сеть и иметь доступ к большему количеству ресурсов. Однако они также могут испытывать информационную перегрузку и, следовательно, искать более целенаправленные инициативы.

Для сравнения, компании, не расположенные в технологическом кластере, с большей вероятностью будут испытывать трудности с привлечением технических специалистов, а также могут столкнуться с трудностями при создании сетей, особенно с учетом трудностей в организации личных встреч. Обратите внимание, что 54% ​​респондентов заявили, что общение с предпринимателями-единомышленниками в их регионе было основной причиной, по которой они зарегистрировались в Founders Network.

Пол пользователей

Наш анализ также показал, что люди могут получать пользу от FN по-разному в зависимости от их пола. TN может захотеть больше сосредоточиться на женщинах и соответствующим образом адаптировать свое предложение. ^{[сноска 39]}

Проблемы, с которыми сталкиваются женщины на рабочем месте, хорошо документированы. И многие из этих проблем, кажется, переходят в мир технологий, особенно для женщин-основателей.

• Во многих сетевых средах доминируют мужчины, что часто может мешать опыту и ценности для женщин. ^{[сноска 40]}
• Точно так же женщины недопредставлены в сообществе инвесторов: в 2019 году женщины составляли лишь 30% персонала венчурного капитала. ^{[сноска 41]}
• Исследования показывают, что многие учредители-женщины развивают свой бизнес (т. е. не ищут внешнего финансирования), что влияет на тип необходимой им помощи. ^{[сноска 42]}

Стадия роста компаний

Наконец, как для FN, так и для DBA, наш анализ показал, что стартапы и масштабы имеют разные потребности. Таким образом, выгоды, которые они получат, будут зависеть от того, нацелены ли на них курсы FN и DBA. ^{[сноска 43]}

• Начинающим компаниям, как правило, не хватает знаний об инвестиционной экосистеме, они не знают, как найти потенциальных сотрудников или партнеров, и часто сосредоточены на ближайших препятствиях.
• Более продвинутые компании, стремящиеся к масштабированию, могут столкнуться с барьерами роста, такими как корпоративная культура и другие вопросы, связанные с людьми, такие как инициативы по управлению персоналом или обучению сотрудников.

4. Оценка воздействия на основе сценариев – Инициатива Visa Scheme

Для визовой схемы TN мы провели оценку воздействия на основе сценариев. Этот тип оценки подходит для вмешательств, когда надежный количественный анализ невозможен. В случае с визовой схемой невозможно отслеживать людей на протяжении всей их карьеры из-за проблем с GDPR, и даже при этом определить правильную контрольную группу будет чрезвычайно сложно. Вместо этого, сравнивая статус-кво с различными теоретическими сценариями того, что могло бы произойти без TN, мы можем продемонстрировать преимущества, которые дает эта инициатива.

4.1 Методология

В Великобритании существует ряд визовых схем, позволяющих людям, родившимся за границей, приезжать и работать в Великобритании, «Global Talent» — одна из них. Для получения визы заявитель должен иметь международное признание в своей области как мировой лидер или демонстрировать исключительные перспективы.

Заявление на получение одной из этих виз должно быть одобрено одним из Назначенных компетентных органов (DCB). Есть шесть DCB:

• Британская академия
• Королевское общество
• Королевская инженерная академия
• Совет искусств Англии
• UK Research and Innovation для соискателей исследований
• Теннесси

Основываясь на обсуждениях как с TN, так и с DCMS, мы выявили два гипотетических сценария того, что могло бы произойти, если бы TN не запустила эту схему.

1. Сценарий 1. Другая организация станет DCB сектора цифровых технологий.

Мы предполагаем, что им придется использовать схему аналогично DCB в других отраслях. Процесс других DCB выглядит следующим образом:

i. Заявитель направляет свои доказательства в Министерство внутренних дел
ii. Министерство внутренних дел сообщает об этом с соответствующим DCB
iii. DCB оценивает доказательства, а затем сообщает Министерству внутренних дел о том, соответствует ли заявитель его критериям приемлемости и должен ли он быть одобрен. ^{[сноска 44]}

2. Сценарий 2. Не будет визовой схемы «Global Talent» для сектора цифровых технологий:

Это более экстремальный контрфактический вариант, который потребует от любого заявителя, который хочет приехать в Великобританию для работы в секторе цифровых технологий, пройти другой процесс получения визы. Другими возможными визовыми маршрутами являются:

i. Предприниматель уровня 1 – Получены инвестиции для создания или ведения бизнеса в Великобритании
ii. Выпускник-предприниматель 1-го уровня – выпускник с официально одобренной и подлинной бизнес-идеей
iii. Инвестор уровня 1 – более 2 млн фунтов стерлингов для инвестиций в Великобританию
iv. Виза Tier 2 – Предлагается квалифицированная работа в Великобритании.

Благодаря дальнейшему взаимодействию с DCMS и TN мы разработали ряд первоначальных гипотез о влиянии участия TN в схеме Visa. Ниже мы опишем эти гипотезы и способы их проверки.

Неверный факт 1: другая организация станет DCB для сектора цифровых технологий.

Согласно первому контрфактуалу мы предположили, что в результате TN:

• стоимость визовой схемы для налогоплательщиков Великобритании ниже из-за эффективности работы схемы.
• повышенная осведомленность о визовой схеме Global Talent благодаря бренду TN.

Чтобы проверить эти гипотезы, мы связались с Министерством внутренних дел, чтобы понять разницу в затратах, связанных с запуском приложения одобрения TN, по сравнению со схемой в других отраслях.

Мы также провели опрос успешных заявителей на получение визы, чтобы собрать качественные доказательства ценности бренда TN в распространении информации о схеме. Наш опрос получил 42 ответа. ^{[сноска 45]}

Неверный факт 2: не будет схемы Global Talent для сектора цифровых технологий.

В рамках второго контрфактического предположения мы исходили из гипотезы о том, что в секторе цифровых технологий Великобритании будет меньше высококвалифицированных иммигрантов, что, вероятно, окажет пагубное влияние на размер и рост сектора и, в конечном итоге, на экономику Великобритании.

Это связано с тем, что будет ряд заявителей визовой схемы Global Talent, для которых альтернативные визовые маршруты не подходят. Это означает, что они не смогут или не захотят подавать заявление на получение визы в Великобританию.

Мы также проверили это с помощью опроса успешных заявителей на получение визы. Мы собрали данные о количестве заявителей, которые не имели права на получение альтернативных виз, и о количестве заявителей, которые были привлечены для подачи заявления на получение британской визы из-за этой схемы.

4.2 Оценка выгоды от использования TN визовой схемы (контрфакт 1)

4.2.1 TN обеспечивает экономию средств при использовании визовой схемы

Собранные нами данные подтверждают гипотезу о том, что в результате использования TN схемы одобрения происходит экономия средств. TN обрабатывает заявки через онлайн-платформу, которая автоматизирует несколько этапов процесса подачи заявок и снижает зависимость от бумажных копий.

С тех пор как онлайн-платформа TN была впервые внедрена в 2017 году, объем заявок почти удвоился, но количество сотрудников (эквиваленты полной занятости, FTE), работающих над этой схемой, осталось постоянным. Это говорит о том, что уникальный подход TN обеспечивает эффективность масштабирования. Без платформы онлайн-приложений вполне вероятно, что для обработки всех заявок также потребовалось бы увеличить количество ЭПЗ.

Во-вторых, платформа TN снижает требования Министерства внутренних дел к участию. В отличие от других DCB, у TN есть собственный портал, что означает, что заявители могут самостоятельно сканировать подтверждающие документы непосредственно в TN. Это означает, что административная работа для Министерства внутренних дел сокращается, поскольку им не нужно вручную обрабатывать бумажные копии подтверждающих доказательств.

4.2.2 TN повышает осведомленность о визовой схеме

Ответы на наш опрос также свидетельствуют о том, что участие TN побуждало заявителей приезжать в Великобританию. ^{[сноска 46]} Почти половина респондентов заявили, что их побудила приехать в Великобританию информация, которую они нашли на веб-сайте TN. Например, один заявитель отметил:

Источник: Были ли какие-либо разделы заявки на одобрение вашей визы Tier 1 Global Talent Visa, которые были особенно простыми? – Опрос успешных заявителей на получение визы

4.2.3 Ограничения подхода к оценке

Хотя, используя контрфактический вариант 1, мы обнаруживаем некоторые преимущества визовой схемы TN, трудно точно определить точную сумму экономии средств и количество дополнительных заявителей по схеме, предоставляемой TN.

Во-первых, доступные данные ограничены. Например, доступные данные о затратах не соответствовали уровню детализации, необходимому для надежного расчета количества ЭПЗ, необходимого для запуска схемы.

Более того, мы предположили, что альтернативный DCB будет аналогичен DCB в других отраслях. Наш анализ фокусируется на том факте, что процесс подачи заявки на TN более эффективен, чем у других DCB в других отраслях. Хотя это разумная отправная точка, вполне возможно, что DCB другого сектора цифровых технологий также может быть более эффективным, чем DCB других секторов, и, таким образом, предоставлять информацию так, как это делает TN в настоящее время. Короче говоря, DCB других секторов являются несовершенным заменителем альтернативного DCB для сектора цифровых технологий, хотя и являются лучшими из доступных. Это означает, что даже если бы у нас были более точные данные, любая количественная оценка все равно нуждалась бы в серьезных оговорках.

4.3 Оценка выгоды от существования схемы Global Talent Visa (условие 2)

Как указывалось ранее, Сценарий 2 маловероятен, но он все же дает полезную информацию о ценности визовой схемы Global Talent и, следовательно, в конечном итоге о влиянии, которое TN оказывает, поддерживая эту схему. Претенденты на получение визы Tier 1 Global Talent Visa имеют два альтернативных пути получения визы:

• Альтернативная виза уровня 1 (стартап или новатор) — для этого требуется либо финансирование в размере 50 000 фунтов стерлингов, либо одобренный бизнес-план.
• Виза уровня 2 — для этого требуется, чтобы ваш работодатель был лицензированным спонсором.

Используя результаты нашего опроса, мы подсчитали, что 50% заявителей на получение визы Tier 1 Global Talent Visa не имеют права на получение альтернативных британских виз. Это сумма:

• 29% респондентов нашего опроса, которые не имеют права на получение альтернативной британской визы ^{[сноска 47]}
• 21% респондентов нашего опроса, которые присоединились бы к фирмам, которые вряд ли будут лицензированными спонсорами ^{[сноска 48] .}

В 2019 году по визе TN было одобрено 374 заявителя. Предполагая, что 50% из них не имели права на получение альтернативных британских виз, по нашим оценкам, 187 из этих технических мигрантов не имели права на получение альтернативных британских виз и, следовательно, не могли приехать в Великобританию. ^{[сноска 49]}

Ключевой особенностью визы Tier 1 Global Talent является ее гибкость (владельцы визы не остаются в конкретной фирме на протяжении всего своего пребывания в Великобритании). Эта гибкость недоступна при использовании альтернативных визовых маршрутов в Великобританию. Таким образом, без этой схемы у некоторых из успешных заявителей может не быть мотивации для подачи заявления на получение альтернативной визы. Хотя мы не можем точно рассчитать эту цифру, мы можем определить, насколько гибкость важна для текущей группы успешных заявителей:

• 81% людей сказали, что они использовали гибкость, которую предлагает виза Tier 1 Global Talent Visa.
• Большинство (50%) респондентов заявили, что возможность работать в британском секторе цифровых технологий была основной мотивацией для подачи заявки.
• И более половины (52%) респондентов, которые в настоящее время являются сотрудниками, работали в нескольких компаниях.

Некоторые из опрошенных успешных заявителей также отметили преимущества гибкости схемы в своих комментариях.

Источник: Есть ли другие причины, по которым вы подали заявку на получение Global Talent Visa? – Опрос успешных заявителей на получение визы

4.3.1 Ограничения подхода к оценке

Этот подход имеет свои ограничения, а именно то, что опрос был ограничен успешными кандидатами. Сосредоточив внимание на этих лицах, мы смогли определить важность схемы, участие TN и доступные альтернативы. Однако мы не смогли собрать мнения неудачных заявителей, у которых могут быть дополнительные и отличающиеся мысли о процессе подачи заявки.

5 Промежуточная оценка веб-сайта TN, отчетов и технического погружения

Предыдущая оценка 2017 года содержала оценку краткосрочного воздействия отчета и веб-сайта TN. ^{[сноска 50]} С тех пор TN перезапустила свой веб-сайт, расширила предложение отчетов и пересмотрела инициативу Tech Immersion (которая не была включена в последнюю оценку). В результате имеется мало количественных данных о среднесрочном и долгосрочном воздействии этих областей предложения TN, поэтому мы провели промежуточную оценку этих трех вмешательств и использовали это понимание, чтобы предложить рекомендации о том, как их можно было бы полностью оценить в будущем. (как описано в резюме).

5.1 Методология

Наш подход к оценке был одинаковым для всех трех вмешательств.

• Шаг 1 : Просмотрите логические модели, метрики и данные о воздействии, собранные на основе предыдущих оценок TN.
• Шаг 2 : Проведите подробные полуструктурированные телефонные интервью с отчетом TN, веб-сайтом и лидами Immersion, чтобы понять текущее предложение, изменения, которые были сделаны с течением времени, текущие предполагаемые преимущества (и любые наблюдаемые непреднамеренные преимущества) и, наконец, определить соответствующие внутренние источники, подтверждающие воздействие.
• Шаг 3 : Анализ данных, предоставленных TN и вторичными источниками данных.

5.2 Оценка результатов и результатов веб-сайта TN

TN перезапустила свой веб-сайт в мае 2018 года, чтобы заменить веб-сайты Tech City UK и Tech North. Новая версия призвана прояснить основную цель TN, и мы понимаем, что были предприняты сознательные усилия по обеспечению гендерного баланса на веб-сайте.

Имеющиеся данные на конец 2019 года свидетельствуют о том, что все больше людей используют веб-сайт, и они могут использовать его более интенсивно, чем в предыдущие годы. С момента запуска в мае 2018 года и до конца 2019 года веб-сайт TN посетили более 2,3 миллиона человек.

• 291 000 пользователей заходили на сайт за шесть месяцев до октября 2019 года.
• Это представляет собой увеличение числа пользователей на 115 % по сравнению с тем же периодом 2018 года и значительно превышает годовой прирост уникальных посещений веб-сайтов на 45 %, зарегистрированный в 2016–2017 годах (предыдущая оценка). ^{[сноска 51]}
• Точно так же количество сеансов на пользователя и среднее время сеанса значительно увеличились с мая 2018 года, что свидетельствует о более интенсивном использовании веб-сайта.

Наши выводы о среднесрочном воздействии в отношении охвата показывают, что веб-сайт:

• охват зарубежных пользователей (51% пользователей находятся за пределами Великобритании) и, таким образом, может способствовать повышению осведомленности Великобритании и всего мира о TN ^{[сноска 52] .}
• в основном используется людьми в возрасте от 25 до 34 лет, но за 12 месяцев до октября 2019 года произошел небольшой сдвиг в сторону пользователей в возрасте 35–44 лет, что, возможно, отражает переориентацию стратегии TN на поддержку масштабирования (от запуска)
• доля пользователей-мужчин из Великобритании остается стабильной (63% в апреле-октябре 2019 г.)
• 76% пользователей с момента перезапуска веб-сайта проживали в Лондоне и на юго-востоке. ^{[сноска 53]}

5.3 Оценка результатов и результатов – отчеты TN

Чтобы оценить общее влияние отчетов TN, мы сосредоточились на пяти недавних важных отчетах, опубликованных TN. ^{[сноска 54]} TN 2018 и 2019 (т. е. годовые отчеты по сектору цифровых технологий Великобритании), Bright Tech Future, Tech for Social Good и Unicorn Update.

Количество подготовленных отчетов и число людей, получивших к ним доступ, значительно увеличились с 2017 года:

• Компания TN добавила 20 «детализированных» отчетов в свой ассортимент отчетов.
• количество уникальных просмотров страниц увеличилось со 145 117 в 2018–2019 гг. для отчета TN за 2018 г. до 244 945 в 2019–2020 гг. для отчетов TN за 2018 и 2019 гг. ^{[сноска 55] .}
• 5 отчетов, описанных выше, получили 305 700 просмотров страниц за последние 12 месяцев (превышая количество просмотров публикаций за 2016–2017 гг., составляющее 260 000, указанное в предыдущей оценке). ^{[сноска 56] [сноска 57]}

Мы обнаружили доказательства того, что 5 отчетов расширяли свой международный охват (к отчету TN за 2018 год обращались пользователи из более чем 100 разных стран, а к отчету за 2019 год — более чем в 60 странах), а 41% пользователей отчета находились в регионах Великобритании и 43 страны. % были женщинами. ^{[сноска 58]} Отчеты также информируют о решениях правительства, например, выводы из отчета TN2018 были приняты во внимание Казначейством Ее Величества при принятии решения об открытии центра в Бристоле, а отчет Tech for Social Good был рассмотрен DCMS при запуске технологии. в фонд социального блага.

5.4 Оценка результатов и результатов – Инициатива Tech Immersion

Tech Immersion — это 2,5-часовой семинар, поддерживаемый онлайн-компонентом (шесть учебных модулей), цель которого — помочь крупным организациям, не работающим в секторе цифровых технологий, лучше понять британскую стартап-систему и технологическую экосистему; его основные проблемы и возможности; и как взаимодействие с технологическими стартапами может принести пользу их организации.

С 2018 года TN работает над пересмотром формата своей инициативы Tech Immersion, чтобы обеспечить более гибкую и привлекательную доставку, которая поощряет взаимодействие с посетителями. Первые два полностью переработанных семинара Tech Immersion были проведены этой осенью — теперь участникам семинара предлагается шесть онлайн-курсов, которые занимают 30–40 минут, а затем двухчасовой групповой семинар.

Одним из больших изменений в инициативе «Техническое погружение» является создание онлайн-компонента для заполнения перед семинаром, чтобы улучшить способность участников участвовать. Хотя это, вероятно, повысит эффективность и результативность семинаров, ранние отзывы от сентября 2019 года предполагают, что TN необходимо будет сделать больше, чтобы мотивировать участников на прохождение модулей (поскольку не все участники зарегистрировались и/или прошли все курсы).

Для Tech Immersion нет структуры логической модели или набора определенных индикаторов оценки краткосрочного и долгосрочного воздействия. Это, а также недавние изменения в инициативе ограничили нашу возможность ее оценки. TN предоставила нам рейтинг пользователей и данные Net Promoter Score (NPS). ^{[сноска 59]} Рейтинги пользователей выросли, а NPS соответствует или превышает целевой показатель TN (4,0 из 5), но основан на очень низком коэффициенте ответов, поэтому мы не предоставляем дополнительных подробностей.

6. Заключение

В целом наша оценка воздействия показывает, что ключевые инициативы Tech Nation приносят существенную пользу. Во всех группах и независимо от используемого подхода к оценке мы находим положительные результаты.

• Группа 1 : наш анализ выявил значительное влияние на ВДС через 1–2 года после участия в конкурсах Future 50, Upscale и Northern/Rising Stars. Хотя это и не оценивалось напрямую, это предполагает, что инициативы в области кибербезопасности, прикладного ИИ и финансовых технологий могли оказать аналогичное влияние совсем недавно.
• Группа 2 : для Digital Business Academy и Founders Network мы нашли качественные доказательства того, что эти инициативы помогают их пользователям достигать своих целей, часто лучше, чем доступные альтернативы. Мы также обнаружили доказательства того, что эти инициативы могут принести пользу значительно более широкому кругу пользователей.
• Группа 3 : для схемы Visa мы нашли доказательства того, что TN использует схему экономически эффективно, уменьшая административную нагрузку на Министерство внутренних дел. Схема также обеспечивает единственный путь въезда в Великобританию для ряда высококвалифицированных мигрантов.
• Группа 4 : для веб-сайта, отчета TN и Tech-Immersion мы обнаружили явные доказательства того, что каждая из этих инициатив со временем улучшилась. Нам не удалось выявить четких доказательств долгосрочных результатов этих инициатив.

Конечно, всегда есть возможности для улучшения, и мы кратко определяем некоторые рекомендации о том, как можно улучшить некоторые из этих инициатив в будущем (они кратко изложены в полях «Сводка» в начале каждого раздела). Забегая вперед, TN также может предпринять несколько шагов, чтобы будущие оценки были максимально надежными и всеобъемлющими.

Мы обобщаем рекомендации, касающиеся будущей оценки каждой группы инициатив, в резюме, но их можно разделить на две основные категории:

• Благодаря улучшенному и расширенному сбору данных по всем инициативам TN сможет собирать более систематические данные о а) характере своих пользователей и б) результатах, которых они достигают в результате участия. Оба типа доказательств помогут повысить точность и надежность будущих оценок.
• Обновление теорий изменений как для программы TN, так и для ее отдельных инициатив — одна из основных проблем при оценке такой многогранной программы, как TN, с множеством разнообразных инициатив, — объединить оценки отдельных инициатив в агрегированное представление. Это было невозможно для этой оценки, и необходимым первым шагом к разработке комплексной оценки программы будет обновление и расширение теории изменений программы, чтобы отразить текущую направленность и цели программы. ^{[сноска 60]}

Приложение

Дополнительный анализ инициатив Группы 1

A.1 Выходы PSM первого каскада

На рисунке 8 ниже мы показываем результаты первого этапа PSM . В каждом случае мы оцениваем вероятность участия фирмы в одной из инициатив группы TN 1 в зависимости от наблюдаемых характеристик (например, размер, сектор, возраст, предшествующий рост). Различные группы столбцов соответствуют оценке воздействия через 1, 2 и 3 года после инициативы. В каждом из них мы показываем бета (коэффициент), который измеряет влияние каждой переменной на вероятность лечения, и значение p, которое измеряет статистическую значимость эффекта. ^{[сноска 61]}

Обратите внимание, что чем больше лет после лечения мы рассматриваем, тем больше новые когорты выпадают из анализа. Таким образом, изменится набор инициатив и характеристик фирм в выборке. Вот почему коэффициенты для каждой переменной не идентичны в течение трех лет. Например, фиктивный код SIC 58-63 (отраслевая классификация, охватывающая компьютерные, аудиовизуальные и информационные услуги) является более сильным драйвером склонности в периоде t+3 (бета = 0,488), чем в периоде t+1 ( бета = 0,329). Это отражает тот факт, что участвующие фирмы из более ранних когорт имеют больший вес в отношении кодов SIC 58-63, чем более поздние когорты.

Рисунок 8: Результаты первого этапа PSM (зависимая переменная — склонность к лечению)

	т+1		т+2		т+3
	бета	р-значение	бета	р-значение	бета	р-значение
Академический манекен	0,633	0,048	0,522	0,217	0,651	0,239
Манекен ускорителя (Бохерст)	0,523	0,004	0,757	0,000	1,282	0,000
финтех манекен	0,955	0,000	1,022	0,000	1,185	0,000
Медиа-пустышка	0,312	0,053	0,414	0,024	0,465	0,070
Розничный манекен	0,622	0,000	0,483	0,015	0,630	0,025
Технический / IP-манекен	0,765	0,000	0,656	0,000	0,831	0,001
Северный манекен	-0,289	0,073	-0,358	0,066	-0,051	0,839
Возраст (лет) в исходном году	-0,063	0,000	-0,055	0,003	-0,050	0,036
Макет SIC 58-63	0,329	0,014	0,312	0,049	0,488	0,032
Регистрация занятости в базовом году	0,452	0,000	0,504	0,000	0,343	0,004
Оборот журналов в базовом году	0,112	0,011	0,107	0,040	0,243	0,004
Рост занятости за 3 года до исходного уровня	0,310	0,000	0,259	0,004	0,229	0,044
Фирма < 3 лет	0,337	0,076	0,399	0,071	0,092	0,767
Константа -4,013	0,000	-4,282	0,000	-5,457	0,000
R2	0,36		0,38		0,45
Н	1231		1095		961

А.2 Анализ чувствительности

В этом разделе мы представляем ряд корректировок подхода, чтобы увидеть, как меняются результаты, и есть ли какая-либо очевидная разница в эффекте от различных инициатив или когорт. Учитываются следующие виды чувствительности:

• Регрессионный анализ вместо PSM .
• Различные переменные результата.
• Сокращения по типу инициативы и когорте.

А.2.1 Регрессионный анализ

Здесь мы оцениваем рассматриваемый результат (рост занятости через 1, 2 и 3 года после базового года) как функцию характеристик фирмы. Подход использует те же данные и переменные, что и PSM .

Регрессионный подход напрямую оценивает, как каждая из различных характеристик фирмы влияет на производительность, например, небольшие фирмы растут быстрее, чем крупные фирмы, некоторые сектора росли быстрее, чем другие, и т. д.

Мы включаем фиктивную переменную для участвующих фирм, которая измеряет эффект лечения. Это позволяет оценить, насколько больше или меньше растет эта группа фирм с учетом других характеристик. Фиктивная инициатива TN связана с работой PAYE на 23% выше при t+2. ^{[сноска 62]} В целом, диапазон воздействий близко соответствует оценке PSM . Эффект лечения колеблется от 13% до 26%.

Другие переменные с последовательным эффектом включают академическое выделение, фиктивные технологии/ИС, базовый размер, новые фирмы и предшествующий рост. Интересно, что мы видим, что рост товарооборота (логарифмический оборот) в базовом режиме оказывает положительное влияние, а рост занятости (логарифм занятости) в базовом режиме имеет отрицательный эффект. В совокупности это говорит о том, что фирмы с более высокой текучестью кадров на одного работника перегружены и впоследствии нуждаются в увеличении занятости. Для согласованности были включены те же самые ковариаты, что и в PSM , но положительное значительное влияние аналогичной величины также достигается в более экономных (т.е. с меньшим количеством переменных) спецификациях.

Рис. 9. Результаты регрессии (зависимая переменная — изменение в журнале PAYE-работ x лет после исходного уровня)

	т+1		т+2		т+3
	бета	р-значение	бета	р-значение	бета	р-значение
Манекен инициативы ТН	0,120	0,001	0,203	0,001	0,228	0,049
Академический манекен	0,113	0,177	0,199	0,063	0,236	0,050
Манекен ускорителя (Бохерст)	0,113	0,038	0,144	0,106	0,005	0,977
финтех манекен	0,073	0,251	0,118	0,274	0,230	0,115
Медиа-пустышка	-0,012	0,743	-0,097 0,081	-0,080	0,259
Розничный манекен	-0,016	0,666	0,050	0,365	0,017	0,816
Технический / IP-манекен	0,102	0,000	0,134	0,001	0,129	0,013
Северный манекен	-0,056	0,057	-0,070	0,061	-0,042	0,387
Возраст (лет) в исходном году	0,005	0,428	-0,004	0,220	-0,005	0,246
Макет SIC 58-63	-0,028	0,355	-0,057	0,193	-0,079	0,174
Регистрация занятости в базовом году	-0,085	0,000	-0,167	0,000	-0,216	0,000
Оборот журналов в базовом году	0,063	0,000	0,100	0,000	0,122	0,000
Рост занятости за 3 года до исходного уровня	0,059	0,000	0,065	0,008	0,081	0,030
Фирма < 3 лет	0,235	0,000	0,217	0,000	0,298	0,000
Постоянный	-0,212	0,002	-0,092	0,286	-0,080	0,479
R2	0,097		0,133		0,134
Н	1231		1095		961

Источник: Пограничный анализ данных ONS ( BSD ), Beauhurst и TN.

A.2.2 Альтернативные переменные результата

Причина использования показателя занятости «оплачиваемые рабочие места» заключается в том, что он считается наиболее своевременным показателем результатов, доступным в BSD . Другие переменные результата, доступные в BSD :

• Занятость . Эти данные извлекаются из IDBR, откуда они сопоставляются из ряда различных источников, включая обследование занятости коммерческого регистра (BRES), PAYE, или импутируются из данных об обороте. Могут быть значительные задержки во времени. Риск заключается в том, что вместо того, чтобы измерять результаты после инициативы, мы можем на самом деле измерить их во время или до.
• Оборот . Это также происходит из IDBR и подвержено тем же временным задержкам, что и занятость. Чтобы частично учесть эти задержки и отразить, что эти данные, как правило, относятся к предыдущему году, мы соответствующим образом перепрофилировали данные.

Все эти переменные результатов показывают, что участвующие фирмы в некоторой степени превосходят компаратор PSM . Однако, учитывая упомянутые выше проблемы со сроками, мы считаем, что результатам PAYE следует придавать большее значение.

Рисунок 10 Размер относительно исходного уровня по показателю результата и группе

Исход	(A) Участвующие фирмы	(B) Контроль (сырой)	(C) Компаратор PSM (D) Разница (A/B-1)	Значение
Занятость t+1	143	117	103	39%	*** (1%)
Занятость t+2	160	138	109	46%	***(1%)
Занятость т+3	167	152	129	29%	(незначительно)
Оборот т+1	140	118	99	42%	** (5%)
Оборот т+2	195	141	136	43%	*(10%)

Источник: Пограничный анализ данных ONS ( BSD ), Beauhurst и TN.

A.2.3 Результаты по когортам и инициативам

Как описано в Разделе 3, в идеале мы должны были бы проводить количественный анализ отдельно для каждой инициативы и для каждого года. Однако на практике ограниченные размеры выборки затрудняют точную оценку таких дезагрегированных эффектов.

Тем не менее, в рамках этой оценки мы стремились использовать наш подход для изучения того, что:

• изменения в реализации инициативы и дизайне оказали какое-либо влияние; а также
• существует большее (пропорциональное) влияние на фирмы разных размеров (и стадий роста).

Чтобы максимизировать размеры выборки, мы сосредоточились в этом дезагрегированном анализе на росте числа оплачиваемых рабочих мест через 1 год после исходного уровня (дата начала инициативы). Используется тот же подход PSM и тот же набор данных.

Мы находим, что:

• Размеры эффекта больше, если рассматривать инициативы, основанные на конкуренции. Однако вполне вероятно, что победители конкурса по определению являются более сильным бизнес-предложением. Это может быть основной причиной их роста, а не причинным влиянием участия в этих инициативах, основанных на конкуренции. В идеале, это можно было бы решить, обусловливая предыдущую траекторию роста. Однако большинство победителей конкурса являются очень новыми, и недостаточно истории, чтобы отличить победителей конкурса от новых фирм с меньшим потенциалом роста (но с теми же наблюдаемыми характеристиками).
• Эффект лечения в когорте 2017 г. кажется немного более значительным, чем в более ранних когортах. Это может отражать изменения в реализации инициатив или другое сочетание бизнеса и инициатив, появившихся в этом году (например, инициатива FintechforAll, основанная на конкуренции, появилась только в 2017 году).

В целом, дополнительные результаты свидетельствуют о том, что наш общий вывод — участие в инициативах TN приводит к положительному воздействию на занятость — не определяется конкретной инициативой или набором (группой) участвующих фирм.

Рисунок 11 Размер относительно исходного уровня по показателю результата и группе

Инициатива / когорта	(A) Участвующие фирмы	(B) Контроль (сырой)	(C) Компаратор PSM	(D) Разница (A/B-1)	Значение
Будущее пятьдесят / Высококлассный	140	120	125	12%	** (5%)
Питч-инициативы	170	120	133	28%	** (5%)
когорты 2014-2016 гг.	137	120	126	9%	* (10%)
когорты 2017 г.	141	120	121	17%	*** (1%)

Источник: Пограничный анализ данных ONS ( BSD ), Beauhurst и TN.

А.3 Анализ затрат

В этом разделе представлена ​​дополнительная информация о том, как затраты распределяются на инициативы в ходе обычной деятельности, TN регистрирует только прямые затраты на каждую из своих инициатив. Однако на практике эти прямые затраты не полностью отражают общую стоимость этих инициатив, поскольку они не включают центральные затраты, необходимые для их реализации. Например, они не включают заработную плату менеджеров инициатив.

Поэтому, чтобы более полно отразить общую стоимость этих инициатив, необходимо перераспределить эти основные затраты на каждую инициативу, таким образом, обеспечив полное распределение затрат. Для этого мы оцениваем общую стоимость каждой инициативы как ее прямые затраты плюс доля центральных затрат, равная ее доле в общих прямых затратах. ^{[сноска 63]}

Чтобы проиллюстрировать эту методологию:

• если бы стоимость инициативы X составляла 100 000 фунтов стерлингов, а общие прямые затраты по TN составляли 1 миллион фунтов стерлингов, доля прямых затрат инициативы X составляла бы 10 %;
• если бы общие централизованные расходы по TN составляли 2 млн фунтов стерлингов, то перераспределенные затраты на эту инициативу составили бы 10% * 2 млн фунтов стерлингов = 200 тыс. фунтов стерлингов;
• следовательно, предполагаемая общая стоимость инициативы составит 100 000 фунтов стерлингов + 200 000 фунтов стерлингов = 300 000 фунтов стерлингов.

Чтобы выполнить этот расчет, мы полагались на исходные необработанные данные о затратах, предоставленные TN, включая все прямые затраты и центральные затраты. Исходя из этого, мы оценили общие затраты, используя шаги, описанные выше.

Для сравнения с преимуществами ВДС мы приводим среднюю оценку за все годы, поскольку наши основные результаты также были получены за несколько лет. Поскольку необработанные данные о затратах доступны только за финансовые годы, а инициативы обычно реализуются за календарные годы, усреднение также делает оценки более сопоставимыми.

После переговоров с TN было решено, что эти оценки обеспечивают разумное и прозрачно рассчитанное предварительное приближение общей стоимости каждой инициативы.

Однако есть важное предостережение: этот метод приведет к завышению затрат, если мы знаем, что прямые затраты высоки, но для реализации инициативы используется мало центральных ресурсов. Беседы с TN показали, что как Visa Scheme, так и DBA имеют относительно высокие прямые затраты (у первой большие прямые затраты на финансирование процесса независимой проверки, у второй — на разработку и загрузку новых курсов). Но они требуют относительно немного центральных ресурсов (по визовой схеме см. анализ Группы 3 для более подробной информации). Однако эта методология предполагает, что эти две инициативы требуют значительной доли центральных ресурсов. Другими словами, методология, скорее всего, завысит общую стоимость этих инициатив и, соответственно, занизит стоимость реализации остальных инициатив.

Чтобы улучшить эти оценки, потребуется более интенсивное взаимодействие между TN, DCMS и внешним партнером (для независимой проверки) для разработки более индивидуальной методологии перераспределения центральных затрат. Мы бы рекомендовали провести эту работу в промежутке между этой и будущими оценками.

Необработанные данные о затратах представлены на рис. 12. Строка общих прямых затрат внизу — это то, что мы используем для перераспределения центральных затрат между инициативами. Обратите внимание на следующие моменты:

• Затраты на веб-сайт входят в центральные затраты и не сообщаются отдельно.
• С этого года Tech Immersion больше не финансируется за счет государственного гранта.
• «Другие» инициативы не учитывались в этой оценке, поэтому они не дезагрегированы. В эту категорию входят такие виды деятельности, как опубликованные исследования (за исключением отчета TN), пилотные проекты и инвестиционные инициативы.

Рис. 12 Данные о прямых затратах TN

Инициатива	14–15 ФГ	15–16 ФГ	16–17 ФГ	17–18 ФГ	18–19 ФГ
Будущее 50	343 344	205 576	154 977	170 239	111 926
Высококлассный	0	87 498	146 358	208 264	104 829
Северные звезды	0	171 130	238 209	178 974	0
Восходящие звезды	0	0	0	0	153 499
Прикладной ИИ	0	0	0	0	23 346
Финтех для всех	0	0	0	95000	0
Финтех	0	0	48 965	137 440	182 576
Кибер	0	0	0	0	79 416
Сеть учредителей	0	0	160 927	87 392	65 829
администратор баз данных	492 177	428 860	221 797	305 223	122 303
Визовая схема	0	24 449	98 426	124 576	214 850
TechImmersion	0	0	57 004	6324	—
Веб-сайт	—	—	—	—	—
Отчет TechNation	0	199 984	174 905	216 163	122 702
Другие инициативы	212 956	637 351	444 139	267 377	291 130
Центральные расходы / накладные расходы	1 459 531	2 353 849	2 409 526	2 772 181	4 026 517
Общие прямые затраты	1 048 477	1 754 848	1 745 709	1 796 972	1 472 407
Общая стоимость ТН	2 508 008	4 108 697	4 155 234	4 569 153	5 498 924

Источник: Пограничный анализ данных TN.

Чтобы перераспределить центральные затраты, мы сначала оцениваем долю общих прямых затрат, приходящуюся на каждую инициативу. Доли показаны на рисунке 13 ниже.

Рисунок 13 Доли прямых затрат по инициативам

Инициатива	14–15 ФГ	15–16 ФГ	16–17 ФГ	17–18 ФГ	18–19 ФГ
Будущее 50	33%	12%	9%	9%	8%
Высококлассный	0%	5%	8%	12%	7%
Северные звезды	0%	10%	14%	10%	0%
Восходящие звезды	0%	0%	0%	0%	10%
Прикладной ИИ	0%	0%	0%	0%	2%
Финтех для всех	0%	0%	0%	5%	0%
Финтех	0%	0%	3%	8%	12%
Кибер	0%	0%	0%	0%	5%
Сеть учредителей	0%	0%	9%	5%	4%
администратор баз данных	47%	24%	13%	17%	8%
Визовая схема	0%	1%	6%	7%	15%
TechImmersion	0%	0%	3%	0%
Веб-сайт
Отчет TechNation	0%	11%	10%	12%	8%
Другие инициативы	20%	36%	25%	15%	20%
Общие прямые затраты	100%	100%	100%	100%	100%

Источник: Пограничный анализ данных TN.

Сложение прямых затрат и распределения накладных расходов дает оценку общих затрат по инициативам:

Рисунок 14 Полностью распределенные затраты по инициативам

Инициатива	14–15 ФГ	15–16 ФГ	16–17 ФГ	17–18 ФГ	18–19 ФГ
Будущее 50	821 296	481 323	368 885	432 865	418 005
Высококлассный	0	204 863	348 369	529 553	391 500
Северные звезды	0	400 674	567 000	455 077	0
Восходящие звезды	0	0	0	0	573 264
Прикладной ИИ	0	0	0	0	87 190
Финтех для всех	0	0	0	241 556	0
Финтех	0	0	116 550	349 469	681 856
Кибер	0	0	0	0	296 593
Сеть учредителей	0	0	383 048	222 210	245 848
администратор баз данных	1 177 311	1 004 107	527 933	776 090	456 760
Визовая схема	0	57 243	234 278	316 759	802 390
TechImmersion	0	0	135 685	16 080	0
Веб-сайт	0	0	0	0	0
Отчет TechNation	0	468 231	416 319	549 636	458 249
Другие инициативы	509 401	1 492 256	1 057 166	679 858	1 087 270
Центральные расходы	перераспределено	перераспределено	перераспределено	перераспределено	перераспределено

Общая стоимость ТН	2 508 008	4 108 697	4 155 234	4 569 153	5 498 924

Источник: Пограничный анализ данных TN.

Приложение Б

Принятие прошлых рекомендаций

На Рисунке 15 представлены рекомендации предыдущей оценки наряду с оценкой Frontier степени, в которой они были учтены TN.

Рисунок 15. Резюме выполнения TN рекомендаций по оценке 2017 г.

Проблема	Рекомендации 2017 г.	Пограничная оценка
Стратегия и доставка за пределами Лондона	– Разработайте четкие цели, связанные со своими стратегическими амбициями . – Разработайте свои намерения и подход к развитию сектора цифровых технологий за пределами Лондона, учитывая то, что может быть реально реализовано.	TN осознают, что более широкая экосистема уже в значительной степени ориентирована на стартапы на ранних стадиях, но существует пробел в помощи и советах для масштабирующихся фирм. – Таким образом, во всех инициативах TN были предприняты согласованные усилия, направленные на фирмы, находящиеся на несколько более продвинутой стадии своего роста. Это включает в себя корректировку критериев и предложений по инициативам роста и увеличение объема курсов DBA для существующих основателей. – Ключевая цель для TN – обеспечить, чтобы инициативы отражали всю природу британского рынка технологий. Внедрение менеджеров по взаимодействию с предпринимателями (EEM), расположенных в 11 регионах Великобритании, является ключевой инициативой, которая помогает достичь этого. – Другие инициативы также изо всех сил стараются преодолеть лондонскую направленность, например, в конкурсе Rising Starts в шорт-лист попадают по три компании из каждого региона, несмотря на то, что из Лондона подается гораздо больше заявок. Оценка: адресовано
Брендинг	— TCUK следует пересмотреть свои различные бренды, чтобы обеспечить согласованность и избежать путаницы.	– Создание TN, объединение TCUK и Tech North, обеспечивает согласованность и предотвращает смешение брендов. Оценка: адресовано
Операции – поперечная резка	– Обеспечить большую последовательность во взаимодействии с заинтересованными сторонами – Включает решение вопросов текучести кадров. – Извлекать больше преимуществ из существующей среды для развития бизнеса, связывая предприятия в этом секторе с другими существующими инициативами, такими как инициативы, касающиеся экспортного консультирования или доступа к финансированию.	– Чтобы обеспечить большую согласованность с заинтересованными сторонами, TN только что написала «учебник», в котором подробно описывается, как выполняется каждая из инициатив. Это дается новичкам, чтобы помочь сгладить процесс передачи. EEM (у которых есть важные контакты с заинтересованными сторонами) записывают каждый контакт или встречу с заинтересованными сторонами, чтобы обеспечить непрерывность. – Текучесть кадров неизбежна для организации, нанимающей молодых сотрудников. Чтобы помочь снизить текучесть кадров, TN теперь информирует кандидатов о том, что они ожидают, что они останутся на работе не менее 2 лет. – Ключевая роль EEM – информировать учредителей о более широкой экосистеме поддержки. У каждого региона также есть специальная веб-страница, содержащая независимо составленный список источников финансирования, мест для совместной работы, встреч и т. д. [сноска 64] Оценка: адресовано
Операции – жизненный цикл бизнеса (инициативы роста)	– Международный масштаб для Upscale – Сессии могут быть более целенаправленными – NB: другие рекомендации больше не актуальны	Cyber, Fintech и Applied AI совершают международные поездки. У недавних высококлассных когорт нет, но это запланировано на будущие (и «международную» сессию). – Характер курсов существенно изменился: стало меньше курсов, они больше ориентированы на топ-менеджеров (а не только на генеральных директоров) и появились новые отраслевые инициативы. Оценка: выполнено частично, уже разработаны дальнейшие планы по выполнению рекомендаций.
администратор баз данных	– TN должен учитывать объем предметов курса	– В сентябре-декабре 2018 г. было добавлено 28 новых курсов, специально предназначенных для начинающих и масштабирующихся учредителей. — Это было предназначено для завершения первоначальных 56 курсов, которые были в первую очередь предназначены для начинающих основателей. – Недавно эти курсы были номинированы на премию Learning Technologies Awards в номинации «Превосходство в разработке учебного контента для государственного и некоммерческого сектора». Оценка: адресовано
администратор баз данных	– TN следует рассмотреть возможность вознаграждения за прохождение курсов и взаимодействие с работодателями для повышения ценности курсов администраторов баз данных.	– TN сотрудничает с различными компаниями, чтобы предоставлять вознаграждение за прохождение курсов. Некоторые примеры включают недельное рабочее место в Launch 22, скидку 10% на подписку экономиста или ускоренное рассмотрение заявок на получение кредита с помощью Transmit Start-ups. – Учащимся рекомендуется делиться своими сертификатами в LinkedIn. Однако активных попыток повысить осведомленность работодателей о сертификатах не предпринималось. Наши интервью с основателями подтвердили это, поскольку никто из них ранее не слышал об DBA. Оценка: в основном рассматривается, хотя есть возможность для большего взаимодействия с работодателями.
администратор баз данных	– TN следует подумать о том, как DBA связан с другими их инициативами.	– В сотрудничестве с сетью Upscale и Founders было создано 28 новых курсов. – Инициатива Upscale и сеть основателей также поделились курсами со своими членами, что привело к некоторому совпадению людей, зарегистрированных в DBA, а также в другой инициативе. – Тем не менее, можно сделать больше для распространения информации о курсах DBA среди участников других инициатив, как это было ясно из наших интервью с основателями. Оценка: Некоторое сотрудничество для разработки курсов, но может быть полезно больше перекрестного продвижения.
Данные мониторинга и оценки	– Данные, которые должны постоянно собираться – Больше внимания ожидаемым результатам – Баланс между экономическими и неэкономическими показателями (профиль и сети)	– Исторически TN был ориентирован преимущественно на результат, а не на результат. TN предположила, что это в основном связано с трудностями измерения результатов, но также частично из-за краткосрочного мышления, которое возникло из-за того, что они полагались на ежегодное финансирование со стороны правительства. – Теперь, когда у TN есть долгосрочное финансирование, они могут больше сосредоточиться на долгосрочных результатах. Например, в настоящее время они создают платформу для выпускников для сбора данных об успеваемости выпускников. – В этой области еще есть куда расти. Четкая связь между общей стратегией или конкретными целями инициативы и ключевыми показателями эффективности иногда отсутствует. Таким образом, было бы полезно разработать более систематизированную основу для сбора данных о результатах и ​​воздействии. – Со временем TN внесла существенные изменения в свои инициативы. С точки зрения оценки это создает проблемы, поскольку прогресс становится труднее отслеживать, а сравнения не могут быть одинаковыми. Повышение согласованности инициатив во времени повысит надежность будущих оценок. Оценка: Частично решено с возможностью дальнейшего улучшения

Источник: Frontier analysis и SQW, Итоговый отчет об оценке воздействия Tech City UK для Департамента цифровых технологий, культуры, СМИ и спорта, октябрь 2017 г.