Квалификации в Великобритании: исследования и анализ

Предисловие

В этом отчете основное внимание уделяется семейству (в основном) профессиональных и технических квалификаций, которое очень точно определено с точки зрения того, как определяются и оцениваются его стандартные единицы. Мы понимаем, что в секторе образования имеется множество аббревиатур, и что следует проявлять осторожность, прежде чем вводить новую, но мы стремились придать этим квалификациям четкую идентичность, чтобы иметь возможность понимать и эффективно их регулировать. Поэтому, посоветовавшись, мы решили назвать их квалификациями «CASLO» из-за того, что оценщики должны подтверждать получение определенных результатов обучения.

Многие из квалификаций, которые регулирует Ofqual, являются частью этой семьи. Многие BTEC имеют квалификацию CASLO — полностью или в основном состоят из единиц CASLO, что делает BTEC их крупнейшим и наиболее известным брендом. Но этот подход используется во всех видах квалификаций, от премии ASDAN Level 1 в области личной и социальной эффективности до диплома SFJ Awards Level 3 в области полицейской деятельности, диплома DAO Level 5 в области лидерства и управления и так далее.

Семейство CASLO связано с различными движениями, включая оценку на основе компетентности (CBA), оценку на основе результатов (OBA), оценку на основе мастерства (MBA) и так далее. Тем не менее, исторические корни этой семьи, в том числе совсем недавно влияние Системы квалификаций и кредитов, привели к тому, что сегодня в Англии квалификация CASLO имеет очень характерный набор характеристик, несмотря на то, что во многих отношениях они очень различаются. Поэтому их очень сложно классифицировать. ^{[сноска 1]} В этом отчете делается попытка охарактеризовать их, вводя идею «архетипической» квалификации CASLO.

Отчасти из-за того, что это необычное семейство квалификаций — учитывая его узкие исторические корни — мы знаем гораздо меньше о том, как работают квалификации CASLO, чем о том, как работают более классические квалификации, включая GCSE и уровни A. Таким образом, это необычный отчет Ofqual, поскольку в нем делается попытка задокументировать в чисто функциональном смысле, как работают квалификации CASLO. Это аналогично описанию того, как работает электрический двигатель в отличие от двигателя внутреннего сгорания или часового механизма. По этой причине в отчете используется контрастный стиль, в котором более широко понимаемый классический подход, представленный на примере общих квалификаций, таких как GCSE и уровни A, сравнивается с менее широко понимаемым подходом CASLO.

Принятие функционального подхода к объяснению того, как работают квалификации CASLO, означает отказ от рассмотрения более сложных оценочных вопросов, таких как, работают ли одни квалификации CASLO лучше или хуже, чем другие, или работают ли квалификации CASLO лучше или хуже классических квалификаций. Он просто предполагает, что квалификации CASLO могут работать, и пытается объяснить, как это сделать. Этот отчет помогает создать основу, на которой может основываться оценочная работа.

Наконец, в этом отчете не делается попытка объяснить все о том, как работают квалификации CASLO. Действительно, наш фокус несколько сузился по мере развития проекта, как и наш основной исследовательский вопрос, который лучше всего выражается следующим образом: как возможно, чтобы присуждающая организация оставалась полностью ответственной за каждую квалификацию CASLO, которую она присуждает, несмотря на делегирование существенной ответственности за оценку? процессы в центры? Другими словами, как работает обеспечение качества квалификаций в этом семействе? Это один из ключевых вопросов Ofqual, когда речь идет о регулировании этих квалификаций. Это была призма, через которую мы рассмотрели, как работают квалификации CASLO, и это основное внимание в этом отчете.

Управляющее резюме

Многие из профессиональных и технических квалификаций (VTQ), которые регулирует Ofqual, принадлежат к большому семейству, которое разделяет определенную модель оценки. Отличительной особенностью этой модели является то, что она требует от оценщиков подтверждения приобретения определенных результатов обучения. Поскольку для квалификаций, обладающих этой конкретной характеристикой, не существует общего названия, мы решили назвать их квалификациями CASLO.

Основные характеристики квалификаций CASLO

Что отличает квалификации CASLO от других квалификаций, так это то, как определяются и оцениваются их области обучения и стандарты оценки. Представьте, например, награду 1-го уровня в области делового администрирования. Если бы он был настроен как квалификация CASLO, первое, что нужно было бы сделать его разработчику, — это определить требования к знаниям и навыкам для рассматриваемой роли. Затем они будут разложены на компоненты (единицы) и элементы (результаты). Затем будут указаны критерии достижения каждого результата.

Предполагая, что его первый блок касается электронного общения, его результаты обучения (LO) и критерии оценки (AC) могут быть указаны следующим образом:

1. учащийся сможет общаться в электронном виде (LO1)
2. учащийся может:
   1. отправлять, получать и пересылать электронные письма (AC1.1)
   2. подготовить и отправить четкое и точное текстовое сообщение (AC1.2)
3. учащийся сможет безопасно пользоваться Интернетом (LO2)
4. учащийся может:
   1. войти в Интернет (AC2.1)
   2. получить доступ к соответствующему веб-сайту, демонстрирующему осведомленность о безопасности (AC2.2)

Чтобы пройти этот модуль, учащийся должен был бы овладеть всеми указанными LO, о чем свидетельствует выполнение связанных с ними AC. Более формально стандарты прохождения единиц CASLO таковы:

1. 1. указано аналитически (поэлементно) и всесторонне (чтобы охватить все соответствующие элементы)
2. 2. определяемый конъюнктивно (требующий овладения всеми элементами, т. е. полного овладения)
3. 3. оценивается исчерпывающе (чтобы охватить все элементы) и подтверждающим образом («приобретенный» в отличие от «еще не приобретенный»)

Технически квалификацию можно было бы построить частично из единиц CASLO, а частично из более классических компонентов. На практике, тем не менее, присуждающие организации (AO) имеют тенденцию создавать квалификации, которые включают только (или преимущественно) единицы CASLO, поэтому имеет смысл говорить о квалификациях CASLO.

В настоящем отчете описывается исследование того, как работают квалификации CASLO. Он рассматривает, как АО может оставаться полностью ответственным за каждую квалификацию CASLO, которую он присуждает, несмотря на делегирование значительной ответственности за процессы оценки центрам.

Слишком мало известно о квалификации CASLO

По сравнению со многими общими квалификациями (GQ), включая GCSE и уровни A, квалификации CASLO задокументированы менее полно, менее тщательно исследованы и менее хорошо теоретизированы. Хотя отдельные АО могут знать, как работает их квалификация, доступ к такого рода знаниям затруднен. Там, где информация была доступна – в квалификационных спецификациях, руководствах и т.п. – она, как правило, была на очень практическом уровне. Более того, хотя такая практика документировалась на протяжении многих лет, принципы, лежащие в основе ее эффективного функционирования, особенно в отношении обеспечения качества, насколько мы можем судить, никогда официально не формулировались. Исследование, описанное в настоящем отчете, было направлено на то, чтобы исправить это,

Квалификация CASLO отличается

Наш отчет закладывает основу для этого исследования, описывая, как развивалось это семейство квалификаций, и сравнивая квалификации CASLO с традиционными GQ, которые используют классический подход к образовательной оценке.

Квалификации CASLO работают совершенно иначе, чем классические GQ. Хотя механизм получения квалификации CASLO и работы над ней хорошо понимают многие преподаватели, инструкторы и студенты, которые сдают их каждый год, их технические характеристики не так широко известны даже среди экспертов по оцениванию. Это в значительной степени является результатом неадекватной документации, исследований и теоретизирования. Это отсутствие прозрачности представляет собой серьезную проблему для разработки политики. Это представляет риск того, что люди будут рассматривать эти квалификации непродуктивно, через более классическую (GQ) призму, уделяя недостаточно внимания их отличительным характеристикам.

Компания Ofqual недавно столкнулась с этой проблемой при пересмотре своих Общих условий признания в отношении внешней гарантии качества. Потребовалось время, чтобы выяснить, как именно квалификации CASLO отличаются от классических GQ в отношении обеспечения качества, и даже это уточнение оставило некоторые вопросы без ответа. Настоящий отчет является частью ответа Ofqual на этот пробел.

Компоненты, оцениваемые центром в рамках классических GQ, отмечаются центром в соответствии с национальной схемой оценки. Точность и постоянство маркировки по центру проверяется внешним модератором. Модерация часто включает в себя точную настройку общего количества оценок, присуждаемых центром — их масштабирование в сторону уменьшения, чтобы исправить чрезмерную снисходительность, или вверх, чтобы исправить чрезмерную резкость, — хотя иногда требуется полная переоценка всей работы в центре.

Внешнее обеспечение качества для квалификаций CASLO работает иначе. Отчасти это связано с тем, что эти квалификации часто на 100% оцениваются в центре. Это увеличивает внешнее бремя обеспечения качества как для АО, так и для центров. Это также изменяет профиль потенциального риска. Но главная причина, по которой обеспечение качества работает иначе, заключается в том, что идея тонкой настройки не переводится в контекст, в котором центры оценивают работу кандидата непосредственно по критериям оценки и где требуется полное владение предметной областью. Итак, как работает внешнее обеспечение качества для квалификаций CASLO? Этот вопрос послужил полезным фокусом для настоящего исследования, помогая нам преследовать нашу более широкую цель, которая заключалась в более общем объяснении того, как работают квалификации CASLO.

Мы решили исследовать, как они работают.

Первоначально предполагалось, что наше исследование будет включать 4 направления, в каждом из которых будет опрашиваться одна и та же небольшая выборка квалификаций CASLO:

1. 1. Кабинетная проверка документальных свидетельств по каждой квалификации
2. 2. Полуструктурированное личное интервью с офицерами АО
3. 3. наблюдение за внешним обеспечением качества в 2-х центрах
4. 4. Последующее полуструктурированное интервью с двумя внешними специалистами по обеспечению качества

К сожалению, завершение интервью Strand 2 совпало с блокировкой COVID-19. Однако, к счастью, выводы из первых двух направлений оказались достаточно богатыми, чтобы составить представление о том, как работают квалификации CASLO.

Наше первоначальное намерение состояло в том, чтобы изучить как принципы, так и методы, связанные с квалификациями CASLO, через окно обеспечения качества. Однако в ответ на COVID-19 мы решили ограничить наше внимание принципиальными вопросами. Направления 3 и 4 были заменены этапом оценки, на котором выводы из направлений 1 и 2 были представлены офицерам АО в нашей выборке, которые предоставили отзывы об их правдоподобности. Эта обратная связь была использована для формирования отчета, представленного в этом окончательном отчете. Хотя это кажется правдоподобным объяснением, оно все еще является предварительным, поскольку было основано на небольшой выборке разрозненных квалификаций и AO.

Из-за очень большого разнообразия квалификаций CASLO в Англии выводы этого проекта были сформулированы с точки зрения того, как работает архетипическая квалификация CASLO. Мы построили эту гипотетическую квалификацию, чтобы отразить часто встречающиеся особенности и процессы, учитывая обстоятельства, при которых обычно работают квалификации CASLO.

Типичная квалификация CASLO

Общим для всех квалификаций CASLO является то, что стандарты для сдачи единиц CASLO: определены аналитически и всесторонне, определены конъюнктивно и оценены исчерпывающе и подтверждающим образом. Однако помимо этих структурных требований, которые являются общими по определению, мы определили дополнительные черты, которые помогли нарисовать картину архетипической квалификации в этом широком семействе.

В Англии архетипической квалификацией CASLO является VTQ, разработанная с учетом гибкости, позволяющая учащимся учиться в различных условиях, например:

• учащиеся, следующие разными путями в рамках одной и той же квалификации
• учащиеся, развивающие альтернативные (адаптированные) наборы навыков в рамках одной и той же квалификации
• учащиеся, обучающиеся в разных местах (в колледже, на работе и т. д.)
• учащиеся демонстрируют свою компетентность в различных условиях рабочего места
• учащиеся начинают и заканчивают обучение в разное время

Гибкость обеспечивается различными способами: от достижения учащимися разных результатов обучения (по разным модулям) в рамках одной и той же квалификации до оценки учащихся по одному и тому же результату обучения с использованием различных видов доказательств.

Стандарты CASLO относятся к областям обучения, которые обычно разбиваются на блоки, где каждый блок включает набор LO, а каждый результат характеризуется набором AC. Мы можем думать об этом как о графическом подходе к определению области обучения в том смысле, что спецификация каждой единицы функционирует как карта пути обучения, где каждый результат обучения соответствует важной вехе на этом пути. Основная цель учебного путешествия — пройти всю карту и посетить каждый ориентир.

Поскольку стандарты для квалификаций CASLO всесторонне определены и оцениваются исчерпывающе, а также поскольку они часто подчеркивают практически ориентированные результаты, они несут тяжелое бремя оценки. Необходимость учитывать как гибкость, так и нагрузку является значительной с точки зрения дизайна квалификации, поскольку архетипическая квалификация CASLO ориентируется на модель непрерывной центральной оценки (или непрерывной оценки на рабочем месте). К другим общим конструктивным особенностям относятся:

• выставляется только проходной балл
• завершение квалификации не сильно ограничено во времени

Выявление отличительных черт в этом направлении помогает отличить архетипическую квалификацию CASLO от архетипической классической квалификации. На самом деле некоторые квалификации имеют черты, напоминающие архетип CASLO, и черты, напоминающие классический архетип. Две модели не обязательно противоречат друг другу, и можно представить множество гибридных подходов.

К сожалению, некоторые особенности, связанные с архетипической квалификацией CASLO, представляют значительную угрозу для точной и последовательной оценки. Например:

• тяжелое бремя оценки увеличивает потенциальный масштаб ошибки оценки
• высокая гибкость затрудняет управление риском ошибки оценки
• мастерский подход к оцениванию увеличивает риск ошибки оценивания

Учитывая существенную передачу ответственности за процессы оценки центрам, АО должны быть очень уверены в способности каждого центра проводить точную и последовательную оценку. Это помогает объяснить, почему обеспечение качества, в частности, должно рассматриваться совершенно по-другому для квалификаций CASLO, даже по сравнению с тем, как оценивание на базе центра обеспечивает качество в рамках GQ.

Как работают квалификации CASLO

Мы решили построить, исходя из первых принципов, описание того, как работают квалификации CASLO, то есть объяснить, как они могут работать в теории, а не оценивать, насколько хорошо они действительно работают на практике. Мы попытались понять, как работают определенные критические процессы для квалификаций CASLO — в частности, процессы обеспечения качества — путем сравнения с тем, как якобы аналогичные процессы работают для классических GQ, которые, как правило, понимаются гораздо лучше.

Мы пришли к выводу, что обстоятельства, в которых действуют эти квалификации, привели к совершенно иной модели подотчетности в отношении центральной оценки по сравнению с классическими GQ. Мы объяснили это метафорически, сравнив модель невмешательства с субподрядом (GQ) с моделью практического партнерства (CASLO). Согласно этой метафоре, АО назначают центры в качестве учеников с целью приобщения их к сообществу практики соответствующей квалификации. Тем не менее, каким бы опытным ни стал центр, АО всегда будет следить за его практикой посредством процессов постоянного мониторинга. Центр может перейти от «высокого риска» к «низкому риску», но он никогда не должен считаться «отсутствующим риском».

Мы заметили, что архетипическая квалификация CASLO использует трехстороннюю систему обеспечения качества, которая включает в себя:

1. 1. утверждение центра
2. 2. внутренняя гарантия качества
3. 3. внешняя гарантия качества

Это подразумевает подход «от колыбели до могилы», который начинается, когда центр получает разрешение на предоставление квалификации. Он не заканчивается до тех пор, пока он не перестанет предлагать квалификацию и последний студент не будет сертифицирован. В самом деле, в то время как в модели GQ обеспечение качества является конечной нагрузкой (с особым акцентом на внешнее обеспечение качества), в модели CASLO оно находится на переднем и среднем уровнях (с особым акцентом на внутреннем обеспечении качества).

Основополагающие принципы

Информация, полученная в результате наших интервью с офицерами AO, выявила достаточно общего между квалификациями, чтобы предложить несколько принципов, лежащих в основе эффективного применения квалификаций CASLO:

1. 1. структурная целостность (центры должны с самого начала продемонстрировать структурную целостность — с точки зрения преподавания, оценки, обеспечения качества и управления — чтобы быть признанными достойными предоставления квалификации)
2. 2. саморегулирование (центры должны работать как саморегулирующиеся системы, усвоив стандарты качества АО и методы обеспечения качества)
3. 3. всесторонний мониторинг (обеспечение качества должно быть сосредоточено на эффективном предоставлении квалификации в раунде – преподавание, оценка, обеспечение качества и управление)
4. 4. выборка на основе рисков (учитывая потенциальный объем деятельности по обеспечению качества, выборка должна основываться на модели, основанной на оценке рисков)
5. 5. постепенное улучшение (необходима поддержка центров для постепенного улучшения — с момента утверждения центром и далее до тех пор, пока центр продолжает предлагать квалификацию)
6. 6. поддерживающий надзор (отношения между АО и его центрами, а также между внутренним специалистом по обеспечению качества и их оценщиками должны оставаться принципиально поддерживающими)
7. 7. условное (доказательное) доверие (с повышением компетентности растет доверие, но если центр злоупотребляет этим доверием, то с этим нужно бороться с помощью соответствующей санкции)

Эти принципы реализуются в рамках квалификаций CASLO с помощью различных механизмов поддержки, включая утверждение центром, обучение, стандартизацию, внутреннюю и внешнюю проверку как процессов, так и результатов, которые вместе предназначены для обеспечения эффективного применения этих квалификаций.

Один из наиболее важных механизмов поддержки касается преподавания и обучения. Этот механизм, который часто называют формирующей оценкой, специально разработан для того, чтобы учащиеся постоянно оставались на цели, чтобы пройти квалификацию. Ожидается, что при соответствующих требованиях при поступлении на курс, эффективном процессе отбора и адекватных формативных мерах оценивания учащиеся, прилагающие достаточные усилия, рано или поздно смогут достичь компетентности.

В соответствии с принципом саморегулирования, чем эффективнее внутренний специалист по обеспечению качества (IQA) координирует обеспечение качества, тем реже потребуется вмешательство внешнего специалиста по обеспечению качества (EQA). Эффективные IQA обеспечивают беспрепятственную доставку квалификаций. В идеале, если IQA выполнила свою работу эффективно, тогда не должно быть необходимости во вмешательстве EQA. Таким образом, IQA является краеугольным камнем этой целостной системы.

Принимая во внимание, что проверка внешних стандартов лежит в основе модели обеспечения качества центральной оценки для классических GQ, ее, возможно, лучше понимать как окончательную систему безопасности для архетипической квалификации CASLO. Это основано на предположении, что IQA уже координирует ряд мероприятий по обеспечению качества, включая значительный объем проверки внутренних стандартов. Это помогает объяснить, почему AO не описывают способ, которым EQA тщательно изучает квалификационные стандарты — то, что Ofqual теперь называет Центром изучения стандартов оценки — как фундаментально интервенционистский (что может быть разумным описанием модерации для GQ).

При этом проверка внешних стандартов по-прежнему выполняет ряд важных функций для квалификаций CASLO. Это включает в себя корректирующую функцию, основанную на том, что можно было бы назвать спорадически интервенционистским подходом. Это включает в себя выявление и исправление вопиющих ошибок профессионального суждения или серьезных аномалий или неточностей из-за непреднамеренного недобросовестного администрирования или преднамеренного злоупотребления служебным положением. Выявление и исправление только бросающихся в глаза ошибок сильно отличается от точной настройки маркировки, которая типична для проверки внешних стандартов для классических GQ. Это согласуется с контролем внешних стандартов в отношении квалификаций CASLO, которые больше похожи на страховочную сетку. Это также согласуется с описанием того, как терпимость к суждениям может проявляться в рамках квалификаций CASLO.

Наконец, даже при применении спорадически интервенционистского подхода проверка внешних стандартов по-прежнему будет выполнять важную функцию сдерживания – сдерживания недобросовестного управления, связанного с невнимательностью, а также сдерживания злоупотреблений служебным положением, возникающих из-за плохих намерений.

Введение

Уровни GCSE и A широко известны и хорошо изучены. Они привлекают большое внимание, жестко регламентированы, а их особенности и процессы достаточно типичны для классических образовательных оценок на международном уровне. Их основные принципы хорошо известны, а их технические характеристики тщательно исследованы. К сожалению, этого нельзя сказать о многих профессиональных и технических квалификациях (VTQ), которые действуют наряду с GCSE и уровнями A. Их методы могут быть хорошо известны АО, центрам и студентам, которые с ними работают, а также хорошо известны работодателям, получающим от них выгоду. Однако лежащие в их основе принципы установлены гораздо менее четко, а их технические характеристики изучены гораздо менее тщательно.

Ofqual стремится помочь изменить эту тенденцию и взял на себя обязательство регулировать VTQ с той же серьезностью и вниманием, что и в отношении общих квалификаций (GQ). ^{[сноска 2]} Важным следствием этого нового обязательства является необходимость понимания того, как работают VTQ, более глубоко и подробно, чем это было принято в прошлом. Исследование, о котором сообщается ниже, предназначено для поддержки этой цели путем изучения того, как работает большое семейство VTQ. По причинам, которые вскоре будут уточнены, мы решили называть их квалификациями CASLO.

VTQ в Англии, как правило, отличаются от GQ.

Поскольку VTQ документируются менее всесторонне, исследуются менее тщательно и теоретизируются хуже, чем GQ, это повышает риск того, что при разработке политики иногда может уделяться недостаточное внимание важным различиям. Незадолго до появления COVID-19 Ofqual пересмотрел свои Общие условия признания в отношении внешней гарантии качества, чтобы решить проблему такого рода.

Исследование связанных с лицензией квалификаций, используемых в частной охранной отрасли, выявило ряд рисков, связанных с присуждением этих квалификаций с высокими ставками (Ofqual, 2017). В частности, это включало риск невыявления и исправления несоответствующих решений центра оценки до присуждения квалификации. Он также включал связанный с этим риск негативных последствий отзыва квалификации после ее присуждения. Это, в свою очередь, связано с широко распространенной в отрасли практикой, согласно которой центру может быть предоставлен статус прямых претензий (DCS). ^{[сноска 3]}

Когда присуждающая организация (AO) удовлетворена тем, что центр может эффективно предоставлять квалификацию и оценивать ее с неизменной точностью, она может принять решение о присуждении DCS этому центру для рассматриваемой квалификации. После предоставления центр может запросить сертификацию для отдельного лица или группы кандидатов, как только они будут удовлетворены тем, что эти кандидаты соответствуют требуемым квалификационным стандартам, без необходимости внешней проверки качества их решений об оценке перед выдачей каждого сертификата. DCS особенно удобна для краткосрочных квалификаций, когда кандидатам требуется быстрая сертификация, чтобы иметь возможность сразу же использовать свои сертификаты.

В ответ на расследование отрасли безопасности Ofqual пришел к выводу, что DCS, вероятно, противоречит ее требованию о том, чтобы АО оставались полностью ответственными за присуждаемые ими вознаграждения. Ofqual провел серию консультаций для изучения адекватности и уместности своих существующих Общих условий признания. Это привело к более жесткому, но и более широкому набору условий, связанных с внешним обеспечением качества (Ofqual, 2020a; 2020b). Новые правила разрешали DCS, если проводилась некоторая форма проверки стандартов оценки центра (CASS) и выполнялись определенные базовые требования.

Новые правила также указывали, что для определенных квалификаций Ofqual потребуется особая форма внешней гарантии качества, модерация, которая определяется как:

Особая форма проверки стандартов оценивания центром, посредством которой отслеживается выставление оценок центрами, чтобы убедиться, что они соответствуют требуемым стандартам, и посредством которой, при необходимости, вносятся коррективы в выставление оценок центром, чтобы гарантировать, что результаты основаны на требуемом стандарте. Модерация проводится до публикации окончательных результатов согласно Условию H6.1.

(Ofqual, 2020a, стр. 6)

Таким образом, модерация определяет форму проверки стандартов, цель которой: выявить центры, которые не смогли применить стандарты с достаточной точностью и последовательностью, и исправить это до выдачи сертификатов. Традиционный подход GQ к внешнему обеспечению качества можно классифицировать как умеренность.

В то время как модерация требует, чтобы проблемы выявлялись и устранялись до выдачи любого сертификата, другие разновидности CASS могут иметь место либо до, либо после выдачи сертификатов. Таким образом, определение CASS, данное Ofqual, носит более всеобъемлющий характер, чем его определение модерации. CASS определяется как:

1. процесс, посредством которого присуждающая организация –
   1. (a) периодически проверяет выставление оценок Центром, чтобы убедиться, что они не отклоняются от требуемых стандартов,
   2. (b) рассматривает целесообразность исправления какой-либо отметки и, при необходимости, исправляет эту отметку (включая случаи, когда изменения требуются в соответствии с Условием H2.5(b)),
   3. (c) в соответствии с Условием H6.3(b) рассматривает целесообразность исправления какого-либо неправильного результата и, при необходимости, исправляет этот результат, и
   4. (d) принимает меры для предотвращения повторения такого отклонения.

(Ofqual, 2020a, стр. 6)

CASS теперь является минимальным требованием для всех регулируемых квалификаций, которые включают центральное оценивание. Это означает, что АО должен периодически проверять образцы оцененной работы из всех центров. Это делается для того, чтобы убедиться, что все центры проводят оценку в соответствии с национальным стандартом, и чтобы нести ответственность за присвоение всех квалификаций.

Короче говоря, консультации, которые последовали за публикацией отчета индустрии безопасности, показали, что многие VTQ работают иначе, чем классическая модель внешнего контроля качества GQ. Это привело к тому, что правила Ofqual были изменены, чтобы требовать тщательного изучения стандартов по всем направлениям. Новые правила допускали разные «уровни» CASS в зависимости от характера и обстоятельств рассматриваемой квалификации.

Эта недавняя демонстрация того факта, что VTQ могут значительно отличаться от GQ, является важной частью обоснования настоящего исследования. Это также помогает объяснить, почему мы решили использовать внешний контроль качества в качестве окна, через которое можно исследовать такие различия более глубоко и подробно.

Недавняя история VTQ в Англии

Понимание того, как работают VTQ, — немалый подвиг. Ландшафт профессиональных, профессиональных, технических и профессиональных квалификаций в Англии — даже та часть, которая регулируется Ofqual — чрезвычайно разнообразна. ^{[сноска 4]} Около 140 АО предлагают VTQ, регулируемые Ofqual (цифра верна на сентябрь 2021 г.). Некоторые из них являются в первую очередь профессиональными институтами, предлагающими квалификацию специалиста в определенном секторе для целей развития и аккредитации (например, Чартерный институт профессионального развития). Другие являются общими присуждающими органами, предлагающими широкий спектр квалификаций в самых разных секторах (например, Pearson или City & Guilds).

В течение двадцатого века по мере того, как АО реагировали на множество требований рынка, возникали квалификации всех форм и размеров. Действие эволюционных сил привело к тому, что стало известно (пренебрежительно) как английский термин «джунгли».

Хотя между квалификациями в этом сложном ландшафте VTQ есть много общего (поскольку они были разработаны в ответ на схожие эволюционные силы), между ними также есть много различий (поскольку они не подвергались такому жесткому регулирующему контролю, как GQ). Действительно, хотя имеет смысл говорить об общей модели GQ, это не совсем верно для VTQ. Вместо этого было бы правильнее сказать, что существует ряд семейств VTQ, которые работают совершенно иначе, чем классические GQ. Внутри каждой семьи некоторые черты и процессы могут быть общими, в то время как другие могут перекрываться менее последовательно и менее формально. Самое большое семейство VTQ в Англии, которое по причинам, которые мы скоро объясним, мы будем называть квалификациями CASLO, находится в центре внимания настоящего исследования.

С 1980-х годов предпринимались многочисленные попытки навести порядок в ландшафте квалификаций в Англии, чтобы в нем было легче ориентироваться. Ключевой инициативой стало введение Национальных профессиональных квалификаций (NVQ), за которыми последовали Национальные рамки квалификаций (NQF), а затем Рамки квалификаций и кредитов (QCF). В следующих подразделах представлены квалификации CASLO, которые, как правило, являются VTQ того или иного рода, показывая, как они связаны с NVQ и последующими инициативами и возникли из них.

Национальные профессиональные квалификации (NVQ)

Национальные профессиональные квалификации были введены в конце 1980-х и начале 1990-х годов. Первоначально они были задуманы как рабочие квалификации с оценкой, проводимой менеджерами или руководителями в ходе обычной работы (Jessup, 1991). Они сосредоточились на том, что человек должен был узнать, чтобы считаться компетентным в профессиональной роли. Этот «основанный на результатах» подход к развитию квалификации контрастировал с предыдущими подходами, основанными на «входных данных», которые подвергались критике за чрезмерное внимание к реализации учебной программы (исходные данные), а не к приобретению компетенций (результаты). Не было установлено никаких временных ограничений для достижения результатов обучения NVQ — ни минимальных, ни максимальных — и это стало «противоядием» для существующих программ ученичества, которые слишком часто присуждались почти как награда за «отработанное время» учеником. Они также обеспечили «противоядие» традиционным квалификациям, сосредоточив внимание на практической демонстрации компетентности, а не на том, как кандидаты справлялись с письменными экзаменами.

Центральным элементом разработки NVQ была идея о том, что если квалификационные стандарты могут быть сформулированы с достаточной прозрачностью, то это сделает процесс оценки беспроблемным. Другими словами, если мы можем указать, что значит быть компетентным в определенной роли — с точки зрения набора элементов, которые включают в себя то, что значит компетентно практиковать, — тогда оценка должна сводиться к простому и прямому вопросу: чтобы продемонстрировать свою компетентность, элемент за элементом. Другими словами, если мы попросим учащегося продемонстрировать элемент компетентности, и он ответит успешным выступлением, то мы можем сделать вывод, что он компетентен в этом элементе. После того, как они продемонстрируют все указанные элементы компетентности,

Квалификационные стандарты NVQ были предназначены для того, чтобы отразить, что значит быть компетентным в конкретной профессиональной роли, и должны были быть получены из Национальных профессиональных стандартов (NOS). Они были сформулированы на индивидуальной основе с помощью заявлений, в которых определялись как элементы компетентности (теперь известные как результаты обучения, LO), так и критерии эффективности (теперь известные как критерии оценки, AC). Заявление о компетентности NVQ было предназначено для того, чтобы предоставить учащимся цель, к которой они должны стремиться. Сертификат NVQ был предназначен для того, чтобы дать представление о том, чего достиг этот учащийся (Jessup, 1991). ^{[сноска 5]}

NVQ были разработаны на различных уровнях, соответствующих свободной иерархии ролей, которые можно было выделить в большинстве профессиональных областей. Квалификации более низкого уровня были связаны с рутинными, предсказуемыми, основополагающими компетенциями. Квалификации более высокого уровня были связаны с более широкими и сложными компетенциями, требующими большей степени автономии.

Первоначально NVQ были связаны друг с другом через NVQ Framework, которая представляла собой двумерную структуру, отображающую область компетенции в зависимости от уровня квалификации. Несколькими годами позже «Обзор квалификаций для 16–19-летних» Рона Диринга придал импульс существующим предложениям по более всеобъемлющей структуре (см., например, FEU, 1992; 1995), которая обеспечила бы согласованность по всему диапазону квалификаций. доступны учащимся (Wilson, 2010). Она возникла как Национальная рамка квалификаций (НРК). Его цель состояла в том, чтобы достичь большей согласованности путем размещения широкого спектра существующих квалификаций на разных уровнях в новой структуре. Это было сделано для повышения прозрачности путем выявления того, как отдельные квалификации связаны друг с другом в рамках более широкой системы.

Подход NVQ к проектированию устройств (и квалификации) требовал, чтобы стандарты были:

1. 1. определено аналитически и всесторонне (с точки зрения набора элементов — LO — которые в совокупности составляют область компетенции)
2. 2. определяется конъюнктивно (с точки зрения достижения полного набора LO)
3. 3. оценивается исчерпывающе и подтверждающим образом (с точки зрения подтверждения достижения каждого ЛО в наборе)

Настоящее исследование сосредоточено на широком семействе квалификаций (которые, как правило, являются VTQ), которые имеют все эти общие черты.

Оценка на основе компетентности (CBA)

Подход, лежавший в основе разработки NVQ, должен был стать революционным, то есть ниспровергнуть традиционный подход GQ, основанный на обучении по учебным планам и (в основном) оценке на экзамене. В контексте VTQ этот новый подход стал известен как оценка на основе компетентности (CBA), подчеркивая, что VTQ должны быть связаны с профессиональными или профессиональными стандартами компетентности.

Фактически, базовая модель не была ограничена профессиональным или профессиональным контекстом. ^{[сноска 6]} Действительно, Гилберт Джессап — директор по исследованиям Национального совета по профессиональным квалификациям, который отвечал за развертывание NVQ, — рассматривал эти новые квалификации как просто авангард формирующейся модели образования и обучения, основанной на ясности в определении LO. и переменный ток. Следующая подборка цитат из заключительного раздела его книги 1991 года помогает объяснить, как он понимал эту более широкую революцию в образовании и обучении:

Общей чертой […] будет то, что все формы обеспечения обучения будут излагаться с точки зрения результатов. Таким образом, будут предопределенные утверждения в форме компетенций или достижений, которые служат целями и направляют ход обучения. (стр. 134)

Оценка переносится в реальный мир и демистифицируется в рамках новой модели образования и обучения. Я надеюсь, мы увидим кончину долбежки информации в последнюю минуту, которая скоро будет забыта для экзаменов. (стр. 135)

То, что оценивается, и требуемые стандарты работы открыты как для оценщика, так и для кандидата. […] Самооценка станет важным компонентом обучения. (стр. 135)

Оценка будет непрерывной, как правило, интегрированной в процесс обучения. (стр. 135)

Оценка будет гораздо более тщательной, она будет сосредоточена на том, что необходимо оценить, и будет более систематически охватывать гораздо более широкий спектр результатов, чем можно достичь традиционными методами. Как следствие, он будет более действительным. (стр. 136)

Общая модель предназначена для содействия обучению. Он включает в себя множество функций, которые делают обучение более привлекательным и доступным. (стр. 138)

(Джессап, 1991)

Этот новый подход к разработке квалификаций, вдохновленный североамериканскими образовательными движениями, связанными с мастерским обучением и оценкой на основе критериев, был предназначен для улучшения преподавания и обучения, а также для улучшения оценки. ^{[сноска 7]}

Квалификация и кредитная система (QCF)

Желание внести еще большую согласованность в ландшафт VTQ привело к разработке Рамки квалификаций и кредитов (QCF) в середине 2000-х годов. В то время как НСК была «более слабой» описательной структурой, разработанной в первую очередь для того, чтобы помочь разобраться в сложном ландшафте квалификаций, ФКК была «более сильной» предписывающей структурой. Другими словами, он обладал большей регулирующей силой, требуя, чтобы единицы и квалификации, которые должны были заполнить структуру, имели общие характеристики дизайна.

Предполагалось, что этот уровень предписаний будет достаточно сильным, чтобы позволить учащимся «смешивать и сопоставлять» единицы в рамках всей структуры, даже позволяя им комбинировать единицы из разных AO. Чтобы это работало, все единицы и квалификации должны были соответствовать множеству правил дизайна, касающихся уровня, названия, кредита, агрегации и так далее.

Правила проектирования были даже указаны на уровне того, как писать LO и AC для квалификационных единиц. Требования высокого уровня были подробно изложены в «Нормативно-правовых актах о квалификациях и кредитной системе» (Ofqual, 2008). Например:

1. 1.4 Все модули должны содержать результаты обучения, которые:
   1. (a) установить, что учащийся должен знать, понимать или уметь делать в результате процесса обучения
   2. (b) быть ясными и связными, а также выражены языком, понятным учащимся, для которого предназначена данная единица, или помощником или консультантом, если сами учащиеся не могут понять результаты обучения
   3. (c) выражены в манере, обращенной к отдельным учащимся в третьем лице, и будут иметь смысл для учащегося как до того, как будет предложена единица, так и после того, как будут достигнуты результаты обучения
   4. (d) способны к оценке и в сочетании с критериями оценки, относящимися к этому результату, устанавливают четкий стандарт оценки для подразделения.
2. 1.5 Все модули должны содержать критерии оценки, которые:
   1. (a) указать стандарт, которому должен соответствовать учащийся, чтобы продемонстрировать, что результаты обучения этого модуля были достигнуты
   2. (b) относиться к индивидуальному результату обучения на языке, соответствующем ему
   3. (c) достаточно подробны, чтобы поддерживать надежные, обоснованные и непротиворечивые суждения о том, что результат обучения был достигнут, не создавая чрезмерного бремени оценивания для учащихся или оценивающих * (d) не включают никаких явных ссылок на методы или инструменты оценивания для использоваться.

(Ofqual, 2008, стр. 11-12)

Дальнейшие указания были предоставлены в различных подтверждающих документах, например:

• «Качество и стандартизация единиц в системе квалификаций и кредитов» (QCDA, 2009 г.)
• «Руководство по составлению кредитных единиц оценки для квалификаций и кредитной системы». Версия 4′ (QCDA, 2010a)
• «Руководство по объединению знаний и навыков в единицах компетентностных профессиональных квалификаций в квалификационной и кредитной структуре». (QCF)’ (QCDA, 2010b)

Обозначение CASLO

Когда были опубликованы нормативные положения для QCF, 3 ключевые особенности блоков NVQ, указанные выше, были указаны в качестве правил проектирования (см. Ofqual, 2008). Следовательно, к середине 2000-х интересующая нас группа квалификаций стала намного шире, чем может подразумевать ярлык «NVQ». Кроме того, многие из этих квалификаций QCF не оценивали «компетентность» по профессиональным или профессиональным стандартам, предполагая, что даже ярлык «CBA» может быть чрезмерно узким. Итак, как мы должны обозначить интересующее нас семейство квалификаций?

Один из вариантов состоял в том, чтобы описать их как квалификации «QCF». Однако это, казалось, подразумевает более широкие коннотации, связанные с множеством правил дизайна, упомянутых ранее (например, название или авторство). Кроме того, в 2015 году была отозвана сама Рамочная программа, тогда как квалификации, разработанные в соответствии с этим шаблоном, все еще распространены.

Поэтому было решено ввести новый ярлык — CASLO — для характеристики базовой модели оценивания, которая требует от оценивающих подтвердить получение определенных результатов обучения (CASLO). Это отражает критическое требование о том, что стандартами прохождения единиц CASLO являются:

• указано аналитически и всесторонне
• определяется конъюнктивно
• оценивается исчерпывающе и подтверждающим образом

Большинство регулируемых квалификаций CASLO в Англии не только определяют стандарты аналитически и всесторонне, но и в высшей степени атомистически. Они определяют набор AC для каждого LO и требуют, чтобы все AC были удовлетворены для подтверждения получения каждого результата. Этот исчерпывающий, подтверждающий подход к оценке ведет к исчерпывающему, подтверждающему подходу к управлению процессом преподавания и обучения. ^{[сноска 8]}

Ключевой идеей, лежащей в основе модели CASLO, является ее ожидание того, что, участвуя в программе обучения, ведущей к получению квалификации, учащийся получит все указанные результаты обучения, по крайней мере, на удовлетворительном уровне. В контексте GQ нет никаких ожиданий — ни явных, ни неявных — того, что большинство учащихся должны получить все результаты, связанные с областью обучения. Действительно, GQ обычно используют компенсаторный подход к агрегированию оценочных суждений. Это означает, что неспособность продемонстрировать удовлетворительный уровень производительности в отношении одного результата может быть компенсирована исключительным уровнем производительности в отношении другого. ^{[сноска 9]}

Таким образом, модель CASLO определяет «годность сертификации» совершенно иначе, чем классическая модель GQ. В частности, профиль достижений учащегося, который только что сдал квалификацию CASLO, вероятно, будет значительно отличаться от профиля учащегося, который только что сдал GQ. Скорее всего, он будет более сбалансированным, без недостающих компетенций, в соответствии с достижением пороговой компетенции во всех ОС. И наоборот, поскольку кандидаты на GQ могут компенсировать худшие результаты в одной области за счет лучших результатов в другой, их профили достижений часто оказываются довольно «остроконечными». Это происходит на всех уровнях подготовки, в том числе на границе сдал-не сдал.

Важно подчеркнуть, что это очень широкое семейство квалификаций. Характеристики, которые мы определили как наиболее существенные для модели CASLO, являются структурными. Они были указаны в качестве основных структурных требований для всех подразделений (и квалификаций), которые должны были быть признаны в рамках QCF. Следовательно, все виды квалификаций, предназначенные для всех типов учащихся во всех контекстах, стали определяться таким образом и стали частью семейства CASLO. Поэтому это семейство квалификаций трудно описать окончательно, кроме как через само обозначение CASLO и последствия, которые непосредственно из этого вытекают. Следовательно, чтобы объяснить, как работают квалификации CASLO, мы решили использовать наше исследование и анализ, чтобы построить картину архетипической квалификации CASLO (см. ниже).

Классические GQ против квалификаций CASLO

Основные различия между классическими GQ и квалификациями CASLO связаны с тем, как определяются и, следовательно, оцениваются их области обучения и стандарты оценки. Эти различия подробно рассматриваются в Приложении 1, в котором квалификация по географии уровня A сравнивается с дипломом BTEC в сфере обслуживания домашних животных. Мы выбрали BTEC для этой вводной иллюстрации, потому что многие BTEC являются квалификациями CASLO, построенными полностью или в основном из единиц CASLO, что делает BTEC их крупнейшим и наиболее знакомым брендом.

В следующих двух разделах рассматриваются структурные различия между классическими GQ и квалификациями CASLO. Это должно подготовить почву для более глубокого анализа того, как работают квалификации CASLO, на основе анализа документов и интервью с АО. В первом разделе рассматриваются структурные особенности высокого уровня, а во втором более подробно рассматривается внешняя гарантия качества. Обеспечение качества работает совсем по-другому для квалификаций CASLO. Изучение этих различий, казалось, должно было открыть важную информацию о принципах, лежащих в основе работы квалификаций CASLO.

Сравнение классических GQ и квалификаций CASLO

Что особенно отличает квалификации CASLO от классических GQ, так это четкость, с которой указаны их области обучения и стандарты оценки с точки зрения LO и AC соответственно. Чтобы проиллюстрировать это, в Таблице 1 представлены LO и AC, которые составляют Блок 3 службы BTEC для домашних животных (см. Приложение 1). Все AC должны быть соблюдены во всех LO, чтобы пройти этот блок.

Таблица 1. Модуль 3: Обслуживание клиентов в сфере обслуживания домашних животных

Результаты обучения	Критерии оценки
РО 1. Узнайте, как эффективное обслуживание клиентов способствует успеху в бизнесе.	1.1 Описать различные подходы к обслуживанию клиентов . 1.2 Изучить, каким образом обслуживание клиентов в выбранном бизнесе может соответствовать ожиданиям и удовлетворению клиентов и соответствовать применимому действующему законодательству и правилам.
РО 2. Демонстрировать обслуживание клиентов в различных ситуациях, используя соответствующее поведение, чтобы оправдать ожидания	2.1 Демонстрировать соответствующие навыки общения и межличностного общения для удовлетворения потребностей клиентов в различных ситуациях 2.2 Анализировать собственные навыки обслуживания клиентов, выявляя пробелы, которые можно было бы улучшить 2.3 Представить четкий и эффективный план развития собственных навыков обслуживания клиентов
РО 3. Изучить методы, используемые для улучшения обслуживания клиентов в бизнесе.	3.1 Изучите методы, которые бизнес может использовать для мониторинга и улучшения обслуживания клиентов.

Таблица 2. Структурное сравнение CASLO с классической моделью GQ

Особенность	КАСЛО Квалификация	Классические GQ
Содержание	Контент организован по блокам, но не обязательно подробно.	Контент организован по предметным областям и детализирован.
Результаты обучения	LO определены явно для каждого модуля с помощью небольшого количества операторов высокого уровня. Содержание может быть уточнено с помощью примечаний для каждого LO. Учащиеся должны достичь всех LO. Предписывающие LO – диапазон указывает требуемый (минимальный) профиль достижения.	LO определены неявно для каждой области посредством подробной спецификации содержания. Учащиеся не обязаны достичь всех LO. Желательные LO – диапазон указывает на идеальный (максимальный) профиль достижения.
Цели оценки	AObs явно определены на уровне LO и AC с помощью командных глаголов, например, исследовать, описывать, исследовать.	AObs явно определены на уровне квалификации с помощью командных глаголов, например, продемонстрировать, применить, использовать. AObs введены в действие на уровне задач, чтобы отразить заданный баланс между ними на уровне квалификации.
Критерии оценки	AC определяется явно для каждого LO с помощью небольшого количества операторов высокого уровня. Предписывающие AC – заявления определяют стандарты, которые применяются в качестве порогов компетентности.	АС пишется специально для каждой задачи, представленной в виде отметок на схеме. AC, как правило, описательный — иллюстрирующий, а не определяющий стандарты (например, с помощью «наиболее подходящих» описаний уровней достижений).
Метод агрегации	Соединительный — прохождение квалификации указывает на достижение всех AC, для всех LO, во всех единицах (мастерство).	Компенсационная – сдача квалификации указывает на превышение порогового (общего) уровня достижений.

Критические структурные различия между квалификациями CASLO и классическими GQ представлены в таблице 2. Как отмечалось выше, классические GQ отличаются от квалификаций CASLO прежде всего тем, как они определяют области обучения, включая предметное содержание. Классические GQ используют более «повествовательный» подход, в то время как квалификации CASLO используют более «графический» подход.

Квалификации CASLO графически определяют свою область обучения в том смысле, что каждая из их спецификаций единиц функционирует как карта пути обучения. Каждый результат обучения соответствует важной вехе на пути. Карта включает в себя снимки этих ориентиров — результатов обучения с соответствующими критериями оценки — и эти снимки позволяют учащимся сказать, что они достигли определенного ориентира. Основная цель учебного путешествия — пройти всю карту и посетить каждый ориентир.

Классические GQ, с другой стороны, определяют свою область обучения нарративно в том смысле, что их квалификационная спецификация больше похожа на путеводитель по городу. Справочник дает подробное описание каждого из районов города – предметные области с целями оценки – хотя и без обязательного определения точных границ между районами. Спецификация обычно поддерживает менее предписывающее учебное путешествие, где основная цель состоит в том, чтобы впитать культуру города, а не (обязательно) посещать каждую достопримечательность.

При графическом подходе предметное содержание подразумевается как в результатах обучения, так и в критериях оценивания. Это также может быть сформулировано явно, более или менее подробно, хотя эта дополнительная информация не всегда доступна. (Неявное содержание, явные результаты.) При нарративном подходе результаты обучения имплицитны как в содержании предмета, так и в целях оценивания, но они, как правило, не формулируются явно. (Явное содержание, неявные результаты.)

Проверка стандартов оценки Центра

Существует давняя традиция включения оцениваемых центром компонентов в GQ. Это было заметной особенностью квалификаций Сертификата о среднем образовании (CSE), которая повлияла на разработку GCSE. Действительно, некоторые ранние выпускные экзамены в школе, особенно по английскому языку, оценивались исключительно учителями. Однако опасения, связанные с рабочей нагрузкой и списыванием, в 2000-х годах привели к тому, что контролируемая оценка заменила курсовую работу GCSE. В течение 2010-х последующие опасения по поводу контролируемой оценки привели к тому, что центральная оценка была разрешена только в порядке исключения. ^{[сноска 10]} Полевые исследования по географии представляют собой одно из таких исключений.

Обеспечение качества компонентов, оцениваемых центром, требует некоторой формы проверки стандартов, которая включает в себя тщательное изучение образцов работы, оцениваемой центром. Подходы к обеспечению качества оцениваемых центром GQ компонентов хорошо задокументированы и хорошо изучены (например, Taylor, 2005; Wilmut, 2005; Wilmut & Tuson, 2005; Williamson, 2016; Cuff; 2017; Cuff, 2018; Chambers, Williamson, & Ребенок, 2019). Они согласуются с определением модерации, представленным ранее.

Модерация GQ

После того, как кандидаты выполнили всю свою работу для NEA и эта работа была оценена на внутреннем уровне, что включает в себя процесс внутренней стандартизации, если по предмету оценивают более одного учителя, качество оценки впоследствии проверяется АО. Это включает в себя назначение модератора, который получает указанный AO образец работы NEA из центра и вторично оценивает этот образец в соответствии со схемой выставления оценок. Хотя АО используют немного разные методы — сравните, например, AQA (2016) и Гилл (2015) — следующий отчет отражает суть модерации GQ.

Во время модерации GQ качество обеспечивается второй маркировкой образца работы, оцененной центром для NEA. Он включает в себя сравнение общей оценки, выставленной центром за каждую работу, с общей оценкой, впоследствии выставленной модератором. ^{[сноска 11]}Модератор начинает с оценки подвыборки (выборки) и сравнивает разницу между оценками, которые он присуждает, и оценками, присуждаемыми центром. То есть по каждому кандидату они сравнивают общую сумму своих оценок с общей суммой оценок центра. До тех пор, пока ни одна из общих оценок не превысит заранее установленный порог, все оценки, выставленные центром, будут приняты. Этот порог, известный как порог допуска, обычно составляет 6% от максимальной оценки. Этот подход означает, что небольшие различия между центром и модератором допускаются, в то время как более значительные различия требуют дальнейшего изучения.

Дальнейшее исследование включает в себя повторное отмечание дополнительных учащихся из выборки и повторное сравнение различий. Возможные результаты включают в себя: принятие всех центральных оценок, корректировку центральных оценок вверх или вниз или переоценку работы всех кандидатов из центра. Отметки центра корректируются, когда дальнейшее расследование приходит к выводу, что центр отмечен слишком снисходительно или резко, но постоянно. Это часто приводит к постепенной корректировке оценок кандидатов, например: у кандидатов, находящихся в верхней части диапазона оценок, их общая сумма уменьшается на 4 балла, у кандидатов, находящихся ниже диапазона оценок, их общая сумма уменьшается на 3 балла, затем на 2 балла, затем 1 балл, с центральными баллами, стоящими для кандидатов прямо в нижней части диапазона баллов.^{[сноска 12]} Следовательно, модератор на самом деле не переоценивает работу отдельных кандидатов в выборке, а вторично оценивает выборку работы из центра. Это делается для того, чтобы оценить общую точность и последовательность оценки в центре и при необходимости применить корректировку.

CASS для CASLO VTQ

Учитывая структурные различия, указанные выше, для квалификаций CASLO невозможно обеспечить внешнее обеспечение качества точно так же, как для GQ. В таблице 3 представлена ​​некоторая общая информация, сравнивающая услуги для домашних животных BTEC и географический уровень A, что помогает объяснить, почему. Как становится ясно из следующих моментов, рассмотрение Центром оценки стандартов для квалификаций CASLO через классическую призму GQ просто не работает.

Во-первых, даже для GQ, которые включают NEA (а многие не включают), NEA, как правило, составляет лишь относительно небольшой компонент квалификации. И наоборот, квалификации CASLO часто на 100% оцениваются внутри компании. Это означает, что внешнее обеспечение качества потенциально является гораздо более масштабным мероприятием для АО, которые предлагают эти квалификации, и для центров, которые их предоставляют. Кроме того, потенциально существует гораздо больше различий в характере оценочных данных, которые необходимо тщательно изучить, что также усложняет процессы суждения.

Во-вторых, характер суждений, обеспечивающих качество, сильно различается для квалификаций GQ и CASLO. Ключевой особенностью суждений CASLO является то, что они должны подтверждать соответствие критерию оценки — и, соответственно, овладение результатом обучения — моделируя компетентность как простой бинарный результат (или-или). И наоборот, типичной особенностью суждений GQ, особенно когда они относятся к заданиям с несколькими баллами, является то, что они должны отражать степень усвоения результатов обучения, моделируя компетентность как более непрерывный результат (с градациями).

В-третьих, поскольку получение всех указанных результатов обучения должно быть подтверждено в соответствии с подходом CASLO, каждое суждение AC имеет решающее значение для общего суждения о компетентности, что далеко не так в отношении GQ. Сравните, например, 2 гипотетических результата внешнего обеспечения качества для географии уровня A с услугами для домашних животных BTEC, которые представлены в Таблице 4.

Для компонента уровня A необходимо сделать 4 суждения, и 4 итоговые оценки суммируются в одну общую сумму баллов. Пример в Таблице 4 показывает, как противоречивые суждения могут усредняться (вообще без разницы) в общей сумме баллов. И наоборот, для блока BTEC необходимо сделать 6 суждений, и каждое из них независимо влияет на окончательное решение. Пример в таблице 4 показывает, как всего одно несоответствующее суждение приводит к провалу модуля (и квалификации). ^{[сноска 13]}

Таблица 3. Основные характеристики моделей оценки BTEC и уровня A (характеристики BTEC в строках, отмеченных *, относятся к иллюстративной единице из диапазона)

Особенность	География AQA Уровень А	Услуги Pearson для домашних животных BTEC
Структура оценки	1 компонент НЭА. 2 компонента экзамена. [Все обязательные, с некоторыми дополнительными задачами.]	6 центрально оцениваемых компонентов. [5 обязательно. 1 по желанию, из 7 на выбор.]
Формат центральной оценки *	1 отчет.	3 отдельных задания.
Структура оцениваемого в центре компонента *	Отдельная оценка за каждую из 4 областей (10, 15, 20 15), то есть всего 60 баллов.	Отдельные решения AC для каждого из 3 LO (2, 3, 1), то есть всего 6 решений AC.
Критерии *	4 отдельные схемы оценок на основе уровней.	Список 6 АС.
Судебный процесс	Целостные оптимальные суждения.	Соответствует и не соответствует суждениям.
Цель оценок или суждений	Оценить общий уровень знаний учащегося по данному компоненту.	Подтвердить получение всех указанных LO для устройства.
Схема оценки квалификации	Несекретно, EA*.	Неклассифицированный, Пасс.
Метод агрегации	Компенсационная (общая).	Соединение (все обязательные).

Таблица 4. Гипотетическая «вторая маркировка» CASLO VTQ по сравнению с GQ

Квалификация	Оригинальная центральная оценка произведения	Внешняя оценка качества работы
Уровень NEA	5+10+15+10 = 40	7+8+18+7 = 40
Блок 3 БТЭК	встретил + встретил + встретил + встретил + встретил + встретил = пройти	встретил + встретил + встретил + НЕ + встретил + встретил = не удалось (технически «еще не выполнено»)

В-четвертых, точно по той же причине неясно, как концепция толерантности GQ, которая игнорирует небольшие различия в оценочных суждениях между центром и модератором, может быть реализована в рамках квалификаций CASLO. В Таблице 4, несмотря на небольшие различия в 4 отдельных оценках, на самом деле нет никакой разницы в общей сумме баллов. Но даже если бы была небольшая разница в общем уровне оценок, это все равно допускалось бы в рамках процесса модерации GQ. Терпимость такого рода кажется невозможной в рамках модели, согласно которой каждое суждение AC имеет значение.

В-пятых, следует понимать, что кандидаты, сдающие единицы CASLO, обычно подаются на сертификацию только после того, как центр удовлетворен тем, что они выполнили все требования AC по всем LO (и, по сути, сдали единицу). Таким образом, любое внешнее обеспечение качества для единицы «сдал-не сдал» может привести только к тому, что кандидаты будут понижены до «неудовлетворительно» (не сдача единицы и, следовательно, квалификация). Описанные выше услуги BTEC для домашних животных требуют успешного завершения 6 блоков, включающих (примерно) 18 LO и (примерно) 39 AC (в зависимости от того, какой дополнительный блок выбран). Если вся работа кандидата по всем 6 модулям должна быть проверена непосредственно перед сертификацией, это составило бы 39 потенциальных возможностей для единственного различия в суждениях (между центром и специалистом по обеспечению качества), подразумевающим, что кандидат должен был провалиться, а не пройти. Таким образом, любое вмешательство (вообще) на этом этапе будет иметь чрезвычайно высокие ставки. В конце концов, мы представляем себе ситуацию, в которой ученики закончили обучение и ждут продолжения.

В-шестых, даже основное обоснование CASS немного неясно, если рассматривать его через классическую призму GQ. GQ Moderation стремится выявить центры, которые не смогли применить стандарты с достаточной точностью и последовательностью, и исправить это до выдачи сертификатов. Компенсационный характер оценки означает, что стандарты оценки GQ определены на высоком уровне – уровне общей оценки, которая присуждается части работы, созданной для НОА. В этой ситуации подход выборки на уровне кандидата кажется разумным, позволяя АО обнаруживать проблемы на уровне центра с оценочными суждениями, а затем исправлять их. Если будет обнаружено значительное смещение ^{[сноска 14] , то итоговые значения центральных отметок могут быть соответствующим образом масштабированы.} Если существенная ненадежность ^{[сноска 15]}должны быть обнаружены, что на практике случается реже, то весь набор студенческих работ может быть переоценен. После вмешательства такого рода учащиеся, как правило, получали более высокие или более низкие оценки, а некоторые получали разные оценки. Однако эти воздействия не будут огромными, и процесс будет полностью управляемым.

Иная ситуация с квалификациями CASLO. Для разделов «зачет-незачет», когда кандидаты не представляются на сертификацию до тех пор, пока они не будут признаны прошедшими, возможность жесткого суждения центра не возникает (поскольку они уже будут оценены центром как достигшие всех результатов обучения). ). Единственная проблема заключается в потенциальной снисходительности. ^{[сноска 16]}Но что, если снисходительность будет обнаружена с помощью образца? Глядя на этот вопрос через классическую призму GQ, единственным вариантом было бы провалить всех кандидатов и потребовать, чтобы вся когорта предоставила новые данные для оценки рассматриваемого критерия (или критериев), чтобы гарантировать, что новые данные явно удовлетворяют этому критерию (или критериям). критерии). Даже если бы это было сочтено правильным, если бы это происходило чаще, чем очень редко, это сделало бы внешнее обеспечение качества для квалификаций CASLO неуправляемым.

На самом деле, совсем не ясно, правильно ли это будет. Начнем с того, что даже если бы в выборке были обнаружены доказательства последовательной снисходительности, затрагивающие нескольких кандидатов в одном AC, это все равно не давало бы разумного основания для вывода о том, что всем кандидатам в центре следует понизить рейтинг до «неудовлетворенных» ( аналогично корректировке в сторону понижения для GQ NEA). Некоторые кандидаты вполне могли соответствовать рассматриваемому стандарту на милю страны. Несостоятельность всех кандидатов CASLO на основании свидетельств последовательной систематической ошибки в выборке, безусловно, будет считаться неприемлемой. Это нельзя считать аналогом вычитания оценки или 2 из всех кандидатов GQ на основании свидетельств последовательной предвзятости в выборке модерации. Более фундаментально, было бы морально сомнительным провалить целую когорту из-за их результатов на одном AC для одного LO в одном подразделении. Особенно, если это была окончательная оценка, качество которой гарантировалось сразу в конце курса. Опять же, смотреть на внешнее обеспечение качества для квалификаций CASLO через классическую призму GQ просто не получится.

Цель этого вводного анализа — подготовить почву для более глубокого изучения того, как работают квалификации CASLO. Это предполагает, что квалификации CASLO могут отличаться от GQ не только с точки зрения применяемой ими практики, но потенциально также с точки зрения лежащих в их основе принципов. Внешне похожие процессы, такие как проверка внешних стандартов, возможно, придется рассматривать совершенно по-другому, чтобы квалификации CASLO вообще работали.

Обеспечение качества ВТК

Мы начали с того, что отметили, что способы, которыми VTQ отличаются от GQ, плохо задокументированы, плохо исследованы и плохо теоретизированы. Хотя верно то, что функции и процессы, которые характеризуют VTQ, плохо документированы, неверно, что документации вообще нет. Например, понимание работы процессов внутренней и внешней проверки можно почерпнуть из множества опубликованных книг и отчетов в рамках дискуссий, которые обычно касаются практики NVQ или GNVQ (например, Raggatt, 1991; Wolf, et al, 1994; FEFC). , 1995; Goff & Leimanis, 1995; Beaumont, 1996; Ecclestone, 1996; FEFC, 1997; NCVQ, 1997; Wolf, 1998; Greatorex, 2000; Konrad, 2000; JAB, 2001; Warmington & Wilmut, 2001; Greatorex, 2002. ; QCA, 2006; Harth & van Rijn, 2010; Harth & Hemker, 2011; Ollin & Tucker, 2010; Curcin и др., 2014).

Одним из важных источников информации являются материалы, подготовленные для поддержки обучения для получения квалификаций оценщика и специалиста по обеспечению качества. По общему признанию, даже эти ресурсы немногочисленны и редки (Read, 2012). Тем не менее, они дают нам возможность сосредоточиться. Особенно полезна книга Энн Гравеллс под названием «Принципы и практика обеспечения качества» (Gravells, 2016). Написанный для британского сектора дополнительного образования и навыков как раз в тот момент, когда QCF находился в процессе отзыва, он, безусловно, был написан с учетом требований CASLO VTQ.

Из этой книги ясно видно, что обеспечение качества — это гораздо больше, чем проверка стандартов. Кроме того, хотя внутренняя стандартизация, безусловно, является особенностью GQ NEA, внутреннее обеспечение качества, по-видимому, играет гораздо более фундаментальную роль для VTQ, где процесс формально контролируется внутренним специалистом по обеспечению качества (IQA). Гравеллс (стр. 44) объясняет, почему функция IQA является ключевой, в обязанности которой входит:

1. 1. выборочная оценка работы учащихся
2. 2. наблюдение за практикой тренера и оценщика
3. 3. общение с учащимися
4. 4. организация встреч команды
5. 5. организация деятельности по стандартизации
6. 6. подготовка к внешним проверкам качества

Гравеллс (стр. 56) аналогичным образом объясняет работу внешнего специалиста по обеспечению качества (ВОК), в обязанности которого входит:

1. 1. просмотр оценочных (и связанных с ними) документов
2. 2. встреча с командой в центре
3. 3. общение с учащимися
4. 4. наблюдение за оценщиком и практикой IQA
5. 5. беседа с учащимися и (оценка) свидетелями

Короче говоря, у нас есть некоторое представление о том, как обеспечивается качество VTQ, включая CASLO VTQ. Это основано на отчетах об исследованиях, опубликованных учебных ресурсах, нормативных, руководящих документах и ​​других материалах. К сожалению, большинство из них уже устарели.

Вслед за тремя связанными исследовательскими проектами, проведенными коллегами-исследователями из Ofqual (см. Приложение 2), настоящее исследование было направлено на более подробное понимание того, как работают квалификации CASLO. В нем была предпринята попытка выявить принципы, лежащие в основе практики обеспечения качества и действия квалификаций CASLO в целом.

Вопросы исследования

Наш основной исследовательский вопрос был очень простым: как работают квалификации CASLO? Однако существуют всевозможные регулируемые квалификации CASLO, и из предыдущих исследований мы знаем, что они действуют по-разному. Эта проблема повлияла как на то, как мы сформулировали вопрос нашего исследования, так и на то, как мы пытались на него ответить.

Чтобы сузить фокус, мы решили использовать внешний контроль качества как окно, через которое можно увидеть квалификации CASLO. Изначально мы планировали уделить особое внимание роли внешнего специалиста по обеспечению качества и характеру суждений, которые они выносят. Это позволило бы нам сосредоточиться на том, как АО обеспечивают полную ответственность за вознаграждения, которые они присуждают в отношении своих подразделений с центральной оценкой.

Мы определили 3 подвопроса, которыми мы будем руководствоваться при сборе доказательств:

1. 1. Как АО разрабатывают и определяют стандарты для квалификаций CASLO?
2. 2. Какие средства контроля встраиваются АО в квалификации CASLO для обеспечения последовательного и точного применения их стандартов?
3. 3. Какие средства контроля встраиваются АО в квалификации CASLO для обеспечения последовательного и точного применения их стандартов?

Наше намерение состояло не столько в том, чтобы конкретно ответить на эти 3 вопроса, сколько в том, чтобы использовать их для получения более широкого, глубокого и более общего понимания работы и, следовательно, концептуальных основ квалификаций CASLO. ^{[сноска 17]} Если мы попытаемся понять, например, природу суждений, которые делают ВОК при тщательном изучении образцов оцениваемой работы, это приведет нас к дополнительным вопросам относительно того, почему могут потребоваться суждения такого рода. Это, в свою очередь, помогло бы нам понять функции и процессы, встроенные в квалификацию, до проведения CASS, а также условия и обстоятельства, которые необходимо получить, чтобы эти функции и процессы работали эффективно.

Ранее мы упоминали о квалификациях CASLO как о широком семействе стандартов, которые определяются аналитически и всесторонне, определяются конъюнктивно и оцениваются исчерпывающим и подтверждающим образом. Помимо этих основных функций, мы также отметили, что их функции и процессы, вероятно, перекрываются менее последовательно и менее формально. Чтобы охарактеризовать работу квалификаций CASLO, мы решили, что лучше всего этого можно достичь, используя результаты нашего исследования и анализа, чтобы нарисовать картину архетипической квалификации в рамках этой семьи. Эта гипотетическая квалификация будет построена таким образом, чтобы отражать часто встречающиеся особенности и процессы с учетом обстоятельств, при которых обычно работают квалификации CASLO. Где фактические функции, процессы,

Такой подход сделал исследовательский проект не столько описательным упражнением, сколько интерпретативным. Он был основан на доказательствах, собранных в ходе исследования, основанных на выводах из предыдущих исследований и ранее существовавших документальных свидетельствах.

Чтобы определить, представляет ли наша архетипическая квалификация CASLO правдоподобную характеристику семейства CASLO — в отличие от чего-то более похожего на квалификацию монстра Франкенштейна — нам нужно было провести определенную «проверку членов». Это технический способ сказать, что нам нужно было проверить правдоподобие нашей версии с ключевыми заинтересованными сторонами, в частности, с представителями индустрии квалификаций. В первую очередь это были коллеги из АО, которые внесли свой вклад в исследование.

Метод

Мы решили исследовать, как работают квалификации CASLO, тщательно изучив небольшую и разнообразную выборку. Первоначально предполагалось, что он будет включать 4 основных направления работы:

1. 1. кабинетные проверки документальных свидетельств по каждой квалификации
2. 2. Полуструктурированные личные интервью с офицерами АО
3. 3. наблюдения за внешним обеспечением качества в 2-х центрах
4. 4. полуструктурированные последующие интервью с 2 ВОК

Обзор

В нашем письме АО, приглашенным для участия в этом исследовании, мы объяснили, что эти направления будут реализованы следующим образом:

Мы назначим вам двух офицеров высшей квалификации, и они будут нести ответственность за сбор всех улик. Они будут взаимодействовать с вами следующим образом.

Сначала они свяжутся с вами, чтобы представиться и убедиться, что у них есть все необходимые документальные доказательства. Это будет включать документы, относящиеся к квалификации (например, квалификационная спецификация, квалификационное руководство, технические характеристики единиц и т. д.). Он также может включать общие документы, связанные с квалификацией (например, Стратегия оценивания на базе центра, Справочник по обеспечению качества и т. д.). Мы постараемся завершить этот этап к концу декабря 2019 года.

Во-вторых, они посетят ваши офисы, чтобы узнать больше о том, как работает выбранная квалификация, и о том, как вы разрабатываете, разрабатываете и распространяете квалификации в стиле QCF в целом. Два офицера Ofqual придут одновременно, вооруженные расписанием интервью, с целью провести с вами не более пары часов в беседе. Интервью будет записано на аудио для последующего анализа другим членом проектной группы. Мы постараемся завершить этот этап к концу февраля 2020 года.

В-третьих, мы хотели бы, чтобы вы назначили двух внешних специалистов по обеспечению качества, которые будут работать над выбранной квалификацией. Мы предполагаем, что каждый сотрудник Ofqual будет сопровождать один из этих EQA во время визита по обеспечению качества в центр по вашему выбору. Опять же, мы хотели бы быть как можно более ясными (как для вас, так и для ВОК или центра), что цель этого наблюдения будет заключаться исключительно в том, чтобы понять, как работает обеспечение качества, а не в оценке работы центра или ВОК. Мы не будем делать никаких аудио- и видеозаписей визита; но вполне вероятно, что мы разработаем своего рода письменный график наблюдения, который поможет нам определить важные события для последующего обсуждения. Мы постараемся завершить этот этап к концу июня 2020 года.

В-четвертых, мы хотели бы провести последующее интервью по телефону/скайпу с каждым из ВОК, чтобы помочь нам понять то, что мы наблюдали во время визита, как можно тщательнее и точнее. Мы будем использовать это интервью, чтобы помочь нам понять процесс обеспечения качества в деталях. Каждое интервью мы записывали на аудио для последующего анализа другим членом проектной группы. Мы постараемся завершить этот этап к концу июля 2020 года.

Наконец, после того, как мы сопоставим и проанализируем всю эту информацию, мы пригласим все организации, присуждающие награды, которые участвуют в исследовании, на семинар, где мы сможем поделиться тем, что мы обнаружили, и изучить с вами любые возможные последствия или области для дальнейшие исследования.

Поскольку аббревиатура «CASLO» была придумана специально для целей данного исследования, и поэтому участники не знали о ней заранее, мы объяснили, что заинтересованы в понимании того, как работают квалификации «в стиле QCF». Мы выделили основные функции, которые нас интересовали, как описано ранее, отделив их от менее важных характеристик квалификаций QCF (например, кредит, право собственности), которые нас конкретно не интересовали.

Мы предполагали, что:

1. 1. документальные свидетельства дадут нам общее представление о том, как работает каждая из выбранных квалификаций.
2. 2. Интервью с ключевыми должностными лицами каждого АО дадут представление о том, как АО понимают действие каждой из этих квалификаций (а также дадут нам представление об их взглядах на то, почему мы можем быть уверены в их достоверности)
3. 3. Наблюдение за посещениями ВОК позволит нам лучше понять, как работают процессы обеспечения качества, связанные с каждой квалификацией.
4. 4. интервью с EQA дадут нам более глубокое понимание их собственного понимания процессов обеспечения качества, особенно тщательного изучения стандартов, и их взглядов на то, почему мы можем им доверять.

Образец

Мы признали, что будет возможно изучить лишь очень небольшое количество квалификаций с требуемой степенью глубины и детализации. Кроме того, наше (первоначальное) решение провести 2 отдельных визита ВОК для каждой квалификации фактически вдвое уменьшило размер нашей выборки. Мы решили выбрать 5 квалификаций, а также еще одну «пилотную» квалификацию, к которой мы подойдем в первую очередь, чтобы протестировать и усовершенствовать наши инструменты. В конце концов, мы не стали радикально улучшать ни один из наших инструментов, поэтому мы решили объединить данные пилотной квалификации с данными более широкой выборки.

До 2015 года, когда QCF был отозван, большинство регулируемых VTQ были его частью и поэтому должны были принять модель CASLO. Некоторые VTQ, которые регулировались за пределами QCF, также следовали ему. В настоящее время формально не требуется никаких квалификаций, чтобы следовать модели CASLO, но многие все еще это делают. Некоторые из этих квалификаций следуют модели CASLO для некоторых подразделений, но не для всех. Похоже, что большинство из них используют одну и ту же модель во всех подразделениях, как того требует QCF. Хотя Ofqual не записывает квалификационную модель в свою базу данных, высокая распространенность квалификаций CASLO (середина 2019 г.) означала, что определить выборку было довольно просто.

Таблица 5. Подробная информация о выбранных квалификациях

Квал. Имя	Тип	Сектор	АО Ранг	Квал. сертификаты	ГЛХ ТКТ
Диплом City & Guilds уровня 2 в области здравоохранения и социального обеспечения (для взрослых) для Англии [501/1306/9]	OQ	Здравоохранение, общественные услуги и уход	1	3250	317 (GLH) 460 (TQT)
Диплом CMI уровня 5 в области управления и лидерства [603/2392/9]	VRQ	Бизнес, администрация и право	48	2295 (пред. спец.)	175 (GLH) 370 (TQT)
Сертификат Highfield уровня 2 в сфере обслуживания клиентов (RQF) [600/5472/4]	VRQ	Бизнес, администрация и право	4	8220	115 (GLH) 130 (TQT)
Диплом UAL уровня 3 в области производства и технологий креативных медиа [601/3986/9]	ОГК	Искусство, СМИ и издательское дело	23	4670	600 (GLH) 1040 (TQT)
Награда QA уровня 3 за неотложную педиатрическую первую помощь (RQF) [603/0786/9]	VRQ	Здравоохранение, общественные услуги и уход	7	5090	6 (ГЛХ) 7 (ТКТ)
Сертификат EAL уровня 2 по применению методов улучшения бизнеса [601/1686/9]	VRQ	Инженерно-производственные технологии	14	3555	70 (GLH) 130 (TQT)

Мы решили, что выборка должна включать как можно более широкий спектр квалификаций из разных секторов. Однако мы также чувствовали, что важно ограничить выборку выдающимися, хорошо зарекомендовавшими себя квалификациями, на которые можно положиться, чтобы они работали как хорошо смазанные машины. Следовательно, мы сосредоточились на квалификациях, которые сертифицировали большое количество кандидатов — более 2000 в течение 4 кварталов до июня 2019 года — из АО, входящих в «50 лучших» с точки зрения ежегодных сертификаций. ^{[сноска 18]}

Подробная информация о квалификациях, включенных в выборку, представлена ​​в Таблице 5. Они включают минимальную профессиональную другую общую квалификацию (OGQ) – единственную оцениваемую квалификацию в выборке – и максимально профессиональную профессиональную квалификацию (OQ). Остальные 4 были классифицированы как профессиональные квалификации (VRQ). Диплом в области креативного медиапроизводства и технологий был самой большой квалификацией в выборке: 8 единиц и 600 GLH, рассчитанных на получение в течение года. Награда за неотложную педиатрическую первую помощь была самой маленькой: 1 единица и 6 GLH, рассчитанных на получение в течение дня.

Для краткости мы будем ссылаться на каждую из квалификаций в выборке следующим образом:

Квалификация	Стенография
Диплом City & Guilds Level 2 в области здравоохранения и социального обеспечения (взрослые) для Англии	C&G-L2-Здоровье
Диплом CMI уровня 5 в области управления и лидерства	CMI-L5-Управление
Сертификат Highfield уровня 2 в сфере обслуживания клиентов (RQF)	Highfield-L2-Клиент
Диплом UAL уровня 3 в области производства и технологий креативных медиа	UAL-L3-Креатив
Награда QA уровня 3 в неотложной педиатрической первой помощи (RQF)	QA-L3-Первая помощь
Сертификат EAL уровня 2 по применению методов улучшения бизнеса	EAL-L2-Бизнес

Подход

Проект был разработан и возглавлялся двумя исследователями из Управления стратегии, рисков и исследований Ofqual при поддержке восьми коллег из нашего управления VTQ. Исследователи разработали инструменты для сбора информации, опробовали их, а затем обучили своих коллег тому, как их использовать. Затем команда разделилась на пары, каждая пара брала на себя ответственность за определенную квалификацию, чтобы собрать доказательства по всем 4 направлениям исследования. Двое исследователей отвечали за анализ доказательств.

Первые 2 этапа включали в себя сопоставление документальных доказательств и проведение интервью с офицерами АО. Документы были тщательно изучены, чтобы определить как можно больше о каждой квалификации из общедоступных источников, прежде чем встречаться с коллегами АО. Информация из документов была введена в книгу Excel с вкладками для фона, курса, оценки и контроля качества. Это предоставило ресурс для тех, кто работал над проектом, для поддержки сбора доказательств и последующего анализа.

График интервью был разработан для изучения вопросов исследования, определенных ранее. Это прилагается в качестве Приложения 3. Оно было разделено на 4 раздела:

1. 1. как устанавливаются стандартные единицы
2. 2. как оценщики применяют единичные стандарты
3. 3. как специалисты по обеспечению качества обеспечивают качество
4. 4. подход в стиле QCF

Последний раздел «справочной информации» позволил интервьюерам заполнить все оставшиеся пробелы в рабочей тетради Excel.

Интервью были записаны на аудиозаписи, и эти записи были расшифрованы для анализа. Интервью с офицерами AO обычно длились около пары часов, в них участвовали 2 интервьюера Ofqual и 2 или более интервьюируемых AO. Заранее было объяснено, что в репортаже будут использованы выдержки из интервью, хотя имена интервьюируемых не будут указаны ни в одном отчете.

Проект был прерван вспышкой COVID-19 в начале 2020 года. Вскоре после того, как было проведено финальное интервью AO Strand 2, страна была заблокирована. Последующие этапы проекта были приостановлены. На проекте остался только первый автор, а его коллеги распределили на другие роли.

Во время блокировки интервью АО были расшифрованы. Они были загружены в NVIVO и закодированы для общих тем. Во-первых, они в основном отражали ответы на различные заданные вопросы. Дальнейший анализ данных привел к выявлению различных принципов, лежащих в основе действия квалификаций CASLO.

Результаты первого и второго этапов исследования были записаны. Это обеспечило широкомасштабное и очевидно последовательное изложение принципов, лежащих в основе работы квалификаций CASLO. Учитывая продолжающиеся сбои из-за COVID-19, мы решили использовать эту учетную запись в качестве основы для проверки участников разговоров с АО, а не проводить дальнейшие эмпирические исследования с EQA.

В сентябре 2021 года было проведено совещание Microsoft Teams с должностными лицами 5 из 6 АО, участвовавших в исследовании. Они высказали мнение о правдоподобии и полезности первого проекта настоящего отчета от 27 ноября 2020 года и, в частности, о правдоподобии и полезности его описания квалификаций CASLO.

На основе этой проверки участников была установлена ​​общая правдоподобность и полезность отчета и его описания квалификаций CASLO. Это включало поддержку идеи построения архетипической квалификации CASLO и того, как она была охарактеризована. Было поднято и обсуждено множество более спорных вопросов, что привело к рекомендациям по внесению незначительных изменений в отчет. Эти рекомендации были приняты во внимание и включены в следующие разделы.

Инсайты

В следующих разделах делается попытка нарисовать картину:

1. 1. как выглядят квалификации CASLO
2. 2. как работают квалификации CASLO

Как выглядят квалификации CASLO?

Информация из документов, касающихся квалификаций в нашей выборке, позволила получить представление об определенных общих характеристиках квалификаций CASLO, а также дала некоторое представление о том, как квалификации CASLO могут различаться по этим параметрам.

Учащиеся

Даже из нашей небольшой выборки было ясно, что квалификации CASLO подходят для самых разных учащихся, обучающихся в самых разных обстоятельствах. В соответствии с его классификацией как другая общая квалификация, ^{[сноска 19]}UAL-L3-Creative предназначен в первую очередь для учащихся, обучающихся на дневном отделении в колледже. И наоборот, в соответствии с его классификацией в качестве профессиональной квалификации, C&G-L2-Health был разработан для учащихся, которые должны были оттачивать свои навыки (и проходить их оценку) на рабочем месте и которые работали в колледже только неполный рабочий день. Highfield-L2-Customer и EAL-L2-Business обслуживали учащихся в аналогичной ситуации, часто изучающих квалификацию в качестве учеников. CMI-L5-Manage был разработан для практикующих или начинающих менеджеров в различных секторах. В нем размещались центры, которые применяли совершенно разные подходы к обучению, включая обучение в классе, дистанционное обучение и обучение в выходные дни. Наконец, хотя QA-L3-FirstAid был разработан для изучения различными учащимися,

Структура подразделения и гибкость программы

Четыре из 6 квалификаций в исследовании состояли только из обязательных единиц. Два других продемонстрировали, как гибкость программы может сыграть важную роль в квалификации CASLO. Гибкость позволила адаптировать эти квалификации к альтернативным профессиональным путям, различным местным обстоятельствам и личным требованиям отдельных учащихся.

Квалификацией с наиболее сложной структурой была C&G-L2-Health, которую учащиеся получают по 1 из 3 путей: Общий, Деменция, Взрослые с ограниченными возможностями обучения. Все учащиеся должны пройти 9 обязательных модулей группы A, но им разрешено выбирать модули как из группы B, так и из группы C, принимая во внимание определенные правила, специфичные для пути. Как поясняется в Приложении 4, квалификация может быть достигнута с помощью 9 единиц Группы A (из 9), 1 единицы Группы B (из 36) и 5 ​​единиц Группы C (из 67). Это явно обеспечивает большую гибкость в пределах группы B и группы C.

Другой квалификацией, которая способствовала гибкости программы, была CMI-L5-Manage. Это третья по величине из 4 квалификаций, сгруппированных в рамках одной программы: премия, сертификат, диплом и расширенный диплом, каждая из которых соответствует разным размерам квалификации. Структура этой квалификации: «была разработана, чтобы помочь учащимся выбирать комбинации единиц для удовлетворения собственных потребностей и интересов развития. Единицы, разработанные для каждой темы, также позволят организациям адаптировать [квалификацию] для удовлетворения конкретных потребностей организационного развития». ^{[сноска 20]} Его разделы разбиты на 2 темы: «Основы совершенства» (2 раздела) и «Развитие возможностей, достижение результатов, внедрение передового опыта» (25 разделов).

Несмотря на то, что для каждой из 4 квалификаций CMI существует небольшое количество запрещенных комбинаций модулей, учитывая определенное совпадение содержания модулей, учащиеся имеют более или менее полную свободу выбора модулей. Это при условии, что они достигают минимального общего времени, указанного для квалификации. ^{[сноска 21]} Как показано в Приложении 4, Диплом можно получить, сдав любые 8 из 27 разделов этой программы (исключая небольшое количество запрещенных комбинаций).

Результаты и критерии

Поскольку все это были квалификации CASLO, их LO и AC неизбежно определялись одинаково. Это проиллюстрировано ниже для первого раздела C&G-L2-Health («Введение в коммуникацию в сфере здравоохранения, социальной помощи или в учреждениях для детей и молодежи»). Обратите внимание, что следующие LO предварялись словами «Учащийся будут», а AC — словами «Учащийся может» (что типично для квалификаций CASLO):

1. ЛО1. Поймите, почему общение важно в рабочей обстановке
   1. АС1. определить различные причины, по которым люди общаются
   2. АС2. объяснять, как эффективное общение влияет на все аспекты собственной работы
   3. АС3. объяснить, почему важно наблюдать за реакцией человека при общении с ним.
2. ЛО2. Уметь удовлетворять коммуникативные и языковые потребности, пожелания и предпочтения отдельных лиц
   1. АС1. выяснить индивидуальные коммуникативные и языковые потребности, пожелания и предпочтения
   2. АС2. продемонстрировать методы общения, которые отвечают потребностям, желаниям и предпочтениям человека в общении
   3. АС3. показать, как и когда обращаться за советом по поводу общения
3. ЛО3. Уметь снижать барьеры в общении
   1. АС1. определить барьеры в общении
   2. АС2. продемонстрировать, как уменьшить барьеры в общении различными способами
   3. АС3. продемонстрировать способы проверки того, что сообщение было понято
   4. АС4. определить источники информации и поддержки или услуг, чтобы обеспечить более эффективное общение.
4. ЛО4. Уметь применять принципы и практики, касающиеся конфиденциальности на работе
   1. АС1. объяснить термин «конфиденциальность»
   2. АС2. демонстрировать конфиденциальность в повседневном общении в соответствии с согласованными методами работы
   3. АС3. описывать ситуации, когда может потребоваться передача информации, обычно считающейся конфиденциальной
   4. АС4. объяснить, как и когда обращаться за советом по поводу конфиденциальности.

Между квалификациями было много общего с точки зрения того, как были сформулированы LO. Они были сформулированы почти исключительно в терминах «понимание…», «знание…» или «способность…». Единственным исключением был Highfield-L2-Customer, который включал в себя глаголы, которые чаще всего ассоциируются с AC, такие как «описывать», «идентифицировать», «применять», «демонстрировать» и «сообщать».

Подобные глаголы были распространены в AC квалификаций в выборке, наряду со многими другими, включая «предлагать», «сравнивать», «использовать», «производить», «показывать, как», «объяснять», «выполнять». «оценить», «оценить», «организовать», «обсудить», «разработать» и так далее.

Таблица 6а. Сводка данных в таблице A2

Квалификация	Количество единиц	Нет.	Нет. «Знаю».	Нет. «Способен»	Все ОС
К&Г-А	9	14	8	18	40
К&Г — Б	1	0	2	0	2
К&Г — С	5	4	0	14	18
ОМС	8	16	9	0	25
Хайфилд	2	1	0	0	9
УАЛ	8	18	0	5	23
контроль качества	1	1	2	4	7
УДАЛ	7	7	0	0	7
Общее количество	41	61	21	41	131
Процент	—	46,6	16,0	31,3	—

Таблица 6б. Сводка данных в таблице A2.

Квалификация	Средние GLH на единицу	Средние LO на единицу	Средний переменный ток на единицу	Среднее значение переменного тока на гетеродин	Средние GLH на LO
К&Г-А	21,2	4.4	13,0	2,8	4,8
К&Г — Б	14,0	2.0	8,0	4.0	7,0
К&Г — С	21,0	3,6	15,6	4,5	6,5
ОМС	21.1	3.1	9.1	3.0	7,0
Хайфилд	57,5	4,5	30,0	6.7	13.1
УАЛ	13,0	2,9	4.6	1,7	4.4
контроль качества	6,0	7,0	19,0	2,7	0,9
УДАЛ	10,0	1,0	6.4	6.4	10,0

В Таблице A2 (Приложение 4) представлен обзор того, как формулировки LO были сформулированы для каждой единицы в каждой из квалификаций. Таблицы 6a и 6b обобщают эту информацию. Данные представлены отдельно для C&G-L2-Health из-за его сложной структуры опций. Таблица 6а показывает, что почти половина утверждений LO были сформулированы как требования «понимания», и чуть менее одной трети были сформулированы как требования «уметь». Обратите внимание, что LO CMI-L5-Manage были сформулированы исключительно в терминах «понимания» и «знания», а LO EAL-L2-Business были сформулированы исключительно в терминах «понимания». Это контрастирует с LO QA-L3-FirstAid, которые были сформулированы в основном в терминах «уметь», что также верно для единиц C C&G-L2-Health.

Из Таблицы 6а ясно, что не существует стандартной «формулы» для определения того, сколько LO должно включаться в единицу. Таким образом, QA-L3-FirstAid состояла из одной единицы с 7 LO, тогда как EAL-L2-Business состояла из 7 единиц, каждая с одним LO. При этом CMI-L5-Manage (8 единиц, 25 LO) и UAL-L3-Creative (8 единиц, 23 LO) имели схожую структуру.

Таблица 6b расширяет этот анализ, показывая, что квалификации в выборке существенно различаются с точки зрения их среднего количества LO на единицу. Они также различались по среднему количеству переменного тока на единицу. Точно так же типичное количество AC на LO варьировалось от 1,7 для UAL-L3-Creative до 6,7 для Highfield-L2-Customer, а типичное количество GLH на LO варьировалось от 0,9 для QA-L3-FirstAid до 13,1 для Highfield-L2. -Покупатель. Конечно, это грубая статистика, не имеющая особого значения. Но они помогают проиллюстрировать значительные различия в подходах к определению LO и AC, независимо от того, что можно сделать из этих различий.

Оценка

Опять же, поскольку все это были квалификации CASLO, они неизбежно оценивались непосредственно по их LO и AC. Все единицы в рамках всех квалификаций в выборке были оценены в центре. Квалификация QA-L3-FirstAid, состоящая из одного модуля, также включала задание с несколькими вариантами ответов, установленное извне (с внутренней маркировкой), в дополнение к наблюдениям за эффективностью в соответствии с критериями.

Квалификационные документы, как правило, не содержали особой конкретики в отношении деятельности по оценке, из чего следовало, что центры должны были нести основную ответственность за их разработку. Например, в учебном документе CMI-L5-Manage указан ряд методов оценки, разрешенных для каждого модуля, при этом почти все модули допускают использование 4 или более возможных методов. Например, «метод» может включать в себя просьбу учащегося написать отчет или задание о принципах управления и лидерства в организационном контексте. В качестве альтернативы, он может попросить их ответить на сценарий, рассматривающий ряд организаций, а также подходы и стили лидеров и менеджеров в них.

Документы, относящиеся к C&G-L2-Health, также позволяли центрам проявлять некоторую гибкость в подходе к оценке. Прямые наблюдения за исполнением и косвенные суждения, основанные на показаниях свидетелей-экспертов, были указаны в качестве основных источников доказательств для компетентностных подразделений. Для модулей, основанных на знаниях, учащиеся имели возможность либо составить портфолио доказательств, используя широкий спектр методов оценки, либо выполнить задания, установленные извне (оцениваемые центром).

В документе спецификации Highfield-L2-Customer единственный метод оценки определен как «портфель доказательств». Однако он не вдавался в подробности о характере деятельности, посредством которой могут быть представлены доказательства, что подразумевает, что допускается гибкость. Для блока 2 были предоставлены руководящие указания следующего содержания:

1. Следующие критерии оценки основаны на результатах работы кандидата; тем не менее, симуляция может использоваться, если доказательства на рабочем месте недоступны.
2. Можно создать сценарий, позволяющий учащимся достичь всех критериев.
3. Подходящие доказательства могут включать:
   1. 1.4 Заполненная(ые) запись(и) о клиенте
   2. 3.1 Различные способы связи, такие как письма, электронная почта, изготовление плакатов и т. д.
   3. 3.4 Использование телефона, правильное приветствие, перевод клиента на удержание, перевод звонка и правильное завершение звонка

Хайфилд предоставил центрам оценочный пакет для подразделения, который включал лист отслеживания улик. Выдержка из этого листа (взятая из документа спецификации квалификации) воспроизведена в виде рисунка 1 ниже, чтобы помочь объяснить общую структуру процесса оценки для этой квалификации. Это полезно иллюстрирует подход к управлению портфелями доказательств с помощью оценочных записей, который, по-видимому, довольно распространен среди квалификаций CASLO.

Важнейшими элементами этого листа отслеживания улик являются столбцы, озаглавленные «Тип улик» и «Ссылка на улики». Они указывают характер оценочной деятельности — например, наблюдение (наблюдение) — с перекрестной ссылкой на место в портфолио, где можно найти соответствующие доказательства. Эти указатели позволяют участникам (включая учащихся, оценщиков и специалистов по обеспечению качества) отслеживать достижение LO, AC за AC и при необходимости пересматривать оценочные суждения.

Гарантия качества

Все 6 АО установили процедуры внутреннего и внешнего обеспечения качества. Иногда они описывались как «Обеспечение качества», а иногда как «Проверка», «Поддержка» или «Модерация». Соответственно различалось и обозначение ключевых действующих лиц, например:

• Внешний специалист по обеспечению качества – QA, C&G
• Модератор – CMI, UAL
• Внешний сотрудник по поддержке качества (или приглашенный сотрудник) — Highfield
• Внешний верификатор — EAL

Некоторые АО ссылались как на проверку, так и на обеспечение качества, что отражает постепенный сдвиг в терминологии с момента введения QCF.

Большинство AO предлагали статус прямых требований (DCS) для квалификации, которую мы изучали. CMI не предлагала DCS, опробовав ее, но сочла, что она не подходит для их стиля доставки. УАЛ тоже.

Типичная квалификация CASLO

Общим для всех квалификаций CASLO является тот факт, что стандарты прохождения единиц CASLO определяются аналитически и всесторонне, определяются конъюнктивно и оцениваются исчерпывающе и подтверждающим образом. Однако помимо этих структурных требований, которые являются общими по определению, мы смогли выявить дополнительные черты, которые помогли нарисовать картину архетипической квалификации в рамках этого широкого семейства. ^{[сноска 22]}

В Англии архетипической квалификацией CASLO является VTQ, разработанная с учетом гибкости, позволяющая учащимся учиться в различных условиях, например:

• учащиеся, следующие разными путями в рамках одной и той же квалификации
• учащиеся, развивающие альтернативные (адаптированные) наборы навыков в рамках одной и той же квалификации
• учащиеся, обучающиеся в разных местах (в колледже, на работе и т. д.)
• учащиеся демонстрируют свою компетентность в различных условиях рабочего места
• учащиеся начинают и заканчивают обучение в разное время

Гибкость обеспечивается различными способами: от достижения учащимися разных результатов обучения (по разным модулям) в рамках одной и той же квалификации до оценки учащихся по одному и тому же результату обучения с использованием различных видов доказательств.

Поскольку стандарты для квалификаций CASLO всесторонне определены и оцениваются исчерпывающе, а также поскольку они часто подчеркивают практически ориентированные результаты, они несут тяжелое бремя оценки. Необходимость учитывать как гибкость, так и нагрузку является значительной с точки зрения разработки квалификаций, поскольку архетипическая квалификация CASLO смещается в сторону модели непрерывной центральной оценки (или непрерывной оценки на рабочем месте). К другим общим конструктивным особенностям относятся:

• выставляется только проходной балл
• завершение квалификации не сильно ограничено во времени

Выявление отличительных черт в этом направлении помогает отличить архетипическую квалификацию CASLO от архетипической классической квалификации. Это предполагает, что любую конкретную квалификацию можно описать с точки зрения степени, в которой она соответствует архетипической квалификации CASLO, и степени, в которой она согласуется с архетипической классической квалификацией, вместо того, чтобы предполагать, что две модели концептуально противоречат друг другу. Это также открывает путь для обсуждения гибридных моделей.

К сожалению, некоторые особенности, связанные с архетипической квалификацией CASLO, представляют значительную угрозу для точной и последовательной оценки. Например:

• тяжелое бремя оценки увеличивает потенциальный масштаб ошибки оценки
• высокая гибкость затрудняет управление риском ошибки оценки
• мастерский подход к оцениванию увеличивает риск ошибки оценивания

Учитывая существенную передачу ответственности за процессы оценки центрам, АО должны быть очень уверены в способности каждого центра проводить точную и последовательную оценку. Это помогает объяснить, почему обеспечение качества должно пониматься для квалификаций CASLO совершенно иначе, чем обеспечение качества оценивания на базе центра для GQ.

Как работают квалификации CASLO?

Информация, полученная в результате наших интервью с офицерами AO, выявила достаточно общего между квалификациями, чтобы нарисовать картину того, как может работать архетипическая квалификация CASLO. Мы опишем это ниже с точки зрения:

1. 1. модель КАСЛО
2. 2. принципы, лежащие в основе модели
3. 3. что эти принципы означают для CASS
4. 4. Напряженность, которая может возникнуть при работе с квалификациями CASLO

Обнаруженные нами общие черты предполагают, что квалификации CASLO функционируют совершенно иначе, чем классические GQ, в отношении их компонентов, оцениваемых центром. Конечно, существуют очевидные различия, которые уже обсуждались (в том числе тот факт, что квалификации CASLO оцениваются преимущественно в центре, и тот факт, что оценка включает в себя суждения по критериям, а не баллы). Однако за этими очевидными различиями — и в значительной степени для того, чтобы их учесть — квалификации CASLO, по-видимому, основаны на несколько иной модели подотчетности, предполагающей несколько иной тип отношений между АО и его центрами (в отношении их оцениваемых центром составные части). Принимая во внимание, что модель ответственности GQ за награды больше похожа на субподрядные отношения,

Модель

В рамках модели подотчетности GQ (невмешательство) АО передает центру ответственность за то, что обычно составляет относительно небольшую часть оценки, лежащей в основе квалификации. Обычно в нем довольно подробно описываются процессы оценки центра, требуя, чтобы все центры следовали одним и тем же процедурам. Также может потребоваться, чтобы все учащиеся выполняли одинаковые задания. ^{[сноска 23]}С минимальной ответственностью и строгими предписаниями, по-видимому, подразумевается, что все центры должны быть в состоянии предоставлять материалы для оценки на достаточно удовлетворительном уровне с минимальным руководством или надзором. Другими словами, создается неявное предположение, что с самого начала их отношений субподрядчик (центр) будет действовать достаточно независимо от работодателя (АО).

АО GQ по-разному осуществляет подотчетность в отношении центральной оценки. Например, когда центр подписывается на предоставление квалификации, он заключает «контракт на оценку» с АО посредством одобрения центра и жестких процедурных предписаний. Впоследствии, после каждого раунда поставки, АО будет «проверять качество товаров для оценки», произведенных центром, — точность и согласованность оценок центра — посредством отдельных отношений субподряда (модерация). Если АО не удовлетворен тем, что центр сделал отметки с достаточной точностью и последовательностью, то это необходимо будет исправить. Это означает, что для этой цели потребуется выделить достаточно времени и ресурсов.

В соответствии с моделью подотчетности CASLO (практическое партнерство) АО передает центру ответственность за всю (или большую часть) оценки, лежащей в основе квалификации. Гораздо менее вероятно, что все учащиеся должны выполнять одно и то же задание (задания), и в нем также может не быть подробного описания процессов центральной оценки. В отличие от ситуации с центральной оценкой GQ, максимальная ответственность и легкое предписание требуют иного типа отношений с центрами. Это необходимо для управления повышенными угрозами ошибки оценки.

В этих обстоятельствах, скорее всего, CASLO AO придется оказывать большую поддержку каждому центру и строить с ними более тесные отношения. Это предполагает более тщательный надзор, особенно в самом начале. Следовательно, для архетипической квалификации CASLO АО несет ответственность на постоянной основе. Это похоже на то, как если бы АО назначило центр в качестве ученика с целью привить его в сообщество практики для рассматриваемой квалификации.

Постоянный надзор может решить две основные проблемы. Во-первых, это увеличивает вероятность того, что ошибки, допущенные центрами при разработке и реализации процессов оценки, будут выявлены достаточно рано, чтобы можно было предпринять корректирующие действия. При возросшей угрозе ошибки оценки сосредоточение контроля качества в конце было бы неприемлемо. Это связано с тем, что это может привести к выявлению слишком серьезных проблем, чтобы их можно было решить напрямую в течение ограниченного периода времени. Во-вторых, она распределяет высокое бремя обеспечения качества на весь курс обучения, что делает модель управляемой.

Однако постоянный контроль не означает постоянный контроль. За новыми учениками может потребоваться пристальное наблюдение, но по мере того, как они демонстрируют свою добросовестность и приобретают опыт, процессы надзора будут меняться соответствующим образом.

Эти 2 модели являются просто метафорами того, как АО несут ответственность за свои награды в отношении компонентов, оцениваемых центром. Кроме того, поскольку они характеризуют ситуацию с архетипической квалификацией, ситуации с реальными квалификациями CASLO могут отличаться по-разному. ^{[сноска 24]}

Принципы

Типичная квалификация CASLO использует трехстороннюю систему обеспечения качества, основанную на трех опорных элементах:

1. 1. утверждение центра
2. 2. внутренняя гарантия качества
3. 3. внешняя гарантия качества

Эти 3 функции составляют целостную систему, благодаря которой обеспечивается качество центральной оценки.

[…] с точки зрения общей гарантии качества, это пакет. Он идет от начала до конца. Так что на самом деле, что касается какой-либо квалификации, речь идет не об одном конкретном аспекте – речь идет обо всем. ^{[сноска 25]}

Архетипическая квалификация CASLO реализует подход «от колыбели до могилы», который начинается после того, как центр запрашивает разрешение на предоставление квалификации. Он не заканчивается до тех пор, пока он не перестанет предлагать квалификацию и последний студент не будет сертифицирован.

Утверждение центра гарантирует, что у центра есть необходимые средства для предоставления квалификации. Дело не только в том, оснащена ли она для точного и последовательного применения квалификационного стандарта, но и в том, имеются ли у нее соответствующие и адекватные системы, процессы и персонал для управления, обучения, оценки и обеспечения качества квалификации.

Внутреннее обеспечение качества, возглавляемое назначенным центром внутренним специалистом по обеспечению качества (IQA), гарантирует, что центр эффективно предоставляет квалификацию на постоянной основе. Опять же, дело не только в том, точно и последовательно ли он применяет квалификационный стандарт, но и в том, эффективно ли он управляет, обучает и оценивает квалификацию.

Наконец, внешнее обеспечение качества, возглавляемое назначенным АО Внешним специалистом по обеспечению качества (EQA), гарантирует, что IQA обеспечивает эффективное предоставление квалификаций с гарантированным качеством в центре.

Ожидание того, что центры должны взять на себя основную и существенную ответственность за обеспечение качества, по-видимому, является важной чертой того, как работают квалификации CASLO. Это отличается от того, как работают GQ. Чем эффективнее IQA координирует обеспечение качества, тем реже потребуется вмешательство EQA. Эффективные IQA обеспечивают беспрепятственную доставку квалификаций. В идеале, если IQA выполнила свою работу эффективно, тогда не должно быть необходимости во вмешательстве EQA. Таким образом, IQA является краеугольным камнем этой целостной системы.

Внешняя проверка стандартов (модерация) лежит в основе модели обеспечения качества центральной оценки для традиционных GQ. Для архетипической квалификации CASLO ее, возможно, лучше понимать как последнюю подстраховку. Это основано на предположении, что IQA уже координирует ряд мероприятий по обеспечению качества, включая значительный объем проверки внутренних стандартов.

Информация, полученная в результате наших интервью с офицерами AO, выявила достаточно общего между квалификациями, чтобы предложить несколько принципов, лежащих в основе эффективного применения квалификаций CASLO:

1. 1. структурная целостность
2. 2. саморегуляция
3. 3. комплексный мониторинг
4. 4. выборка на основе рисков
5. 5. постепенное улучшение
6. 6. поддерживающее наблюдение
7. 7. условное (доказательное) доверие

Эти принципы признают, что по сравнению с классическими GQ архетипическая квалификация CASLO связана с:

• гораздо большая доля центральной оценки
• большая гибкость в учебных программах, преподавании, обучении и механизмах оценивания
• более строгий стандарт оценки (то есть владение всеми LO)

Эти соображения приводят к выводу, что обеспечение качества в рамках квалификаций CASLO должно быть сосредоточено на начальных и средних этапах и осуществляться практически. Это должно быть в течение всего периода, когда центр предоставляет квалификацию. И наоборот, более невмешательный, более конечный подход (в соответствии с традиционной моделью GQ) рискует столкнуться с проблемами, которые станут слишком серьезными, чтобы их можно было эффективно решить к концу курса обучения.

1. Структурная целостность

Еще до того, как центр зарегистрирует свою первую группу учащихся, АО должен убедиться, что у центра есть все необходимое для предоставления квалификации. Другими словами, необходимо установить структурную целостность центра с точки зрения обучения, оценки, обеспечения качества и управления.

Я думаю, что для меня это на самом деле начинается с утверждения этого центра, утверждения квалификации, этапа. Я думаю, что нужно убедиться, что центры имеют ресурсы, нужных людей, имеют внутренние стратегии, политики и процессы обеспечения качества.

У вас есть 3 элемента. У вас есть профессиональная компетентность […], у вас есть педагогическая квалификация […], а затем у вас есть оценочная квалификация […]

Формальные квалификации играют более важную роль в установлении полномочий центра в отношении квалификаций CASLO (и VTQ в целом), чем в отношении традиционных GQ. Мало того, что, как правило, ожидается, что учитель или инструктор имеет педагогическую или обучающую квалификацию, обычно ожидается, что любой оценщик будет иметь (или будет работать над этим) квалификацию оценщика, а IQA будет иметь (или будет работать над этим). квалификация IQA. Также ожидается, что сотрудники центра будут обладать компетенцией и современным опытом в области, которую они преподают и оценивают, особенно в качестве гарантии того, что их базовое понимание квалификационного стандарта является удовлетворительным.

AO также хотят быть уверены, что сотрудники центра знакомы с деталями самой квалификации, включая LO, AC и более широкую область обучения, и что они остаются таковыми с течением времени. Вот почему обучение, стандартизация и ожидание непрерывного профессионального развития (CPD) также являются важными элементами механизмов обеспечения качества для архетипической квалификации CASLO.

Итак, [в рамках «Дня вовлечения»] мы проводим с ними мероприятия по стандартизации, и мы обычно выбираем те, которые могут быть сложными для центров, и мы проходим через это вместе. Таким образом, это снова устанавливает сцену, чтобы сказать: «Хорошо, что такое хорошая« оценка »?» или «Что такое хорошее« решение »?» […] мы провели викторины по командным глаголам, чтобы сказать: «Хорошо, это слова, как вы сопоставите их с тем, что они должны делать на практике?»

И еще одна вещь, которую я собирался добавить, это требование CPD. Итак, оценщики, ВОК и ВОК, ожидается, что происходит постоянное профессиональное развитие.

Наконец, АО захочет знать, что центр внедрил соответствующие системы, процессы и инструменты для управления предоставлением квалификации – такие элементы, как линии подчиненности, графики встреч и контрольные списки действий. Чтобы облегчить это, АО должен будет установить четкие ожидания и четко сообщить о них через справочники центра и соответствующие документы.

Хотя АО приложат значительные усилия, чтобы с самого начала обеспечить структурную целостность в центре, не менее важно, чтобы они продолжали следить за ее структурной целостностью на всем протяжении. Поэтому для АО крайне важно иметь открытый канал связи с центром. Это делается для того, чтобы АО был полностью осведомлен о любых изменениях, которые могут повлиять на эффективное предоставление квалификации, в частности, о текучести кадров.

2. Саморегуляция

Принцип партнерской модели подотчетности заключается в том, что центры, которые хотят предложить архетипическую квалификацию CASLO, должны действовать как саморегулирующиеся системы. Точно так же, как старые ученики усваивали стандарты качества своего мастера и методы обеспечения качества, центр также должен усваивать стандарты АО.

Я думаю, что ключевым здесь является то, что внутренний процесс обеспечения качества предшествует [внешнему процессу обеспечения качества]. Вы знаете, на этом центральном уровне внутренние люди смотрят на эти оценки и выносят это суждение, следя за тем, чтобы они были сбалансированными, справедливыми и надежными. А потом мы просто заходим и проверяем это. Главное в этой внутренней части.

IQA обычно […] оценивает всех своих оценщиков и разрабатывает какую-то стратегию — мы называем это рейтингом RAG — так что красно-янтарно-зеленая структура оценивает риск ваших оценщиков. Кто компетентен, кто новичок, кто оказался не таким компетентным? А затем внедрить частоту стратегии выборки на основе этого. Для этой квалификации, состоящей из 2 единиц, […] они могут просто решить выполнить обе единицы или они могут выполнить одну единицу. И, исходя из этого, они могут затем определить, что у одного оценщика или группы оценщиков есть общие черты [т. е. проблемы, которые необходимо решить], и они будут использовать эту информацию для информирования своей деятельности по стандартизации.

Хотя ответственность в конечном итоге лежит на АО, партнерский подход возлагает на центр значительную часть ответственности за эффективное предоставление квалификации в соответствии с национальным стандартом. В дополнение к высоким ожиданиям в отношении строгости и качества оценивания в центре, существуют также высокие ожидания в отношении строгости и качества обеспечения качества в центре.

3. Комплексный мониторинг

Обеспечение качества для архетипической квалификации CASLO касается эффективного предоставления квалификации со всех точек зрения — преподавания или обучения, оценки, внутреннего обеспечения качества и управления. Другими словами, обеспечение качества не сосредоточено исключительно на точности и постоянстве конечных результатов — оно гораздо шире. Это относится как к внутренним, так и к внешним функциям обеспечения качества. ^{[сноска 26]}

Итак, мы будем задавать им ключевые вопросы, связанные с оценками, методологиями оценки, квалификацией в целом, чтобы убедиться, что она соответствует своему назначению… в отрасли ничего не изменилось, чтобы убедиться, что она по-прежнему может применяться таким образом.

И именно поэтому проверка брифа о назначении действительно важна. Я всегда говорю своим модераторам, что это ваша отправная точка, потому что, если студентам говорят делать что-то не так […]

И, что стоит отметить при модерации, если мы обнаружим проблему с определенной областью — конкретным результатом обучения — мы вернемся к формирующему блоку, где эта область должна была преподаваться и оцениваться, чтобы увидеть, есть ли проблема с тем, как она преподавалась. в год.

Комплексный мониторинг позволяет IQA и центру, а также, в свою очередь, EQA и АО, выявлять и решать любую из множества проблем. Сюда входят те, которые угрожают способности учащегося достичь компетентности или продемонстрировать свою компетентность при оценивании, или угрожают способности центра признать эту компетентность. Раннее вмешательство помогает предотвратить неприятные сюрпризы в конце курса, которые невозможно исправить на этом этапе. Ключевым моментом является то, что квалификации CASLO необходимо понимать как интегрированные системы преподавания-обучения-оценки. Обеспечение качества (как внутреннее, так и внешнее) должно отображать всю эту интегрированную систему.

4. Выборка на основе риска

Поскольку архетипическая квалификация CASLO включает в себя несколько единиц, оцениваемых в центре, было бы трудно или невозможно тщательно изучить оцениваемую работу для всех единиц в течение любого конкретного цикла проверки стандартов (внутреннего или внешнего). Это контрастирует с ситуацией для традиционных GQ, большинство из которых имеют только один оцениваемый в центре компонент. В случае с GQ разумно ожидать, что оцениваемая работа для ее компонента, оцениваемого центром, будет подвергаться тщательной проверке в каждом цикле. Если квалификация CASLO включает много компонентов, оцениваемых центром, может потребоваться их выборка для целей проверки стандартов в течение любого конкретного цикла. ^{[сноска 27]}

Поскольку как внутренние, так и внешние мероприятия по обеспечению качества основаны на принципе всестороннего мониторинга, эти функции выходят далеко за рамки контроля работы, оцениваемой центром. Это означает, что бремя обеспечения качества намного больше, чем для традиционных GQ. В результате вся модель обеспечения качества должна будет основываться на выборке, например, по:

• единицы (для обучения или обучения, обучения и оценки)
• учителя или инструкторы (оценщики)
• центральные сайты (и, возможно, также сайты оценки работы кандидатов)
• программы (для вложенных квалификационных программ, включая премии, сертификаты и дипломы)
• когорты учащихся (где соседние когорты обучаются циклами или где они обучаются совместно)
• мероприятия (оценки, встречи, обучение, стандартизация и т. д.)

Там, где может иметь место только ограниченный объем выборки в течение любого конкретного цикла обеспечения качества, имеет смысл применить метод целевой выборки, а не случайный (или стратифицированный). Это приводит к принципу выборки на основе риска.

Для меня тогда это постоянный мониторинг активности, основанный на риске центров. Мы рассмотрим известные нам вещи, вы знаете, выявим риск. Это может быть объем учащихся, может быть сложность модели доставки. У вас есть центр, в котором есть множество оценочных центров, мест и дополнительных сайтов.

Высокая текучесть кадров. […]

Да, люди, вы знаете, новые центры, которые совершенно новы для предоставления такого стиля квалификации в этом секторе. Вы знаете, потенциально вещи из других жалоб, расследований злоупотребления служебным положением.

Принцип отбора проб, основанный на оценке риска, помогает IQA и центру, а в свою очередь, EQA и АО, определить, какой объем мониторинга необходимо проводить и как часто, а также на чем этот мониторинг должен быть сосредоточен.

При проведении тщательного изучения стандартов для единиц выборки необходимо принять дополнительные решения по выборке.

Таким образом, они будут смотреть на решения, которые оценщик принял для выборки кандидатов. И эта выборка, ну, это зависит от многих вещей, но они будут делать КАМЕРУ, ряд кандидатов, ряд оценщиков и ряд различных методов, мест, просмотр записей […]

Структура «КАМЕРА» используется организацией City & Guilds и другими АО, чтобы обеспечить надежную выборку оцениваемой работы для подразделения (см. City & Guilds, 2016). Это означает:

• Кандидаты (учащиеся)
• Оценщики
• Методы оценки
• Доказательство
• Рекорды
• Сайты оценки

5. Постепенное улучшение

С принципами комплексного мониторинга и отбора проб с учетом рисков связан принцип постоянного постепенного улучшения. Можно думать о субподрядной модели подотчетности GQ как о разовом событии, хотя и повторяющемся каждый год. Однако модель партнерства CASLO основана на наличии постоянных отношений между АО и его центрами. В основе этой модели лежит идея постепенного улучшения с момента, когда центр начинает предоставлять квалификацию, а затем из года в год, пока центр продолжает ее предлагать.

Вы знаете, для меня некоторые из преимуществ проверки перед модерацией заключаются в том, что вы входите в нее раньше. Я думаю, что с модерацией все может пойти не так, и вы находитесь в конце 2-летней программы, а центр не разбирается в этом, и все это немного кошмарно.

Да, и это не самый дешевый способ провести квалификацию, но мы чувствуем, что он дает правильные результаты. Потому что у нас хорошие отношения с центром, и мы помогаем им понять стандарт, потому что мы тратим довольно много времени, мы вкладываем в них довольно много времени. Итак, хорошо, что все эти визиты, все те события, о которых мы говорили, все они происходят лицом к лицу, и именно здесь мы можем более подробно обсудить стандарт и, следовательно, поддерживать его.

Принцип постепенных улучшений подчеркивает идею о том, что АО инвестирует в центр и развивает этот центр в течение длительного периода времени. Это предполагает, что внешнее обеспечение качества в такой же степени связано с улучшением методов оценки для будущих учащихся, как и с проверкой результатов оценки для текущих.

6. Поддерживающее наблюдение

Из предшествующих принципов следует, что отношения между АО и его центрами для архетипической квалификации CASLO в основном поддерживают. Только в очень исключительных случаях утвержденный центр будет признан не заслуживающим поддержки, и ему будет запрещено предлагать квалификацию. Во всех других обстоятельствах образ действий будет заключаться в поддержке, позволяющей центру эффективно проводить квалификацию. Это относится к роли как ВОК, так и ВОК.

Я думаю, что поддержка оценщика со стороны IQA имеет решающее значение, и нет двух способов обойти это. […] Я не хочу преуменьшать важность других вещей [обеспечения качества], когда говорю, что поддержка оценщика необходима, но это так.

Это то, что мы используем повсеместно, потому что мы помогаем людям становиться лучше, чем они могут быть. А затем, в свою очередь, это просто спускается по спирали к ученику. Ученик тогда становится лучшим, чем он может быть.

Для меня, я думаю, это интерактивность в механизме поддержки – наличие кого-то, кто является точкой контакта. […] Я думаю, что если это называется EQA, у вас есть лицо и имя человека, если у вас есть проблема, к кому можно обратиться. Это ключ к модели, которую мы используем.

Однако важно подчеркнуть, что поддержка предоставляется со строгим ожиданием того, что она должна быть реализована, и эти действия устраняют выявленные недостатки.

Я также думаю, что хорошим образцом для подражания для IQA является то, что если они собираются дать какое-то действие оценщику, то они поддерживают это вместе с ним. Потому что они могли обернуться и сказать: «Не делай этого». Но если они не говорят «не делайте этого из-за X, Y и Z» и «последствия могут быть A, B и C» и «вот лучший способ сделать это». Итак, мы будем искать этот поддерживающий план действий. Мы хотим видеть, что они планируют действия, но следят за этим и что действия были достигнуты.

Также важно подчеркнуть, что и IQA, и EQA выполняют функции, которые одновременно являются формирующими и суммативными, то есть как поддерживающими, так и оценочными. В конечном счете, их роль заключается в обеспечении того, чтобы квалификация предоставлялась эффективно, а работа кандидата оценивалась с неизменной точностью. Это суть.

[Роль] заключается в поддержке и руководстве, но в равной степени это и в том, чтобы поднапрячься, иначе могут быть некоторые последствия.

7. Условное (доказательное) доверие

Это подводит нас к последнему принципу. Работа в партнерстве с центром требует определенного доверия. Это связано с тем, что большая часть ответственности за процессы оценки и обеспечения качества возложена на центр. Для многих квалификаций CASLO это официально признается путем предоставления центру статуса прямых требований.

Итак, изначально мы не предоставляем DCS. Нам нужны гарантии того, что центры правильно заполняют и соблюдают процедуру оценки. Для этого им нужно провести 3 безупречных аудита — и мы говорим, что абсолютно все на высоте. И это не только с точки зрения оценочных документов, но и с тем, что также осуществляется внутренняя проверка качества, и она соответствует требуемому стандарту. Затем, как только мы будем удовлетворены, DCS, скорее всего, будет предоставлен. А потом попадает в верификацию. У нас есть различные уровни проверки. Итак, мы «центрируем» центры уровня риска – низкий, средний и высокий. Таким образом, центры с высоким уровнем риска получают физический визит, центры со средним уровнем риска получают удаленный визит-звонок по скайпу, а затем центры с низким уровнем риска также получают дополнительную модерацию, связанную с ними.

Важно, чтобы это доверие было основано на фактах, заработано, а не предоставлено автоматически. Не менее важно, чтобы центры знали, что любое злоупотребление доверием, будь то непреднамеренное недобросовестное управление или преднамеренное злоупотребление служебным положением, повлечет за собой наказание. Самым крайним наказанием является то, что утвержденный центр не сможет предложить квалификацию. Однако для наиболее эффективного применения принципа условного доверия требуется скользящая шкала штрафов. Это должно отразить тяжесть рассматриваемого правонарушения. Это может означать повышение статуса центра риска, удаление DCS или более экстремальные меры.

Если в центре была DCS и [EQA] обнаруживали в своей практике что-то, что их не устраивало, они удаляли DCS, чтобы они могли продолжать поддерживать и пробовать работу до того, как [сертификаты будут] востребованы.

И если они не [следуют стандарту], то это зависит от того, в какой степени. Итак, если это что-то, что влияет на соблюдение наших рекомендаций, они получат план действий, который будет отслеживаться. И это потребует некоторой корректирующей работы – может быть, некоторого обучения стандартизации – и затем это будет продолжено, чтобы убедиться, что они поняли эту информацию, чтобы затем вернуться и оценить наш стандарт. Речь идет о поддержке их, насколько мы можем, чтобы сделать правильные суждения.

Кроме того, в рамках наших моделей обеспечения качества, основанных на риске, поэтому, если мы столкнемся с ситуацией, когда наши ВОК не согласуются с решениями об оценке, или деятельность ВОК может не выполняться, или что-то еще, тогда этому центру будет присвоен статус высокого риска. и предоставляется дополнительная поддержка […] или дополнительная деятельность по обеспечению качества.

Интервьюер: Так что же произойдет, если у них возникнут серьезные опасения по поводу выставления оценок конкретному оценщику в центре? […]

Главное, чтобы риск был выявлен. Об этом сообщают нам. Мы повысим статус этого конкретного центра, а затем посмотрим, какие дополнительные меры по обеспечению качества необходимо принять. И я говорю о вещах с высоким риском, а не о вещах с малым риском. И этот центр не сможет зарегистрировать дополнительных учащихся, они не смогут сертифицировать каких-либо учащихся по программе до тех пор, пока мы не проработаем что-то вроде программы дополнительных мероприятий по обеспечению качества. Это понизит их статус.

Стоит отметить, что в Приложении 3 «Свода правил NVQ» (QCA, 2006) официально указаны санкции за несоблюдение критериев утверждения центра. Хотя этот документ больше не действует, он повлиял на практику, которая сохраняется и по сей день для многих регулируемых квалификаций CASLO. Для сведения эти санкции и их обоснование представлены ниже, в Таблице 7.

Таблица 7. Уровни правонарушения (из КСА, 2006 г., Приложение 3, Таблица 1)

Тариф-Уровень правонарушения	Санкция	Обоснование
1	Вход в план действий	Несоответствие критериям утверждения центра, но отсутствие угрозы честности решений по оценке
2	Удаление статуса прямых заявок, то есть заявки на сертификацию должны быть авторизованы внешним верификатором	Необходима тщательная проверка честности решений по оценке
3	(a) Приостановление регистрации (b) Приостановление сертификации	(a) Угроза кандидатам (b) Утрата достоверности оценочных решений – риск недействительных заявок на сертификацию
4	Отзыв утверждения центром определенных NVQ	Непоправимый сбой в управлении и обеспечении качества конкретных NVQ
5	Отзыв утверждения центра для всех NVQ	Непоправимый сбой в управлении и обеспечении качества всех NVQ, находящихся в ведении центра.

КАСС

В разделе «Введение» мы показали, что очень сложно понять суть Центра проверки стандартов оценки (CASS) для квалификаций CASLO через классическую призму GQ. Мы пришли к выводу, что проверку внешних стандартов для квалификаций CASLO необходимо рассматривать совершенно по-другому. В следующих разделах представлена ​​альтернативная учетная запись.

Активное ожидание прохождения

Важнейшей особенностью, которая отличает архетипическую квалификацию CASLO от классического GQ, является активное ожидание того, что учащийся должен ее пройти. Это предполагает, что у них есть необходимые полномочия для зачисления на квалификацию, что они прилагают соответствующие усилия на протяжении всего курса и что они предоставляют необходимые доказательства оценки на этом пути. В Англии эмпирическим фактом является то, что большинство учащихся сдают и большинство GQ. Тем не менее, контекст архетипической квалификации CASLO отличается. Здесь ожидание прохождения более активно, и «Пройдено» — это наивысшая доступная оценка (и, следовательно, вершина достижений), а не самая низкая доступная оценка. ^{[сноска 28]}

В определенных ситуациях, особенно для учащихся средних школ, могут быть недостатки, связанные только с выставлением проходного балла. Совершенно очевидно, что в квалификацию не встроен стимул для того, чтобы учащиеся значительно превышали пороговый стандарт. Однако есть и потенциальные преимущества. Ориентация всего обучения или обучения, обучения и оценки на один и тот же порог компетентности обеспечивает четкую направленность для управления всеми учащимися до их завершения. Для типичной квалификации CASLO (сдал-не сдал) все учащиеся должны преодолеть все препятствия. По мере прохождения курса нет никаких сомнений в том, продолжает ли какой-либо конкретный учащийся оставаться на пути к успеху.

Кроме того, архетипический учащийся CASLO, вероятно, будет достаточно мотивирован для приобретения необходимых знаний и навыков, оцениваемых квалификацией. Это особенно верно в отношении учащихся высших учебных заведений, которые изучают квалификацию, чтобы получить определенную работу, или которые, возможно, уже выполняют данную работу.

Вас оценивают по той работе, которую вы выполняете, и поэтому есть очень хороший шанс – если вы выполняете свою работу – что вы сможете ее пройти.

Учащиеся, которые вряд ли достигнут порога компетентности, скорее всего, будут отстранены от курса задолго до того, как будет запрошена какая-либо официальная сертификация. Это помогает объяснить, почему АО квалификации CASLO может быть сложно определить, какая доля учащихся «не соответствует» их квалификации.

Итак, я не уверен, что мы обязательно можем сказать, что все, кто начинает, проходят, или 80%, или 90%, или что-то еще, потому что на самом деле у нас нет этой информации. Но я думаю, что были некоторые веские причины, почему. Вы знаете, потому что речь идет о выполнении вашей работы, потому что речь идет о постоянном размышлении и обратной связи. Потому что, если вы не выполнили требования определенного результата обучения, вы можете уйти, вы можете переучиться, пересдать без большого количества повторных занятий, сборов, нагрузки и всего такого, не так ли? ? Итак, я думаю, что есть некоторые особенности, которые естественным образом приводят вас к успеху большинства людей.

Эта цитата также указывает на то, что архетипическая квалификация CASLO включает в себя механизм доставки, который специально разработан для обеспечения того, чтобы учащиеся прошли ее. Это часто называют формирующей оценкой.

Формирующая оценка

Хотя формативная оценка не является уникальной для квалификаций, основанных на принципе мастерства, она принципиально важна для любой такой квалификации. Это делается для того, чтобы учащиеся постоянно оставались на цели, чтобы пройти. Другими словами, мастерское обучение имеет решающее значение для оценки мастерства, а формирующая обратная связь является ключом к мастерскому обучению.

Некоторые АО поощряют или требуют, чтобы центры проводили «формирующую оценку» перед тем, как учащиеся попытаются сдать итоговую оценку (немного похоже на пробный экзамен). Это позволяет им оценить свою готовность, а также определить любые нерешенные потребности в обучении. Однако многие курсы не построены вокруг мероприятий формирующего оценивания, несмотря на то, что в их основе по-прежнему лежит формирующее оценивание. В таких случаях акцент будет делаться на предоставлении индивидуальной обратной связи учащимся о том, как совершенствоваться. Именно эта обратная связь (а не само мероприятие по оценке) описывается как формирующая.

Опять же, центральный вопрос заключается в том, что мастерский подход к оцениванию требует мастерского подхода к преподаванию или обучению. Если все учащиеся должны освоить все результаты обучения, то учитель или инструктор должны соответствующим образом управлять учебным процессом.

Они должны использовать формативное оценивание, чтобы определить, на каком этапе пути находится учащийся, а формирующее оценивание должно затем использоваться для итогового оценивания. Это не всегда выполняется на 100%. У вас могут быть ученики, которые провалили обучение, даже если они очень хорошо справились с формирующим заданием. Но это дает оценщикам указание на то, что учащийся готов к итоговой оценке.

Это вполне органичный процесс, оценка. Таким образом, оценщик будет сидеть с учеником, и он будет говорить с ним об их опыте, или он будет наблюдать, как он делает что-то в соответствии с определенными критериями оценки вполне органично, совершенно естественно в своей рабочей среде. И затем, если есть дополнительные доказательства и критерии, которым необходимо соответствовать, или их знаний недостаточно в определенных областях, тогда оценщик будет там, чтобы развить и поддержать этого учащегося и, возможно, послать ему задания, чтобы они ушли и сделать так, чтобы они могли вернуться позже и быть оценены.

Я не думаю об этом как об итоговой и формирующей оценке, я думаю об этом как об обратной связи, я думаю об этом как о поддержке. Так что это не «ты плохо работаешь, я не могу тебя выручить». Это «я буду работать с тобой столько, сколько потребуется, чтобы ты был там».

Таким образом, модель CASLO лучше всего подходит для непрерывного подхода к оценке, при котором результаты оцениваются регулярно. Учащимся могут быть предоставлены возможности посвятить больше времени и усилий любому конкретному результату обучения, с которым они изначально могут столкнуться.

Непрерывная гарантия качества

Точно так же модель CASLO лучше всего подходит для непрерывного обеспечения качества. Преподаватели или инструкторы (оценщики) и учащиеся регулярно контролируются в течение всего периода присвоения квалификации. Это контрастирует с традиционным подходом GQ. В этом случае контроль качества загружается ближе к концу курса, после завершения всего обучения.

[Роль IQA заключается] в том, чтобы убедиться, что оценочные суждения верны. Это самое важное — убедиться, что эти оценки действительны, достоверны, эффективны и все такое прочее. И, знаете, документы оформлены правильно. И там, где есть пробелы, выявление этих пробелов, вы знаете, и поддержка оценщиков, чтобы вернуться и заполнить эти пробелы.

Предполагая, что IQA выполнила свою работу должным образом, принцип саморегулирования предполагает, что вмешательство EQA должно быть минимальным. Однако иногда может потребоваться вмешательство, например, если IQA не смог обнаружить, что несколько учащихся не имеют достаточных доказательств компетентности в отношении определенного критерия в конкретном разделе. Там, где требуется вмешательство, лучше определить его на ранней стадии, в ходе обучения, что позволит сразу же решить проблему. Если бы это было обнаружено только в конце курса, исправить это было бы намного сложнее, если не невозможно.

Например, в рамках подхода непрерывного обеспечения качества АО может организовать посещение ВОК в начале 3-го семестра курса, состоящего из 3-х семестров (3-единиц). Для студентов, которые должны были окончить школу в этом году, работа с центральной оценкой будет доступна только для целей внешней проверки стандартов для 2 из 3 единиц. Если бы центру был предоставлен DCS, то впоследствии он мог бы требовать сертификации для 3-го блока и для общей квалификации до следующего визита ВОК. те студенты.

С одной стороны, риск, связанный с этим подходом, заключается в том, что проблемы с этим 3-м блоком могут быть выявлены только при последующем посещении ВОК. Это произошло спустя много времени после того, как эти студенты были сертифицированы. С другой стороны, если бы все проверки внешних стандартов были завершены (если бы все 3 модуля были тщательно изучены в самом конце курса, всего за несколько дней или недель до выдачи сертификатов), то это могло бы привести к совсем другой набор проблем. Они связаны с неуправляемостью решения проблем, связанных с таким большим количеством оценочных данных, на столь позднем этапе. Это было бы помимо необходимости проведения внешней проверки стандартов для всех центров в одно и то же время каждый год в контексте, когда компетентные ВОК являются очень ограниченным ресурсом.

Обратите внимание, что в этом примере внешняя проверка стандартов по-прежнему будет проводиться для всех 3 единиц во время каждого визита ВОК. Просто работа, тщательно изученная для модуля 3, будет исходить от уже сертифицированных кандидатов из предыдущей когорты. Таким образом, каждый год центр будет получать отзывы об их оценке модуля 3 для предыдущей когорты одновременно с началом предоставления модуля 3 нынешней когорте. Ясно, что это помогло бы предотвратить проблемы, возникающие у нынешней когорты. ^{[сноска 29]}

Однако идея непрерывного обеспечения качества шире, чем просто посещение ВОК, которое может (как в приведенном выше примере) ограничиваться одним разом в год. Это означает, что АО должен поддерживать регулярную связь со своими центрами и, следовательно, быть готовым к решению проблем, когда бы они ни возникли.

Эффективное спорадическое вмешательство

Общее ожидание прохождения, которому способствует формирующий механизм оценки и отслеживается с помощью внутренней функции обеспечения качества, дает разумную гарантию того, что большинство кандидатов, выдвинутых на сертификацию, скорее всего, соответствуют квалификационному стандарту. Если это так, то становится легче понять, почему подход GQ к умеренности, который в основном включает в себя тонкую настройку суждений центральной оценки для общей снисходительности или общей жесткости, не является ни полностью необходимым, ни полностью подходящим для квалификаций CASLO.

Если система обеспечения качества CASLO работает эффективно, то при проверке стандартов IQA уже должны были решаться вопросы тонкой настройки суждений центральной оценки — по крайней мере, в пределах степени допуска, сравнимой с той, которая применялась во время модерации GQ. Это оставляет проверку стандартов EQA (CASS), чтобы больше сосредоточиться на возможности вопиющих ошибок, аномалий и неточностей. Это может быть связано с непреднамеренным неправильным администрированием, преднамеренной злоупотреблением служебным положением или случайной серьезной ошибкой суждения, которая все же ускользает из внутренней сети обеспечения качества.

Опять же, если система обеспечения качества CASLO функционирует эффективно, то таких вопиющих ошибок, аномалий и неточностей должно быть немного и они должны быть редкими. Это повышает вероятность того, что с ними можно будет справиться адекватно, когда они действительно произойдут.

С другой стороны, они берут пробу. Итак, они выбирают определенные элементы. Иногда это может быть полное портфолио, а иногда просто единицы. Так что для меня это более широкий процесс. Это не перемаркировка как таковая. Это образец работы, к которой они склонны… вместо того, чтобы сидеть и работать… они будут работать с оценщиком. Итак, они попросят оценщика или учащегося объяснить, как было получено это доказательство, как оно было получено. И как, особенно с оценщиком, они считают, что это соотносится с этими критериями оценки.

Интервьюер: […] может быть, вы не согласны с чем-то в этом решении об оценке, есть ли элемент попытки исправить это в качестве ВОК?

Я имею в виду, что может быть, но это будет в меньшинстве случаев. Тогда вы ожидали, что это уже было решено в процессе IQA. […] Итак, да, вы не ожидаете, что EQA выявит проблему в портфолио отдельных учащихся.

Что касается непреднамеренного неправильного администрирования, ВОК, участвующая в CASS, проверяла бы, были ли предоставлены доказательства для всех AC, которые кандидат должен был выполнить. Если доказательства отсутствуют, то центр должен их предоставить. Для этого может потребоваться дополнительная деятельность по оценке. Что касается преднамеренной злоупотребления служебным положением, EQA будет проверять наличие доказательств плагиата. Они также проверяли бы, что суждения центра оценки не были постоянно снисходительными, что намекало на преднамеренное злоупотребление служебным положением, а не на непреднамеренное недобросовестное управление.

Так, например, если у нас есть портфолио 10 учащихся для выборки, мы можем выбрать — в зависимости от того, какая информация у нас есть в центре, и какие образцы мы сделали ранее, и каковы наши выводы — для выборки. , скажем: единица один для одного ученика, единица 2 для второго ученика, единица 3 для другого. А потом вернитесь и скажите «ну, так, блок один за четвертый», «блок 2…» и так далее. Таким образом, мы не делаем вторую маркировку, но мы тщательно изучаем единицы, которые мы видим, потому что мы проверяем подлинность, поэтому нет ли плагиата, […] Если мы найдем что-то, мы дадим совет по этому поводу, но в конечном итоге мы получить всеобъемлющее представление, если хотите, о компетентности оценщика и эффективности его оценочных решений по выборке, которую мы выбрали.

[…] у нас есть примеры того, как центры протягивают учащимся руку помощи, если хотите, посредством процессов оценивания. Что касается этой квалификации, я не думаю, что дело обстоит именно так, но… мы получаем это по странному случаю.

Основываясь на подобных выводах, мы предполагаем, что концепция толерантности действительно играет важную роль при внешнем обеспечении качества квалификаций CASLO. Однако это не является явным, поскольку оно предназначено для обозначения допусков в рамках модерации GQ. Вместо этого он будет реализован в виде последовательности неявных суждений, основанных на профессиональном опыте и знаниях EQA. EQA будет запрашивать «соответствующее» суждение в рамках выборки оцениваемой работы только в том случае, если они не согласны с тем, что это было разумным применением профессионального суждения. Следовательно, помимо выявления критических аномалий или неточностей из-за непреднамеренного неправильного администрирования или преднамеренного злоупотребления служебным положением, ВОК также будут следить за вопиющими ошибками профессионального суждения.

Чтобы проиллюстрировать этот момент, если EQA инстинктивно чувствовал, что доказательная база кандидата по конкретному AC не заслуживает оценки «соответствует», но все же мог оценить, как другие могут увидеть это по-другому, тогда EQA не стал бы возражать против этого. Вмешательство, если оно имеет место, скорее всего, будет довольно спорадическим и ограничивается случаями, которые явно представляют собой необоснованное использование профессионального суждения оценщиком. ^{[сноска 30]} Это кажется совершенно отличным от фундаментально интервенционистского подхода, который характеризует проверку внешних стандартов для традиционных GQ, где вмешательство, то есть повышение или понижение оценок или переоценка, является обычным делом.

Напряженность

Квалификации, основанные на разных моделях, будут иметь разные сильные стороны и сталкиваться с разными проблемами. Вышеизложенное описание, основанное на идее архетипической квалификации CASLO, выявило несколько принципов, лежащих в основе их эффективного действия. Эти принципы ведут к созданию механизмов, которые тщательно поддерживают предоставление квалификаций, позволяя центрам преодолевать такие проблемы, как необходимость:

• оценить большинство, если не все, компоненты квалификации
• проявлять значительную гибкость в учебных программах, преподавании, обучении и механизмах оценивания
• управлять строгим стандартом оценки (то есть мастерством)

Другими словами, эти вспомогательные механизмы позволяют центрам брать на себя большую ответственность, чем было бы разумно передать другим. В этом основная сила модели CASLO. В свою очередь, именно эффективная работа этих вспомогательных механизмов позволяет АО сохранять полную ответственность за присуждаемые ими награды.

Конечно, эта система должна работать эффективно, чтобы АО надлежащим образом осуществляло подотчетность. Это может быть непросто из-за нескольких противоречий, которые становятся заметными в рамках модели CASLO. Следующие 4 примера иллюстрируют, не обязательно исчерпывая, эти противоречия.

Выборка

Проблема выборки значительно сложнее для квалификаций CASLO, чем для традиционных GQ. В частности, это связано с тем, что квалификации CASLO, как правило, на 100% оцениваются центром, а это означает, что может быть гораздо больше компонентов, оцениваемых центром, которые необходимо тщательно изучить. В этих обстоятельствах, особенно учитывая мастерский характер этих квалификаций, было бы слишком рискованно оставлять все гарантии качества до конца курса обучения.

Эти требования порождают систему обеспечения качества, которая не только тщательно изучает результаты центральной оценки, но также тщательно изучает процессы преподавания, обучения, оценки и внутреннего обеспечения качества. Это помогает гарантировать, что результаты центральной оценки будут максимально точными и последовательными, прежде чем в игру вступят внешние стандарты. Это дополнительно снижает риски, возникающие, когда это происходит ближе к концу курса обучения.

Однако это требование тщательного изучения как процессов, так и результатов делает выборку еще более сложной задачей. Вот почему архетипическая квалификация CASLO будет использовать подход к выборке, основанный на оценке рисков, а не (скажем) метод стратифицированной выборки. Подход, основанный на оценке риска, в решающей степени зависит от наличия у АО достаточной информации, на основе которой можно установить риск по целому ряду параметров. Предварительное одобрение центра в сочетании с постоянным контролем процессов преподавания, обучения и оценки поможет предоставить такого рода информацию. Но всегда существует риск того, что АО может не располагать достаточной информацией для эффективного отбора проб с учетом риска и, следовательно, может пропустить критические сбои процесса или неточности результатов. Конечно, даже когда метод выборки, основанный на оценке рисков, работает эффективно, по-прежнему существует вероятность пропуска критических сбоев или неточностей, если они происходят в областях с низким уровнем риска. Таким образом, этому подходу присуще противоречие между необходимостью сосредоточить ограниченные ресурсы на областях с высоким риском и возможностью того, что проблемы могут все еще возникать в областях с низким уровнем риска. Проблемы такого рода, конечно, не уникальны для квалификаций CASLO, а в более общем плане характерны для подходов, основанных на оценке риска.

Как уже отмечалось, эффективный сбор разведывательных данных и управление ими имеют решающее значение для эффективной работы метода выборки, основанного на оценке риска, чтобы различать области с более высоким и более низким риском. Однако не менее важно не предполагать, что области с низким уровнем риска можно полностью игнорировать и исключать из структуры выборки. Это может быть особенно сложно для квалификаций с большим количеством факультативных единиц, каждая из которых привлекает небольшие группы учащихся.

Поддержка

Идея поддерживающего наблюдения улавливает основное противоречие в модели CASLO между необходимостью поддерживать и необходимостью судить. Для того чтобы поддерживающая роль работала, те, кого поддерживают, должны чувствовать себя достаточно комфортно в своих отношениях, чтобы обнажать свои слабости, как если бы раскрывали их критически настроенному другу.

Это может быть сложной задачей для IQA установить отношения с оценщиком в своем собственном центре, но для независимой EQA может быть еще сложнее установить отношения с центром. Это связано с тем, что EQA играет более формальную и окончательную роль в оценке центра. Иногда это включает в себя выявление сбоев процесса и неточностей результатов и соответствующую корректировку рейтинга риска центра. С одной стороны, ВОК может стать слишком дружелюбным по отношению к центру и не быть достаточно критическим. С другой стороны, ВОК может оказаться слишком удаленным от центра и не оказать достаточной поддержки. Достижение правильного баланса — непростая задача. АО может попытаться облегчить это, следя за тем, чтобы ВОК не назначались в центры из их собственного региона. Или он может повторно назначать ВОК в разные центры каждые несколько лет.

Доверчивый

Идея центров, работающих как саморегулирующиеся системы, показывает, как поддерживающие отношения в идеале приводят к доверительным отношениям в соответствии с моделью CASLO. Для многих квалификаций CASLO статус Direct Claims Status представляет собой официальное признание этого доверия, поскольку центры уполномочены запрашивать сертификаты для кандидатов, чья работа (или какая-то ее часть) прошла только внутреннюю проверку качества. Это создает противоречие между потребностью АО доверять честности своих центров и риском того, что некоторые центры злоупотребят этим доверием с более или менее серьезными последствиями. Иногда злоупотребление доверием может возникнуть из-за непреднамеренной ошибки, значение которой со временем возрастает. Например, когда центр теряет оценщика или, что еще хуже, IQA и не сообщает об этом своему АО.

Это напряжение означает, что отношения между АО и центром никогда не могут быть полностью основаны на доверии. Как указано в идее условного доверия, центру всегда должно быть ясно, что любое злоупотребление доверием — каким бы незначительным оно ни было — повлечет за собой санкции того или иного рода. Следовательно, идея о том, что уровни нарушения должны быть связаны с уровнями санкций, как указано в своде правил NVQ.

Это противоречие является еще одной причиной, по которой низкочастотная выборка, зависящая от более низкого рейтинга риска, не должна вырождаться в полное отсутствие выборки. Таким образом, даже в рамках DCS потребуется комплексная система мониторинга. Даже в рамках DCS оцененная работа кандидатов, сертифицированных до проверки внешними стандартами, должна по-прежнему быть доступна для проверки впоследствии, хотя и как часть постсертификационной выборки. В более общем плане, даже при DCS должен существовать постоянно открытый канал связи между АО и его центрами.

Инвестирование

Наконец, модель CASLO приводит к практическому противоречию между необходимостью применения очень практического подхода и необходимостью предлагать услуги по конкурентоспособным ценам. Вспомогательные механизмы, обеспечивающие эффективную работу квалификаций CASLO — утверждение центром, обучение, стандартизация, внутренний и внешний контроль как процессов, так и результатов — составляют ресурсоемкую систему. Это может быть непросто из-за финансовых затрат, связанных с эффективным проведением квалификаций CASLO и возможностью назначать квалифицированный и опытный персонал. Очевидный риск заключается в том, что используются ярлыки, которые ставят под угрозу действительность квалификации. Этот вид напряженности особенно важен для регулирующего органа, когда существует риск того, что сокращение затрат в одной части отрасли может постепенно стать повсеместным.

Обсуждение

Насколько нам известно, это первая попытка сформулировать принципы, лежащие в основе эффективного применения квалификаций CASLO, с точки зрения обеспечения качества. Это все еще предварительный отчет, основанный на небольшой выборке разрозненных квалификаций и AO. Тот факт, что можно нарисовать картину «архетипической квалификации CASLO» на основе небольшой выборки, помогает поддержать правдоподобие этой версии. Это также подтвердили сотрудники АО в нашей выборке.

Следующие разделы обобщают наши идеи и контекстуализируют их в отношении нескольких нерешенных вопросов, касающихся действия квалификаций CASLO.

Резюме выводов

Общим для семейства квалификаций, лежащих в основе этого отчета, является тот факт, что они предназначены для подтверждения приобретения определенных результатов обучения. Поэтому мы назвали их квалификациями CASLO. Стандарты прохождения единиц CASLO:

1. 1. указано аналитически (поэлементно) и всесторонне (чтобы охватить все соответствующие элементы)
2. 2. определяемый конъюнктивно (требующий овладения всеми элементами, т. е. полного овладения)
3. 3. оценивается исчерпывающе (чтобы охватить все элементы) и подтверждающим образом («приобретенный» в отличие от «еще не приобретенный»)

Стандарты CASLO относятся к областям обучения, которые для VTQ в Англии обычно разбиваются на блоки. Каждый модуль включает в себя набор результатов обучения, и каждый результат обучения характеризуется набором критериев оценки. Мы описали это как графический подход к определению области обучения. Спецификация каждой единицы функционирует как карта пути обучения, где каждый результат обучения соответствует важной вехе на этом пути. Основная цель учебного путешествия — пройти всю карту и посетить каждый ориентир. При графическом подходе предметное содержание имплицитно присутствует как в результатах обучения, так и в критериях оценивания, хотя оно также может быть выражено явным образом через вспомогательные документы.

В Англии архетипической квалификацией CASLO является VTQ. Он разработан с учетом гибкости, чтобы приспособить учащихся к обучению в различных обстоятельствах, например:

• учащиеся, следующие разными путями в рамках одной и той же квалификации
• учащиеся, развивающие альтернативные (адаптированные) наборы навыков в рамках одной и той же квалификации
• учащиеся, обучающиеся в разных местах (в колледже, на работе и т. д.)
• учащиеся демонстрируют свою компетентность в различных условиях рабочего места
• учащиеся начинают и заканчивают обучение в разное время

Квалификации CASLO, естественно, предполагают непрерывную центральную оценку (или непрерывную оценку на рабочем месте). Это связано с тем, что они несут тяжелое бремя оценки, и им часто необходимо обеспечить гибкость в учебных планах, преподавании, обучении и механизмах оценки. Поэтому для квалификаций CASLO принято полагаться на центральную оценку для всех единиц. Такая существенная передача ответственности за процессы оценки означает, что АО должны быть очень уверены в способности каждого центра проводить оценку точно и последовательно. Поэтому АО устанавливают тесные отношения с центрами, чтобы нести полную ответственность за присуждаемые ими награды.

Требования, подобные этим, привели к иной модели подотчетности в отношении центральной оценки по сравнению с традиционными GQ. Мы объяснили это метафорически, сравнив модель невмешательства с субподрядом (GQ) с моделью практического партнерства (CASLO). Согласно этой метафоре, центры назначаются в качестве учеников, которые должны быть окультурены в сообщество практики для соответствующей квалификации. Тем не менее, каким бы опытным ни был центр, АО всегда будет следить за его практикой с помощью процессов постоянного мониторинга. Центр может перейти от «высокого риска» к «низкому риску», но он никогда не должен считаться «отсутствующим риском».

Мы заметили, что архетипическая квалификация CASLO использует трехстороннюю систему обеспечения качества, которая включает в себя:

1. 1. утверждение центра
2. 2. внутренняя гарантия качества
3. 3. внешняя гарантия качества

Это подразумевает подход «от колыбели до могилы». который начинается после того, как центр запрашивает одобрение, чтобы предложить квалификацию. Он не заканчивается до тех пор, пока он не перестанет предлагать квалификацию и последний студент не будет сертифицирован.

Информация, полученная в результате наших интервью с офицерами AO, выявила достаточно общего между квалификациями, чтобы предложить несколько принципов, лежащих в основе эффективного применения квалификаций CASLO:

1. 1. структурная целостность (центры должны с самого начала продемонстрировать структурную целостность — с точки зрения преподавания, оценки, обеспечения качества и управления — чтобы быть признанными достойными предоставления квалификации)
2. 2. саморегулирование (центры должны работать как саморегулирующиеся системы, усвоив стандарты качества АО и методы обеспечения качества)
3. 3. всесторонний мониторинг (обеспечение качества должно быть сосредоточено на эффективном предоставлении квалификации в раунде – преподавание, оценка, обеспечение качества и управление)
4. 4. выборка на основе рисков (учитывая потенциальный объем деятельности по обеспечению качества, выборка должна основываться на модели, основанной на оценке рисков)
5. 5. постепенное улучшение (необходима поддержка центров для постепенного улучшения — с момента утверждения центром и далее до тех пор, пока центр продолжает предлагать квалификацию)
6. 6. поддерживающий надзор (отношения между АО и его центрами, а также между внутренним специалистом по обеспечению качества и их оценщиками должны оставаться принципиально поддерживающими)
7. 7. условное (доказательное) доверие (с повышением компетентности растет доверие, но если центр злоупотребляет этим доверием, то с этим нужно бороться с помощью соответствующей санкции)

Эти принципы реализуются в рамках квалификаций CASLO с помощью различных механизмов поддержки. К ним относятся утверждение центра, обучение, стандартизация, внутренняя и внешняя проверка как процессов, так и результатов. Вместе они обеспечивают эффективную работу этих квалификаций.

Один из наиболее важных механизмов поддержки связан с преподаванием и обучением. Этот механизм, который часто называют формирующей оценкой, специально разработан для того, чтобы учащиеся постоянно оставались на цели, чтобы пройти квалификацию. Ожидается, что при соответствующих требованиях при поступлении на курс, эффективных процессах отбора и адекватных формативных мерах оценивания учащиеся, прилагающие достаточные усилия, смогут достичь компетентности.

Принцип саморегулирования означает, что если IQA выполнила свою работу должным образом, то не должно быть необходимости во вмешательстве со стороны EQA (после проверки стандартов). В равной степени, однако, с таким сильным акцентом на формирующую оценку, если учитель-оценщик выполнил свою работу должным образом, тогда не должно быть необходимости во вмешательстве IQA (после проверки стандартов). Это помогает объяснить, почему АО не описывают проверку стандартов для квалификаций CASLO как фундаментально интервенционистскую (что может быть разумным описанием модерации для GQ).

При этом проверка стандартов ВОК по-прежнему выполняет ряд важных функций. Это включает в себя корректирующую функцию, основанную на том, что можно было бы назвать спорадически интервенционистским подходом. Необходимость выявления и исправления вопиющих ошибок, аномалий и неточностей все еще может возникнуть. Сюда могут входить суждения о компетентности, для которых вообще нет доступных оценочных данных. В качестве альтернативы это может включать суждения о компетенции, для которых имеются доказательства, но решение несовместимо с каким-либо разумным применением профессионального суждения. Такие суждения теоретически должны быть редкими, учитывая количество действующих механизмов поддержки.

Наконец, даже при применении спорадически интервенционистского подхода, тщательное изучение стандартов ВОК по-прежнему будет выполнять важную сдерживающую функцию. Это сдерживающий фактор от недобросовестного управления, связанного с невнимательностью, а также сдерживающий фактор от злоупотреблений служебным положением, возникающих из-за плохих намерений.

Нерешенные вопросы

Намерение настоящего отчета состояло в том, чтобы построить, исходя из первых принципов, описание того, как работают квалификации CASLO. Мы хотели объяснить, как они могут работать в теории, а не оценивать, насколько хорошо они работают на практике. Мы рассмотрели, как АО может оставаться полностью ответственным за присуждаемые им награды, несмотря на делегирование существенной ответственности за процессы оценки центрам. Мы попытались понять, как работают определенные критические процессы для квалификаций CASLO — в частности, процессы обеспечения качества — путем сравнения с тем, как якобы аналогичные процессы работают для классических GQ, которые, как правило, понимаются гораздо лучше.

Хотя мы определили ряд противоречий, которые потенциально могут возникнуть при использовании квалификаций CASLO — в рамках выборки, поддержки, доверия и инвестирования — в наши намерения не входило оценивать, насколько эффективно работают квалификации CASLO. ^{[сноска 31]} Как мы уже отмечали в самом начале, в последнее время очень мало исследований в области действия квалификаций CASLO в Англии. Это особенно важно с точки зрения обеспечения качества. Существующие исследования, основанные на NVQ и GNVQ, некоторые из которых основаны на BTEC и соответствующих квалификациях, как правило, устарели. ^{[сноска 32]}Открыто для обсуждения, следует ли ожидать, что выводы, основанные на исследовании более ранних квалификаций, будут распространяться на текущие квалификации CASLO, либо на архетипическую квалификацию CASLO, либо на какой-либо конкретный набор квалификаций. Тем не менее, безусловно, есть вопросы, которые стоит пересмотреть в связи с текущими квалификациями и тем, насколько эффективно они могут работать на практике.

Наконец, в настоящем отчете обобщены идеи из бесед с офицерами АО, чтобы нарисовать картину — гипотетическую конструкцию — архетипической квалификации CASLO. Ранее мы отмечали, что там, где фактические особенности, процессы и обстоятельства квалификаций CASLO расходятся с этой гипотетической конструкцией, это может вызвать вопросы для последующего рассмотрения. Это исследование не смогло ничего сказать о потенциальных последствиях отклонения от архетипической модели, учитывая очень небольшой размер выборки. Тем не менее, мы все еще можем делать предложения относительно видов расхождений, которые могут быть достойны комментариев и вопросов, которые могут быть заданы.

Возможно, наиболее очевидным примером расхождения является адаптация модели CASLO для включения более высоких оценок, то есть оценок выше проходного балла, обычно включая «За заслуги» и «Отличие». Значительное число квалификаций CASLO действительно включает более высокие оценки, и более ранний исследовательский проект Ofqual выявил значительные различия в практике выставления оценок по квалификациям CASLO (Newton, 2018). Остается определить, существуют ли значительно более сильные или более слабые подходы к включению более высоких оценок в квалификации CASLO.

Другой пример расхождений касается использования квалификаций CASLO в строго ограниченных по времени контекстах. Ожидание того, что учащиеся, прилагающие достаточно усилий, должны в конечном итоге достичь компетентности, особенно хорошо подходит для условий преподавания и обучения, которые не более чем слабо ограничены во времени. Таким образом, если некоторым учащимся требуется больше времени для достижения компетентности, чем другим, то это можно легко приспособить. Чем более жестко ограничен контекст по времени (по причинам учебной программы, причинам финансирования или другим причинам), тем сложнее будет приспособить учащихся, значительно отклоняющихся от номинальных спецификаций общего времени квалификации. Вопрос здесь может касаться характера возникающих противоречий, более жестких временных ограничений квалификации CASLO и того, как можно снизить риски, возникающие в связи с этими противоречиями.

Помимо расхождений с архетипической моделью CASLO, будут всевозможные различия, связанные с тем, как определенные АО используют определенные квалификации CASLO. Различные обстоятельства, несомненно, потребуют различных компромиссов между различными механизмами поддержки, поддерживающими их эффективную работу. Например, некоторые АО будут осуществлять проверку внешних стандартов способом, который очень близок (или технически считается) модерацией. ^{[сноска 33]}Другие АО будут осуществлять проверку внешних стандартов иначе, в рамках более широкого определения CASS. Некоторые АО будут проводить большую часть проверки своих стандартов удаленно, отправляя их по почте или получая доступ к электронным портфолио. Другие АО будут проводить проверку всех своих стандартов лично посредством личных визитов. Интересный и важный вопрос здесь заключается в том, как проектные решения для различных функций и процессов в рамках какой-либо конкретной квалификации могут дополнять (или не дополнять) друг друга. Другими словами, как риски, возникающие в связи с необходимостью принятия одного конкретного решения по дизайну квалификации, могут быть смягчены компенсационными решениями, относящимися к другим аспектам его дизайна. Опять же, подобные вопросы плохо задокументированы, плохо исследованы и плохо теоретизированы для квалификаций CASLO.

использованная литература

АКВА (2016). Модерация внутренних оценок: объяснение для центров того, как вносятся коррективы в оценки (v1.10). Манчестер: Альянс по оценке и квалификации.

Бомонт, Г. (1996). Обзор 100 NVQ и SVQ. Лондон: Национальный совет по профессиональным квалификациям.

Брокманн, М., Кларк, Л. и Винч, К. (2008). Могут ли результаты обучения, связанные с успеваемостью, иметь стандарты? Журнал европейского промышленного обучения, 32 (2/3), 99-113.

Картер, Б., и Батмейкер, А. (2017). Приоритет прогресса над мастерством: ограничения оценки на основе учителя в рамках профессионального образования на уровне технического специалиста. Журнал дополнительного и высшего образования, 41 (4), 460-474.

Чемберс, Л., Уильямсон, Дж. и Чайлд, С. (2019). Модерация художественных работ: исследование суждений и когнитивных процессов. Research Matters: публикация Cambridge Assessment, 27, 19-25.

Город и гильдии (2016). Руководство по внутреннему обеспечению качества квалификаций. Лондон: Город и гильдии Лондонского института.

Комиссия по профессиональному обучению и обучению взрослых (2013 г.). Речь идет о работе… Отличное профессиональное обучение и обучение взрослых. Лондон: Служба обучения и повышения квалификации.

Манжета, БМП (2017). Исследовательское исследование того, как модераторы непроверенных оценок выносят свои суждения. Ofqual/17/6252. Ковентри: Управление квалификаций и экзаменов.

Манжета, БМП (2018). Международные подходы к модерации внеэкзаменационных оценок в среднем образовании. Ofqual/18/6364. Ковентри: Управление квалификаций и экзаменов.

Манжета, БМП, Занини, Н. и Блэк, Б. (2018). Исследование инфляции оценок в «старом стиле» уровня 3 BTEC Nationals: с 2006 по 2016 год. Ковентри: Управление квалификаций и экзаменов.

Курчин, М., Бойл, А., Мэй, Т. и Рахман, З. (2014). Система валидации для наблюдательной оценки на рабочем месте в профессиональных квалификациях. Ofqual/14/5374. Ковентри: Управление квалификаций и экзаменов.

Экклстоун, К. (1996). Как оценить профессиональную учебную программу. Лондон: Коган Пейдж.

Экклстоун, К. (2012). Инструментализм и достижения: социокультурное понимание напряженности в профессиональном образовании. В Дж. Гарднере (ред.). Оценка и обучение (стр. 140-156). Лондон: SAGE.

Эраут, М. (1998) Концепции компетентности. Журнал межпрофессиональной помощи, 12 (2), 127-139.

ФЭФК (1995). Оценка профессиональных программ в секторе дальнейшего образования в Англии. Отчет о национальном исследовании. Ковентри: Совет по финансированию дальнейшего образования.

ФЭФК (1997). Стандарты и их обеспечение в профессиональных квалификациях. Отчет о национальном исследовании. Ковентри: Совет по финансированию дальнейшего образования.

ФЭУ (1992). Основание для кредита? Лондон: Отделение дополнительного образования.

ФЭУ (1995). Основа для кредита: Общая структура для образования и обучения после 14 лет для двадцать первого века. Лондон: Отделение дополнительного образования.

Фишер, Р. (2003). Золотой век BTEC: учебная программа бизнес-образования в 1980-х годах, дальнейшее образование. Учебный журнал, 14 (2), 253–277.

Гарланд, П. (1998) Оценка в GNVQ: обучение на собственном горьком опыте. Исследование постобязательного образования, 3(3), 329-344.

Гилл, Т. (2015). Модерация курсовой работы и контролируемое оценивание: Аннотация. Research Matters: публикация Cambridge Assessment, 19, 26–31.

Гофф, П. и Лейманис, А. (1995). Процедуры проверки органа, присуждающего награду, 1994–1995 годы. Лондон: Национальный совет по профессиональным квалификациям.

Гравеллс, А. (2016). Принципы и практика обеспечения качества. Лондон: SAGE Learning Matters.

Грейторекс, Дж. (2000). Какие исследования может провести присуждающий орган в отношении NVQ? Доклад, представленный на конференции Британской ассоциации исследований в области образования, Кардиффский университет, Великобритания, 7-9 сентября.

Грейторекс, Дж. (2002). Две головы лучше, чем одна: стандартизация суждений национального оценщика профессиональных квалификаций. Доклад, представленный на конференции Британской ассоциации исследований в области образования, Эксетерский университет, Великобритания, 12-14 сентября.

Харт, Х. и Хемкер, Б. (2011). О достоверности результатов профессиональной оценки: случай аттестации на рабочем месте. Ofqual/11/4824. Ковентри: Управление квалификаций и экзаменов.

Харт, Х. и ван Рейн, П. (2010). Вопросы надежности в компетентностной оценке: концепции и оценки. Ковентри: Управление квалификаций и экзаменов.

Хобли, Дж. (2016) «Вот iPad». Философия BTEC: как не учить науке студентов ПТУ. Исследование постобязательного образования, 21(4), 434-446.

Джессап, Г. (1991). Результаты: NVQ и новая модель образования и обучения. Лондон: Фалмер Пресс.

Джонсон, М. (2008). Оценка на границе: целостная оценка портфолио, связанного с профессиональной деятельностью. Вопросы исследований в области образования, 18 (1), 26–43.

Совместные органы присуждения наград (2001 г.). Руководство совместного присуждающего органа по внутренней проверке NVQ. ПП80Д2/43926/0801/34. Лондон: Департамент образования и навыков.

Конрад, Дж. (2000). Оценка и проверка национальных профессиональных квалификаций: политика и практика. Журнал профессионального образования и обучения, 52 (2), 225-243.

Лестер, С. (1995). Профессиональные пути: пример измерений более чем в одном измерении. Оценка и оценка в высшем образовании, 20(3), 237-249.

Локьер, К. и Кадвалладер, С. (2020). Внутренняя оценка существующих национальных технических и профессиональных квалификаций. Ковентри: Управление квалификаций и экзаменов.

Лум, Г. (2013). Компетенция: рассказ о двух конструкциях. Образовательная философия и теория: включая ACCESS, 45 (12), 1193-1204.

НЦВК (1997). Внешняя проверка NVQ: руководство для внешних верификаторов. Лондон: Национальный совет по профессиональным квалификациям.

Ньютон, ЧП (2018). Оценка профессиональных и технических квалификаций: последние политики и текущая практика. Ковентри: Управление квалификаций и экзаменов.

Офкуал (2008). Регуляторные механизмы квалификаций и кредитных рамок. Ковентри: Управление по регулированию квалификаций и экзаменов.

Офкуал (2016). Изменения в Положение о запросах и обращениях. Ofqual/16/6014. Ковентри: Управление квалификаций и экзаменов.

Офкуал (2017). Квалификации, связанные с лицензией, используемые в сфере частной безопасности: нормативный отчет. Ofqual/17/6147. Ковентри: Управление квалификаций и экзаменов.

Офкуал (2020a). Предоставление Организационных Контролей для Оценки Центра – Консультация по Правилам по Условиям, Требованиям и Руководству. Консультационные решения. Ковентри: Управление квалификаций и экзаменов.

Офкуал (2020b). Предоставление Организационных Контролей для Оценки Центра – Консультация по Правилам по Условиям, Требованиям и Руководству. Анализ ответов на консультации. Ковентри: Управление квалификаций и экзаменов.

Оллин, Р. и Такер, Дж. (2012). Справочник профессионального оценщика (5-е издание). Лондон: Коган Пейдж.

ККА (2006). Кодекс практики NVQ. Лондон: Квалификация и учебный план.

ККДА (2009 г.). Качество и стандартизация единиц в системе квалификаций и кредитов. QCA/09/4281. Ковентри: Агентство по развитию квалификаций и учебных программ.

ККДД (2010a). Руководство по написанию кредитных единиц оценки для квалификаций и кредитной системы. Версия 4. QCDA/10/4725. Ковентри: Агентство по развитию квалификаций и учебных программ.

ККДД (2010b). Руководство по объединению знаний и навыков в единицах основанных на компетенциях профессиональных квалификаций в системе квалификаций и кредитов (QCF). QCDA/10/4856. Ковентри: Агентство по развитию квалификаций и учебных программ.

Раггатт, П. (1991). Обеспечение качества и NVQ. В П. Раггатте и Л. Анвине (ред.). Изменение и вмешательство: профессиональное образование и обучение (стр. 61-80). Лондон: Фалмер Пресс.

Рид, Х. (2012). Руководство лучшего специалиста по обеспечению качества. Бидефорд: читайте в публикациях.

Шоррокс-Тейлор, Д. (1999). Национальное тестирование: прошлое, настоящее и будущее. Лестер: Книги Британского психологического общества.

Стивенс, П. (1993). Институт города и гильдий Лондона: краткая история, 1878–1992 гг . Лондон: Лондонский институт Сити и гильдий.

Тейлор, М. (2005). Системы модерации учителей. Лондон: Национальное агентство по оценке.

Торранс, Х., Колли, Х., Гарратт, Д., Джарвис, Дж., Пайпер, Х., Экклстоун, К. и Джеймс, Д. (2005). Влияние различных способов оценки на достижения и прогресс в секторе обучения и навыков. Лондон: Агентство обучения и развития навыков.

Уормингтон, П. и Уилмут, Дж. (2001). Роли внутренних верификаторов NVQ. Лондон: Департамент образования и занятости.

Уилахан, Л. (2016). Внесение исправлений не исправит профессиональное образование в Австралии — нужна новая модель. Международный журнал исследований в области обучения, 14 (3), 180–196.

Уильямсон, Дж. (2016). Статистическая модерация школьной оценки на GCSE. Research Matters: публикация Cambridge Assessment, 22, 30–36.

Уилмут, Дж. И Тусон, Дж. (2005). Статистическая модерация оценок учителей. Лондон: Квалификация и учебный план.

Уилмут, Дж. (2005). Опыт суммативной оценки учителей в Великобритании. Лондон: Квалификация и учебный план.

Уилсон, П. (2010). Большая идея, маленькие шаги: создание кредитных квалификаций. Лестер: Национальный институт непрерывного образования взрослых.

Винч, К. (2021). Результаты обучения: долгое прощание: профессиональные квалификации в 21 веке. Европейский журнал исследований в области образования .

Вольф, А. (1998). Оценка портфолио как национальная политика: Национальный совет по профессиональным квалификациям и его стремление к педагогической революции. Оценка в образовании: принципы, политика и практика, 5(3), 413-445.

Вольф, А. (2001). Оценка на основе компетентности. В Дж. Рэйвен и Дж. Стивенсон (ред.). Компетентность в обучающемся обществе (стр. 453-466). Нью-Йорк: Питер Лэнг.

Вольф А., Берджесс Р., Стотт Х. и Визи Дж. (1994). Проект обзора оценки GNVQ. Заключительный отчет. Лондон: Департамент занятости.

Янг, М. (2007). Рамки квалификаций: некоторые концептуальные вопросы. Европейский журнал образования, 42(4), 445-457.

Приложение 1

Ключевые различия между классическими GQ и квалификациями CASLO связаны с тем, как определяются (и, следовательно, оцениваются) их области обучения и стандарты оценивания. Приложение 1 иллюстрирует эти различия с использованием двух квалификаций уровня 3 одинакового размера:

1. AQA Level 3 Advanced GCE по географии (601/8940/X) ^{[сноска 34]}
2. Диплом Pearson BTEC уровня 3 в области обслуживания домашних животных (603/2549/5) ^{[сноска 35]}

Обе эти квалификации были доступны учащимся примерно в середине 2020 года, и обе были классифицированы как требующие 360 часов обучения под руководством учителя. Уровень A по географии оценивается в первую очередь внешним письменным экзаменом и фиксируется как 360 часов общего времени квалификации. Он оценивается от A * до E, в противном случае не классифицируется. Диплом в области обслуживания домашних животных является специалистом BTEC, который оценивается исключительно внутренними оценками, разработанными центром, и фиксируется как 430 часов общего времени квалификации. Он присуждает только проходной балл, в противном случае — неклассифицированный. Это квалификация, связанная с работой, для учащихся, которые работают или хотят работать в секторе услуг для домашних животных.

Диплом Pearson BTEC уровня 3 в сфере обслуживания домашних животных

Служба обслуживания домашних животных BTEC состоит из 6 единиц одинакового размера (60 GLH).

Обязательны пять единиц:

1. 1. Профессиональная практика для предприятий по обслуживанию домашних животных
2. 2. Управление бизнесом для предприятий по обслуживанию домашних животных
3. 3. Обслуживание клиентов в сфере обслуживания домашних животных.
4. 4. Защита животных
5. 5. Отраслевой исследовательский проект

Одна единица должна быть выбрана из следующих вариантов:

1. 1. Приют для домашних животных
2. 2. Переселение животных
3. 3. Профессиональные услуги для животных на дому у клиентов.
4. 4. Встречи с животными
5. 5. Розничная торговля домашними животными и мерчандайзинг
6. 6. Уход за водными животными
7. 7. Уход за герптилами

Документ спецификации квалификации (см. сноску) определяет область обучения для обязательных и необязательных единиц этой квалификации по отдельности. Этот домен указывается двумя способами. Во-первых, через набор гетеродинов (с АС) для каждого блока. Во-вторых, с помощью дополнительных заметок о том, «что необходимо изучить» для каждого раздела. Они показаны ниже (сначала LO для блока 3, затем примечания для LO3 блока 3):

Модуль 3: Обслуживание клиентов в сфере обслуживания домашних животных

Результаты обучения	Критерии оценки
РО 1. Узнайте, как эффективное обслуживание клиентов способствует успеху в бизнесе.	1.1 Описать различные подходы к обслуживанию клиентов . 1.2 Изучить, каким образом обслуживание клиентов в выбранном бизнесе может соответствовать ожиданиям и удовлетворению клиентов и соответствовать применимому действующему законодательству и правилам.
РО 2. Демонстрировать обслуживание клиентов в различных ситуациях, используя соответствующее поведение, чтобы оправдать ожидания	2.1 Демонстрировать соответствующие навыки общения и межличностного общения для удовлетворения потребностей клиентов в различных ситуациях 2.2 Анализировать собственные навыки обслуживания клиентов, выявляя пробелы, которые можно было бы улучшить 2.3 Представить четкий и эффективный план развития собственных навыков обслуживания клиентов
РО 3. Изучить методы, используемые для улучшения обслуживания клиентов в бизнесе.	3.1 Изучите методы, которые бизнес может использовать для мониторинга и улучшения обслуживания клиентов.

ЦО 3: Изучите методы, используемые для улучшения обслуживания клиентов в бизнесе.

3.1 Мониторинг и оценка обслуживания клиентов

1. использование исследований клиентов для выявления улучшений и отслеживания жалоб.
2. мониторинг с использованием:
   1. профили клиентов; данные, например типы клиентов, предоставляемые продукты или услуги, обслуживание и обслуживание клиентов
   2. источники информации, например, клиенты, коллеги, руководство
   3. методы, например анкеты, карточки комментариев, кружки качества, ящики для предложений, опросы персонала, тайные покупатели, запись и обмен информацией.
3. Оценка обслуживания клиентов, в том числе:
   1. анализировать ответы, например, уровень удовлетворенности клиентов, качество продукта или услуги, соблюдение нормативных требований, баланс между затратами и выгодами
   2. планирование изменений, решение проблем/жалоб.

3.2 Мониторинг и оценка обслуживания клиентов

1. снижение количества жалоб
2. увеличение прибыли
3. снижение текучести кадров
4. повторные заказы от постоянных клиентов

После получения результатов обучения по каждому разделу кандидатам дается задание, которое может принимать различные формы. Это включает в себя практические и письменные форматы. Задания выдаются учащимся с определенной датой начала, датой завершения и четкими требованиями к доказательствам, которые они должны предоставить. В качестве примера Пирсон рекомендует следующие форматы для назначений, нацеленных на каждую из 3 операционных систем Блока 3:

1. LO1: Брошюра для сотрудников, в которой рассказывается, что такое забота о клиентах, как ее поддерживать и о преимуществах ее эффективного выполнения.
2. LO2: Рефлексивное эссе, объясняющее, как решался ряд ситуаций, связанных с обслуживанием клиентов, и как это можно было бы улучшить в будущих ситуациях.
3. LO3: Опрос клиентов и план действий по улучшению обслуживания клиентов.

Следующие цитаты из документа спецификации иллюстрируют некомпенсационный подход к агрегированию оценочных суждений:

Оценщик должен сделать заключение по каждому критерию, что доказательства присутствуют и являются достаточно полными.

Когда учащийся завершил оценку по блоку, оценщик дает результат оценки по блоку. Чтобы получить Pass, учащийся должен соответствовать всем критериям оценки результатов обучения, демонстрируя соответствующий охват содержания модуля и, следовательно, достижения на заявленном уровне квалификации. Награда Pass представляет собой определенный уровень успеваемости и не может быть предоставлена ​​исключительно на основе выполнения учащимся заданий. Учащиеся, которые не удовлетворяют критериям оценки по модулям, должны быть отмечены как неклассифицированные.

AQA Level 3 Advanced GCE по географии

Часть области обучения для этой квалификации – ее основное содержание, которое является общим для всех уровней A по географии – определяется централизованно Министерством образования в документе, озаглавленном: «География: предмет GCE AS и A Level». декабрь 2014 года». Это включает в себя 4 основные темы знаний и понимания (плюс географические навыки и требования к работе на местах):

1. 1. круговорот воды и углерода
2. 2. ландшафтные системы
3. 3. глобальные системы и глобальное управление
4. 4. перемена места, перемена мест

Примечания для каждой темы контента располагаются на нескольких сторонах листа A4. Это основное содержание должно представлять 60% уровня A. АО разрабатывают свои собственные спецификации, но должны включать основное содержание.

Документ спецификации квалификации AQA (см. сноску) определяет полную область обучения для этой квалификации. Он расположен по площади, а не по единицам. Ниже перечислены 11 областей контента, а также дополнительные полевые исследования и требования к навыкам. Часть этого контента является обязательной. Таким образом, все учащиеся должны изучить ‘1. Круговорот воды и углерода». Другой контент является необязательным. Таким образом, учащиеся должны изучить либо ‘5. Опасности» или «6. Экосистемы в условиях стресса».

Спецификация AQA перечисляет полную область обучения уровня A следующим образом:

1. Физическая география
   1. 1. ландшафтные системы
   2. 2. [Набор вариантов 1] Жаркие пустынные системы и ландшафты
   3. 3. [Набор вариантов 1] Прибрежные системы и ландшафты
   4. 4. [Набор вариантов 1] Ледниковые системы и ландшафты
   5. 5. [Набор вариантов 2] Опасности
   6. 6. [Набор вариантов 2] Экосистемы в условиях стресса
2. География человека
   1. 7. Глобальные системы и глобальное управление
   2. 8. Смена мест
   3. 9. [Набор вариантов 3] Современная городская среда
   4. 10. [Набор вариантов 3] Население и окружающая среда
   5. 11. [Набор вариантов 3] Безопасность ресурса
3. Полевые исследования по географии
   1. 12. Требования к полевым работам
   2. 13. Требования к расследованию
4. Географические навыки
   1. 14. Контрольный список географических навыков

Спецификация AQA иллюстрирует каждую область контента следующим образом (для области «5. Опасности»):

1. 3.1.5 Опасности Этот необязательный раздел нашей спецификации посвящен литосфере и атмосфере, которые время от времени, но регулярно представляют естественные опасности для населения, часто в драматической, а иногда и в катастрофической форме. Изучая происхождение и природу этих опасностей и различные способы, которыми люди реагируют на них, учащиеся могут взаимодействовать со многими аспектами отношений между людьми и средой, в которой они живут. Изучение этого раздела дает возможность упражняться и развивать навыки наблюдения, измерения и геопространственного картографирования, а также навыки работы с данными и статистические навыки, в том числе связанные с полевыми работами и вытекающие из них.
2. 3.1.5.1 Понятие опасности в географическом контексте Характер, формы и потенциальное воздействие опасных природных явлений (геофизических, атмосферных и гидрологических). Восприятие опасности и его экономические и культурные детерминанты. Характерные человеческие реакции – фатализм, предсказание, корректировка/адаптация, смягчение последствий, управление, распределение риска – и их связь с возникновением опасности, интенсивностью, величиной, распространением и уровнем развития. Парковая модель реакции человека на опасность. Цикл управления опасностями.
3. 3.1.5.2 Тектоника плит Строение Земли и внутренние источники энергии. Тектоническая теория плит эволюции земной коры: тектонические плиты; движение плиты; гравитационное скольжение; толчок конька, тяга плиты; конвекционные течения и растекание морского дна. Деструктивные, конструктивные и консервативные края плиты. Характерные процессы: сейсмичность и вулканичность. Сопутствующие формы рельефа: молодые складчатые горы, рифтовые долины, океанические хребты, глубоководные желоба и островные дуги, вулканы. Магматические шлейфы и их связь с движением плит.
4. 3.1.5.3 Вулканические опасности Характер вулканической активности и ее связь с тектоникой плит: формы вулканической опасности: пылающие волны, потоки лавы, сели, пирокластические и пепловые осадки, газы/кислотные дожди, тефра. Пространственное распределение, величина, частота, регулярность и предсказуемость опасных явлений. Воздействия: первичные/вторичные, экологические, социальные, экономические, политические. Краткосрочное и долгосрочное реагирование: управление рисками, предназначенное для уменьшения последствий опасности посредством обеспечения готовности, смягчения последствий, предотвращения и адаптации. Воздействия и реакция человека, о чем свидетельствует недавнее извержение вулкана.
5. 3.1.5.4 Сейсмическая опасность Природа сейсмичности и ее связь с тектоникой плит: формы сейсмической опасности: землетрясения, ударные волны, цунами, разжижение, оползни. Пространственное распределение, случайность, величина, частота, регулярность, предсказуемость опасных явлений. Воздействия: первичные/вторичные; экологические, социальные, экономические, политические. Краткосрочные и долгосрочные ответы; управление рисками, направленное на снижение воздействия опасности посредством обеспечения готовности, смягчения последствий, предотвращения и адаптации. Воздействия и реакция человека, о чем свидетельствует недавнее сейсмическое событие.
6. 3.1.5.5 Опасности штормов Природа тропических штормов и их основные причины. Формы штормовой опасности: сильные ветры, штормовые нагоны, прибрежные затопления, затопления рек и оползни. Пространственное распределение, величина, частота, регулярность, предсказуемость опасных явлений. Воздействия: первичные/вторичные, экологические, социальные, экономические, политические. Краткосрочное и долгосрочное реагирование: управление рисками, предназначенное для уменьшения последствий опасности посредством обеспечения готовности, смягчения последствий, предотвращения и адаптации. Воздействия и реакция человека, о чем свидетельствуют два недавних тропических шторма в контрастных районах мира.
7. 3.1.5.6 Пожары в природе Характер природных пожаров. Условия, благоприятствующие интенсивным лесным пожарам: тип растительности, характеристики топлива, климат и недавняя погода и поведение пожаров. Причины пожаров: природные и антропогенные. Воздействия: первичные/вторичные, экологические, социальные, экономические, политические. Краткосрочные и долгосрочные ответы; управление рисками, направленное на снижение воздействия опасности посредством обеспечения готовности, смягчения последствий, предотвращения и адаптации. Воздействие и реакция человека, о чем свидетельствует недавний лесной пожар.
8. 3.1.5.7 Тематические исследования Тематическое исследование мультиопасной среды за пределами Великобритании для иллюстрации и анализа характера опасностей и представленных социальных, экономических и экологических рисков, а также того, как человеческие качества и меры реагирования, такие как устойчивость, адаптация, смягчение последствий и управление способствовать его продолжающейся оккупации человеком. Тематическое исследование в локальном масштабе определенного места в опасной обстановке, чтобы проиллюстрировать физическую природу опасности и проанализировать, как экономический, социальный и политический характер его сообщества отражает наличие и воздействие опасности, а также реакцию сообщества на риск. .

В дополнение к этой спецификации содержания AQA также предоставляет дополнительные учебные ресурсы, включая утвержденные учебники, схемы работы и планы уроков.

Требования к оценке для уровня A по географии указаны Ofqual в документе, озаглавленном: «Условия предметного уровня GCE и требования к географии». март 2015 года». К ним относятся требования, касающиеся разрешенного объема неэкзаменационной оценки (20%, для полевых исследований) и требования, касающиеся характера и баланса целей оценки (AObs): демонстрация знаний и понимания (30-40%), применение знаний. и понимание (30-40%), и использование навыков (20-30%).

Таблица А1. Схема маркировки Зоны 1 географии AQA NEA.

Критерии оценки	Уровень 4 10-9 баллов	Уровень 3 8-6 баллов	2 уровень 5-3 балла	1 уровень 2-1 балл	Уровень 1 0 баллов
Определить исследовательские вопросы, лежащие в основе полевых исследований. (AOb3)	Вопрос(ы) исследования эффективно идентифицирован и полностью связан со спецификацией.	Вопрос(ы) исследования надежно идентифицирован и явно связан со спецификацией.	Вопрос (вопросы) исследования, который является частичным. Ссылки на спецификацию неточные	Вопрос(ы) исследования является обобщенным. Ссылки на спецификацию являются предварительными	Не соответствует критериям
Изучить соответствующие литературные источники, понять и записать теоретический или сравнительный контекст для исследовательского вопроса. (AOb3)	Хорошо поддерживается тщательным использованием соответствующих литературных источников. Теоретический и сравнительный контексты хорошо понятны и хорошо сформулированы.	Поддерживается целенаправленным использованием соответствующих литературных источников. Теоретический и сравнительный контексты последовательно понимаются и излагаются	Поддерживается некоторым использованием соответствующих литературных источников. Теоретический и сравнительный контексты сформулированы непоследовательно.	Ограниченное или базовое использование соответствующих литературных источников. Теоретический и сравнительный контексты изолированы	Не соответствует критериям

Квалификация по географии уровня AQA A оценивается (в конце курса) по 3 компонентам:

1. 1. физическая география – письменный экзамен (120 баллов)
2. 2. география человека – письменный экзамен (120 баллов)
3. 3. полевые работы – отчет о расследовании от 3000 до 4000 слов (60 баллов)

Письменные компоненты оценивают аналогичный баланс AObs (сосредоточены в основном на первой и второй задаче). Это отличается от баланса, оцененного в ходе полевых исследований (сосредоточенных в основном на третьей задаче).

Полевое исследование представляет собой неэкзаменационную оценку (NEA), оцениваемую центром, которая проходит внешнюю модерацию. Учителя должны ставить отдельную оценку по каждой области полевой работы – введение, методы исследования, методы анализа, выводы – используя схему оценок на основе уровней для каждой области. Это показано в таблице A1 для области 1 (введение), которая отмечена из 10.

Приложение 2

Три связанных исследовательских проекта, предпринятых исследователями Ofqual, обеспечивают дополнительный контекст для настоящего исследования:

1. 1. Повышение оценок в квалификациях (CASLO) BTEC
2. 2. Практика оценивания в VTQ
3. 3. внутренняя оценка в рамках VTQ

Инфляция оценки BTEC

Исследование инфляции уровня Ofqual (Cuff, Zanini, & Black, 2018) было проведено в контексте резкого роста использования BTEC уровня 3 за предыдущее десятилетие. Это произошло одновременно с резким ростом доли когорты BTEC, получившей самые высокие оценки. Особенно после того, как с 2010 года были предприняты действия по прекращению повышения оценок для уровней A, это вызвало вопрос о том, могло ли повышение оценок также происходить для BTEC. В отчете довольно определенно сделан вывод о том, что для BTEC был элемент завышения оценок.

Хотя это не исследовалось напрямую, в отчете высказывалось предположение, что завышение оценок может быть объяснено интенсивным использованием внутренней оценки в (CASLO) BTEC. Например:

Эти результаты могут быть объяснены различиями в процессах оценки/награждения, которые существуют для «старого стиля» L3 BTEC и уровней A. Например, в то время как для уровней A используется компенсационный подход, BTEC L3 «старого стиля» оцениваются в соответствии со ссылкой на твердые критерии (твердые в том смысле, что кандидаты должны считаться достигшими всех критериев прохождения для получения прохода, и все достоинства критерии достижения заслуги и др.). Поскольку этот подход не допускает какой-либо корректировки границ оценок (нет «оценок»), эти критерии устанавливают стандарт и, таким образом, становятся методом поддержания стандартов. Возможно, из-за мер подотчетности учителя, участвующие в выставлении оценок, заинтересованы в повышении результатов с течением времени, что этот метод не может контролировать. В конечном счете, этот метод уязвим к давлению завышения оценок.

(Кафф и др., 2018 г., стр. 14)

Действительно, хотя это исследование было сосредоточено на BTEC L3 «старого стиля», возможно, что эти результаты могут быть обобщены на другие аналогичные квалификации, демонстрирующие повышение квалификации (т.е. те, которые используют аналогичные модели поддержания стандартов в аналогичных контекстах).

(Кафф и др., 2018 г., стр. 7)

Таким образом, отчет поднял общие вопросы, касающиеся того, как работают квалификации CASLO, в том числе их устойчивость к дрейфу стандартов.

Практика оценивания

Исследование Ofqual по классификации VTQ (Newton, 2018) проводилось в значительной степени параллельно с исследованием инфляции оценок BTEC. Она была опубликована примерно в то же время. В качестве первого в своем роде опроса был принят подход «глубокого погружения». Он подробно изучил, как работает каждая из 18 выбранных квалификаций, многие из которых были квалификациями CASLO, на основе документального анализа, дополненного беседами с офицерами АО.

Исследование выявило широкий спектр практик, которые были классифицированы и обсуждены с точки зрения лежащих в их основе моделей измерения и того, как они представляют свои стандарты измерения. Были выявлены вопросы, касающиеся множества фундаментальных технических вопросов. К ним относятся: стандартизация, классификация и выравнивание, сопоставимость, взвешивание, нагрузка и обратная промывка, а также прозрачность. Главный вывод заключался в том, что оценка VTQ в Англии не основывается на прямом, общепринятом наборе принципов, регулирующих передовую практику. Это подняло вопрос о том, как могут выглядеть такие принципы.

Стандартизация суждений оценщиков была выделена как серьезная потенциальная угроза действительности квалификаций CASLO — как на проходном, так и на более высоком уровне. Это вызвало вопросы о том, как АО могут реагировать на такие угрозы при проведении квалификаций CASLO.

Внутренняя оценка

Проект внутренней оценки Ofqual (Lockyer & Cadwallader, 2020) был направлен на то, чтобы понять, как работает внутренняя оценка для регулируемых VTQ, на основе интервью с учителями-оценщиками. Это было основано на выборке из 6 квалификаций, начиная с уровня 2 и уровня 3, в области строительства, прически и красоты и информационных технологий. Он включал как «сильные», так и «мягкие» профессиональные квалификации, то есть те, которые ведут непосредственно к трудоустройству, и те, которые, как правило, ведут к дальнейшему обучению.

Во многом в соответствии с исследованием практики выставления оценок одним из самых поразительных выводов из этого исследования было то, насколько разнообразен, сложен и динамичен сектор VTQ. Выбранные квалификации отражали разных учащихся, обучающихся в разных условиях и с очень разными целями. Также были различия в том, как центры проводили одни и те же VTQ.

В отчете сделано несколько замечаний, касающихся конкретно обеспечения качества:

Различные оценщики, проводящие этот конкретный курс, объяснили, что цель ВОК не в том, чтобы гарантировать качество итоговых оценок как таковых, а в том, чтобы убедиться, что центр способен выносить и обеспечивать точные и надежные суждения.

(Локьер и Кадвалладер, 2020 г., стр. 45)

Когда мы попросили оценщиков описать ВОК, мы ожидали, что ответы будут сосредоточены на ее мониторинговой функции. На самом деле, оценщики считали, что ВОК играет еще одну жизненно важную роль. В 14 из 20 центров оценщики обсудили поддержку, которую они получают в рамках ВОК. Семь оценщиков считали, что центральная поддержка была центральной целью процесса ВОК. Некоторые считали, что EQA была не столько проверкой работы центра, сколько формой заверения и помощи центра.

(Локьер и Кадвалладер, 2020 г., стр. 47)

Оценщики в 15 центрах обсудили, корректировались или отменялись ли когда-либо их оценочные решения. Девять сказали нам, что у них не было опыта изменения решений об оценке в этих конкретных VTQ.

Она действительно могла бы что-то перевернуть, если бы один из нас не принял правильное решение. Но я не думаю, что это когда-либо случалось. Я имею в виду все времена, когда я был здесь, и в моем последнем колледже у нас было [имя АО], и они никогда не отменяли ничего из того, что мы решили.

(Локьер и Кадвалладер, 2020 г., стр. 49)

Приложение 3

Следующие вопросы легли в основу интервью с офицерами АО.

1. Как устанавливаются стандарты единиц

Вы приняли подход в стиле QCF к определению единиц для этой квалификации, разложив их с точки зрения результатов обучения и критериев оценки, а также указав, что все результаты обучения должны быть достигнуты, чтобы пройти каждую единицу…

1.1.1 Это просто потому, что раньше это была квалификация QCF, поэтому вам пришлось принять этот подход, или потому, что вы считаете, что это лучший подход для такой квалификации (или оба, или ни то, ни другое)?

Результаты обучения и критерии оценки, указанные для каждого раздела, определяют их содержание и стандарты…

1.2.1 Как было принято решение о том, какими должны быть результаты обучения и критерии оценки для каждого модуля?

2. Как оценщики применяют стандартные единицы измерения

Оценщики должны иметь глубокое (и согласованное) понимание стандартов для каждого модуля, чтобы делать точные и последовательные оценочные суждения…

2.1.1 Важно/желательно ли, чтобы оценщики имели профессиональные или отраслевые знания, чтобы иметь возможность точно и последовательно применять стандартные единицы?

2.1.2 Существует ли профессиональное «сообщество практиков» для этой квалификации (организация или сеть с чувством ответственности за свои стандарты) и считают ли себя оценщики членами этого сообщества?

2.1.3 В дополнение к результатам и критериям для каждого модуля, предоставляете ли вы оценщикам какие-либо другие «инструменты», помогающие им применять стандарты модуля (например, руководство, примеры материалов, схемы выставления оценок)?

Когда оценщики оценивают успеваемость учащихся, используя критерии оценки, связанные с каждым результатом обучения…

2.2.1 Ожидается ли, что оценщики будут выносить суждения в первую очередь на уровне результатов обучения или в первую очередь на уровне критериев оценки?

2.2.2 Разрешается или поощряется ли оценщикам давать учащимся «в пользу сомнения» при любых обстоятельствах (если да, то при каких обстоятельствах и почему это может быть полезно)?

2.2.3 Ожидается ли, что большинство, если не все учащиеся, достигнут компетентности в отношении определенного результата обучения (или набора результатов обучения) до того, как они будут официально оценены по нему (им)?

2.2.4 Что дает вам уверенность в том, что все оценщики способны одинаково понимать и применять единицы/квалификационные стандарты?

3. Как специалисты по обеспечению качества обеспечивают качество

Обеспечение качества часто включает множество взаимосвязанных процессов (утверждение в центре, внутренняя стандартизация, внешняя проверка и т. д.)…

3.1.1 Если бы вам нужно было перечислить процессы обеспечения качества, которые вы считаете наиболее важными для достоверности квалификации, какие бы они были?

3.1.2 Каковы «секреты» того, как работает обеспечение качества для этой квалификации (т. е. особенности/причины, которые могут быть неочевидны для случайного наблюдателя)?

Одним из ключевых компонентов обеспечения качества является (то, что Ofqual теперь называет) проверка стандартов, которая включает в себя внешний специалист по обеспечению качества, тщательно изучающий образцы работы, оцениваемой центром…

3.2.1 Когда внешний специалист по обеспечению качества тщательно изучает образцы центрально оцениваемой работы для этой квалификации, как бы вы описали, чего они намереваются достичь с помощью этого процесса?

3.2.2 Считаете ли вы, что этот процесс очень похож или сильно отличается от того, что делают модераторы GCSE, когда они тщательно изучают образцы оцениваемых работ (на основе «второй оценки» образцов оцениваемых центром работ)?

3.2.3 Как часто внешние специалисты по обеспечению качества склонны выявлять значительные или серьезные проблемы с суждениями оценщиков для этой квалификации?

3.2.4 Как работает процесс проверки стандартов для центров с DCS (т. е. можно ли запросить сертификаты до проведения проверки стандартов)?

3.2.5 Что дает вам уверенность в том, что все внешние специалисты по обеспечению качества способны одинаково понимать и применять стандарты единиц/квалификаций?

4. Подход в стиле QCF

Размышляя о подходе в стиле QCF в более общем плане (его упор на внутреннюю оценку, его спецификацию с точки зрения LO или AC и его упор на мастерство)…

4.1.1 Каковы его основные сильные стороны (для обучения, обучения или оценки)?

4.1.2 Представляет ли это какие-либо серьезные проблемы (для преподавания, изучения или оценки) и как их лучше всего преодолеть?

4.1.3 Подходит ли подход в стиле QCF к определенным обстоятельствам (например, к определенным целям, определенным учащимся, определенным контекстам)?

5. Справочная информация

Мы воспользуемся последним разделом нашего интервью, чтобы убедиться, что мы собрали всю справочную информацию, которую мы надеемся собрать, касающуюся вашей квалификации и того, как она работает. Большая часть этого уже собрана — с использованием шаблона Excel — на основе документов, которые вы уже предоставили. Мы воспользуемся последним разделом этого интервью, чтобы заполнить оставшиеся пробелы.

Приложение 4

Таблица A2 описывает структуру каждой из выбранных квалификаций в терминах единиц и LO, определяя точные когнитивные или поведенческие требования, связанные с каждым утверждением LO. Эти сводки были основаны на полном наборе единиц для каждой квалификации, хотя там, где требовался выбор варианта, были выбраны примерные единицы.

Таблица А2. Структура ОС в единицах CASLO.

Диплом City & Guilds Level 2 в области здравоохранения и социального обеспечения (взрослые) для Англии

Девять обязательных единиц:

• 23 GLH, 4 LO: 1 x Понимать, 3 x Уметь [14 AC]
• 23 GLH, 4 LO: 1 x Понимать, 3 x Уметь [13 AC]
• 20 GLH, 3 LO: 1 x Понимать, 1 x Уметь, 1 x Уметь [8 AC]
• 9 GLH, 3 LO: 2 x Понимание, 1 x Знать, как [6 AC]
• 26 GLH, 5 LO: 2 x Понимание, 3 x Умение [15 AC]
• 14 GLH, 3 LO: 1 x Понимать, 2 x Уметь [9 AC]
• 33 GLH, 6 LO: 1 x Понимать, 5 x Уметь [20 AC]
• 33 GLH, 9 LO: 4 x Понимать, 2 x Уметь, 3 x Уметь [26 AC]
• 10 GLH, 3 LO: 1 x Понимать, 1 x Уметь, 1 x Уметь [6 AC]

Один из варианта B (пример показан ниже):

• 14 GLH, 2 LO: 2 x Знать [8AC]

Пять из опционального C (пример показан ниже):

• 24 GLH, 3 LO: 1 x Понимать, 2 x Уметь [12 AC]
• 19 GLH, 2 LO: 2 x Уметь [8 AC]
• 23 GLH, 5 LO: 1 x Понимать, 4 x Уметь [20 AC]
• 19 GLH, 5 LO: 1 x Понимать, 4 x Уметь [18 AC]
• 20 GLH, 3 LO: 1 x Понимать, 2 x Уметь [20 AC]

Диплом CMI уровня 5 в области управления и лидерства

8 дополнительных блоков (примеры показаны ниже):

• 25 GLH, 3 LO: 3 x Понимание [12 AC]
• 25 GLH, 3 LO: 2 x Понимать, 1 x Знать, как [8 AC]
• 18 GLH, 4 LO: 2 x Понимать, 1 x Знать, 1 x Знать [8 AC]
• 16 GLH, 2 LO: 2 x Понимание [6 AC]
• 24 GLH, 4 LO: 1 x Понимать, 3 x Знать, как [13 AC]
• 22 GLH, 4 LO: 3 x Понимание, 1 x Умение [9 AC]
• 23 GLH, 3 LO: 2 x Понимание, 1 x Знать, как [9 AC]
• 16 GLH, 2 LO: 1 x Понимать, 1 x Знать, как [8 AC]

Сертификат Highfield уровня 2 в сфере обслуживания клиентов (RQF)

Две обязательные единицы:

• 50 GLH, 5 LO: 1 x Описать, 2 x Понять, 2 x Идентифицировать [32 AC]
• 65 GLH, 4 LO: 2 x Применить, Продемонстрировать, Сообщить [28 AC]

Диплом UAL уровня 3 в области производства и технологий креативных медиа

Восемь обязательных единиц:

• 12 GLH, 2 LO: 2 x Понимание [3 AC]
• 10 GLH, 3 LO: 2 x Понимать, 1 x Уметь [4 AC]
• 10 GLH, 3 LO: 2 x Понимать, 1 x Уметь [5 AC]
• 9 GLH, 2 LO: 2 x Понимание [5 AC]
• 9 GLH, 3 LO: 3 x Уметь [5 AC]
• 9 GLH, 3 LO: 3 x Уметь [5 AC]
• 9 GLH, 3 LO: 3 x Уметь [5 AC]
• 36 GLH, 4 LO: 1 x Понимать, 3 x Уметь [5 AC]

Награда QA уровня 3 в неотложной педиатрической первой помощи (RQF)

Одна обязательная единица:

• 6 GLH, 7 LO: 1 x Понимать, 2 x Уметь, 4 x Уметь [19 AC]

Сертификат EAL уровня 2 по применению методов улучшения бизнеса

Семь обязательных единиц:

• 6 GLH, 1 LO: 1 x Понять, как внести свой вклад в [3 AC]
• 12 GLH, 1 LO: 1 x Понять, как внести свой вклад в [7 AC]
• 14 GLH, 1 LO: 1 x Понять, как внести свой вклад в [7 AC]
• 12 GLH, 1 LO: 1 x Понять, как внести свой вклад в [7 AC]
• 8 GLH, 1 LO: 1 x Понять, как внести свой вклад в [7 AC]
• 8 GLH, 1 LO: 1 x Понять, как внести свой вклад в [7 AC]
• 10 GLH, 1 LO: 1 x Понять, как внести свой вклад в [7 AC]