Главная

Центр подготовки руководителей и команд цифровой трансформации

Оглавление

Меню

Вернуться к 2. Модель компетенций команды цифровой трансформации в системе госуда

Приложение 3

Методология оценки компетенций участников цифровой трансформации

Общие положения

Терминологической и семантической основой разработки методологии оценки личностных и профессиональных компетенций в области цифровой трансформации (далее — оценка компетенций) государственных служащих и работников учреждений (далее — оцениваемые) является модель компетенций команды цифровой трансформации в системе государственного управления (далее — модель компетенций). Модель компетенций одобрена решением комиссии Ученого совета Российской академии народного хозяйства и государственной службы при Президенте РФ (далее — Академии) по планированию, контролю выполнения и приемке результатов НИР государственного задания Академии (протокол № 14.3/02 от 26.02.2021 г.).

Модель компетенций включает в себя четыре связанных между собой блока: базовые цифровые компетенции, личностные компетенции (шесть личностных компетенций), профессиональные компетенции (шесть профессиональных компетенций) и цифровую культуру.

Каждая компетенция имеет уровень проявления, который выражен в числовом диапазоне от 0 до 3. Описание уровней проявления компетенций представлено в таблице 1.

Уровень проявления		Описание уровня проявления компетенций
Цифровое значение	Текстовое значение	Описание уровня проявления компетенций
0	Отсутствует проявление компетенции	Отсутствует проявление компетенции или преобладает поведение, противоположное целевому
1	Компетенция недостаточно выражена	Компетенция проявляется на базовом уровне. Оцениваемый знает и применяет некоторые инструменты и методы, но данная компетенция не является его сильной стороной. Рекомендуется сделать акцент на ее развитии
2	Компетенция достаточно выражена	Компетенция выражена на достаточном уровне, большинство характеристик и индикаторов являются сильными сторонами оцениваемого и носят позитивный характер, негативные проявления на минимальном уровне. Тем не менее отдельные элементы компетенции требуют развития
3	Компетенция ярко выражена	Компетенция проявляется на превосходном уровне и является сильной стороной оцениваемого. Подавляющее число характеристик и индикаторов — позитивные. Оцениваемый демонстрирует соответствие характеристикам и индикаторам компетенции. Способен транслировать знания и умения, необходимые для развития данной компетенции у других

Таблица 1
Описание уровней проявления компетенций

Для каждой роли предусмотрены референтные значения — минимально необходимый и целевой уровни проявления компетенций. Совокупность значений в пределах референтных составляет зону компетентности.

Для развития системы оценки компетенций может быть предложено формирование профилей ролей оцениваемых или категорий ролей, сформированных по принципу однородности выполняемых ими функций, оцениваемых без изменения основной процедуры проведения оценки, подсчета и интерпретации ее результатов.

2. Организационные условия проведения оценки компетенций

Оценка компетенций представляет собой использование оцениваемым специальных инструментов оценки (с учетом особенностей заполнения, предусмотренных для каждого инструмента оценки) в электронном виде с использованием информационно-телекоммуникационных технологий. Для организации проведения оценки:

Создана ИТ-платформа для автоматизации оценки компетенций и формирования реестра высококвалифицированных руководителей и специалистов цифровой трансформации госуправления, функциональность которой позволяет автоматизировать сбор, обработку и хранение данных оценки в соответствии с настоящей методологией.
Определены типы инструментов оценки компетенций. Содержание инструментов оценки является закрытой информацией и не подлежит полной или частичной публикации и распространению в любом возможном виде.

Оценка компетенций проводится по принципам, соблюдение которых является ключевым фактором, обеспечивающим необходимую точность результатов оценки:

Принцип полноты информирования заключается в предоставлении всей необходимой информации участникам оценки, включая разъяснение порядка оценки, использования и доступа к результатам оценки. Не допускается сокрытие какой-либо информации об оценке, за исключением конкретного содержания инструментов оценки компетенций.

Принцип партнерства заключается во взаимовыгодных отношениях между организатором и участниками оценки, равном доступе и возможностях использования результатов оценки в целях повышения эффективности решения задач в сфере цифровой трансформации.

Принцип доверия заключается в создании атмосферы открытости и доверия при взаимодействии организатора и участников оценки.

Принцип системности заключается в комплексном подходе к оценке компетенций и использованию ее результатов в дальнейшей работе, в том числе для формирования индивидуальных планов профессионального развития, подготовки предложений в части мероприятий по повышению компетенций, отслеживания динамики их развития и т.д.

Принцип равенства заключается в едином подходе к работе со всеми участниками оценки компетенций независимо от их текущей должности, статуса и т.д.

В ходе процедуры оценки компетенций параллельно иные виды оценки (карьерные тесты, опросы удовлетворенности и т.д.) не проводятся, поскольку это может привести к искажению результатов основной оценки компетенций.

Оценка компетенций проводится не чаще одного раза в год, длительность процедур оценки компетенций не может составлять более 30 календарных дней без учета времени на обработку результатов оценки компетенций.

3. Оценка уровня проявления профессиональных компетенций

Основным инструментом оценки профессиональный компетенций (ПК) являются тестовые задания, выполнение которых ограничено по времени. Количество вариантов тестов для каждой категории оцениваемых составляет не менее двух. Вариативность обеспечивается за счет рандомного формирования набора вопросов из общей базы.

Каждый вариант теста содержит 54 тестовых задания, которые равномерно распределяются по количеству характеристик из расчета три вопроса на одну характеристику.

На решение варианта теста устанавливается временное ограничение — не более 60 минут. Дата, место и время проведения тестирования не ограничены и определяются техническими возможностями и оцениваемым в рамках периода, отведенного на проведение процедуры оценки (не более 30 календарных дней).

При формировании варианта теста последовательность вопросов соответствует иерархической структуре оцениваемых компетенций и их характеристик.

В качестве тестовых заданий возможны следующие типы вопросов:

простой выбор (один ответ из 4–5 возможных вариантов);
сложный выбор (два правильных ответа и более из 4–5 возможных вариантов);
установление соответствия между понятиями и их характеристиками;
определение последовательности и логических цепочек;
ситуативный вопрос (описание проблемной ситуации для выбора одного или нескольких наиболее подходящих вариантов решений).

Методология формирования тестового задания для оценки профессиональных компетенций, которая послужила основой формирования вопросной базы, представлена на рисунке 1.

Рисунок 1
Методология формирования тестового задания

Тестовые задания и варианты ответов к ним могут быть представлены в интерактивной форме, сопровождаться иллюстрациями, таблицами, формулами и другими элементами.

Тестовые задания распределены по уровням сложности:

уровня сложности (простые по сложности задания) позволяют провести оценку минимального уровня компетентности: знание фактов, понятий, принципов, а также понимание и умение ориентироваться в определенной области (по типу тестовых заданий — только простой выбор).

уровня сложности (средние по сложности задания) позволяют выявить умения и их применение в знакомой ситуации: анализировать, сравнивать, обобщать и систематизировать явления, процессы, применять некоторые специальные знания в определенной области (по типу — простой выбор, сложный выбор, установление соответствия, определение последовательности).

уровня сложности (сложные задания) позволяют выявить специальные знания, умения, навыки в определенной области и их активное применение в нетривиальных и сложных ситуациях (по типу — простой выбор, сложный выбор, установление соответствия, определение последовательности, кейс-тест).

Для тестовых заданий разной сложности определено собственное количество баллов:

1-й уровень сложности (простые по сложности задания) — 1 балл;
2-й уровень сложности (средние по сложности задания) — 2 балла;
3-й уровень сложности (сложные задания) — 3 балла.

В зависимости от целевого уровня проявления компетенций конкретной роли определяется состав тестовых заданий по сложности. Учитывается правило: среднее арифметическое значение набора всех тестовых заданий по сложности в баллах равняется целевому уровню

Обработка результатов тестирования проводится путем подсчета числа верных ответов на ИТ-платформе для автоматизации оценки компетенций и формирования реестра высококвалифицированных руководителей и специалистов цифровой трансформации. Цели обработки результатов — определение уровня проявления каждой профессиональной компетенции и последующее сравнение результата с референтными значениями.

Оптимальным значением верных ответов, отражающих целевой уровень проявления компетенции, составляет 75%.

Расчет уровня проявления компетенций по результатам прохождения тестовых заданий рассчитывается по формуле (1):

где уровень ПКрезультат — искомый уровень проявления профессиональной компетенции; уровень ПКцель — целевой уровень проявления исследуемой профессиональной компетенции для заданной роли;

Ar — количество заданных вопросов.
A — количество верных ответов по компетенции;

Полученный результат округляется в большую сторону до десятых значений.
При получении значения результата больше 3 значение уровня проявления компетенции определяется как 3.

Сравнивая полученный результат по каждой компетенции с ее референтными значениями, можно сделать следующие выводы:

Компетенция ярко выражена: результат соответствует целевому уровню, предусмотренному для компетенции данной оцениваемой категории, или выше него.

Компетенция в пределах зоны компетентности: результат соответствует референтным значениям от минимально необходимого уровня (включительно) до целевого уровня (исключительно), предусмотренного для компетенции данной оцениваемой категории.

Компетенцию рекомендуется развивать: результат ниже минимально необходимого уровня, предусмотренного для компетенции данной оцениваемой категории.

При определении результатов оценки профессиональных компетенций также проводится оценка ответов на вопрос по каждой характеристике в составе компетенции. Степень выраженности каждой характеристики зависит от количества верных ответов на три предусмотренных вопроса независимо от их уровня сложности и определяется согласно таблице 2.

Таблица 2
Проявление характеристик компетенций

4. Оценка уровня проявления личностных компетенций

Для оценки личностных компетенций (ЛК) используются три вида инструментов оценки:

личностный опросник;
ситуационный опросник;
кейсовые задания.

Все инструменты оценки направлены на определение уровня проявления поведенческих индикаторов личностных компетенций. В свою очередь, совокупность значений уровней проявления индикаторов личностных компетенций используется для расчета уровня проявления самой компетенции. Результаты оценки личностных компетенций, получаемые по отдельности от отдельного инструмента оценки, не могут говорить об уровне проявления той или иной компетенции или ее индикаторов.

Прохождение разных видов инструментов оценки личностных компетенций может быть отложено во времени. Очередность прохождения разных видов инструментов оценки не имеет значения и остается на усмотрение оцениваемого.

Прохождение оценки личностных компетенций осуществляется в доверительной и комфортной для оцениваемых обстановке. На точность результатов оценки личностных компетенций влияет текущее психоэмоциональное состояние оцениваемого. Не рекомендуется проходить оценку лицам, у которых есть видимые изменения состояния: после конфликтных или сложных рабочих и(или) бытовых ситуаций, с признаками усталости, стресса и т.д. В данном случае оценку рекомендуется перенести на определенный период до нормализации состояния оцениваемого в рамках отведенного на оценку временного периода (не более 30 календарных дней).

Личностный опросник оценивает личностные характеристики, которые отражают типичное или предпочитаемое поведение человека в повседневных личных и профессиональных ситуациях. Архитектура личностного опросника представлена на рисунке 2.

Рисунок 2
Архитектура личностного опросника

Личностный опросник представляет собой перечень утверждений, которые необходимо оценить с точки зрения выраженности и встречаемости данного поведения. Опросник состоит из 30 утверждений, по одному утверждению на каждый поведенческий индикатор модели компетенций. Ограничение по времени на работу с личностным опросником составляет 30 минут. Опросник разрабатывается с учетом следующих правил:

Структура опросника повторяет структуру личностных компетенций.
Характер утверждений соответствует описанию поведенческих индикаторов и заключается в оценке текущего личного поведения оцениваемого или его умозаключений по некоторым паттернам поведения.

Ответ на каждое утверждение оценивается по семибалльной шкале Лайкерта:

1 — полностью не согласен;
2 — не согласен;
3 — скорее не согласен;
4 — ни то, ни другое;
5 — скорее согласен;
6 — согласен;
7 — полностью согласен.

Расчет результата проводится только в целом по компетенции в рамках представленного инструмента, расчет и выводы по каждому индикатору компетенции не предусмотрены.

Для расчета в зависимости от выбранного ответа ему присваивается балл от 1 до 7 согласно таблице 3.

Таблица 3
Шкала оценки ответов по личностному опроснику

Максимальное значение по шкале уровня компетентности соответствует максимально возможному значению суммы баллов за ответы на утверждения в рамках каждой исследуемой компетенции и составляет 35 баллов (5 поведенческих индикаторов компетенций × 1 утверждение × 7 баллов).

Расчет уровня проявления компетенций в рамках личностного опросника рассчитывается по формуле (2):

— искомый уровень проявления личностной компетенции;

баллы за утверждения — сумма набранных баллов за ответы на все утверждения в рамках исследуемой личностной компетенции и инструмента оценки.

Полученный результат округляется в большую сторону до десятых значений.

Ситуационный опросник представляет собой совокупность примеров проблемной ситуации, на основании которых оцениваемому нужно выбрать вариант действия или поведения, как он бы решил имеющуюся проблему. Архитектура ситуационного опросника представлена на рисунке 3.

Рисунок 3
Архитектура ситуационного опросника

Опросник состоит из 30 ситуаций, по одной ситуации на каждый поведенческий индикатор модели компетенций. Ограничение по времени выполнения ситуационного опросника составляет 30 минут. Опросник разрабатывается с учетом следующих правил:

Структура опросника повторяет структуру личностных компетенций.

Утверждения представляют собой мини-кейсы с закрытыми вопросами.

Характер утверждений соответствует описанию поведенческих индикаторов.

Используются реальные рабочие ситуации, соответствующие профессиональным задачам оцениваемых.

По структуре каждый вопрос относится к простому типу с выбором одного варианта ответов (решений) из четырех возможных.

Варианты решений описанной в вопросе ситуации могут быть в равной степени применены (отсутствует фактор верного/неверного поведения или решения), вместе с тем каждое решение имеет разную степень соответствия оцениваемому поведенческому индикатору по балльной шкале от 4 (полностью соответствует и отражает исследуемый поведенческий индикатор) до 1 (в наименьшей степени или частично отражает исследуемый поведенческий индикатор).

В рамках ситуационного опросника расчет результата проводится только в целом по компетенции, расчет и выводы по отдельным индикаторам компетенции не предусмотрен.

В зависимости от степени соответствия исследуемому поведенческому индикатору решения имеют выражение в баллах от 1 до 4.

Максимальное значение по шкале уровня компетентности соответствует максимально возможному значению суммы баллов за выбранные решения на все ситуации опросника в рамках каждой исследуемой компетенции и составляет 20 баллов (5 поведенческих индикаторов компетенций × 1 вопрос × 4 балла).

Расчет уровня проявления компетенций в рамках ситуационного опросника рассчитывается по формуле (3):

— искомый уровень проявления личностной компетенции;

баллы за утверждения — сумма набранных баллов за все утверждения в рамках исследуемой личностной компетенции.

Полученный результат округляется в большую сторону до десятых значений.

Кейсовые задания предназначены для выявления уровня проявления личностных компетенций в различных рабочих ситуациях, умения анализировать, структурировать и выделять важное, а также умения принимать решения и делать выводы на основании имеющейся информации. Архитектура кейсового задания представлена на рисунке 4.

Рисунок 4
Архитектура кейсового задания

Кейсовое задание представляет собой описание ситуации, которую необходимо проанализировать и принять решение исходя из вопросов, задаваемых к кейсовому заданию. Одно кейсовое задание исследует уровень проявления одной компетенции. В рамках каждого кейса должно быть 5 вопросов — по одному на один поведенческий индикатор в составе исследуемой компетенции. На выполнение всех 6 кейсовых заданий отводится 60 минут. Для проведения оценки используются 6 кейсовых заданий с учетом следующих положений:

Рассматриваемая ситуация в кейсовом задании в целом соответствует задачам оценки компетенции исходя из включенных в нее характеристик, учитывает наиболее вероятные рабочие ситуации и соответствует профессиональным задачам оцениваемых.

Структура вопросов к кейсовому заданию повторяет структуру поведенческих индикаторов.

Вопросы к кейсовому заданию соответствуют его содержанию, раскрывают и уточняют позицию и отношение оцениваемого к рассматриваемой в кейсовом задании ситуации.

Каждый вопрос к кейсовому заданию относится к простому типу, предлагается выбрать один вариант ответа (решение) из четырех возможных.

Варианты решений к вопросам кейсового задания в равной степени применены (нет верного или неверного решения), вместе с тем каждое решение имеет разную степень соответствия оцениваемому вопросом кейса поведенческому индикатору по балльной шкале – от 4 (полностью соответствует и отражает исследуемый поведенческий индикатор) до 1 (в наименьшей степени или частично отражает исследуемый поведенческий индикатор).

В зависимости от степени соответствия выбранного варианта ответа на вопрос к кейсу ему присваивается балл от 1 до 4.

Максимальное значение по шкале уровня компетентности соответствует максимально возможному значению суммы баллов за ответы на вопрос в рамках каждой исследуемой компетенции и составляет 20 баллов (5 поведенческих индикаторов компетенций × 1 вопрос × 4 балла).

Расчет уровня проявления компетенций в рамках ситуационного опросника рассчитывается по формуле (4):

— искомый уровень проявления личностной компетенции;

баллы за ответы — сумма набранных баллов за все ответы на вопросы кейса в рамках исследуемой личностной компетенции.

Полученный результат округляется в большую сторону до десятых значений.

5. Обработка результатов оценки личностных компетенций

Цели обработки результатов — определение уровня проявления каждой профессиональной компетенции и последующее сравнение результата с референтными значениями.

Уровень проявления каждой личностной компетенции определяется путем нахождения среднего значения проявления компетенции при ее оценке тремя инструментами. Учитывая субъективность инструмента личностного опросника, при подсчете результата вводится корректировка: если разница между результатами оценки личностного опросника и средним значением результатов ситуационного опросника и кейсовых заданий больше 30 %, то результат личностного опросника не учитывается. То есть в таком случае суммарная оценка по компетенции рассчитывается только по ситуационному опроснику и кейсовым заданиям.

Сравнивая полученный результат по каждой компетенции с референтными значениями, можно сделать следующие выводы:

Компетенция ярко выражена: результат соответствует или выше целевого уровня, предусмотренного для компетенции данной оцениваемой категории.

6. Представление результатов оценки

На основе проведенного анализа и полученных результатов оценки профессиональных и личностных компетенций на ИТ-платформе для автоматизации оценки компетенций и формирования реестра высококвалифицированных руководителей и специалистов цифровой трансформации госуправления формируются отчетные материалы, в совокупности представляющие паспорт компетенций, который состоит из следующих разделов:

описание использованной методики оценки компетенций (справочная информация об использованных инструментах и способе проведения оценки, общий объем — не более 1 листа);

значения полученных уровней проявления профессиональных и личностных компетенций, референтные значения, выводы об уровне проявления по каждой компетенции (графическое изображение результатов в виде диаграммы компетенций, текстовое описание общих результатов), общий объем — не более 1 листа);

числовые значения полученных уровней проявления характеристик в составе профессиональных компетенций с указанием общего количества верных ответов, словесное описание числовых значений полученных уровней проявления характеристик;

дополнительное словесное описание каждого результата по профессиональной и личностной компетенции с ключевыми выводами, указанием сильных и слабых сторон, зон развития;

рекомендации по развитию компетенций, находящихся ниже целевого уровня: перечни рекомендованной литературы, статей, видео и иных мультимедийных материалов, образовательные программы, семинары и т.п.

Предыдущий раздел

Читать дальше →