Приложение 4

Отчет о валидности и надежности инструментов оценки профессиональных и личностных компетенций, включенных в модель компетенций команды цифровой трансформации в государственном секторе

1. Цель и задачи валидации

При применении модели компетенций и внедрении инструментов оценки различного рода профессиональных и личностных характеристик необходимым этапом является валидация методики, а в более широком смысле — оценка основных психометрических свойств методики: валидности, надежности и репрезентативности.
Валидность методики — это устойчивость ее результатов к влиянию других психических характеристик и компетенций, которые не являются объектом измерения с помощью проверяемой методики. Валидность отражает уровень сфокусированности методики именно на том свойстве или компетенции, которые заявлены как основная цель.
Существует достаточно много различных видов валидности, которые отражают степень соответствия заявленных в методике характеристик реально существующим:

  • Содержательная валидность показывает степень репрезентативности содержания пунктов измеряемых профессиональных компетенций.

  • Прагматическая валидность определяет практическую ценность методик с позиции эффективности, полезности и значимости в рамках определенных областей практики.

  • Доверительная валидность связана с субъективными представлениями респондентов об инструментах оценки, сфере их применения, эффективности и прогностической ценности.

  • Достоверная валидность отражает способность методики защищать информацию от искажений, связанных с факторами социальной желательности ответов, недобросовестностью при прохождении, уровнем доверия к методике и т.д.

  • Конструктная валидность отражает степень репрезентации исследуемого психологического конструкта в результатах методики.
Все эти виды валидности были проанализированы в рамках проверки инструментов оценки профессиональных и личностных компетенций.
Надежностью инструментов оценки называют точность измерения, а также устойчивость результатов к воздействию случайных и систематических искажений, то есть это своего рода помехоустойчивость методики.
Репрезентативность методики — это уровень соответствия тестовых норм, получаемых на этапах проверки, тем результатам, которые были бы получены на реальной выборке, для работы с которой предназначена методика. Высокая репрезентативность означает, что для проверки методики были выбраны люди, по личностным и профессиональным характеристикам очень похожие на тех, которые впоследствии будут проходить это тестирование.

2. Информация об инструментах оценки

2.1. Информация об инструментах оценки профессиональных компетенций

Инструмент оценки профессиональных компетенций представляет собой тесты с вопросами закрытого типа:

  • с выбором одного ответа;
  • с выбором нескольких ответов;
  • на соответствие;
  • на определение верной последовательности.
Вопросы строго привязаны к модели компетенций команды цифровой трансформации в государственном секторе и соответствуют характеристикам компетенций. Каждой характеристике компетенций соответствуют свои области знаний, которые и легли в основу содержания вопросов.
    Все вопросы по каждой компетенции имеют три уровня сложности:

    • 1-й уровень. Простые вопросы позволяют провести оценку минимального уровня компетентности: знание фактов, понятий, принципов, а также понимание и умение ориентироваться в определенной области.

    • 2-й уровень. Средние по сложности вопросы позволяют выявить умения и их применение в знакомой ситуации: анализировать, сравнивать, обобщать и систематизировать явления, процессы, применять некоторые специальные знания.

    • 3-й уровень. Сложные вопросы позволяют выявить специальные знания, умения, навыки в определенной области и их активного применения в нетривиальных и сложных ситуациях.
      Структура базы вопросов гармонизирована как по сложности, так и между компетенциями. Незначительные отклонения для вопросов сложного уровня связаны с узкой направленностью областей знаний характеристик отдельных компетенций.

      2.2. Информация об инструментах оценки личностных компетенций

      Для оценки личностных компетенций используются три вида инструментов:

      • личностный опросник;
      • ситуационный опросник;
      • кейсовые задания.
      Все инструменты оценки направлены на выявление уровня проявления поведенческих индикаторов личностных компетенций.

      3. Результаты проверки валидности и надежности инструментов оценки профессиональных и личностных компетенций

      3.1. Результаты проверки валидности и надежности инструментов оценки профессиональных компетенций

      По результатам анализа распределений и первичных описательных статистик выборки выявлено, что количество, возраст и характеристики профессиональной деятельности участников валидизации являются удовлетворительными для оценки качества и сложности инструментов оценки профессиональных компетенций, соответствуют портрету потенциального кандидата на оценку компетенций – участника команды цифровой трансформации. Выборка участников репрезентативна, гармонична и представлена людьми, которые в совокупности обладают знаниями в сфере цифровой трансформации и ИТ на среднем уровне.
      Анализ валидности и надежности инструментов оценки профессиональных компетенций состоял из следующих этапов:
      1
      оценка достоверной валидности инструментов;
      2
      оценка конструктной валидности инструментов;
      3
      дискриминативный анализ;
      4
      анализ надежности, согласованности вопросов инструментов оценки, относящихся к одной личностной компетенции.
      По итогам анализа валидности и надежности инструментов оценки профессиональных компетенций выявлено:

      • Уровень трудности вопросов является достаточным и соответствует высокому профессиональному уровню специалистов в сфере цифровой трансформации и ИТ.

      • Слишком простыми или слишком трудными оказался 21% вопросов, которые предложено исключить их.

      • По результатам дискриминативного анализа среди оставшихся вопросов 60% вопросов наиболее точно могут измерить ту или иную компетенцию, вопросы с низким уровнем дискриминативности предложено исключить.
      По результатам оценки валидности и надежности была скорректирована база вопросов. Содержащиеся в ней вопросы имеют высокий уровень валидности и надежности, их количество достаточно для использования в реальных условиях оценки компетенций.

      3.2. Результаты проверки валидности и надежности инструментов оценки личностных компетенций

      Анализ распределений и первичных описательных статистик по выборке показал, что количество, возраст и характеристики профессиональной деятельности участников валидизации являются удовлетворительными для оценки качества инструментов оценки личностных компетенций, соответствуют портрету потенциального кандидата на оценку компетенций – участника команды цифровой трансформации. Выборка участников репрезентативна и гармонична.
      Анализ валидности и надежности инструментов оценки личностных компетенций состоял из следующих этапов:

      • оценка достоверной валидности инструментов;
      • оценка конструктной валидности инструментов;
      • дискриминативный анализ;
      • анализ надежности, согласованности вопросов инструментов оценки, относящихся к одной личностной компетенции.
      По итогам анализа валидности и надежности инструментов оценки личностных компетенций выявлено:

      • Вопросы по всем личностным компетенциям, оцениваемым с помощью личностного опросника, обладают оптимальным уровнем надежности и согласованности.

      • Вопросы по двум личностным компетенциям (клиентоцентричности и коммуникативности), оцениваемым с помощью ситуационного опросника, показали приемлемый уровень надежности и согласованности.

      • Вопросы по остальным компетенциям, а также все вопросы кейсового задания, демонстрируют достаточно высокий уровень разнородности и затрагивают не только заявленные личностные конструкты, но и другие.
      С целью проверить структуру модели личностных компетенций на дополнительной выборке (99 человек) были проведены иерархический кластерный анализ и факторный анализ. Данные иерархического кластерного анализа показали, что внутренней целостностью и согласованностью обладают индикаторы «Нацеленность на результат», «Эмоциональный интеллект» и «Креативность». Это означает, что в каждом из этих индикаторов все высказывания направлены примерно на одно и то же и не смешиваются по своему содержанию с высказываниями, предусмотренными для других индикаторов. Остальные индикаторы показывают такую внутреннюю согласованность лишь частично.
      Результаты факторного анализа позволили заключить, что индикаторы «Креативность» и «Эмоциональный интеллект» являются полностью самостоятельными конструктами и высказывания в данном случае подобраны удачно и не похожи по своей сути на высказывания, предложенные для других индикаторов. Об этом же свидетельствуют и ранее приведенные результаты кластерного анализа.
      У первых двух факторов наблюдается определенное смешение индикаторов: к первому фактору полностью относится индикатор «Нацеленность на результат» и частично — «Клиентоцентричность». Это говорит о том, что высказывания для этих двух индикаторов похожи по своей сути и, вероятно, направлены на один и тот же личностный конструкт.
      Аналогичные тенденции можно увидеть в случае со вторым фактором, к нему полностью отнесены индикаторы «Коммуникативность» и «Критичность» и одно высказывание индикатора «Клиентоцентричность»: можно предположить, что высказывания для этих индикаторов направлены на одно и то же.
      Такие результаты говорят о том, что по указанным компетенциям необходима соответствующая корректировка формулировок индикаторов и измеряющих их инструментов.

      3.3. Согласованность инструментов оценки профессиональных и личностных компетенций

      Анализ взаимосвязи между профессиональными и личностными компетенциями проведен с целью изучить внутреннюю структуру всего методологического комплекса как единого целого: насколько согласованы между собой профессиональные и личностные компетенции участников цифровой трансформации.
      Анализ взаимосвязи между профессиональными и личностными компетенциями показал, что они оказываются достаточно сильно связанными между собой.
      Слабая взаимосвязь (коэффициенты корреляции от 0,3 до 0,5 по модулю) была обнаружена в 25% случаев, выраженная взаимосвязь (коэффициенты корреляции выше 0,5 по модулю) — в 36% случаев. Более чем в половине случаев профессиональные и личностные компетенции оказались взаимосвязанными.
      Особенно сильными является взаимосвязь:

      • между ПК «Развитие информационной культуры» и ЛК «Креативность»;
      • ПК «Управление и использование данных» и ЛК «Эмоциональный интеллект»;
      • ПК «Развитие информационной культуры» и ЛК «Коммуникативность»;
      • ПК «Инструменты управления» и ЛК «Эмоциональный интеллект»;
      • ПК «Применение цифровых технологий» и ЛК «Клиентоцентричность».
      Такое количество взаимосвязей между профессиональными и личностными компетенциями говорит о том, что весь методологический комплекс обладает определенной степенью целостности и согласованности между профессиональными и личностными компетенциями и измеряет личностные компетенции в разрезе профессиональной деятельности, а профессиональные компетенции — в контексте личностных особенностей участников.

      4. Выводы о валидности и надежности инструментов оценки

      По итогам проведенного комплекса исследований валидности и надежности инструментов оценки личностных и профессиональных компетенций команды цифровой трансформации в государственном секторе можно сделать следующие ключевые выводы:
      Достаточное число респондентов, которые являются репрезентативными представителями целевой выборки, позволило адекватно оценить валидность и надежность всех исследуемых инструментов.
      Подтвержден достаточный уровень содержательной, доверительной, прагматической, достоверной и конструктной валидности инструментов оценки профессиональных и личностных компетенций.
      Выявлен приемлемый уровень трудности инструментов оценки профессиональных компетенций.
      Определен достаточный уровень дискриминативной надежности методик оценки профессиональных и личностных компетенций по большинству вопросов (более 60%).
      Обнаружено нормальное распределение итоговых баллов по шкалам, что позволяет надежно определить нормы прохождения тестов.
      Взаимосвязь между профессиональными и личностными компетенциями указывает на то, что инструменты позволяют оценить личностные качества в контексте профессиональной деятельности и профессиональные компетенции как отражение конкретных личностных особенностей
      Результаты оценки валидности и надежности подтверждают возможность использования исследуемых инструментов для отбора, оценивания и прогноза деятельности специалистов в сфере цифровой трансформации.