Про этот блог

Здесь про оценку персонала

О себе
Юрий Шатров, ЭКОПСИ Консалтинг. Психолог. Разрабатываю инструменты оценки.

Профессиональные интересы: оценка потенциала, личностные опросники, кейс-тесты, социальная желательность и методы её контроля и снижения.

Для связи: Facebook

Оценка персонала по цифровому следу. Роботы правда заменят HR'ов?




Ситуация вокруг цифрового следа как метода оценки обрастает интересными тенденциями. С одной стороны есть посыл, что любая оценка станет лайко–бесчеловечной. На место тестов–опросников и скрининга резюме, а тем более затратной очной оценки придёт роботизированный анализ лайков–друзей–групп–фото лиц (!)–текстов сообщений. Попутно произносятся слова "машин лёрнинг", "артифишл интиллидженс", "роботизейшн" и приводятся примеры 1,5 компаний, тестирующих похожие разработки. Этого хватает, чтобы люди впали в приступ цифрового экстаза.

С другой стороны выступают HR, готовые защитить поляну очного рекрутмента и ЦО–интервью. Во врага летят пики "Мы же теряем человека!"; "Ну не по лайкам же давать соискателям обратную связь!"; "Машина не сможет глубоко понять человека", "Это неэтично – на основании поведения в личном пространстве принимать кадровые решения". В максимальном исполнении вспоминается Душа и цитируется Мамардашвили. Духовка врубается на полную.

Про оценку цифрового следа в HR необходимо понять, что эта технология:
1. Неизбежно будет развиваться и, со временем, использоваться многими компаниями.
2. Ограничена рекрутментом как сферой своего потенциального применения. Это та HR-сфера, где в ход идут практически любые источники информации о кандидате. А профили соц. сетей проглядываются рекрутёрами уже сейчас и повсеместно. Так что автоматизация этой оценки не будет восприниматься как нечто вопиющее и неэтичное – скорее как способ срезать косты и время рекрутёров. И мы, как соискатели, не будем против: делаем ли мы что-нибудь, чтобы рекрутёры не имели доступа к нашему профилю FB или ВК или Одноклассникам? Вряд ли.
Процессы оценки действующих сотрудников (тэлэнт менеджмент) делают более прозрачными, т.к. заботятся об их вовлечении и удержании. Сотрудникам разъясняют критерии оценки, дают развивающую обратную связь – чего оценка по цифровому следу как раз–таки лишена.
3. Для большинства ситуаций оценки будет скорее дополнительной к другим методам. Почему:
– У части людей профиль не будет заполнен в достаточной мере для оценки. Часть массового подбора – это, в том числе, люди, не использующие активно социальные сети (а порой и Интернет). По материалам исследования Mail.Ru Group, соц. сетями в РФ пользуются порядка 59,5 млн. людей, что составляет примерно 84% экономически активного населения. Это много. Но для оценки требуется материал – лайки, посты, фото. А этого материала может и не быть: человек не ведёт активную жизнь в соц. сети. Либо он, материал, может быть слишком уникальным, «машине» незнакомым. В «машине» должна быть информация, что подписка на группу «Феминизм: наглядно.» = высокая Открытость новому. Но этой информации может и не быть – в базе недостаточно людей-участников группы, или её недостаточно для выставления оценки.
– Как и все другие методы, этот может зафейкить, обмануть. Создаются дополнительные профили соц. сетей, в которых нет алкогольного и эротического контента и подписки на МДК. Более того, через 1-3 года точно получат массовое распространение гайды по созданию «православного» социального профиля, а соответствующая экспертиза войдёт в необходимый перечень знаний карьерных консультантов. На обучении людей можно будет неплохо заработать – как сейчас на "пиратской" продаже тренировочных заданий тестов и опросников.
4. В HR Получит массовое распространение только через 5-7 лет, в несколько этапов:
§ Автоматический анализ «хардовых» данных – возраста, образования, стажа и скиллов в Линкдине. Это тождественно цифровому анализу резюме, который уже реализован на рекрутмент-порталах и сторонних агрегаторах резюме. Этап можно назвать протоанализом цифрового следа, т.к. он не затрагивает «живых» данных – продуктов присутствия человека в Интернете.
§ Анализ текстового «языка» – постов и имейл–сообщений. С точки зрения технологий это самая развитая часть цифровой оценки. IBM Ватсон и Receptiviti уже сейчас на основании объёмного куска текста выставляет оценки по Big5 и ценностям, а Crystal Knows предлагает проанализировать имейлы коллег и отнести их к DISC–типологии. Наработки психолингвистики уже сейчас позволяют за несколько лет создать аналогичные продукты.
§ Анализ лайков, групп, друзей и прочего социального. Когда пишут про цифровой след – имеют в виду как раз этот материал, дополнительно упоминая Косински и Кембридж статистикс. Для массового распространения этого метода в России требуются огромные базы данных – люди должны пройти и опросники, и предоставить доступ к своим FB/VK/OK профилям. В результате особенности профилей будут соотнесены со шкалами опросников, и будет выстроена связь по типу «лайк клипу “Modern Talking” = высокая доброжелательность». Опять же, в первую очередь возможен анализ только тех лайков и ретвитов, которые были проставлены «общественным постам» – группам, видео. Лайки, адресованные посту друзей, вряд ли будут значимы, т.к. не наберут необходимой выборки.
§ Анализ фото пользователя, когда анатомические особенности лица мэтчатся с личностными чертами. Наверное, это самая дискуссионная технология – одни говорят, что это технология перевернёт завтрашний день. Другие называют её дном и упрекают в физиогномистской редукции. Пример стартапа, пытающийся что-то сделать на этом поле, – Faception.

Пока технологии пунктов 3-4 – мираж для массмаркета, а развивающие их компании – за редким исключением – только в начале своего пути. Мне известно 4 российские компании и 1 научный институт, разрабатывающие инструменты анализа цифрового следа, и все они находятся в стадии стартапа.

Итог – кому действительно следует опасаться, но в перспективе 5-7 лет – это рекрутёрам. Автоматический подбор резюме, анализ culture-fit по социальным сетям – этот фильтр, по крайней мере на массовых должностях, на себя возьмёт «машина». В тэлэнт менеджменте соц. сети вряд ли найдут массовое применение, и "человеческие" ЦО-интервью сохранят своё присутствие. До полностью автоматических видео-интервью и VR-симуляций нам пока далеко, так как сохраняется проблема автоматического анализа "свободной речи" со всеми её невербальными оттенками.

Оценка 360 градусов: кто виноват и что делать?






Оценка 360 градусов – самый неоднозначный метод оценки. Он был создан для развития сотрудников, но постепенно стал применяться в процессах отбора и премирования. Так, в России 43% компаний используют 360 градусов в оценке потенциала (Исследование практик оценки потенциала, 2016).

Такое положение вещей характерно не только для российских компаний. В 48% североамериканских компаниях 360 градусов используется для принятия кадровых решений (3d Group, 2013) – и этот показатель вырос в 2 раза за десять лет. Интересно: при этом все виды вооруженных сил США градусов применяют 360 градусов только для развития (Hardison, 2015).

Большинство исследователей придерживается иной точки зрения на области применения 360 градусов. Они считают, что использование «социальных оценок» в процессах отбора снижает полезность метода к нулю. Сотрудники могут использовать свою оценку как инструмент давления на коллег, или просто ставить всем завешенные баллы.

Недавно произошёл ещё один виток развития дискуссии вокруг 360 градусов. В ведущем журнале по организационной психологии «Industrial and Organizational Psychology» вышло небольшое обсуждение этого метода. Из практиков принимали участие представители PepsiCo, Center for Creative Leadership, Korn Ferry Hay Group. Результаты дискуссии:
1.     Участники не дали однозначную оценку использованию 360 в кадровых решениях. Ограничились утверждением, что правильно организованная 360 может использоваться и в принятии решений об отборе, увольнении, назначении.
Но, действительно, оценку 360 градусов часто используют неверно. С точки зрения участников дискуссии, главное зло – это «360 в стол», когда оцениваемые не знают своих результатов и компания никак не использует результаты. Иная пагубная практика – отсутствие цели у 360: результаты используются хаотично или без привязки к цели компании. Всё это связано с отсутствием стандартов применения 360 градусов.

Парадоксально, но те оценщики, которые разрабатывают стандарты, не обращают на 360 особого внимания. Они не считают его методом оценки. В результате, из-за отсутствия стандарта, 360 начинают применять как метод оценки и в каких угодно форматах.

2.     Для внедрения стандартов использования 360 необходимо дать определение метода. Участники дискуссии вывели следующие формообразующие характеристики 360 градусов.
    a.      Это оценка поведения – того, что можно наблюдать в профессиональной деятельности. Это не оценка «внутреннего» – черт, установок, ценностей.
    b.      Оценка проводится сослуживцами (coworkers) и другими лицами, включёнными в рабочий контекст оцениваемого – клиентами, партнерами. В оценку 360 градусов не могут быть включены члены семьи и друзья оцениваемого.
    c.      Оценка проводится в количественном формате. Сотрудники оценивают друг друга, используя числовые отметки по компетенциям. Причины:
·        Опрос с только открытыми вопросами сделает невозможным сравнение оценок сослуживцев. В ответе каждого из них будут содержаться уникальные критерии оценки.
·        Интервью, даже с использованием количественных критериев, вряд ли соберёт достаточное количество сослуживцев для выставления надёжной оценки. Это более затратный метод оценки.
    d.      Источник для выводов – разница в оценках между оцениваемым и сослуживцами, или между результатами оцениваемого в разные промежутки времени.
    e.      Обязательный этап оценки – передача результатов оцениваемому.
    f.       Цель оценки – внедрение изменений на уровне сотрудника, группы и / или компании.
4.    Актуальный вопрос по теме 360 градусов – как максимизировать точность оценки? Исследования указывают на следующие факторы:
    a.      Достаточное количество оценивающих. Удивительно: для достижения оптимального показателя согласованности (0,7) оценок необходимо, минимум, 4 руководителя или 8 коллег (). Пока непонятно, как как помирить это научное открытие с реальностью.
    b.      Внимательный подход к шкале оценки. Большая часть компаний используют 5-ти балльную шкалу (3D Group, 2013). Но необходимо помнить, что наибольшими показателями надёжности (и разброса значений) обладают шкалы с 7-ю баллами и больше, с текстовым описанием всех категорий оценки, со «смягчённо» описанными низкими баллами. Пример – вместо категории «Низкий», «Никогда» использовать «Практически никогда», «Ниже среднего» (Norwack, 2011). B всё равно остаются оценивающие, которые стабильно ставят завышенные баллы, или используют в основном средние («3) или крайние («1» и «5») значения. Что делать? Один из вариантов – ипсативные опросники, в которых оценивающим необходимо не оценить компетенции по N-балльной шкале, а сравнить их. К примеру, в 360 от ЭКОПСИ оценивающие относят 6 и более индикаторов к 3-м группам – «развито слабо / среде / сильно». В зарубежных исследованиях есть аналогичные попытки уйти от социальной желательности (Brown, Inceoglu & Lin, 2016).
    c.      Обучение оценивающих. Оценивающие должны хорошо понимать критерии и шкалу оценки. В итоге у них всех складываются более-менее единые представления о оцениваемых критериях, что также повышает согласованность оценок (Ghorpade, 2000).
    d.      Достаточно чёткие и наблюдаемые индикаторы оценки.
5.     Вторая важная тема в 360 – какие «управляемые» факторы влияют на эффективность метода развития? Последний мета-анализ показал, что 360 повышает эффективность сотрудников на значимую, но небольшую величину (Smither, Zaydman, Reilly, 2005). Как её повысить (или хотя бы добиться)?
    a.      Позволить оцениваемому самому выбирать оценивающих. Это не снизит точность, но поспособствует принятию результатов (Gonder, 2006).
    b.      Включить в 360 открытые вопросы. Это сделает результаты для оценивающего более «глубокими» и гибкими (Smither & Walker, 2004).
    c.      Включить поддержку коуча в программу развития после 360 (Thach, 2002). Коуч сможет отслеживать прогресс оцениваемого и поддерживать в изменении.
    d.      Сделать из 360 постоянный процесс, позволяющий оцениваемому отслеживать свой прогресс.
    e.      Использовать все факторы, которые повышают точность оценки. Результаты получаются более разнообразными, с большей долей справедливой критики, как следствие – дающие больше пространства для развития. Как это ни странно, но различия между самооценкой и оценкой других повышают развивающий эффект 360 градусов (Ferguson, Wakeling & Bowie, 2015).

Наконец, в последние года 360 обсуждается в тех же терминах, что и управление эффективностью. Исследователи обсуждают, не стоит ли перевести 360 на регулярный формат? Сотрудники на постоянной основе, а не раз в год / полгода, дают обратную связь друг другу. Это обеспечивает их более быстрыми реакциями «среды» на изменения.
Примеры таких технологий – Real Time Feedback (ЭКОПСИ), Butterfly, Hyphen, Impraise, iRevu, Workday, HighGround. Сейчас огромное количество компаний – около 40 – пришли в разработку платформ быстрой обратной связи. Большая часть из них – IT и маркетингово-опросные, а потому они могут в короткий срок разработать красивый продукт. HR-экспертизой обладают немногие.

Вызывает удивление, что зарубежные практики посчитали возможным использовать 360 градусов в принятии кадровых решений. Кажется, что здесь пока много «белых» пятен – нет исследований, как уволенные / оставшиеся на прежних должностях сотрудники реагируют на решение, принятое на основании 360 градусов. Даже если допустить, что сотрудники будут выставлять честные оценки, последствия могут восприниматься весь негативно. Культура обратной связи должна быть развита на очень высоком уровне, чтобы сотрудники принимали кадровые решения по результатам 360 градусов. А пока – повсеместное или даже сколько-нибудь распространённое использование 360 как метода отбора кажется преждевременной практикой.


Читать
1. 3D Group. (2013). Current practices in 360-degree feedback: A benchmark study of North American companies. Emeryville, CA: Data Driven Decisions.
2. Bracken, D. W., Rose, D. S., & Church, A. H. (2016). The evolution and devolution of 360° feedback. Industrial and Organizational Psychology, 9(4), 761–794.
3. Brown, A., Inceoglu, I., & Lin, Y. (2016). Preventing Rater Biases in 360-Degree Feedback by Forcing Choice. Organizational Research Methods, 20, 121–148.
4. Ferguson, J., Wakeling, J., & Bowie, P. (2014). Factors influencing the effectiveness of multisource feedback in improving the professional practice of medical doctors: A systematic review. MBC Medical Education, 14(76), 1–12.
5. Gonder J.N. et al. (2006). The effect of rater selection on rating accuracy. Poster presented at the 21st Annual Conference of the Society for Industrial and Organizational Psychology, May 2006, Dallas, TX.
6. Greguras, G.J. & Robie, C. (1995). A new look at within-rater source interrater reliability of 360-degree feedback ratings. Journal of Applied Psychology, 83, 960–968.
7. Ghorpade, J. (2000). Managing five paradoxes of 360-degree feedback. Academy of Management Executive, 14(1), 140–150.
8. Hardison, C. M., Zaydman, M., Oluwatola, T., Saavedra, A. R., Bush, T., Peterson, H., & Straus, S. G.
(2015). 360-degree assessments: Are they the right tool for the U.S. military? Santa Monica, CA:
Rand.
9. Norwack, K.M. (2011). Why 360 degree feedback doesn’t work and what to do about it. IPAC 2011 Conference.
10. Smither, J., London, M., & Reilly, R. (2005). Does performance improve following multisource feedback? A theoretical model, meta-analysis and review of empirical findings. Personnel Psychology, 58, 33–66.
11. Smither, J. & Walker (2004). Are the characteristics of narrative comments related to improvement in multirater feedback ratings over time? Personnel Psychology, 89, 575–581.
12. Thach, E. C. (2002). The impact of executive coaching and 360 feedback on leadership effectiveness. Leadership & Organization Development Journal, 23(4), 205–214.

Дистанционные технологии оценки персонала: прогноз на 2017–2020



Многие представители HR-сообщества говорят о технократической революции в оценке (если не об апокалипсе и замене человека машиной). Что близок час, когда оценка будет полностью автоматизирована с использованием HR-аналитики, машинного обучения и искусственного интеллекта. Традиционные тесты и опросники умрут, а на их место придёт оценка лайков и цифровых записей в социальных сетях. Что люди будут проходить обучение и оценку в виртуальной реальности.
Так ли это? Может, за рубежом оценка действительно шагнула далеко вперёд? Давайте разберёмся в трендах дистанционной оценки, разобрав основные технологии и инструменты.



1. Психометрика – закат эпохи универсальных инструментов


Тесты и опросники – самые используемые инструменты дистанционной оценки. За последние 25 лет в их развитии произошли существенные изменения:
Война с респондентами окончена. Не в пользу последних – социальная желательность побеждена, а банки заданий уже обычное дело. Гонка за «вкусными» конструктами уже не в приоритете – важнее, чтобы модель и способ измерения были понятны. Все современные тенденции помещаются в два класса инструментов:
§ Батареи тестов, созданные под определённую задачу. Такими задачами могут быть выявление HiPo, прогноз безопасного поведения, оценка рабочих специалистов на входе и др. Они "коробочны" – практически не поддаются настройке. В этом их и плюс – компания может использовать инструмент, не ломая голову над собственной моделью оценки; и минус – они могут не учитывать культуру компании или специфичность задачи.
§ Батареи тестов, которые необходимо настраивать под каждую задачу. Основа настройки – HR-аналитика. Настройка может проводиться как отдельно для каждой компании / подразделения, так и быть зашитой в продукт. В первой случае необходимо проводить отдельное исследование. Во втором – исследования уже проведены провайдером, выборки набраны, и HR может выбрать в режиме онлайн «а насколько человек будет эффективен в должности X / Y / N?».

Эти классы инструментов могут пересекаться: "коробочный" инструмент адаптируется к оценке в определённой компании, а настраиваемый инструмент превращается в «коробочный» после определённого объёма выборки.

Уходит время «просто тестов способностей» и «больших личностных опросников». Первые просто малоинформативны. Вторые – слишком информативны и универсальны, так как в результате дают информацию без привязки к конкретной задаче.
Смена парадигмы ярко прослеживается и по рынку психометрики. До последнего момента на нём происходили массовые поглощения и слияния. Основные игроки уже куплены крупными консалтинговыми компаниями:








Если оценивать по динамике последних лет – поглощения открыли тест-девелоперам новые каналы сбыта, но не привели к разработке новых продуктов. Скорее наоборот. По выражению ведущего аналитика рынка оценки Чарльза Хэндела (Bersin, Rocket-Hire), HR-консалтинговые компании привыкли зарабатывать, используя и разрабатывая одни и те же инструменты. Это открыло дорогу технологичным стартапам, в основном североамериканским – Pymetrics, Assessment Innovation, Connect Cubed, Assess First (Франция). Именно они предлагают быструю психометрику, настраиваемую под конкретную задачу.

Идеологический центр бизнес-психометрики перемещается из Великобритании в США. Она становится быстрее и проще.



2. Виртуальные центры оценки и симуляции на пути к массовому использованию

Тенденция к упрощению инструментов затронула также и центры оценки. Рынок наполняется симуляциями – автоматизированными или полуавтоматизированными упражнениями центра оценки (Virtual assessment center, VAC). Это могут быть упражнения на работу с почтой, индивидуальные видеоконференции с наблюдателем – и даже групповые дискуссии с другими участниками.




Виртуальный ЦО «Web@ssessment» от ECOPSY. Участник выполняет аналитическую презентацию.




Главное отличие от очного ЦО – моделирующие упражнения в VAC ещё более сжаты. По сути, это сокращённые упражнения очного ЦО. Редкое упражнение (подготовка + прохождение) занимает больше 40 минут.

Привлекательность этих инструментов понятна – мы оцениваем навыки и компетенции (читайте: поведение) дистанционно. По сравнению с личностными опросниками это более честная игра: мы не обманываемся, оценивая поведение с помощью самоотчётных инструментов. В ситуации массового отбора менеджеров на входе или в кадровый резерв нам необходимо оценить, в том числе, компетенции. И VAC с этой задачей замечательно справляется. Также VAC дешевле – нет трат на сбор участников и наблюдателей в одном месте, и на написание отчётов «от руки», т.к. отчёты автоматизированы.

Преимущества VAC привлекают инвесторов. В 2014 году ведущая европейская HR-консалтинговая компания BTS купила разработчика виртуальных ЦО – Fenestra. Сумма сделки – $2,1 миллиона. В 2015 году Mercer купила аналогичную компанию калибром поменьше – Censeo. Наконец, в том же году платформа для дистанционного ЦО Pinsight получила инвестиции на сумму €700 тыс.

Понятны и ограничения этих методов:
§ VAC – в основном коробочные продукты, а потому они слабо поддаются кастомизации под конкретную задачу. Если компания обладает уникальными компетенциями – или уникальным наполнением типовых компетенций, или если у неё своя шкала оценки компенций, – всё это будет лишь отчасти учтено в VAC.
§ Симуляции слишком просты, чтобы оценивать старших менеджеров и выше. Их оценка не сводится к автоматизированным и коротким дистанционным упражнениям.
§ VAC требует хорошего интернета.

В России виртуальные центры оценки и симуляции присутствуют в очень ограниченном объёме. Были и есть Web@ssessment (ECOPSY) и ManagerReady (DDI); несколько проектов были реализованы с использованием Pinsight. Низкая популярность VAC связана не только с инертностью рынка – она обусловлена финансовыми причинами:
§ Зарубежные VAC не выдерживают ценовой конкуренции с российским очным ЦО. На это влияет и задемпингованность рынка ЦО, и современный курс, затрудняющий вывод на российский рынок зарубежных продуктов.
§ Российские провайдеры ориентированы на разработку продуктов, которые быстро окупаются. Разработка и продвижение виртуального ЦО – ежегодный вопрос ценой в 5 млн. рублей и выше. Интерес к подобным инвестициям проявляют очень немногие провайдеры.

В ближайшие несколько лет VAC будет двигаться по следующей траектории:
§ Наработка возможностей по быстрой кастомизации – упражнений, компетенций, шкал оценки.
§ Повышение реалистичности при сохранении «сжатости» упражнений – к примеру, за счёт адаптивных ответов в работе с почтой.
§ Сближение с HR-аналитикой на этапе разработки. За счёт технологичности и относительной стандартизированности процедуры VAC ближе к статистике, чем очный ЦО.
§ Постепенное вытеснение очного ЦО из сегмента оценки специалистов и линейных менеджеров.


3. Социальные сети тишина на фоне шума
Автоматизированная оценка профилей социальных сетей –  самая обсуждаемая технология последних лет. Популярностью она обязана тому, что в ней звучит актуальная тема Большого брата, использующего Большие данные. Кажется, что машина может проанализировать лайки и поставить диагноз. И всё это без ведома и участия человека. И в долю секунды. Сильное вмешательство профессионального в личное. И машины уже могут это делать – они способны оценивать:
§ Большую пятёрку: добросовестность, экстраверсию, доброжелательность, эмоциональную стабильность, открытость новому.
§ Временную перспективу. На что ориентируется человек – на прошлое, настоящее или на будущее.
§ Уровень субъективного благополучия.
§ Подходы к обработке информации.
И многое другое. Подробнее: http://www.psychometrics.cam.ac.uk/research/recent-publications

Машины оценивать могут, но пока в оценке персонала этого не делают. Причины:
§ Содержательные. Социальные сети – это в основном личный контекст. В котором мы себя ведём не так, как на работе, в контексте профессиональном. Как соотнести «личное» поведение с поведением в рабочем окружении? Плюс у каждого из нас профиль заполнен с разной степенью полноты – как поступать с теми, у кого лайков / записей недостаточно? Или они создают социально-желательный профессиональный профиль?
§ Организационные и финансовые – связывание профилей в социальных сетях и каких-либо психологических конструктов требует существенных выборок (размером несколько десятков тысяч людей). И ведь на этих людях надо ещё провести опросники и тесты, чтобы прокоррелировать их с лайками и записями. Всё это требует развитой исследовательской инфраструктуры, которой обладают немногие организации в мире.
§ Методически-маркетинговые. Пока нет ни одного исследования, доказывающего связь автоматизированных оценок профилей в социальных сетях со значимыми бизнес-показателями. Компаниям будет сложно заявить о разработке инновационного метода без доказательств его бизнес-эффективности.
§ Этические и юридические. Остаётся нерешённым вопрос: как оценивать человека в его личном контексте? Пока речь идёт о маркетинговых исследованиях – проблем возникнуть не должно. Но результат оценки – это кадровое решение. Насколько верно, что мы оцениваем профессионала по его поведению в кругу друзей и знакомых?

В данный момент развитием данных технологий практически никто не занимается. Известен разве что прогремевший в недавней статье Кембриджский центр психометрики. Но и он пока не работает в HR. Hogan в партнерстве с Receptiviti и Know Your Crew также разрабатывает инструмент оценки цифрового следа, но о нём пока ничего не известно.

В ближайшие года стоит ожидать попыток разрешить описанные проблемы. В первую очередь нужны (а) исследования, связывающие эффективность автоматизированной оценки с бизнес-показателями; (б) способы разрешить этические вопросы. Далее действительно будет стремительный рост этих технологий и их претензия на место тестов и опросников.


4. Виртуальная реальность – только технические навыки
Технологии виртуальной реальности кажутся уделом индустрии развлечений. На самом деле они достаточно давно применяются в обучении техническим навыкам – от ведения боевых действий до проведения хирургических операций. Российские компании также используют тренажёры виртуальной реальности:
§ РЖД
§ РУСАЛ
§ Россети
§ Энергетическая компания

В технических навыках оценка приближена к обучению. Алгоритмы оценки очень просты – верна ли последовательность действий, все ли действия были совершены (надеты перчатки, выключено питание), как быстро сотрудник прошёл упражнение. Для производственных и добывающих компаний виртуальная реальность ценна за счёт возможности смоделировать ситуацию, редкую для реальной жизни – поломку, аварию. А далее оценить и скорректировать действия сотрудников.

Но стоит ли ожидать, что виртуальная реальность позволит оценивать более сложные, управленческие навыки и компетенции? В ближайшее десятилетие скорее нет. Конечно, было бы здорово, если участники центра оценки надевали шлемы, попадали в виртуальную комнату, где за их поведением следил автоматизированный наблюдатель.

Но управленческие компетенции требуют как раз «свободного», неалгоритмизированного поведения. По крайней мере, в части речи. Текущие технологии столь несовершенны, что не смогут схватить смыслы речевого поведения. На данный момент технологии остановились на распознавании именно акустической стороны речи. Пример – всем известная Siri. Но в свободном изъяснении наша речь слишком нагружена «смыслом», передающимся через эмоциональные оттенки, паралингвистику. Более подробно читайте тут.

Поэтому в ближайшие 3-5 лет у VR следующие перспективы:
§ Действительно, виртуальные комнаты / комнаты дополненной реальности, в которых участники проходят оценку реальными наблюдателями. Пример технологии, которая сможет реализовать эту задачу, – Microsoft HoloLens. Выгода от её применения – снижение стоимости при сохранении высокой реалистичности оценки. Правда, при этом придётся закупить очки виртуальной или дополненной реальности.



§ Стандартизированные симуляции – по типу кейс-тестов в видео-формате, только переведённые в VR. Виртуальная реальность будет повышать реалистичность, а значит и точность оценки.

Другая область применения виртуальной реальности в HR, но уже вне оценки – симуляции или презентации, зачастую шутливые, которые знакомят человека с корпоративной культурной и возможностями компании. Пример – Ikea. VR изменит эту область: человек будет надевать шлем и знакомиться с компанией «от первого лица». Пример использования VR в этом направлении – General Mills.




5. Мини-игры в рекрутменте – альтернатива тестам и опросникам
Последние несколько лет наблюдается бум геймифицированных технологий подбора. Это могут быть как простые игры на внимание и память – по сути, более дружелюбные тесты способностей, так и квесты–бродилки–бегалки–стрелялки.

Мини-игра на внимательность / краткосрочную память в игре Firefly Freedom (разработчик – Arctic Shores). Необходимо воспроизвести последовательность, в которой загорелись банки.

«Игры» могут измерять:
§ Интеллектуальные способности – в первую очередь, внимание и скорость реакции.
§ Простые личностные качества – настойчивость, уровень притязаний, склонность к риску.
§ Установки на взаимодействие – коллаборативность, доброжелательность.

Бум произошёл во многом потому, что эти инструменты совершенствуют текущие процессы, а не требуют их перестройки. Их основная сфера применения – найм выпусников. «Игры» сокращают время оценки и за счёт дружелюбного содержания формируют позитивный бренд работодателя. В этом смысле они понятны и приближены к задачам сегодняшнего дня. Плюс они соответствуют текущему уровню развития технологий – практически все стартапы на поле геймифицированного рекрутмента – это разработчики игр или IT-решений, привлекающие HR-консультантов. Исключение – Pymetrics, созданная выпускницами Гарварда. В 2016 году она привлекла $6,1 млн. инвестиций и сейчас активно используется финансовыми компаниями.

Рядовому разработчику казуальных игр выйти на этот рынок может достаточно легко. Поэтому сейчас наблюдается волна низкокачественного геймифицированного продукта в зарубежном рекрутменте. Геймдевелоперы / разработчики web-симуляций для обучения предлагают свои игры, не снабжая их какой-либо валидазацией. Тем самым оставляя их средствами развлечения, а не инструментами отбора. Сверху приведены только те компании, которые предоставляют техническую информацию о своих «играх». Справедливости ради, и эта техническая информация может показаться недостаточно подробной. Но это – сливки. А на молоко лучше пока не смотреть.

В России геймифицированные решения в рекрутменте попросту отсутствуют. Причины:
§ Большая часть российской экономики – производственные и добывающие компании. Массовый найм выпусников не стоит в приоритете этих отраслей, да и Интернет в отдалённых «добывающих» частях России не всегда развит достаточно хорошо.
§ В России сравнительно низкий уровень развития игровой индустрии, что снижает вероятность появления соответствующих разработок.



Но в ближайшие года всё равно стоит ожидать появления геймифицированных решений в российском подборе. Разработка может прийти как из-за рубежа, так и от российских IT-гигантов, интересующихся HR (например, Mail.ru).

В целом «игры» будут развиваться следующим образом:
§ В мировом рекрутменте продолжится рост геймифицированных продуктов. Причём рост как низкокачественных инструментов, не вышедших из гейм-девелопмента, так и валидизированных игр с доказанной эффективностью.
§ Профессиональное сообщество обратит внимание на увеличение количества «игр» в рекрутменте и предъявит к разработчикам требования по разработке, стандартизации и валидизации методик.
§ «Игры» прочно проникнут в отрасли, занимающиеся массовым отбором выпускников – банки, IT, FMCG, консалтинг.


Вместо заключения
Технологический бум, о котором пишут многие HR-консультанты, пока не наступил. Причина не только в отсталости отдельных технологий, но и в запросах бизнеса. Скачок развития переживают только те инструменты, которые не реформируют HR, а подкручивают текущие процессы – геймификация в рекрутменте тому пример. Необходимо дождаться как готовности массового HR использовать технологии, так и готовности самих технологий, чтобы говорить об использовании виртуальной реальности или социальных сетей в оценке.

В перспективе 3-5 лет дистанционая оценка будет развиваться в следующем направлении:
§ Использование сразу батареи инструментов.
§ Снижение требований к времени участников (оценка проводится быстро).
§ Обязательная настройка под задачу на основе HR-аналитики. Составление профиля успеха на позиции.
§ Геймификация и вовлечение участников.
§ Повышение реалистичности процесса оценки.


Источники
Обзорные статьи
1.      Tippins, N. T. (2015). Technology and assessment in selection. Annu. Rev. Organ. Psychol. Organ. Behav., 2(1), 551–582.
2.       Ryan, A. M., & Ployhart, R. E. (2014). A century of selection. Annual review of psychology, 65, 693–717.
3.       Reynolds, D. H., & Rupp, D. E. (2010). Advances in technology-facilitated assessment. Handbook of workplace assessment: Evidence-based practices for selecting and developing organizational talent, 609–641.
4.      Статья Hogan «5 трендов в отборе»: http://www.hogan-x.com/wp-content/uploads/sites/2/2016/08/Hogan_X_surveyresults.pdf

Поглощения и инвестиции в HR Tech
1.      Список поглощений и инвестиций, 2004–2016 год: http://www.workology.com/hr-tech-trends-technology-acquisitions/
2.      Обзор инвестиций, 2014 год: https://techcrunch.com/2014/11/21/investors-are-backing-a-recruiting-revolution/?utm_campaign=Feed:+Techcrunch+(TechCrunch)&utm_medium=feed&ncid=rss&utm_source=feedburner
3.      Список всех поглощений SHL CEB и Korn Ferry: http://www.siop.org/tip/july15/KFCEBmap.pdf
4.      Список всех поглощений IBM и PwC: http://www.siop.org/tip/april15/SelectedIBMHistory.pdf

Психометрика и игры в рекрутменте
1.      Статья в NY Times про геймификацию в оценке: https://www.nytimes.com/2014/01/26/magazine/your-next-job-application-could-involve-a-video-game.html
2.      Статья в Американском сообществе по управлению персоналом: https://www.shrm.org/resourcesandtools/hr-topics/talent-acquisition/pages/games-applicants-recruiting.aspx

Виртуальная реальность
1.      Результаты анкетирования ведущих VR-разработчиков: http://images.reg.techweb.com/Web/UBMTechweb/%7B3c8dda91-da35-488f-af13-f315cbf563cd%7D_VR_AR_Innovation_Report_August_2016.pdf
2.      Обзор возможностей применения VR в оценке: http://www.assessmentcenters.org/Assessmentcenters/media/2016-Bali/40ICACM_Virtual-Reality-Artificial-Intelligence.pdf
3.      Aguinas, H., Henle, C. A., & Beaty Jr, J. C. (2001). Virtual reality technology: A new tool for personnel selection. International Journal of Selection and Assessment, 9(12), 70–83.

Социальные сети
1.      Kosinski, M., Matz, S., Gosling, S., Popov, V., Stillwell, D. (2015). Facebook as a Social Science Research Tool: Opportunities, Challenges, Ethical Considerations and Practical Guidelines. American Psychologist.
2.      Статья про социальные сети в оценке в данном блоге: http://assessment.livejournal.com/5512.html


Виртуальные центры оценки и симуляции
1.      Исследование конструктной валидности виртуальных ЦО: http://www.assessmentcenters.org/Assessmentcenters/media/2014/2014-Final-Presentations/Traditional-and-Technological-ACs_Gibbons.pdf
2.      Howland, A. C., Rembisz, R., Wang-Jones, T. S., Heise, S. R., & Brown, S. (2015). Developing a virtual assessment center. Consulting Psychology Journal: Practice and Research, 67(2), 110.
3.      Fetzer, M., & Tuzinski, K. (2013). Simulations for personnel selection. Springer.

Всех не перетестировать: В каких ситуациях можно назначать повторную оценку?

В 90-х годах исследователи пришли к удивительному открытию. С каждым прохождением теста MMPI человек диагностировался с меньшим количеством психических заболеваний (Kelley, Jacobs & Farr, 1994). В этот момент практики задались вопросом: как перетест влияет на результаты тестирования? Этот вопрос актуален и для оценки персонала, где повторное тестирование является относительно распространённой, но малоизученной практикой. Блог решил выяснить, что такое перетест и каковы его последствия.



На Западе ретест приобрёл статус проблемы. Руководства и стандарты проведения тестирования не содержат точных указаний на то, в каких обстоятельствах можно или необходимо перетестировать. Но при этом поощряют данную практику, т.к. она может добавить объективности и справедливости процедуре оценки (Society for Industrial and Organizational Psychology, 2003). Поэтому HR’ы зачастую неосознанно злоупотребляют повторным тестированием. Также сами участники могут использовать перетест как лазейку - сославшись на плохой Интернет, перепройти тест или его отдельные блоки. В России практика тестирования только начинает регламентироваться, поэтому данная проблема характерна и для нас.

Разберём основные ситуации перетеста в порядке их объективности.


Плановое повторное тестирование спустя год и больше

Встречается в компаниях, где психологические тесты встроены в процесс управления талантами, и работники раз в год / несколько лет заполняют методики. Улучшаются ли со временем их результаты? Ведь мы привыкли думать, что психологические тесты измеряют качества, устойчивые на протяжении 23 лет?

Ответ зависит от ситуации и инструмента. Результаты по тестам способностей да, улучшатся. Для знающих: средний размер эффекта - 0,26 (мета-анализ, Hausknecht, Halpert, Di Paolo & Moriarty Gerrard, 2007). Причина тесты способностей, конечно, измеряют способности, но всё-таки через конкретные задания. Человек может обучиться навыкам решения этих заданий - спонтанно, через многократные корпоративные тестирования, или намеренно с помощью соответствующих руководств. Факторы, которые помогут участникам улучшить свои результаты:


  • Маленький объём банка заданий или его отсутствие. Здесь решающим фактором станет не навыки решения заданий, а память участников и их сплочённость.


  • Использование того же формата заданий (Arendasy & Sommer, 2013; Villado, Randall & Zimmer, 2016). Банк заданий нивелирует эффект научения, но не до конца. Участники уже знают формат заданий, время их выполнения.


Привлечение других тестов способностей для перетеста затруднено по многим причинам. Это и затратно, и неэтично (участники будут оцениваться разными инструментами). Получается, у нас нет выхода: участники улучшат свои результаты.


С личностными опросниками ситуация сложнее. Зависит от конкретных используемых опросников - нормативных или ипсативных.

Если из года в год компания использует нормативные опросники сотрудники будут улучшать свои результаты. Ведь результаты опросников вносят вклад в кадровое решение, и сотрудники это знают. Каждое прохождение будет для них ситуацией научения. Они будут учиться понимать, какое качество оценивает каждый вопрос. Насколько сильно каждый из них в итоге будет “врать” зависит, в первую очередь, от следующих факторов:


  • Успешность прошлых прохождений личностных опросников (Holladay, David & Johnson, 2013). Если сотрудник в прошлые тестирования получал низкие результаты он будет стараться их улучшить.


  • Значимость результатов для сотрудника (Hausknecht, 2010; Walmsley & Sackett 2013). Чем больше вес опросника в принятии решении - тем выше шанс того, что сотрудники будут стараться улучшить свои результаты.


  • Наличие обратной связи по результатам первого прохождения (Holladay et al., 2013). Каждая обратная связь будь то отчёт или устный ответ будет учить сотрудника понимать измеряемые качества.


Использование ипсативных опросников мешает сотрудникам улучшать свои результаты. Ведь эти опросники вынуждают делать выбор между качествами, равными по своей “желательности”. Тем не менее, и здесь сотрудники смогут улучшить свои результаты, узнав “желаемый” профиль качеств и заполнив опросник соответствующим образом. Улучшения могут быть существенными (Hausknecht, 2010).

Наконец, следует помнить, что личностные качества не выбиты на молекулах ДНК и могут меняться со временем (McAdams & Olson, 2010). Если опросник заполнялся через год и более, изменения в результатах могут отражать реальные изменения в человеке. Или в том, как он себя начал воспринимать :)



ВНЕплановое повторное тестирование

2. Неккоректно проведённая процедура тестирования

К примеру, участник не был вовремя проинформирован об оценке, ему дали меньше времени на заполнение, чем другим участникам, тест заполнялся в непригодных, или были нарушены какие-либо иные положения Российского стандарта тестирования персонала.

В этом случае важно разобрать каждое нарушение и то, насколько оно повлияло на результаты. Особое внимание надо уделить в том случае, если тестировались способности или знания. Доступное время и условия заполнения являются критичными факторами в этой ситуации. Личностные опросники менее чувствительны к этим факторам.

Будьте готовы: если участник не проходил тест способностей в совсем плохих условиях, второе заполнение улучшит его результаты. Если банка заданий нет или он небольшой - улучшение будет существенным. И даже в случае наличия объёмного объёма банка заданий участник улучшит свои результаты. Он уже знаком с процедурой форматом заданий и временем их выполнения. Мы становимся заложниками ситуации: некорректная процедура тестирования, может быть, несильно повлияла на прохождение теста, но мы обязаны её повторить, тем самым дав участнику возможность улучшить свои результаты. Но у нас нет другого выбора.


3. Участник списывал или заполнял совместно с кем-то

Именно эта причина описана в Российском стандарте тестирования персонала как повод для перетеста (пункт 9.3). Основной вопрос заключается в источниках информации о том, что участник списывал или заполнял не сам / вместе с кем-то. Достоверность источников (от самого к наименее):


  • Свидетельства администраторов, контролирующих тестирование.


  • Статистические методы, используемые в онлайн-тестировании. Это могут быть индексы соответствия ответов или среднее время ответа. Любой современный провайдер тестов может сказать, есть ли вероятность, что участник списывал.


  • Подозрения HR’а или руководителя участника.


Общая рекомендация - проводить тестирование под контролем администратора, который будет следить за участниками. Остальные рекомендации зависят от инструмента. Если это тест знаний ситуация, скорее всего, не имеет простого выхода, т.к. тесты знаний редко содержат банки заданий и поэтому не могут быть адекватно перетестированы. Участники уже помнят большую часть заданий и ответов. Если это тесты способностей следует назначить повторное тестирование с использованием альтернативной формы теста. Это более короткий вариант теста, не содержащих заданий из полной формы. Результаты повторного прохождения должны указать, в какой мере первичный результат был справедлив. Практически каждый провайдер тестов имеет такие альтернативные формы, и вы можете обратиться к нему для перетеста.


4. Проблемы с компьютером или Интернетом, повлиявшие на результат участника

Наиболее лёгкая для манипуляции ситуация. Если тестирование проводилось под контролем администратора и на корпоративных компьютерах - нам не остаётся ничего, кроме перетеста. Только важно удостовериться, что технические проблемы действительно повлияли на результат. Если тестирование проводилось кандидатом неизвестно где - это повод ещё более серьёзно разобраться в ситуации. Как это можно сделать:


  • Привлечь IT-специалистов и посмотреть, действительно ли происходили разрывы во время прохождения.


  • Проверить, на каком задании / блоке теста (в случае если тест состоит из частей) происходили разрывы. Перетестировать надо не весь тест, а только соответствующий блок.


Но это всё косвенные замеры, и мы не сможем 100% сказать, действительно ли были проблемы. Поэтому лучше прибегать к превентивным мерам тестировать под контролем администратора и непосредственно перед тестированием проверять компьютеры и Интернет.

Важно помнить, что проблемы с Интернетом могут повлиять на выполнение только заданий, ограниченных по времени. Поэтому плохое Интернет-подключение не является поводом для перетеста личностных опросников.



5. Шкала лжи или согласованности в опроснике указывает на неправдоподобность ответов

Ситуация встречается в компаниях, которые используют нормативные личностные опросники (см. пункт 1). Это такие опросники, где участника прямо спрашивают о его уровне личностных черт. Чтобы хоть как-то защитить нормативные опросники от обмана, в них встраивают шкалы лжи или согласованности. Получив по ним высокие баллы, участник приглашается заполнить опросник ещё раз, “но уже более честно”.

Ситуация сложная и для организации, и для участника. Во-первых, перетест может оставить ситуацию прежней - высокие баллы по шкале лжи просто продублируются. Причина - шкалы лжи в основном измеряют не намерение человека обмануть опросник, а его склонность “слишком позитивно” мыслить о себе (McCrae & Costa, 1993; Ones, Viswesvaran & Reiss, 1996). Повторно заполнив опросник, он вновь репрезентирует эту склонность. Может сложится обратная ситуация, когда в перетесте участник получит более высокие баллы и по шкале лжи, и по шкалам опросника. Он уже сознательно будет давать более позитивные самоописания. Особенно если кадровое решение, которое будет принято по результатам, важно для участника. И он знает, что опросник обладает большим весом в этом решении. Чем более значима процедура оценки для участника, тем сильнее он будет стараться улучшить свои результаты (Hausknecht, 2010; Walmsley & Sackett 2013).

Также участник может подготовиться к повторному тестированию, прочитав про шкалы лжи и в итоге улучшив свои результаты. Как и все методы выявления социальной желательности, шкалы лжи достаточно уязвимы для подготовленных участников.


Что в итоге. Тестирование участника оплачено, но шкала лжи или согласованности указывает на не-истинность ответов. Перетест вряд ли выправит ситуацию. Компания в тупике. Рекомендация не использовать нормативные опросники, или использовать их вместе с ипсативными заданиями (где просят сравнить несколько качеств между собой). Необходимость перетеста личностными опросниками отпадёт.



6. Участник получил низкие результаты, и это противоречит ожиданиям заказчика

Например, участник является сильным кандидатом, и его приём на работу / повышение важно для HR’а или руководителя.

Назначение перетеста в этом случае дискредитирует процедуру тестирования. По двум причинам:


  1. Тесты не должны сильно коррелировать с оценкой менеджера или какого-либо другого человека (Connolly, Kavanagh & Viswesvaran, 2007). Важный нюанс: инструмент “создаёт” качество, которое он измеряет. Интеллект, измеренный руководителем, и интеллект, измеренный тестом это не одно и то же качество. То же самое с личностными чертами. Это расхождение и делает тесты ценным инструментом они рассматривают качество с уникального ракурса (и поэтому добавляют валидности).


  2. Участник получит преимущество, т.к. сможет улучшить свои результаты в повторном тестировании. Что (а) несправедливо по отношению к другим участникам и (б) снижает объективность оценки (на которую тесты претендуют).


Мнение какого-либо человека не может быть поводом для перетеста.

Резюме

Повторное тестирование это сложность и испытание не только для участника, но и для оценочной процедуры. Дабы вы ориентировались в этой процедуре, как итог статьи составлена "памятка" перетеста.


Литература:

1. Arendasy, M. E., & Sommer, M. (2013). Quantitative differences in retest effects across different methods used to construct alternate test forms. Intelligence, 41(3), 181192.

2. Connolly, J. J., Kavanagh, E. J., & Viswesvaran, C. (2007). The convergent validity between self and observer ratings of personality: A meta‐analytic review.International Journal of Selection and Assessment, 15(1), 110-117.

3. McCrae, R. R., & Costa, P. T. (1983). Social desirability scales: More substance than style. Journal of consulting and clinical psychology, 51(6), 882.

4. Hausknecht, J. P., Halpert, J. A., Di Paolo, N. T., & Moriarty Gerrard, M. O. (2007). Retesting in selection: a meta-analysis of coaching and practice effects for tests of cognitive ability. Journal of Applied Psychology, 92(2), 373.

5. Hausknecht, J. P. (2010). Candidate persistence and personality test practice effects: Implications for staffing system management. Personnel Psychology, 63(2), 299324.

6. Holladay, C. L., David, E., & Johnson, S. K. (2013). Retesting personality in employee selection: implications of the context, sample, and setting. Psychological reports, 112.

6. Kelley, P. L., Jacobs, R. R., & Farr, J. L. (1994). Effects of multiple administrations of the MMPI for employee screening. Personnel Psychology, 47, 575–591.

7. McAdams, D. P., & Olson, B. D. (2010). Personality development: Continuity and change over the life course. Annual review of psychology, 61, 517542.

8. Ones, D. S., Viswesvaran, C., & Reiss, A. D. (1996). Role of social desirability in personality testing for personnel selection: The red herring. Journal of Applied Psychology, 81(6), 660.

9. Villado, A. J., Randall, J. G., & Zimmer, C. U. (2016). The effect of method characteristics on retest score gains and criterion-related validity. Journal of Business and Psychology, 31(2), 233248.

10. Walmsley, P. T., & Sackett, P. R. (2013). Factors affecting potential personality retest improvement after initial failure. Human Performance, 26(5), 390408.

Философия практик управления талантами



Термин «Управление талантами» (TM) с каждым годом теряет свою определённость и однозначность. В первую очередь это связано со сложностью определения конкретных понятий, задействованных в управлении талантами. Если термин «персонал» имеет вполне чёткие и зафиксированные в языке очертания, то понятие таланта – скорее нет. Как следствие, в профессиональном сообществе есть множество трактовок – и даже типологий (пример) – практик управления талантами. Целостное описание практик TM становится едва ли посильной задачей. Возможным выходом из этого может быть попытка помыслить TM в терминах тех философских и этических допущений, которые лежат в основе этой практики.

Для этого обратимся к типологии систем TM, предложенной двумя нидерландскими учёными – Марией Мейерс и Марианной ван Ваерком (Meyers & van Woerkom, 2014). Мы в ЭКОПСИ нашли данную типологию крайне полезной "рамкой", объясняющей многообразие подходов в TM.

Согласно типологии, все системы TM различаются по двум основаниям - распространённость таланта и его изменчивость.




Экслюзивный подход – Инклюзивный подход
Изначально TM был посвящён сотрудникам, соответствующим необходимым компании критериям – будь то результативность, потенциал, наличие необходимого биографического опыта, соответствие ценностям компании (company fit). Как следствие, базовая практика ТМ состояла в сегментации персонала – его разделении на ряд групп в зависимости от того, насколько каждый сотрудник соответствует этим критериям. Вершина – пул HiPo (высокопотенциальные сотрудники), далее второй дивизион, и, наконец, «остальные». И именно эта практика изначально отличала TM от всей практики работы с персоналом (HRM): мы – специалисты по управлению талантами – работаем не со всеми, а только с исключительными сотрудниками. Так, пул HiPo крупнейших североамериканских компаний включает в себя в среднем 10% сотрудников (Church, Rotolo, Ginther, & Levine, 2015). Таким был и остаётся эксклюзивный подход к управлению талантами – сегментирующим и элитарным.

Следует сказать, что эксклюзивный подход характерен в большей степени для западной системы ценностей, сфокусированной на индивидуализме и соперничестве (Tashley, 2011). В нашей культуре всегда присутствовали герои, совершающие подвиги, превозмогающие невероятные трудности, побеждающие чудовищ. Одними из героев современности стали талантливые – высокорезультативные и высокопотенциальные – сотрудники.

В начале последнего десятилетия в организационной практике стали появляться системы TM, направленные на работу со всеми сотрудниками. Основные причины появления такого рода систем:
§ Многочисленные исследования, доказывающие вред от сегментации персонала. Конечно, у практики создания пула HiPo есть ряд плюсов – сотрудники, после признания их высокопотенциальными, заявляют о повышении лояльности компании и показывают более высокую результативность (Accenture, 2010; Malik & Singh, 2014). Но на оставшейся части персонала наблюдается ровно противоположный эффект: падение лояльности и повышение желания уйти из компании, падение результативности. Для западного мира, заботящегося о вопросах этики, это серьёзный повод задуматься и разработать альтернативу сегментирующим практикам TM.
§ Развитие альтернативных подходов к пониманию человеческого потенциала и их проникновение в организационную практику. В первую очередь, это позитивная психология – направление психологии, основанное на предположении, что у каждого из нас есть свои сильные стороны и надо только найти им применение. Также это capability approach – подход, утверждающий, что развитие человека зависит не от его способностей, а от возможностей, которыми он обладает и пользуется. Наконец, тренинговая практика также внесла вклад в развитие альтернативных подходов к TM. Специалисты по обучению и развитию обратили внимание на связь количества «тренировко-часов» с успешностью в музыке, спорте, освоении повседневных навыков. Вспомним правило 10 000 часов, за которые, по словам Анерса Эрриксона, любой человек может освоить любой навык (Ericsson, 2007).

Каждый обладает талантами – таково главное этическое допущение инклюзивного подхода в TM. Как он может быть реализован в конкретной организации? По мнению главного теоретика инклюзивного подхода, великобританского исследователя Свейлза (Swailes, Downs, & Orr, 2014), практика TM может называться инклюзивной при наличии в компании следующих процессов:
§ Обеспечение всех сотрудников базовыми возможностями для развития / понимания своих сильных сторон. Это могут быть как инструменты самопознания (личностные опросники, построенные по ипсативному принципу), так и оценка по типу 360 градусов или беседа с руководителем. Одна из практик, которая может применяться в данном случае – Appreciative Inquiry (на русском, на английском).
Если сотрудник отказывается искать и развивать свои таланты, выход один – запустить процесс оценки его результативности. Если сотрудник показывает хорошие результаты, значит, находится на своём месте, если нет – это повод для разговора о его уходе из компании.
§ Обеспечение всех сотрудников возможностью перейти на позицию, соответствующую его талантам. Если человек не показывает должной результативности на позиции «икс», ему предлагают перейти на позицию «игрек». В отличие от принятой в аттестации практики – перевода на откровенно невыгодную должность – предлагаемая позиция должна соответствовать сильным сторонам человека. В случае, если после ряда попыток показать результативность на новых позициях сотрудник терпит неудачу, решение в отношении него примерно следующее: «Извините, но наша компания не соответствует Вашим талантам. Уверены, Вы сможете применить их в другом месте». И в инклюзивном TM это искренние слова, основывающиеся на прочной этической позиции: каждый обладает сильными сторонами.
§ Предоставление всем сотрудникам свободы в выборе своего профессионального и карьерного развития в компании. Речь идёт не просто о предоставлении нерезультативному сотруднику 2-го, 3-го и далее шанса, но о возможности любого – даже преуспевающего на текущей должности – сотрудника попробовать себя в новой роли. Самый простой пример – ротация, инициированная самим сотрудником или предложенная ему компанией. Практика ротаций, сейчас распространённая в digital и консалтинговых компаниях, помогает сотруднику понять свои сильные стороны и ограничения, и найти своё место в организации.

Не правда ли, сложно представить полную реализацию инклюзивного TM в современных компаниях? Может возникнуть сомнение, что компания, столь сильно сфокусированная на своих сотрудниках, может достигать больших результатов. Тем не менее, исследование Bersin 2015 года показывает, что наиболее зрелые системы TM, вносящие вклад в финансовый успех компании, – инклюзивные. В чём причина? Исследователи, ссылаясь на метаисследования (Kierein & Gold, 2000) в качестве определяющего фактора называют эффект Пигмалиона. Большая часть сотрудников, будучи признанными талантливыми, повышают свою результативность для подтверждения своего нового наименования.

Исследование CIPD за 2015 год показывает, что более половины компаний (54%) распространяют свои практики TM на весь персонал. Важно, что в 2014 году этот показатель был равен 45%. Впрочем, непонятно, в какой мере представления HR-менеджеров об инклюзивности соответствует «полному» определению инклюзивного TM, предложенному Свейлзом. С высокой степенью вероятности часть менеджеров, отнёсших свою систему TM к инклюзивному типу, самом деле не имеют какой-либо практики работы с талантами и просто отожествляют TM и HRM. Так что, скорее всего, реальный показатель распространённости инклюзивных практик ниже указанных в исследованиях CIPD. Но, что важно, он растёт.

Где можно встретить инклюзивный TM? Наиболее яркие примеры в госсекторе - это практика систематического обучения в администрациях Сингапура (Ward Howell 2012, Osman-Gani, 2004), система развития госслужащих Индии (Roa, 2004). В частном секторе составляющие инклюзивного подхода можно встретить в Panasonic, SAP.



Талант невозможно развивать – Талант можно развивать
А возможно ли развить талант? Вопрос сложный, поэтому давайте разобьём его на две части - (1) Можно ли развить талант "с нуля", фактически при его отсутствии? (2) Можно ли конкретезировать талант человека, добавив к нему навыки (как человек с музыкальным слухом постепенно, сквозь года тренировок, становится хорошим композитором)?

Изначальный TM понимал талант скорее как стабильное качество. Основные организационные практики, которые предлагались в работе с талантами, – подбор / выявление и привлечение / удержание. В таком подходе стратегической целью TM является обеспечение максимального соответствия сотрудников занимаемым позициям (job fit). Ведь если нельзя развить сотрудника, значит, нельзя подготовить его к иной позиции, кроме той, к которой он уже готов. В случае же, если на внутреннем рынке труда нет достойных кандидатов, остаётся брать их с внешнего. Наиболее используемыми здесь критериями для отбора талантов являются личностно-интеллектуальные качества и корпоративные компетенции, часть которых также более-менее стабильны, сложноразвиваемы и близки к личностям чертам (вспомним «Ориентация на результат» или «Способность к обучению» из многих моделей компетенций). Пример такого подхода из последних дней – статья от Hogan, с подзаголовком: «Талант – это всего лишь личностные особенности, применяемые в нужном месте и в нужное время».

Промежуточным вариантом от "всё неразвиваемо" к "всё развиваемо" является подход, принятый в организационной психологии. Согласно ему, развитие таланта - это приращение к таланту навыков. У человека наиболее быстро и эффективно развиваются те поведенческие паттерны, которые соответствуют его интеллектуальным способностям и личностным чертам. Так, человек, который обладает высоким уровнем экстравертированности, с высокой вероятностью будет быстро нарабатывать навыки, связанные с коммуникацией (не будучи обремённым уровнем интеллекта, конечно же). То есть развитие таланта - это реализация потенциала.
Данный подход считает, что талант "с нуля" развить нельзя, а вот развить талантливого сотрудника - можно.

Понимание таланта как стабильного качества в большей мере характерно для западной системы ценностей. Изначально талантом обозначали определённую меру денег (см. 25-ю главу Евангелия от Матфея), далее, в словарях 13-го века данным термином стали обозначать капитал, а начиная с 15-го века – врождённые способности (Tashley, 2011). В словаре Ожегова даются два определения таланта: (1) Выдающиеся врождённые качества, особые природные способности. (2) Человек, обладающий такими качествами, способностями. Схожие определения можно встретить в словарях английского и немецкого языков. Исследование представлений о таланте, проведённое в Чехии, показало, что чешские HR-менеджеры воспринимают талант именно как врождённое качество – это самый нагруженный фактор в их ответах (Hana & Lucie, 2015). Наконец, согласно отчету последнего российского HR-Форсайта, в трёх отраслях если и используется понятие таланта, то только как как стабильное врождённое качество (HR-Форсайт, 2015). Эти отрасли – IT, Промышленность, Энергетика. (Представители других отраслей не разбирали проблему выявления талантов, поэтому о них мы ничего сказать не можем).

Такому пониманию таланта противостоит понимание таланта как изменчивой переменной, характерное для восточного мировозрения. Кросскультурное исследование понятия таланта показало, что, к примеру, в японском языке «талант» обозначает прижизненное и развиваемое качество (Tashley, 2011).

Тем не менее, без оглядки на восточную культуру ряд европейских и североамериканских компаний выстроили такую систему TM, где талант является развиваемым. Такие системы построены на оценке и развитии вовсе не личностных качеств и способностей, а навыков или компетенций. Одним из главных движителей в развитии навыков становятся руководители, которые доказанно влияют на вовлечённость сотрудников и их увлечённость работой (Vallerand, Houlfort, & Forest, 2014). А одним из основных методов развития - развитие на рабочем мест, или развитие, основаннное на опыте.
Рыночное преимущество у такого «развивающего» подхода на поверхности – мы взращиваем таланты внутри, а не берём с внешнего рынка. В наши пулы хайпо будут попадать люди, узнавшие корпоративную культуру компанию, а значит в той или иной степени соответствующие её системе ценностей. Основной вызов для приверженцев данного подхода – его высокая стоимость: для создания и реализации масштабной программы обучения потребуются как существенные финансовые вложения, так и людские ресурсы.

Стоит признать, что в западном сознании, как следствие и в менеджменте, сохраняется представление о таланте как о способности или задатке, а значит, как о чем-то врожденным и сложно развиваемом :) Показательно исследование 2006 года, в котором изучались представления североамериканских менеджеров о развиваемости компетенций (Gibbons, Rupp, Snyder, Holub & Woo, 2006). Одним из результатов было следующее: корреляция между «Эти лидерские навыки можно развивать» и «Эти лидерские навыки полезны в долгосрочной перспективе» достаточно средняя (по меркам опросов) – 0,26. Видимо, развиваемые компетенции воспринимаются менеджерами как фактор эффективности «сегодняшнего дня», в то время как сложноразвиваемые компетенции – прогностичными на более длинной дистанции и потому более важными. Крупные исследования в области психологии личности, в целом, подтверждают это: личность и интеллект являются сложноразвиваемыми - во взрослом возрасте - качествами (McAdams & Olson, 2010). Для человека важна целостность его жизни, её последовательность, потому серьёзные и резкие изменения в способе мышления и восприятия мира (т.е. в интеллектуальных способностях и личностных чертах) для него нежелательны. Так что полностью "развивающие" подходы - относительная редкость для современного бизнеса.


Итак, давайте подытожим:

  1. Все практики TM можно оценить по двум основаниям - на какое количество сотрудников они направлены (экслюзивный - исклюзивный подход); подразумевают ли они возможность развития таланта как качества человека или таланта как отдельного сотрудника.

  2. В настоящий момент доминируют эксклюзивный подход, направленный на реализацию потенциала отдельных сотрудников. Набирает популярность инклюзивный подход, при этом всё также воспринимающий талант как относительно стабильное качество, способное реализоваться в виде быстрого развития связанных навыков и компетенций.







Использовалось:
1. Church, A. H., Rotolo, C. T., Ginther, N. M., & Levine, R. (2015). How are top companies designing and managing their high-potential programs? A follow-up talent management benchmark study. Consulting Psychology Journal: Practice and Research, 67(1), 17.
2. Dries, N. (2013). The psychology of talent management: A review and research agenda. Human Resource Management Review, 23(4), 272-285.
3. Ericsson, K. A. (2007). Deliberate practice and the modifiability of body and mind: Toward a science of the structure and acquisition of expert and elite performance. International Journal of Sport Psychology, 38, 4–34.
4. Gibbons, A. M., Rupp, D. E., Snyder, L. A., Holub, A. S., & Woo, S. E. (2006). A Preliminary Investigation of Developable Dimensions. The Psychologist-Manager Journal, 9(2), 99–123.
5. Hana, U., & Lucie, V. (2015). Investigating Talent Management Philosophies. Journal of Competitiveness, 7(3), 3–18.
6. Kierein, N. M., & Gold, M. A. (2000). Pygmalion in work organizations: A meta-analysis. Journal of Organizational Behavior, 21, 913–928.
7. Malik, A. R., & Singh, P. (2014). ‘High potential’programs: Let's hear it for ‘B’players. Human Resource Management Review, 24(4), 330346.
8. Meyers, M. C., & van Woerkom, M. (2014). The influence of underlying philosophies on talent management: Theory, implications for practice, and research agenda. Journal of World Business, 49(2), 192–203.
9. Meyers, M. C., Van Woerkom, M., & Dries, N. (2013). Talent – Innate or acquired? Theoretical considerations and their implications for talent management. Human Resource Management Review, 23(4), 305–321.
10. McAdams, D. P., & Olson, B. D. (2010). Personality development: Continuity and change over the life course. Annual review of psychology, 61, 517–542.
11. Rao, T. (2004) Human Resource Development as National Policy in India. Advances in Developing Human Resources, 6(3), 288–296.
12. Osman-Gani, A. (2004) Human Capital Development in Singapore: An Analysis of National Policy Perspectives. Advances in Developing Human Resources, 6 (3): 276–287.
13. Swailes, S., Downs, Y., & Orr, K. (2014). Conceptualising inclusive talent management: potential, possibilities and practicalities. Human Resource Development International, 17(5), 529–544.
14. Tansley, C. (2011). What do we mean by the term “talent” in talent management?. Industrial and commercial training, 43(5), 266–274.
15. Vallerand, R. J., Houlfort, N., & Forest, J. (2014). Passion for work: Determinants and outcomes. Oxford handbook of work engagement, motivation, and self-determination theory, 85–105.

Технологии оценки персонала будущего: Социальные сети



Коллеги, после затянувшегося перерыва продолжаем изучать практики и технологии оценки персонала, способные в будущем составить конкуренцию современным распространённым методам. Сегодня будем говорить о том, без чего уже сложно представить нашу жизнь, – о социальных сетях. Все мы знаем, что рекрутёры оценивают кандидатов, просматривая их профиль в Facebook и Вконтакте. Но какова реальная ценность такой оценки? А что ещё интереснее – какое у неё будущее?





Попробуйте взглянуть на свою страницу в соцсети глазами безымянного рекрутёра. Выглядите ли Вы дружелюбным на фото? Указывает ли что-нибудь на вашу привязанность к работе? Нет ли излишне резких постов на стене, способных оттолкнуть наблюдателя? В определённый момент эти вопросы могут оказаться критичными для человека, принимающего решения о назначении собеседования. Что понять, насколько может быть эффективным это решение, давайте разобьём всё наше знание о социальных сетях в рекрутменте на 4 пункта.

Социальные сети в рекрутменте – распространённая практика
Исследователи пока расходятся в оценке того, какой процент рекрутёров используют социальные сети в своей оценке кандидатов. Но ясно одно: много – от 33% (SHRM, 2011) до 91% (The Reppler Effect, 2011) согласно международным исследованиям. Наиболее распространена данная практика в США (79%), далее идут Германия (57%) и Великобритания (49%) (Cross-Tab Marketing Services, 2010). В России, согласно исследованию SHL 2015 года, 70% компаний проверяют кандидатов через соцсети (SHL, 2015).
Чем оценка профиля в соцсети столь привлекательна?
§ Это возможность увидеть человека в «естественных» условиях. То есть не в ситуации интервью или тестирования, к которой можно подготовиться, прочитав специальные гайды (с той или иной долей успеха, конечно). А в ситуации наблюдения за «повседневным» поведением.
§ Это быстро. Во-первых, сам оценка профиля занимает 2–10 минут. Во-вторых, итогом оценки профиля обычно является решение «адекватный – неадекватный», что уже позволяет отсеять часть кандидатов и таким образом сэкономить время.
§ Это экономно. Не надо закупать тесты и опросники.

Научные исследования доказывают эффективность оценки личностных качеств по профилю
За последние 6 лет было проведено множество исследований, в которых проверялась эффективность измерения личностных качеств по профилю в соцсетях. Можно сделать два основных вывода:
1. Личностные качества проявляются в профиле Facebook
Все результаты исследований приведены в таблице.
Негусто, правда? Остальные гипотезы исследователей просто не подтвердились. Контрастирует с тем количеством заключений, которые мы обычно делаем по профилю FB.
2. Стандартизированная оценка профиля имеет приемлемые показатели надёжности и валидности.
Важная пометка – именно стандартизированая, то есть специальная процедура, которая имеет четкие правила (что оцениваем и по какой шкале). И которая, как следствие, обеспечивает равные условия всем участникам. Здесь можно вкратце сказать и о приемлемых уровнях согласованности экспертов (ICC от 0,42 до 0,72 в зависимости от шкалы), и о хорошем показателе внутренней согласованности (0,71), и о неплохом уровне критериальной валидности (0,26), и даже об инкриментной валидности 79% над личностными опросниками (Kluemper & Rosen, 2009; Kluemper, Rosen & Mossholder, 2012).


Оценка профиля, осуществляемая на практике, далека от науки и не обладает валидностью
Сравним то, как происходит оценка профиля в науке и на практике:
Как происходит процесс оценки профиля кандидата? Специалист просматривает профиль, обращая внимание на значимые для него блоки (фото, образование, увлечения, сообщества, посты на стене). Постепенно чаша весов смещается в сторону одного из решений: звать / не звать. А что происходит в процессе принятия этого решения – черный ящик. В описанных исследованиях, где доказана связь профиля и экспертных оценок, использовались шкалы (аналогичные шкалам в 360 градусов). По типу, «Оцените по 5-ти балльной шкале, насколько богатой фантазией обладает данный человек». Это совсем другой подход, хоть как-то структурирующий суждения экспертов. Но он не используется HR’ми. А HR'ы используют вот такое.
И что самое интересное, оценка профиля без шкалы и силами одного эксперта, согласно исследованиям, непрогностична (Van Iddekinge, Lanivich, Roth & Junco, 2013). Она не предсказывает производительность труда. Причин тут несколько:
1. На оценку неизбежно влияют личностные особенности оценивающего. Доказано, что более нарциссичные оценивающие ставят более высокие баллы по нарциссизму любому профилю (Buffardi, L. E. & Campbell, 2008). Если привлекать несколько экспертов, данная закономерность хоть как-то сглаживается.
2. Отсутствие чётких критериев и шкалы приводит к тому, что HR ставит субъективные оценки, основанные на его убеждениях.

Применение социальных сетей в оценке персонала связано с рядом рисков
Этические – можно ли обеспечить равные условия всем кандидатам, профили которые оценивается? Вряд ли ведь каждый из нас присутствует в соцсетях с той или степень включённости. И у каждого свои настройки приватности. Как следствие, каждый кандидат, сам того не зная и не желая, может предоставить информацию различной глубины и подробности. Это усложняется ещё нестандартизированностью и субъективностью оценки, о чём было сказано выше. В итоге нельзя сказать, что у нас все находятся в равных условиях - как, к примеру, в ситуации тестирования или структурированного интервью.
Юридические – является ли информация, находящаяся в социальной сети, в строгом смысле слова персональной? Если брать определение, данное в ФЗ-152 от 27.07.2006, да, является. Давал ли кандидат своё согласие на её обработку? Можно предположить, что в большинстве случаев нет, и, более того, такая обработка происходит без его ведома.
Репутационные – изменится ли отношение кандидата к компании, если он узнают, что HR принимал решение с учётом информации из его профиля? Согласно исследованиям, да, изменится. Кандидаты заявляли о снижении доверия компании и падении его привлекательности как работодателя (Stoughton, Thompson & Meade, 2013). В современных реалиях, где HR-брэнд является одним из стратегических направлений HR практически каждой крупной компании, слишком высока цена.


Давайте подытожим. Практика оценка профиля в соцсети распространена и будет развиваться, скорее всего, вне нашего на то желания. Наука доказывает нам эффективность оценки по профилю. Но то, как оценивают рекрутёры в своей практике, и то, как оценивают учёные, – это две разные вещи. Поэтому нецелесообразно доказывать рекрутёрскую практику с помощью научно выверенных исследований.

Что дальше? Какой будет оценка профиля в социальной сети через десять лет? Закономерным кажется появление специальных аггрегаторов «социальной» информации о кандидате – приложений, которые автоматически обрабатывают социальный профиль в соцсетях и выставляет оценку по необходимым критериям. При этом наиболее очевидны три предмета такой оценки: (1) личностные качества; (2) соответствие кандидата ценностям организации; (3) информация, «забраковывающая» кандидата: сексуальный, противозаконный (призывы к массовым беспорядкам, осуществлению экстремистской деятельности…) и прочий подобный контент. Оценка может ставится как с учётом экспертных суждений о профиле. Пример: "Наши эксперты считают, что большое количество друзей это экстраверсия". Так и с учётом корреляций профиля с личностными опросниками. Пример: "Большое количество фото статистически связано с экстраверсией". В принципе, уже сейчас собираются и обрабатываются огромные массивы данных социальных сетей, так что создание такой системы не за горами.
Также будет развиваться и обратное течение – люди будут более аккуратны в составлении профиля и поведении в соцсети в целом. Уже сейчас есть агентства, помогающие улучшить профиль в соцсети для его восприятия рекрутёром.
Ну а тем, кто не захочет создавать себе социально-привлекательный профиль, останется уповать на разного рода юридические механизмы, затрудняющие использование информацию из социальных сетей в качестве одного из критериев отбора.


Использовалось:
1. Amichai-Hamburger, Y. and Vinitzky, G. (2010) Social Network Use and Personality. Computers in Human Behavior, 26, 12891295.
2. Bachrach, Y., Kosinski, M., Graepel, T., Kohli, P., & Stillwell, D. (2012) Personality and Patterns of Facebook Usage.
ACM WebSci 2012.
3. Buffardi, L. E., & Campbell, W. K. (2008). Narcissism and social networking web sites. Personality and Social Psychology Bulletin, 34, 13031314.
4. Cross-Tab Marketing Services. (2010). Online reputation in a connected world. Ссылка: download.microsoft.com/download/C/D/2/CD233E13-A600-482F-9C97-545BB4AE93B1/DPD_Online%20Reputation%20Research_overview.pdf
5. Karl, K., Peluchette, J., & Schlaegel, C. (2010) Who is posting facebook faux pas? A cross-cultural examination of personality differences. International Journal of Selection and Assessment, 18(2): 172184.
6. Kluemper, D. H., & Rosen, P. (2009). Future employment selection methods: Evaluating social networking websites. Journal of Managerial Psychology, 24 , 567–580.
7. Kluemper, D. H., Rosen, P. A., & Mossholder, K. W. (2012). Social Networking Websites, Personality Ratings, and the Organizational Context: More Than Meets the Eye?
Journal of Applied Social Psychology, 42, 1143–1172.
8. Marshall T. C., Lefringhausen K. & Ferenczi N. (2015) The Big Five, self-esteem, and narcissism as predictors of the topics people write about in Facebook status updates. Personality and Individual Differences, 85, 35–40.
9. Moore K., & McElroy J. C. (2012 The influence of personality on Facebook usage, wall postings, and regret. Computers in Human Behavior, 28, 267–274.
10. Orr, E. S., Sisic, M., Arseneault, J., Simmering, M., & Orr, R. (2009). Personality and motivations associated with Facebook use. Computers in Human Behavior, 25, 578586.
11. Stoughton, J. W., Thompson, L. F., & Meade A. W. (2013) Examining Applicant Reactions to the Use of Social Networking Websites in Pre-Employment Screening. Journal of Business and Psychology, 30, 7388.
12. SHL (2015) Отчёт о локальных тенденциях в оценке персонала за 2015 год.
13. SHRM (2011). SHRM survey findings: The use of social networking websites and online search engines in screening job candidates. Ссылка: http://www.shrm.org/research/surveyfindings/articles/pages/theuseofsocialnetworkingwebsitesandonlinesearchenginesinscreeningjobcandidates.aspx
14. Ross, C., Orr, E. S., Sisic, M., Arseneault, J. M., Simmering, M. J., & Orr, R. R. (2009). Personality and motivations associated with Facebook use. Computers in Human Behavior, 25, 578–586.
15. The Reppler Effect (2011) Managing your online image across social networks . Ссылка: http://blog.reppler.com/2011/09/27/managing-your-online-image-across-social-networks/
16. Van Iddekinge, C. H., Lanivich, S. E., Roth, P. L., & Junco, E. (2013). Social Media for Selection? Validity and Adverse Impact Potential of a Facebook-Based Assessment. Journal of Management, 125.


Этот текст относится к циклу статей, посвящённым технологиям оценке персонала будущего. Ниже приведены другие статьи этого цикла.

Технологии оценки персонала будущего: Сканирование мозга



Коллеги, а давайте представим, какие технологии будут использоваться в оценке персонала в ближайшем и далеком будущем. Мир не стоит на месте, активно развиваются цифровые технологии и поведенческие науки, и рано или поздно доля опросников и интервью в оценке персонала начнет уменьшаться. Рассказу о технологиях будущего и посвящён цикл статей данного блога, которые будут выходит с периодичностью раз в неделю.

Всего будет представлено 5 технологий, которые сейчас активно развиваются и в перспективе смогут найти себе место в оценке персонала. Про каждую из них будут описаны следующие пункты:

  • Суть технологии;

  • Научные исследования технологии и актуальные сферы её применения;

  • Преимущества технологии;

  • Препятствия на пути массового использования технологии;

  • Авторский прогноз использования её компаниями в будущем.


И начнём мы с головы.




"Участник заходит в кабинет тестирования. Ему навстречу идет специалист отдела персонала и при сближении протягивает руку для приветствия. Тестируемый оглядывает взглядом кабинет и примечает большой аппарат. Он вспоминает, что видел нечто подобное в сериалах своего детства. Спустя 30 минут безвольного нахождения внутри аппарата участник уходит: только что были измерены его психологические и интеллектуальные качества". Все это может быть частью простенького фантастического рассказа, но в самом деле описывает уже существующую процедуру сканирования мозга в оценке персонала. Основных таких процедур две: МРТ (Магнитно-резонансная томография) и ПЭТ (Позитронно-эмиссионная томография). Эти процедуры измеряют активность различных зон мозг, в том числе тех, которые могут отвечать за интеллектуальные способности и личностные качества человека. В среднем они занимают 20-40 минут.
Научное сообщество возлагает большие надежды на такого рода физиологические методики. В 1992 году президент Американской Психологической Ассоциации высказал уверенность в том, что однажды физиологические методики полностью заменят тесты интеллекта (Matarazzo, 1992). В пользу этого мнения говорят результаты исследований, приведенные в таблице:


Одним словом, сканирование мозга действительно измеряет интеллект и ряд личностных черт. Насколько прогночны эти данные - неизвестно, ввиду отсутствия соответствующих исследований. Но надо думать, что раз есть столь высокие корреляции с тестами и опросниками, валидность сканирования мозга несильно отстаёт от валидности этих инструментов.

Мы видим инструмент, который измеряет важные нам качества и который лишен риска обмана и самообмана со стороны участника. Так что же мешает массовому распространению сканирования мозга в оценке персонала? Технологии есть уже сейчас, но едва ли можно сказать, что их использует большое количество компаний. В исследованиях валидности процедуры сканирования мозга участвуют в основном либо военные, либо студенты. Коммерческие организации привлекаются крайне редко - в основном это инжиниринговые и производственные компании. На всё это есть несколько причин:
§ Практическая – сканирование мозга - дорогая и трудозатратная процедура. Заместитель декана по наукам о поведении НИУ ВШЭ Василий Андреевич Ключарев поделился с нами, уважаемые читатели, информацией: стоимость аппарата МРТ или ПЭТ составляет от 1 до 5 млн. евро, а стоимость разового коммерческого использования – от 300 до 500 евро. Также обследование каждого человека требует личного участия специалиста, что отличается, к примеру, от массового тестирования личностными опросниками.
§ Юридическая – процедура является медицинской и потому противоречит ряду законодательных актов. В США в 1990 году был принят закон об Американцах-инвалидах. Один из его пунктов гласит, что запрещено запрашивать информацию о психических заболеваниях кандидата, если их отсутствие не является требованием к работе в профессии. А процедура, по сути, подразумевает сбор этой информации, т.к. зоны мозга, связанные с личностными чертами (из таблицы выше) связаны также с различными психическими нарушениями (аутизм, постравматическое стрессовое расстройство и др.). В России, насколько известно автору, аналогичных законов или постановлений нет. Основным законом здесь является статья 213 ТК РФ, описывающая категории работников, обязанных проходить медицинское обследование.
§ Этическая - процедура не подразумевает какого-либо участия респондента и потому может вызывать у него негативные реакции на ситуацию оценки. Ведь без его усилий был поставлен, по факту, диагноз об уровне развития интеллекта и личностных качествах. То есть нет ощущения контроля за процедурой оценки.

Ну и напоследок рассмотрим, где и как может применяться сканирование мозга в оценке будущего. Стоит признать, что в ближайшие несколько десятков лет практика применения данного инструмента будет ограниченной. Можно предположить, что он будет изредка - и скорее в качества эксперимента - использоваться в оценке на управленческие позиции в компаниях с высокой ценностью безопасности (государственный сектор, финансовые компании и банки). Для оценки на рядовые позиции процедура в её текущем состоянии слишком дорога. Привлекательность технологии для, к примеру, банков объясняется их стремлением минимизировать риски при найме. Как следствие, для них важна защита от лжи и самообмана.
"Золотая эра" сканирования мозга в оценке персонала наступит при появлении двух условий:
§ Удешевление процедуры сканирования.
§ Измерение других конструктов, помимо описанных выше - интеллекта и «Большой пятерки». Пока что доказана эффективность в оценке тех качеств, которые измеряются личностными опросниками и тестами интеллекта. Причем за исключением избавления от социальной желательности, сканирование мозга не обладает какими-либо явными преимуществами по сравнению с этими методами. А вот если удастся измерить более «узкие качества» (как потенциал продаж или лидерство), или более социально-нагруженные (следование нормам), - это даст серьёзное преимущество процедуре сканирования мозга. Конечно, в последнем случае поднимается большое количество этических вопросов, которые рано или поздно придётся решать.

Тем не менее, коллеги, у данной технологии уже есть серьёзное преимущество: она объективна. В ней минимизировано влияние человека на результаты - как оценивающего, так и оцениваемого. Есть лишь физиология. И именно в силу своей объективности процедура сканирования мозга рано или поздно найдёт себе место в оценке персонала.




Использовалось:
1. Canli, T. (2004). Functional brain mapping of extraversion and neuroticism: Learning from individual differences in emotional processing. Journal of Personality, 72, 1105–1132.
2. Diekmann, J., König, C. J. & Alles J. (2015) The role of neuroscience information in choosing a personality test: not as seductive as expected. International Journal of Assessment and Selection, 23, 99–108.
3. Dietvorst, R. C., Verbeke, W.J.M.I., Bagozzi, R. P., Yoon, C., Smits, M. & Van der Lugt, A. (2009). A sales-force-specific theory-of-mind: Tests of its validity by classic methods and functional magnetic resonance imaging. Journal of Marketing Research, 46, 653–668.
4. Haas, B. W., & Canli, T. (2008). Emotional memory function, personality structure and psychopathology: A neural system approach to the identification of vulnerability markers. Brain Research Reviews, 58, 71–84.
5. Haier, R. J., Cheuh, D., Touchette, P., Lott, I., Buchsbaum, M. S., Macmillan, D., Sandman, C., Lacasse, L. & Sosa, E. (1995). Brain size and cerebral glucose metabolic rate in nonspecifi c mental retardation and Down syndrome. Intelligence, 20, 191–210.
6. Matarazzo, J. D. (1992). Psychological testing and assessment in the 21st century. American Psychologist, 47, 1007–1018.
7. McDaniel, M. A. (2005). Big-brained people are smarter: A meta-analysis of the relationship between in vivo brain volume and intelligence. Intelligence, 33, 337–346.

Обновленные данные о валидности инструментов оценки

Друзья, интересные новости. Но сначала предисловие. Есть такой ученый-психолог - Фрэнк Шмидт (англ. Schmidt), и занимается он мета-аналитическими исследованиями. То есть такими исследованиями, которые собирают в кучу все имеющиеся данные по определенной теме и делают "усреднённый портрет". Самое известное его исследование - это метаанализ 1998 года, проведенный совместно с Хантером, на тему валидности инструментов оценки. 99% слайдов презентаций, на которых есть обобщённые данные о валидности чего-либо в оценке, иллюстрируют информацию именно из этого метаанализа. И тут недавно на вебинаре Korn Ferry услышал, что данные 1998 года обновлены. Заинтересовался, списался с Шмидтом и его коллегами, получил обновленные результаты, получил добро на публикацию результатов в блоге. Публикую :) Данные, которые приведены ниже, включают в себя все метаанализы до 2012 года включительно. Сама же статья выйдет только в 2017-2018 годах. Так что у вас, дорогие читатели, есть возможность узнать передовую информацию задолго до её выхода в свет.

Для цитирования материалов исследования:
Schmidt, F. L., Oh, I-S & Shaffer, J. (2013) The Validity and Utility of Selection Methods in Personnel Psychology: Practical and Theoretical Implications of 95 Years of Research Findings. Выступление на семинаре PTC/MW 6 ноября.


Исследование 2012 года
По словам самого Шмидта, метааналитические процедуры, разработанные в нулевых годах, указали, что все прошлые исследования (в т.ч. 1998 года) принижали валидность тестов интеллектуальных способностей (примерно на 25%). Сейчас же, с применением современных процедур, выяснилось, что их валидность достаточно высокая (0,65). Также за 14 лет вышло большое количество метаанализов, что привело к (а) увеличению списка инструментов до 25 штук; (б) изменению показателей валидности у ряда инструментов.

Результаты исследования
Результаты - это две таблицы, в которых приведены:
1. Коэффициенты критериальной валидности инструментов.
2. Прирост валидности (в %) при использовании инструментов вместе с тестами интеллекта.

1. Коэффициенты валидности
Итак, что мы видим:
- тесты интеллекта как всегда на пьедестале, и в этом исследовании они лишь укрепили свои позиции;
- неструктурированное интервью получило новые исследовании в нулевых годах, а вместе с тем - существенно возросший коэффициент валидности;
- симуляции рабочих задач существенно упали в коэффициенте валидности (и причина не в новых исследованиях - их нет; а в новых способах обработки данных этих исследований);
- эмоциональный интеллект, несмотря на существенный интерес к нему (в первую очередь у клиентов), затерялся среди других инструментов;
- ответственность упала в коэффициенте валидности (причина - новые способы обработки данных исследований). Впрочем, такой коэффициент (0,22) вполне обычен для личностных опросников.


2. Прирост валидности
Самая провокационная часть исследования, которая гласит, что множество инструментов не дают какого-либо прироста валидности после использования тестов интеллекта. В рамках отбора, само собой. Стоит учитывать, что это, конечно, среднее значение, и есть множество ситуаций, в которых, наоборот, показано использовать какие-либо инструменты кроме тестов интеллекта. Это оценка и на управленческие позиции, и на должности, требующие развитых навыков взаимодействия. Тем не менее, основной посыл авторов: В любой непонятной ситуации отбора используйте тесты интеллекта.


Теперь давайте рассмотрим два интересных вопроса, которые могут возникнуть:

Почему у центра оценки столь низкая валидность (0,37), хотя все знают, что ЦО - самый валидный инструмент?
Тут произошла путаница. Высокий показатель валидности ЦО, который часто встречается в литературе (0,53) - это показатель для центра оценки, в котором используются также тесты способностей. А, как мы знаем, согласно Стандарту центр оценки необязательно подразумевает использование психометрики, его основа - моделирующие упражнения. То есть ЦО сам по себе, согласно метанализу 2012 года, обладает валидностью именно 0,37. За описанием того, почему же у ЦО может быть такой показатель валидности, приглашаю обратиться к статье Евгения Куприянова.

Что такое опросники Integrity и почему у них столь высокие показатели валидности?
Опросники Integrity - личностные опросники, измеряющие такую комплексную характеристику, как Благонадежность. Integrity ещё можно перевести как Этичность или просто Надежность. Это характеристика, включающая в себя всё положительное, что есть в человеке в соответствии с представлениями нашей (европейской) культуры. Есть два вида опросников Integrity - прямые (overt) и личностные. Первый вид - это, действительно, прямые вопросы о прошлом поведении человека: судимости, фактах принятия наркотиков, средней частоте приема алкоголя, фактах кражи и прочем. Положительность человека здесь "обратная": не крал, не врал, не пил - значит, хороший человек. Естественно, такой вариант крайне подвержен обману со стороны оцениваемых. Второй вид - личностный - измеряет, к примеру, добросовестность, доброжелательность, эмоциональную стабильность, честность, рефлексивность и другие "позитивные" личностные черты. На западе провайдеры активно разрабатывают оба вида, у нас же в России "прямой" вариант представлен краткими опросниками, которые разрабатывают сами работодатели (в основном из тех отраслей, для которых важна безопасность - банки и финансы, государственный сектор). Личностный вариант у нас представлен двумя опросниками - от Cut-e и от Psytech International. Если кого забыл - прошу напомнить :)
Почему столь высокие значения? Таковы исследования. На мой вопрос авторы поделились статьями, из которых брали данные и на их основе вычисляли валидность опросников Integrity - в них действительно такие высокие значения (Ones et al., 1993, к примеру) . Что это? Действительная эффективность этого инструмента / Эффект относительно небольшого (около 30) количества исследований валидности опросников Integrity, которые попали в метаанализ? Наконец, есть убедительные доказательства, что в исследованиях провайдеров валидность опросников Integrity в два раза выше, чем в исследованиях независимых психологов (Van Iddekinge, 2012). Одним словом, остается только гадать.



Итог
Результаты интересны. Есть несколько неожиданностей: возросшая критериальная и инкриментная (прирост в %) валидность неструктурированного интервью, высокая валидность опросников Integrity, укрепившиеся позиции тестов интеллекта. Пока что даже больше вопросов, чем ответов. Но тут, мне кажется, важно понимать две вещи:
1. Исследование официально ещё не завершено. Хотя, по заверению авторов, дальше 2012 года они данные собирать не будут.
2. Не валидностью единой мы оцениваем эффективность инструментов. Как минимум, ещё есть надежность, устойчивость к обману (социальной желательности, самообману, списыванию, угадыванию и проч.), рентабельность. Наконец, соответствие цели оценки - что хотим получить в результате, что и кого конкретно хотим оценить.

Ждём 2017-2018 года, Journal of Applied Psychology. И спасибо авторам за возможность опубликовать эти данные.



Читалось и использовалось:
Ones, D. S., Vuswesvaran, C. & Scmidt, F. L. (1993) Meta-Analysis of Integrity Test Validities: Findings and Implications for Personnel Selection and Theories of Job Performance. Journal of Applied Psychology, 78, №4, 679703.
Van Iddekinge, C. H., Roth, P. L., Raymark, P. H. & Odle-Dusseau, H. N. (2012) The Criterion-Related Validity of Integrity Tests: An Updated Meta-Analysis. Journal of Applied Psychology, 97, №3, 499–530.

Оценка потенциала в ФБР















Нашел интересную статью, в которой описывается процесс отбора в кадровый резерв ФБР. Поскольку ведомства, обеспечивающие госбезопасность, редко когда заслуживают описания в серьёзной литературе, решил поделиться содержанием статьи с вами. Что важно, статья написана не в стиле популярных книг «Я и моё ЦРУ, или Секретные способы вербовки». В ней сухо, по классической структуре описания кейсов (что хотели – что сделали – что получили) описываются проблемы, с которыми столкнулось ведомство, и какие шишки были набиты в процессе их решения. Итак…

О персонале ФБР
В настоящий момент в ФБР работает 36 000 сотрудников, 14 000 из которых – оперативники (англ. special agents). Оперативники работают как в центральном офисе, так и во всех штатах и по миру (FBI, 2014). Возможные специализации оперативника (чтобы возник его образ): контразвездка, контртерроризм, информационная безопасность, анализ разведданных, криминалистика.

О необходимых изменениях
В 90-е начали поступать жалобы от чернокожих оперативников об их дискриминации в процессе отбора в руководители среднего звена. Это, а также события 11-го сентября показали необходимость пересмотра существующей системы отбора.  Новая систему отбора в миддл-менеджмент должна была отличаться следующими характеристиками:
- упор на управленческие компетенции, а не только на профессиональные компетенции и данные результативности, как это было раньше.
- по итогам оценки кандидаты должны получить рекомендации по развитию слабых сторон.
- на результат оценки не должны влиять межполовые и межрасовые различия.
- face-валидность, т.е. чтобы используемые инструменты воспринимались участниками как отражающие специфику их работы.
- низкие временные затраты на процесс оценки, отсутствие серьёзных требований к её администрированию. А также дистанционность (чтобы оперативники не возвращались в центральный офис из командировки) и отсутствие компьютера как необходимого ресурса для прохождения самой оценки (не во всех странах есть постоянный и безопасный интернет).

Прежде чем продвинуться дальше, предлагаю вам, дорогие читатели, подумать, какие процедуры оценки можно применить (разработать?) с опорой на эти критерии.

А в ФБР в соответствии с этими критериями была разработана система оценки потенциала, состоящая из двух этапов.

Первый этап
На первом этапе руководитель-заказчик выбирает необходимые компетенции.
Модель лидерских компетенций ФБР включает в себя 8 компетенций:
- Лидерство (Leadership)
- Понимание и влияние (Interpersonal ability)
- Командность (Liaison)
- Расставление приоритетов, планирование и организация (Prioritizing, Planning, and Organizing)
- Решение задач (Problem solving)
- Гибкость / Адаптивность (Flexibility / Adaptability)
- Инициативность / Замотивированность (Initiative / Motivation)
- Навыки коммуникации (Communication) – как это соотносится с Пониманием и влиянием, непонятно.
* К 2015 году (а статья была написана в 2011) некоторые компетенции изменились: https://www.fbijobs.gov/explore-careers/sa-selection.asp
Заказчик выбирает 4 компетенции из этих восьми как основные. Оставшиеся 3 заказчик может выбрать как из модели лидерских компетенций, так и из модели профессиональных компетенций.
Далее оперативники, выразившие желание претендовать на должность, приводят в письменном виде профессиональные ситуации (ситуация – действия – результат), в которых они демонстрировали каждую из компетенций. При этом объём текста на каждую компетенцию строго ограничен (не более 8 строк). Каждый пример далее проверяется супервизором кандидата на достоверность. Наконец, специалисты из HR проставляют баллы поведению кандидата, используя специально разработанную для этого шкалу. Шкала состоит из конретных поведенческих индикаторов, специалисты прошли предварительное обучение по её использованию.
На основании результатов данной процедуры принимается решение о продвижении кандидатов дальше.

Второй этап
Первая попытка: Тесты оценки ситуаций (ТОС, англ. Situational Judgment Test)
Сначала специалисты ФБР разработали ТОС. Но по результатам пилотажного исследования было принято решение далее не использовать ТОС. Причины:
§ Низкая очевидная валидность (даже несмотря на то, что с точки зрения содержательной валидности ситуации соответствовали рабочему контексту). Это обуславливалось ещё и тем, что кандидаты проходили ТОС в paper-and-pencil формате.
§ Сложные механизмы подсчета баллов, непонятные заказчику и кандидату.

Вторая попытка (и удачная): Дистанционная ролевая игра
Было принято решение разработать комплексную ролевую игру. Итоговый вариант процедуры проводится по телефону. Оценка занимает 2,5 часа и включает в себя 6 упражнений, разработанных методом критических инцидентов. В каждом упражнении проверяются сразу несколько компетенций (только лидерские). Каждый кандидат оценивается командой из 4-5 оценщиков, при этом оценщики не имеют никакой информации о кандидате (даже не знают его имени). Что интересно, оценщики не из ФБР, а из сторонней организации.

Процедура оценки
1. Кандидат заходит на сайт ФБР, на котором проходит идентификацию и получает специальный код. В течение двух недель-месяца он может воспользоваться им в своём отделении.
2. В отделении кандидату выдают печатную копию материалов по ролевой игре: цель, контакты, данные о подчинённых, отчеты коллег, собственные записи. По истечению 45 минут ему поступает первый звонок.
3. Ситуации достаточно типичны для оценочных процедур. Пример: кандидат только что вступил на должность руководителя группы оперативников, осуществляющей контроль за районом вымышленного города. Ему звонит один из подчинённых и излагает проблемную ситуацию.
4. После каждого упражнения ролевой игрок (дефис оценщик) проставляет оценку по каждому индикатору внутри компетенции по трехбалльной шкале. Пример:

Каждый ролевой игрок не имеет доступа к результатам оценки, полученным в другом упражнении. При этом каждый принимает участие не более чем в двух упражнениях.
5. Оценки автоматически (статистически) обрабатываются, ставится балл по каждой компетенции и интегральный балл. Материалы оценки (записи звонков) отправляются в ФБР.
6. Автоматически формируются рекомендации по развитию наиболее слабых сторон. Рекомендации в основном касаются развития непосредственно на рабочем месте.

Результаты
§ Качество управленческих решений, измеренное через 2 года после введения данной системы оценки, повысилось на 9,5%.
§ Исследования показали, что оценка стала более справедливой: на её результаты в меньшей степени воздействуют межполовые и межрасовые различия.


Чем примечателен данный кейс:
§ Он является примером (а) информационной открытости ведомства, обеспечивающего безопасность своей страны; (б) того, как в милитаристской, в общем-то, культуре можно построить справедливую систему преемственности.
§ В нём содержится интересный факт – даже содержательно валидный SJT не удовлетворил кандидатов по критерию очевидной валидности.
§ В нем показано использование статистической процедуры сведения результатов оценки. Процедура для наших краев диковинная, но эффективная.
§ Ну и, наконец, ролевая игра по телефону - это просто интересно (пусть и затратно) :)



Читалось и использовалось:
FBI (2014) Today’s FBI: Facts & Figures: 2013-2014. URL: http://www.fbi.gov/stats-services/publications/todays-fbi-facts-figures/facts-and-figures-031413.pdf/view
Grubb, A. D. (2011) Promotional Assessment at The FBI. in Technology-Enhanced Assessment of Talent, ed. Tippins N. T. & Adler S. John Wiley & Sons, Inc.