Исследование действием - Билл Торберт

До сих пор все попытки создать опросник, с помощью которого работники компании смогли бы оценить ее текущую стадию развития, терпели неудачу. С одной стороны, сотрудники воспринимают свою организацию преимущественно через призму переменных условий на рабочем месте и в группе и оценивают скорее свой прямой опыт, чем всю систему в целом. С другой, они, как правило, интерпретируют свой опыт в рамках своей логики действий, тем самым еще больше путаясь в оценке организации как единого целого.

Как же дать достоверную оценку конкретной стадии развития организации от третьего лица? Из первого количественного исследования, описанного выше, следует, что исследователи-практики и консультанты – наиболее вероятные источники таких оценок, если получают широкие возможности взаимодействия с целым рядом организационных уровней и производственных площадок и действуют на основе постконвенциональных логик, которые снижают вероятность проецирования собственного фрейма на другую систему. Проще говоря, люди, которые занимаются непрерывным исследованием / практикой от первого и второго лица, скорее смогут провести качественное исследование от третьего лица в этой сфере.

Количественная оценка личной логики действий

Теория и эмпирическая основа для распознавания персональных логик действий, которые мы описывали в главах 4–7 и 12 (Оппортунист, Дипломат, Эксперт, Достиженец, Переопределяющий, Трансформирующий, Алхимик), имеют более богатую историю, чем оценка организационного развития. Они близки стадиям развития, выявленным такими специалистами в области эволюционной психологии, как Скип Александер [18], Сюзанна Кук-Гройтер [34], Боб Киган [54, 55], Ларри Колберг [59], Джейн Лёвинджер [68] и Кен Уилбер [13].

Методика «Глобальный профиль лидера» создавалась на протяжении тридцати пяти лет на основе модификации разработанного Джейн Лёвинджер «Теста незаконченных предложений Вашингтонского университета» (Washington University Sentence Completion Test, WUSCT). Над методикой вместе работали в 1980–2004 годах Сюзанна Кук-Гройтер, Элейн Хердман-Баркер и Билл Торберт, и тогда эта система именовалась «Профиль лидерского развития». В 2011 году «Глобальный профиль лидера» обрел нынешнюю форму в результате совместной работы Хердман-Баркер и Торберта. Кук-Гройтер [33] – старший кодировщик WUSCT, ведущий теоретик и методист по вопросам развития. Именно она научила Хердман-Баркер использовать эту методику.

Методика WUSCT – один из самых популярных и достоверных инструментов, используемых в психометрии [65, 68]. Тест состоит из тридцати шести незаконченных предложений (например: «Я терпеть не могу людей, которые…»). В законченной форме они отражают ход размышлений и умозаключений и способ отношений с другими людьми. В содержании и форме окончания предложений воплощается способ отображения мира, обусловленный уровнем развития логики человека.

Руководство по кодированию ответов составлено очень тщательно, содержит почти все возможные ответы людей с ранними логиками на основные предложения. Лёвинджер проявила меньше теоретического и эмпирического интереса к более редким, продвинутым логикам. Ведущую роль в переосмыслении и оценке этих стадий взяла на себя Кук-Гройтер [34]. Об этом мы расскажем позже.

Преимуществом этой методики стал тест внутренней надежности, которому можно подвергнуть каждый протокол. Сначала отдельно оценивается один пункт во многих протоколах (скажем, 10 или 20), чтобы избежать эффекта гало от предыдущих оценок по данному протоколу, предрасполагающих кодировщика к аналогиям. Затем берется второй пункт и т. д. В итоге баллы суммируют и получают общую статистическую оценку для протокола. Оценки в рамках определенного ряда распределяются по категориям в зависимости от доминирования той или иной логики действий (протокол в категории «Эксперт», например, может включать следующую схему распределения ответов: 2 – Оппортунист, 8 – Дипломат, 20 – Эксперт, 5 – Достиженец и 1 – Переопределяющий). Однако, прежде чем смотреть на итоговые оценки или рассчитывать предварительный результат, кодировщик может просмотреть каждый протокол целиком, обращая особое внимание на баллы, не укладывающиеся в рамки, и вывести «интуитивную» оценку на основе «целостного восприятия объекта». Любое расхождение между двумя оценками – повод провести дополнительный анализ или обратиться за помощью к другому опытному кодировщику, чтобы гарантировать надежность. Для выведения постконвенциональных оценок используются эксплицитные сложные дополнительные правила подсчета баллов, которые позволяют определить, насколько качество общего протокола отражает оценку, полученную на основе статистических данных [34]. Если кодировщики опытные, оценки двух из них совпадают в 80 % случаев, а если у них одна и та же логика – более чем в 90 %.

Лёвинджер и Уэслер [68] сообщают о высокой взаимной достоверности (межэкспертной надежности) и внутренней непротиворечивости методики WUSCT. Другие исследования свидетельствуют о высоких в целом уровнях взаимной достоверности (например, [36, 50]), внутренней непротиворечивости [92] и надежности по методу расщепления [79, 92]. Результаты WUSCT почти невозможно фальсифицировать. Эксперименты показали, что испытуемым почти никогда не удавалось представить протокол на уровне более поздней логики действий по сравнению с их собственной, даже после объяснения теоретической основы процедуры кодирования ответов [91].

После получения надежного результата с помощью традиционных тестов на надежность (в которых оба кодировщика отдельно подсчитывают баллы по одним и тем же пунктам, а затем определяется уровень их согласованности) лучший способ поддержать и повысить уровень надежности и точности – провести соответствующий тест для оценки каждого измерения так, чтобы второй кодировщик перепроверил результаты первого. Такой тест в последние годы проводился дважды для кодировщиков «Глобального профиля лидера». В обзоре 805 измерений [60], каждое из которых могло быть оценено по 13 разным уровням (например, ранний дипломатический, дипломатический, поздний дипломатический и т. п.), коэффициент корреляции Пирсона между результатами двух кодировщиков составил 0,96 при абсолютном согласии в оценках в 72 % случаев, при расхождении на 1/3 логики действий в 22 % случаев и только при одном случае расхождения, большем, чем одна полная логика. В случаях несоответствий кодировщики достигали договоренности при обсуждении результатов, прежде чем сообщать их клиентам. Они в большинстве случаев были предположительно точнее, чем исходные оценки. Таким образом, эта процедура не только была проверкой надежности, но и позволяла предоставить клиенту более точный результат.

В начале 2016 года стратифицированная выборка из 78 форм с законченными предложениями по методу «Глобальный профиль лидера» от 2015 года (10 – Эксперт, 20 – Достиженец, 20 – Переопределяющий, 20 – Трансформирующий и 8 – ранний Алхимик) была пересмотрена на предмет надежности не только в отношении общей оценки, но и оценки отдельных пунктов в каждом протоколе. Это исследование показало идеальное совпадение по протокольной оценке в 94 % случаев и расхождение по 1/3 логики действий в 6 % случаев (и не забудьте, что несоответствия были урегулированы до того, как результаты показали клиенту). Что касается отдельных пунктов, идеальное совпадение оценок между двумя кодировщиками составило 98 %; только в четырех случаях из 2340 пунктов отмечено расхождение по двум логикам действий и ни одного случая более серьезных отклонений. Если сравнить эти результаты с результатами семилетней давности, полученными теми же кодировщиками, можно заметить повышение доли идеального совпадения оценок на 22 %. Отчасти это можно объяснить тем, что постоянно проводится сопоставление результатов измерений, полученных разными кодировщиками.