Исследование действием - Билл Торберт

В дополнение к этому новому методу определения надежности путем сравнения оценок разных кодировщиков, каждый, кто проходит тестирование по программе «Глобальный профиль лидера», может сам оценить собственную логику действий, прежде чем получит результаты теста. Во время эксперимента 2015 года, в котором приняли участие 66 человек, оценки самих клиентов отличались от анализа по методике «Глобальный профиль лидера» всего в шести случаях (9 %). В четырех из них по итогам беседы с дебрифером испытуемые согласились с оценкой. Обычно клиенты понимают, что условия, которые они винят в расхождениях (например, спешка или усталость во время заполнения пропусков в незаконченных предложениях), такие же, как на их работе, и, следовательно, отражают их обычную логику действий. В двух других случаях дебрифер согласился с самооценкой испытуемых (поскольку английский не был первым языком респондентов и это повлияло на их письменные ответы). Таким образом, в 94 % случаев клиент принимал достоверность анализа «Глобального профиля лидера». Этот процесс дифференцированного исследования надежности с участием испытуемых – одновременно новая форма и проверки надежности, и внешней проверки валидности.

Есть мнение, что краткая проверка надежности, когда каждый кодировщик оценивает одни и те же десять окончаний предложений, не зная, какие баллы выставляют коллеги, может считаться более «строгим» тестом, чем те, о которых мы только что рассказали. Но явный недостаток таких тестов надежности, к которым кодировщики могут подготовиться и работать с ними в оптимальных условиях (после отдыха, когда внимание более сконцентрировано), состоит в том, что никогда нельзя точно знать, можно ли их экстраполировать на повседневные оценки кодировщиков. Второй аргумент против описанного выше теста в том, что у второго кодировщика будет мотив согласиться с первым, чтобы получить высокий процент согласованности оценок. Но идея о пересмотре предыдущих баллов для подтверждения надежности возникает только после процедуры оценки, поэтому в процессе мотивация отсутствует. Кроме того, у второго кодировщика есть еще три стимула для искреннего несогласия с первым: 1) если клиент получает несостоятельную оценку, непригодную для использования в его дальнейшем личностном росте, спрос на программу «Глобальный профиль лидера» постепенно иссякнет; 2) если оценка по этой методике станет менее надежной, результаты исследований будут случайными и статистически несущественными; 3) если оценки неточны, они будут бесполезны для обучения будущих кодировщиков.

В конце 2016 года Элейн Хердман-Баркер подготовила двух кодировщиков для программы «Глобальный профиль лидера». Тест надежности, проведенный между оценками ответов на 900 незаконченных предложений, выставленными новыми кодировщиками, и оценками Хердман-Баркер (выставленными ранее, но не известными новым кодировщикам), показал уровень точного совпадения 87,1 и 87,4 %, при расхождении в оценке двух стадий менее чем в 1 % случаев.

Валидность WUSCT и «Глобального профиля лидера»

Валидность WUSCT и «Профиля» подвергается критике по двум пунктам: 1) это вопрос беглости речи, поскольку респонденты с продвинутой логикой пишут гораздо более длинные протоколы; 2) статус развития своего «я» как «главный признак», предложенный Лёвинджер, не подтверждается психометрическими методами. Что касается беглости речи, можно считать, что корреляция неизбежна: для выражения концептуальной сложности и креативности, характерных для продвинутых стадий, нужны более длинные ответы [68, 119]. В то же время результаты многочисленных исследований показывают, что развитие своего «я», измеренное по методике WUSCT, сопровождается далеко не только беглостью речи. Личностные характеристики, ассоциированные с предполагаемыми логиками действий, включают подчиненность строгим правилам (здесь наблюдается криволинейная зависимость, менее выраженная на пре- и постконвенциональных стадиях и более явная в конвенциональных логиках), забота, опека, сознательность, доверие, терпимость, эмпатия, склонность к самоанализу, творческий подход, нравственное развитие и целый ряд критериев, связанных с психическим здоровьем [58, 60, 69, 118, 119].

Одно из сравнительно недавних исследований [79] проверяло структурную валидность модели Лёвинджер, используя моделирование структурными уравнениями, чтобы выяснить, становится ли развитие собственного «я» источником ковариации для конкретных личностных конструктов с иерархической точки зрения. Несмотря на то что аналитическая модель не доказала, что развитие своего «я» можно считать «главным признаком», была выявлена положительная и значимая связь между ним и четырьмя конструктами, постулированными Лёвинджер: контролирование импульсов, стиль межличностных отношений, осознанная озабоченность и когнитивный стиль. Желающие просмотреть научную литературу по WUSCT могут обратиться к специальному выпуску журнала Psychological Inquiry (1993), посвященному работе Лёвинджер, а также к книге, опубликованной к ее восьмидесятилетию, Personality Development: Theoretical, Empirical, and Clinical Investigations of Loevinger’s Conception of Ego Development.

Методика «Глобальный профиль лидера», используемая в исследованиях, которые стали основой этой книги, корректирует, дополняет и трансформирует проверку надежности и валидности методики WUSCT пятью способами. Во-первых, «Профиль» добавляет отдельно проверяемые пункты, связанные с работой (например, «Люди, которые выходят за рамки дозволенного на работе…») [74], чтобы повысить очевидную валидность оценки для людей в рабочей обстановке.

Во-вторых, «Глобальный профиль лидера» использует дефиниции и инструкции по оценке для продвинутых логик действий, разработанные Кук-Гройтер [34], а также дальнейшие изменения в оценке для самых поздних логик действий, введенные Хердман-Баркер и Торбертом для отражения поэтической непосредственности и своевременности стадии Алхимика. Например, Лёвинджер представляет свою высшую стадию как поиск интегрированной идентичности. Но она не предполагает, что цельность натуры может быть следствием развития посткогнитивного, наблюдающего, слушающего внимания, которое регистрирует трансформации во всех четырех областях опыта (см. главу 1). Так, например, она не предлагает теории или метода для оценки предложения «Я…», когда его заканчивают так: «Я в итоге, по большому счету непостижим, но мне нравится процесс постижения». Кук-Гройтер [34] цитирует этот ответ, отмечая, что его можно обоснованно интерпретировать так, как будто человек «отказывается от поисков идентичности в пользу роли свидетеля процесса становления собственного “я”». Хердман-Баркер и Торберт, кроме того, подчеркивают склонность Алхимика к спонтанному, эффектному, не лишенному юмора сопоставлению близкого и далекого в ответах, например: «Я попадаю в неприятности… из-за того, что превращаюсь именно в то, против чего борюсь» или «Должность (работа) человека… подсказывает его судьбу, его ощущение новых возможностей и часто его выбор одежды».

Третье крупное изменение, внесенное в «Профиль» и отличающее его от WUSCT, состоит в менее оценочном характере терминологии (например, вместо определений «более низкие и высокие стадии» используются термины «более ранние и поздние логики действий», вместе термина «Конформист» – термин «Дипломат» и т. д.). Это делает более реальным и эффективным его использование в качестве инструмента исследования действием и позволяет обеспечить обратную связь о результатах оценки по методике «Профиля» во время обучения высших руководителей и при консультировании организаций.