Основные направления оценки валидности

Кросскультурные исследования особенно подвержены смешениям, связанным с проблемами сопоставимости выборок и погрешностями в связи с разным содержательным наполнением значений, казалось бы, одних и тех же понятий в их понимании людьми в разных культурах. Еще большая неидентичность связана с представлениями людей, каковы могут быть (или ожидаются) их реакции в тех или иных ситуациях, представляемых, например, пунктами опросников. Ван ден Вийвер и Люн выделили три основных типа искажений (погрешностей — bias), представленных в табл. 20.3.

Наиболее серьезными в теоретическом плане являются угрозы конструктной валидности, возникающие вследствие неидентичности конструктов в различных культурах — например, понятие интеллекта дифференциально представлено в западной и незападных культурах (в последних понятие интеллекта может включать социальные аспекты, повиновение, межличностные навыки и т. д.). Недостаточная репрезентация конструкта в операционализированных показателях также является источником угрозы валидности ККИ. Для представителей другой культуры, возможно, нужно было иначе формулировать пункт для выявления того же представления. Связанным с этим аспектом является обеспечение экологической валидности, т. е. сопоставление релевантности исследуемого вопроса в различных культурах.

Таблица 20.3. Виды погрешностей в ККИ и их источники

Конструктная и операциональная валидность в ККИ взаимосвязаны и могут быть оценены с помощью применения методов факторного анализа (как исследования эквивалентности факторных структур данных, получаемых в разных культурных выборках при сходных способах процедурного воплощения измеряемых переменных), а также с помощью проведения дополнительных опросов, нацеленных на выявление имплицитных теорий об интересующем исследователя конструкте и характерных формах поведения. Двумя основными подходами к обеспечению конструктной валидности как отсутствия доминирующих влияний со стороны одной из исследуемых культур на содержание исследовательского вопроса являются децентрация и конвергенция. В первом случае исследователи из различных культур работают вместе для обеспечения равной представленности культурно-специфичных показателей в исследовании. Во втором случае исследователи из всех культур разрабатывают свои методы и методики, которые затем применяются во всех изучаемых культурах для проверки схожести паттернов получаемых результатов.

Погрешность измерений как показатель операциональной валидности ККИ связана с обеспечением эквивалентных условий проведения исследования, сопоставимых уровней ознакомления с материалом (например, в западных культурах детям более знакомы тесты способностей, чем детям из восточных культур), а также эффективности коммуникации между исследователем и испытуемыми. Методические смешения в ККИ могут привести к появлению артефактных групповых различий при проведении анализа, поскольку они ведут к искажению групповых показателей по интересующим исследователя ЗП.

Изучение погрешности измерений связано с тщательным анализом надежности (в том числе ретестовой) используемых исследователем методик. Так, в случае диспропорциональных приростов в показателях по методике в одной культуре по сравнению с другой культурой при повторном тестировании или варьировании условий (наличие или снятие ограничения времени) можно говорить о наличии систематических смешений со стороны используемых методик. Тогда снижается внутренняя валидность ККИ.

На «нижнем» уровне (заданий и пунктов методик) исследователю необходимо обеспечить эквивалентное функционирование заданий в исследуемых группах, уделяя особое внимание вопросам перевода и формулировок заданий, что прямо связано с понятием дифференциального функционирования заданий (differential item functioning, DIF), активно изучаемым и применяемым в современных психометрических подходах. При экспериментальном подходе это выступает проблемой контроля фактора задач.

Обеспечение всех типов валидности в мультиязычных исследованиях тесно связано с вопросами адаптации и перевода методического инструментария. Обсуждение этих вопросов выходит за рамки учебника, но следует отметить, что наиболее продуктивными подходами в ККИ являются привлечение билингвистичных экспертов и использование техники двойного перевода, использование специальных комиссий по оценке успешности кросскультурного перевода и адаптации методик, а также анализ инвариантности шкальных значений.

Техническая реализация различных видов анализа эквивалентности (как конструктной, так и методической на обоих уровнях) используемых исследователем методов и методик связана с разработкой современных методов анализа данных, таких как подход в психометрике и конфирматорный факторный анализ методом построения структурных моделей, представленные в контексте ККИ в пособии под редакцией Хамблтона и др.