Método Alignment: Una forma alternativa para evaluar la invarianza de medición en estudios transculturales
Lindsey W. Vilca1, Tomás Caycho-Rodríguez2, José Ventura-León3
1 South American Center for Education and Research in Public Health, Universidad Norbert Wiener, Perú,
2 Facultad de Psicología, Universidad Científica del Sur, Perú,
3 Facultad de Ciencias de la Salud, Universidad Privada del Norte, Perú.
Resumen
En el estudio se describe el Multi-Group Factor Analysis Alignment como un método alternativo para evaluar la invarianza factorial de los instrumentos utilizados en estudios cross-cultural. Específicamente se explica las ventajas del método Alignment frente a la aproximación tradicional de invarianza factorial (Multiple-group CFA). Además, se realiza una revisión de las bases conceptuales y metodológicas del método. También se realiza una revisión de estudios actuales que emplearon el método Alignment. Finalmente se da un ejemplo de su aplicación e interpretación en el programa estadístico r.
Palabras clave: Alignment; estudios cross-cultural; invarianza factorial; invarianza métrica; invarianza escalar
En estudios transculturales es requisito fundamental estudiar y garantizar la invarianza de medida de los instrumentos utilizados, ya que permite descartar la posibilidad de un sesgo cultural en las respuestas de los encuestados. Cuando se evidencia invarianza de medida, se puede asumir que los encuestados de los diferentes países interpretan y responden los ítems de la misma forma, lo que permite realizar comparaciones válidas entre los grupos (Davidov, Meuleman, Cieciuch, Schmidt & Billiet, 2014).
Para evaluar la invarianza de medida, usualmente se emplean dos aproximaciones metodológicas: (a) Exact Measurement Invariance (EMI) y (b) Approximate Measurement Invariance (AMI). El primero parte del supuesto que, para evidenciar invarianza los parámetros de interés (cargas factoriales, interceptos/umbrales y residuos) deben ser exactamente iguales entre los grupos (Svetina, Rutkowski & Rutkowski, 2019). En cambio, el segundo enfoque considera que los parámetros de interés no tienen que ser idénticos entre grupos que son culturalmente diferentes y por tanto se pueden aceptar algunas pequeñas diferencias (Fischer & Karl, 2019; Lomazzi, 2018). Bajo el enfoque EMI los estudios transculturales con muchos grupos de comparación no suelen alcanzar los modelos de invarianza más restrictivos porque las posibles violaciones en términos de equivalencia estricta aumentan a medida que se incrementa el número de grupos (Davidov, Meuleman, Cieciuch, Schmidt & Billiet, 2014). Además el enfoque EMI, debido a que es muy estricto (los parámetros entre los grupos debe ser cero), suele rechazar modelos que son prácticamente comparables entre los grupos (Lomazzi, 2018). En este contexto, la introducción del enfoque AMI desarrollado por Muthén y Asparouhov (Muthén & Asparouhov, 2012) puede ser una forma más realista de evaluar la invarianza de medida en estudios transculturales.
El Multi-Group Factor Analysis Alignment es un método desarrollado por Asparouhov y Muthén (Asparouhov & Muthén, 2014) bajo los principios del enfoque AMI. En este método, se emplean los parámetros de carga factorial e interceptos para evaluar la invarianza de medida. Para estimar estos parámetros se puede emplear Maximum-Likelihood (ML) o análisis Bayesiano. El método Alignment se realiza en dos pasos: En la primera etapa, se estima un modelo configural sin restricciones en todos los grupos. Para lograr la estimación de todas las cargas factoriales de los ítems, las medias de los ítems se fijan en 0 y las varianzas de los factores en 1. En la segunda etapa, este modelo configural se optimiza utilizando una función de pérdida de componentes (f) con el objetivo de minimizar la invarianza en las medias de los factores y las varianzas de los factores para cada grupo (Asparouhov & Muthén, 2014). En esta etapa es importante definir los criterios de tolerancia para la invarianza de los parámetros. Para ello se puede seguir las recomendaciones de Robitzsch (Robitzsch, 2021) para los pesos factoriales (λ = .40) e interceptos (ν = .20). También es necesario definir la potencia de la estimación (alignment) a .25 para ambos parámetros (Fischer & Karl, 2019).
Tabla 1. Estudios transculturales que han empleado el método alignment
| Autor | Año | Título | Grupos comparados | DOI |
| Kuowei, et. al. | 2017 | Measurement invariance of the Hopkins Symptoms Checklist: a novel multigroup alignment analytic approach to a large epidemiological sample across eight conflict-affected districts from a nation-wide survey in Sri Lanka. | 8 | https://doi.org/10.1186/s13031-017-0109-x |
| Munck, et. al. | 2017 | Measurement Invariance in Comparing Attitudes Toward Immigrants Among Youth Across Europe in 1999 and 2009: The Alignment Method Applied to IEA CIVED and ICCS | 92 | https://doi.org/10.1177/0049124117729691 |
| Lomazzi, V. | 2018 | Using Alignment Optimization to Test the Measurement Invariance of Gender Role Attitudes in 59 Countries | 59 | https://doi.org/10.12758/mda.2017.09 |
| Halamová, et. al. | 2019 | Multiple Group IRT Measurement Invariance Analysis of the Forms of Self-Criticising/Attacking and Self-Reassuring Scale in Thirteen International Samples | 13 | https://doi.org/10.1007/s10942-019-00319-1 |
| Brook, et. al. | 2020 | Lifespan trends in sociability: Measurement invariance and mean-level differences in ages 3 to 86 years | 3 | https://doi.org/10.1016/j.paid.2019.109579 |
| Sischka, et. al. | 2020 | The WHO-5 well-being index – validation based on item response theory and the analysis of measurement invariance across 35 countries | 35 | https://doi.org/10.1016/j.jadr.2020.100020 |
| Matthew, et. al. | 2020 | Cross-cultural equivalence of shortened versions of the Eysenck Personality Questionnaire: An application of the alignment method | 35 | https://doi.org/10.1016/j.paid.2020.110074 |
| Caycho-Rodríguez, et. al. | 2021 | Cross-Cultural Validation of a New Version in Spanish of Four Items of the Preventive COVID-19 Infection Behaviors Scale (PCIBS) in Twelve Latin American Countries | 12 | https://doi.org/10.3389/fpsyg.2021.763993 |
| Odell, et. al. | 2021 | Testing measurement invariance of PISA 2015 mathematics, science, and ICT scales using the alignment method | 47 | https://doi.org/10.1016/j.stueduc.2020.100965 |
| Da’as, et. al. | 2021 | Collective teacher efficacy beliefs: testing measurement invariance using alignment optimization among four cultures | 4 | https://doi.org/10.1108/JEA-02-2021-0032 |
| Ted, et. al. | 2021 | Longitudinal measurement invariance in urbanization index of Chinese communities across 2000 and 2015: a Bayesian approximate measurement invariance approach | 217 a 288 | https://doi.org/10.1186/s12889-021-11691-y |
Para evaluar la invarianza de los parámetros se interpreta el índice R2, donde valores cercanos a 1 indican un mayor nivel de invarianza, mientras que valores cercanos a 0 indican un menor nivel (Asparouhov & Muthén, 2014). Para evaluar el porcentaje de parámetros no invariantes (λ y ν) se puede emplear un límite mayor a 25 % para considerar una escala como no invariante (Asparouhov & Muthén, 2014).
Es importante mencionar que el método alignment descrito, puede ser utilizado como un procedimiento alternativo al Análisis Factorial Confirmatorio Multi-grupo (Multiple-group CFA). No obstante, este método también tiene sus aplicaciones en modelos de Teoría de Respuesta al Ítem (Muthen & Asparouhov, 2014) y para ítems politómicos (Flake & McCoach, 2018). En la tabla 1, se muestran algunos estudios publicados en los últimos años, donde se emplea el método alignment.
Para terminar, se presenta un script para la aplicación del método Aligment en el entorno R utilizando el paquete “sirt” (Robitzsch, 2021), en base de datos del estudio de Caycho-Rodríguez et al. (2021), donde se evaluó un modelo unidimensional de la Preventive COVID-19 Infection Behaviors Scale en doce países de América
Paso 0: Cargar data
library(haven)
datos <- read_sav(“Datos.sav”)
Paso 1: Estimar el modelo configural
par <-
invariance_alignment_cfa_config(dat = datos[paste0(“prev”, 1:4)], #Especificar base de datos e ítems.
group = datos$country #Especificar la variable de comparación (países).)
## Compute CFA for group 1
## Compute CFA for group 2
## Compute CFA for group 3
## Compute CFA for group 4
## Compute CFA for group 5
## Compute CFA for group 6
## Compute CFA for group 7
## Compute CFA for group 8
## Compute CFA for group 9
## Compute CFA for group 10
## Compute CFA for group 11
## Compute CFA for group 12
Paso 2: Estimar el modelo optimizado
mod1 <-
invariance.alignment(lambda = par$lambda, #Especificar la carga factorial.
nu = par$nu, #Especificar los interceptos.
align.scale = c(0.2, 0.4), #Establecer los parámetros de los ítems.
align.pow = c(0.25, 0.25)) #Establecer la potencia de la estimación
#Es la función de estimación para calcular el porcentaje de parámetros no invariantes
cmod1 <-
invariance_alignment_constraints(mod1, #Resultado del modelo optimizado
lambda_parm_tol = 0.4, #Establecer los criterios de tolerancia para las cargas factoriales
nu_parm_tol = 0.2 #establecer los criterios de tolerancia para los interceptos)
Paso 3: Elementos importantes a considerar
#Cálculo del R2
mod1$es.invariance[“R2”,]
## loadings intercepts
## 0.9862302 0.9990300
#Porcentaje de invarianza de cargas factoriales
cmod1$lambda_list$prop_noninvariance
## [1] 0
#Items que se muestran invariantes en las cargas
cmod1$lambda_list$parm_dif
## prev1 prev2 prev3 prev4
## 1 0 0 0 0
## 2 0 0 0 0
## 3 0 0 0 0
## 4 0 0 0 0
## 5 0 0 0 0
## 6 0 0 0 0
## 7 0 0 0 0
## 8 0 0 0 0
## 9 0 0 0 0
## 10 0 0 0 0
## 11 0 0 0 0
## 12 0 0 0 0
#Porcentaje de invarianza de interceptos
cmod1$nu_list$prop_noninvariance
## [1] 4.166667
#Items que se muestran invariantes en los interceptos
cmod1$nu_list$parm_dif %>%
as_tibble() %>%
mutate(across(where(is.numeric), round, 3))
## # A tibble: 12 x 4
## prev1 prev2 prev3 prev4
## <dbl> <dbl> <dbl> <dbl>
## 1 0 0 0 0
## 2 0 0 0 0
## 3 0 0 0 0
## 4 0 0 0 0
## 5 0 0 0 -0.336
## 6 0 0 0 0
## 7 0 0 0 0
## 8 0 0 0 0
## 9 0 0 0 0
## 10 0 0 0 0
## 11 0 0 0 0
## 12 0.213 0 0 0
Referencias
Asparouhov, T., & Muthén, B. (2014). Multiple-group factor analysis alignment. Structural Equation Modeling: A Multidisciplinary Journal, 21(4), 495-508. https://doi.org/10.1080/10705511.2014.919210
Caycho-Rodriguez, T., Vilca, L. W., Valencia, P. D., Carbajal-Leon, C., Vivanco-Vidal, A., Saroli-Aranibar, D., … & Gallegos, W. L. A. (2021). Cross-cultural validation of a new version in Spanish of four items of the preventive COVID-19 infection behaviors scale (PCIBS) in twelve Latin American countries. Frontiers in Psychology, 12, 763993. https://doi.org/10.3389/fpsyg.2021.763993
Davidov, E., Meuleman, B., Cieciuch, J., Schmidt, P., & Billiet, J. (2014). Measurement equivalence in cross-national research. Annual review of sociology, 40, 55-75. https://doi.org/10.1146/annurev-soc-071913-043137
Fischer, R., & Karl, J. A. (2019). A primer to (cross-cultural) multi-group invariance testing possibilities in R. Frontiers in psychology, 1507. https://doi.org/10.3389/fpsyg.2019.01507
Flake, J. K., & McCoach, D. B. (2018). An investigation of the alignment method with polytomous indicators under conditions of partial measurement invariance. Structural Equation Modeling: A Multidisciplinary Journal, 25(1), 56-70. https://doi.org/10.1080/10705511.2017.1374187
Lomazzi, V. (2018). Using alignment optimization to test the measurement invariance of gender role attitudes in 59 countries. Methods, data, analyses: a journal for quantitative methods and survey methodology, 12(1), 77-103. https://doi.org/10.12758/mda.2017.09
Muthén, B., & Asparouhov, T. (2012). Bayesian structural equation modeling: A more flexible representation of substantive theory. Psychological Methods, 17(3), 313–335. https://doi.org/10.1037/a0026802
Muthén, B., & Asparouhov, T. (2014). IRT studies of many groups: The alignment method. Frontiers in psychology, 5, 978. https://doi.org/10.3389/fpsyg.2014.00978
Robitzsch, A. (2021). sirt: Supplementary Item Response Theory Models [Internet]. https://cran.r-project.org/package=sirt
Svetina, D., Rutkowski, L., & Rutkowski, D. (2020). Multiple-group invariance with categorical outcomes using updated guidelines: an illustration using M plus and the lavaan/semtools packages. Structural Equation Modeling: A Multidisciplinary Journal, 27(1), 111-130. https://doi.org/10.1080/10705511.2019.1602776
Trackbacks/Pingbacks