Construct Validity and Reliability of the Scale of Attitudes towards External Assessments Applied on a Large Scale

Soares, Denilson Junio Marques; Prado, Wallacy Campos; Soares, Talita Emidio Andrade; Santos, Wagner dos

Abstract The Scale of Attitudes towards External Assessments applied on a Large-Scale was developed to capture what basic education teachers think, feel, and how they behave in response to this type of assessment. Considering the potential of the instrument to support management decisions in the field of educational assessment policies, this article aimed to evaluate construct validity, via factor analysis, as well as scale reliability, via composite reliability of the scale, based on its application to a sample of teachers affiliated with the Education Department of Espírito Santo/Brazil. This is a quantitative, nonexperimental, instrumental study that involved 405 teachers from the public school network, whose results indicate adequate psychometric indices and a satisfactory factor structure consistent with the proposed three-dimensional attitude construct. The statistical coefficients found at the level of the analyses performed legitimize its use for the development of public policies and effective practices in the educational field.

Resumo A Escala de Atitudes perante as Avaliações Externas aplicadas em Larga Escala foi desenvolvida para capturar o que os professores da educação básica pensam, sentem e se comportam mediante esse tipo de avaliação. Considerando as potencialidades do instrumento para subsidiar decisões gerenciais no âmbito das políticas de avaliação educacional, esta pesquisa objetivou avaliar a validade do construto, mediante a Análise Fatorial, e a confiabilidade da escala, por meio da fidedignidade composta, a partir da aplicação para uma amostra de professores vinculados à Secretaria de Educação do Espírito Santo/Brasil. Trata-se de um estudo quantitativo, não experimental, de cunho instrumental, que envolveu 405 docentes da rede, cujos resultados indicam para adequados índices psicométricos e uma estrutura fatorial satisfatória e condizente com a proposta tridimensional do construto atitudes. Os coeficientes estatísticos encontrados ao nível das análises realizadas legitimam sua utilização para o desenvolvimento de políticas e práticas efetivas no âmbito educacional.

Resumen La Escala de Actitudes ante las Evaluaciones Externas aplicadas a Gran Escala se desarrolló para identificar lo que el profesorado de educación básica piensa, siente y hace frente a este tipo de evaluación. Teniendo en cuenta el potencial del instrumento para respaldar las decisiones gerenciales en las políticas de evaluación educativa, este artículo tuvo como objetivo evaluar la validez del constructo, mediante el análisis factorial, y la confiabilidad, mediante la fiabilidad compuesta de la escala, basándose en su aplicación a una muestra de profesores de la Red de Educación de Espírito Santo/Brasil. Se trata de un estudio cuantitativo, no experimental, de naturaleza instrumental, que involucró a 405 docentes; y los resultados indican índices psicométricos adecuados y una estructura factorial satisfactoria y coherente con la propuesta tridimensional del constructo de actitudes. Los coeficientes estadísticos encontrados a partir de los análisis realizados legitiman su uso para el desarrollo de políticas públicas y prácticas efectivas en el campo educativo.