Características métricas del examen único de ingreso a residencias médicas 2020: La distorsión del promedio de la carrera como parámetro

Badr, Pablo; Silberman, Pedro; Silberman, Martín

INTRODUCCIÓN: Las residencias del equipo de salud son la alternativa más elegida entre quienes se gradúan de las carreras de medicina para realizar su etapa de especialización. En la Argentina en 2019 se constituye el Examen Único de Ingreso a Residencias (EU) con la participación de 23 provincias (menos Córdoba). Previo al 2019 se realizaban exámenes por jurisdicción (CABA, PBA, etc.) con instrumentos heterogéneos en términos de confiabilidad y de dificultad. Este tipo de exámenes tienen efectos en distintos entornos con complejas interacciones en las esferas política, económica, social, humana y educativa. El EU consiste en 100 preguntas de selección múltiple y está elaborado a partir de una estructura por área de incumbencia médica. El objetivo del presente trabajo es analizar el EU haciendo énfasis en el índice de dificultad del examen, índice de discriminación, análisis de confiabilidad, validez y la correlación mono rasgo/ heterométodo. METODOLOGÍA: Se utilizó la base de datos correspondiente a las respuestas del examen único del año 2020, la cual incluye 5243 aspirantes a residencias médicas quienes se agruparon en 3 categorías: egresados/as de universidades nacionales públicas, universidades nacionales privadas y universidades extranjeras. Las preguntas del examen fueron agrupadas en 4 bloques temáticos: Salud de la Mujer (23 preguntas), Salud del Adulto (46 preguntas), Salud del Niño/a (20 preguntas) y Salud Pública (11 preguntas). Se cuantificaron para este trabajo los siguientes parámetros: Índice de Dificultad del examen, Índice de Discriminación, Análisis de Confiabilidad y Análisis de Validez: Correlación mono-rasgo/heterométodo.

RESULTADOS:

El examen fue realizado por 5243 postulantes, 1564 provienen de universidades extranjeras (29,8%), 813 de universidades nacionales privadas (15,5%) y 2866 de universidades públicas (54,6%). El 82% de las preguntas tiene una dificultad aceptable, y el 13 % una dificultad óptima. En cuanto a la discriminación, 63 % de los ítems tiene excelente o buen grado de discriminación, mientas que el 6 % tiene un grado de discriminación muy malo. Para el análisis de Confiabilidad se utilizó el coeficiente de fiabilidad según la fórmula 21 de Kuder- Richardson arrojando un valor de 0.85. El promedio de las Universidades privadas fue más alto que las Públicas (7,12 versus 7,02); mientras que el desempeño en el examen fue inverso (63,3 para las públicas contra 48,03 en las privadas).

CONCLUSIONES:

En conclusión, el instrumento tiene propiedades adecuadas para discriminar un orden de mérito: Alta confiabilidad, validez y capacidad de discriminación. La utilización del promedio para los concursos desconociendo los parámetros que los determinan, introduce un sesgo en los resultados del mismo a favor, en este caso, de los/las egresados/as de las universidades de gestión privada.

INTRODUCTION:

The residences of the health team are the most chosen alternative among those who graduate from medical careers to carry out their specialization stage. In Argentina, in 2019, the Unique Residence Entrance Exam (EU) was established with the participation of 23 provinces (except Córdoba). Prior to 2019, exams were carried out by jurisdiction (CABA, PBA, etc.) with heterogeneous instruments in terms of reliability and difficulty. These types of exams have effects in different environments with complex interactions in the political, economic, social, human and educational spheres.

OBJECTIVE:

The EU consists of 100 multiple-choice questions and is prepared from a structure by area of medical concern. The objective of this paper is to analyze the EU, emphasizing the test difficulty index, discrimination index, reliability analysis, validity, and the monotrait/ heteromethod correlation.

METHODS:

The database corresponding to the responses of the single exam of the year 2020 was used, which includes 5243 applicants for medical residences who were grouped into 3 categories: graduates of national public universities, national private universities and foreign universities.

The exam questions were grouped into 4 thematic blocks:

Women’s Health (23 questions), Adult Health (46 questions), Child Health (20 questions) and Public Health (11 questions).

The following parameters were quantified for this work:

Test Difficulty Index, Discrimination Index, Reliability Analysis and Validity Analysis: Mono- trait/heteromethod correlation.

RESULTS:

The exam was taken by 5,243 applicants, 1,564 from foreign universities (29.8%), 813 from national private universities (15.5%) and 2,866 from public universities (54.6%). 82% of the questions have an acceptable difficulty, and 13% an optimal difficulty. Regarding discrimination, 63% of the items have an excellent or good degree of discrimination, while 6% have a very bad degree of discrimination. For the Reliability analysis, the reliability coefficient was used according to the Kuder-Richardson formula, yielding a value of 0.85. The average of the private Universities was higher than the Public ones (7.12 versus 7.02); while the performance in the exam was inverse (63.3 for the public ones against 48.03 in the private ones).

CONCLUSIONS:

The instrument has adequate properties to discriminate an order of merit: High reliability, validity and discrimination capacity. The use of the average for the competitions, ignoring the parameters that determine it, introduces a bias in the results of the same in favor, in this case, of the graduates of private management universities.