todoELE

Examinar la confiabilidad y consistencia de los evaluadores de pruebas escritas de un examen de certificación de lenguas es indispensable para garantizar que los examinados son evaluados de forma justa y equitativa. En el caso del español, dado que no se cuenta aún con un examen de lengua con fines académicos administrado internacionalmente, resulta necesario llevar a cabo investigaciones en este sentido. El estudio que aquí se presenta tuvo como objetivo indagar qué tan confiables y consistentes son los resultados que otorgan los evaluadores de la prueba escrita de un examen de español con fines académicos diseñado por una universidad hispana. Seis evaluadores calificaron los textos producidos por 100 candidatos no hispanohablantes mediante una rúbrica analítica. Posteriormente, utilizando el programa Many-Facet Rasch Measurement (MFRM), se condujo un análisis estadístico para examinar la calidad de los evaluadores. Los resultados mostraron que cinco evaluadores fueron consistentes en sus evaluaciones y uno de ellos resultó asistemático. MFRM representa una valiosa herramienta de feedback para los evaluadores y para identificar textos que resultan atípicos o difíciles para evaluar.

-------------------

Studying the reliability and consistency of examiners in the writing section of a language proficiency test is essential in order to ensure that students are assessed fairly and impartially. Given that a worldwide, language proficiency test to assess the use of Spanish for academic purposes does not yet exist, undertaking research in this regard is required. The present study aims to identify how reliable and consistent examiners are in the assessment of the written section of a Spanish language test for academic purposes developed by a Latin American university. Six examiners graded the scripts of 100 non-native Spanish speakers by means of an analytic rating scale. In order to investigate the quality of examiner’s marking, statistical analysis was conducted using Many-Facet Rasch Measurement (MFRM). The results showed that five examiners were consistent in their scores, whereas one examiner was less reliable. MFRM is a valuable tool that can be used to provide feedback to examiners, as well as to identify scripts that are atypical or difficult to assess.