Some statistical analyses of an exam of a first course in Mathematics for Architects

Abstract

We present some statistical analyses to evaluate a data set, obtained from exams based on multiple response tests, considering two methods, based on different rationale. Tandem Analysis, an exploratory technique consisting in a Correspondence Analysis followed by a-Hierarchical Classification, and the Psychometric Analysis that is based on both Classical and Item Response Theory Analysis were considered. As a case study, we used a data set of a final examination of Basic Mathematics, a test of 46 items, submitted to 180 students in Architecture. As results, the Tandem Analysis showed a relatively independent behaviour of small groups of items, correlated with at least three distinct factors, and partitions in 4 and 8 classes of the students, according to their performance. The Psychometric analysis showed that both the raw and the Rasch scores of the tests were normal, presented high reliability, and confirmed that the test structure was not unidimensional. In addition, the Item analysis indicated that the test could be improved by eliminating some items, whose behaviour was not in agreement with the others. Eventually, the exploratory analysis provides an interesting framework in which the psychometric analysis gives more details that may0be taken as a guide to improve the elaboration of exams.

Se presentan dos análisis estadísticos para evaluar datos obtenidos de exámenes basados en pruebas de respuesta múltiple teniendo en cuenta dos métodos de análisis, basados en fundamentos diferentes. Se consideran Análisis Tandem, una técnica exploratoria que consiste en un análisis de correspondencias seguido de una clasificación jerárquica, y el Análisis psicométrico que se basa en el análisis de ítems clásico y usando la Teoría de la Respuesta al Ítem. Como estudio de caso, se utilizó datos de un examen final de Matemática Básica, una prueba de 46 ítems respondida por 180 estudiantes de Arquitectura. Como resultado, el análisis de Tandem mostró un comportamiento relativamente independiente de pequeños grupos de ítems, en asociación con al menos tres factores distintos, y particiones de 4 y 8 clases de los estudiantes, de acuerdo con su desempeño. El análisis psicométrico demostró que tanto el puntaje fila como las puntuaciones Rasch de las pruebas fueron normales, presentan una alta fiabilidad y confirmó que la estructura de la prueba no era unidimensional. Además, el análisis de ítems indica que la prueba se podría mejorar mediante la eliminación de algunos ítems, cuyo comportamiento no estaba en acuerdo con las demás. En conclusión, el Análisis Exploratorio proporciona un marco interesante en el cual el Análisis psicométrico da mayores detalles, que pueden ser empleadas como guía para mejorar la elaboración de exámenes.