Análisis evaluativo y proyectivo de la Prueba de Selección Universitaria chilena

“Realizar análisis evaluativos y proyectivos de nuestra Prueba de Selección Universitaria Chilena (PSU) resulta siempre conveniente y necesario.

“Las decisiones educativas involucradas son muy serias: selección y admisión universitaria o de 3er. nivel; predicción de logros académicos de 3er. nivel; especificar tasas de aprendizajes (aprobación, permanencia, deserción, éxito oportuno, créditos universitarios por perfil o malla curricular de Carreras, etc.); graduaciones, titulaciones, distinciones, rankings de egreso, tributaciones y articulaciones orientadas por matrices, indicadores e índices de competencias, etc. (Pizarro, 2011, 2012); formación continua de nuestros científicos, artistas, profesionales y técnicos según requerimientos país (cf. Brunner, 2010; Waissbluth, 2010; Meller, 2010; Alava, 2010, 2011; Ugarte, 2011); expectativas educativas y proyectos esenciales de vida, de trabajo y realización personales (cf. Bloom, 1985; Escalante, 1991; Eisner, 1991;Kellaghan et al., 1993; Csikszentmihalyi et al., 1993; Gardner, 1994; Sternberg, 1997; Gardner et al., 2001; Cohen et al., 2003; Palardy y Rumberger, 2008; Villatoro, 2007; Oppenheimer, 2010; Matte, 2010; Pizarro et al., 2012).

“La PSU chilena se fundamenta principalmente en perfiles y disciplinas curriculares de los últimos 4 años de Enseñanza Media, de los méritos y calidades educativas de los postulantes a la educación del 3er. nivel, más que en modelos intelectuales (inteligencia y aptitud) (cf. Prueba de Aptitud Académica=PAA chilena) con mayores bases hereditarias o adscriptivas familiares (ver la interesante antinomia entre fuentes de inteligencia y aptitud de Bridgman en 1926 y la realizada por Lindquist con anclaje curricular en 1958, en Atkinson y Geiser, 2009).

“Como sistema PSU (requerido hasta 2011 por el Honorable Consejo de Rectores de las Universidades Chilenas=CRUCH), implica mezclas del Rendimiento Académico previo (NEM), tests objetivos de 5 alternativas con descuento y azar 20% en Lenguaje y Comunicación, Educación Matemática (obligatorios), Historia y Ciencias (optativos). Además, de las postulaciones que traducen intereses vocacionales, de estudio y trabajo intersectados por los puntajes ponderados PSU requeridos por cada carrera universitaria.

“Los montos o ponderaciones representativos de los pesos estandarizados de ecuaciones múltiples lineales oscilan -por lo común- entre 20-40% para las notas educativas NEM y los tests obligatorios; y, entre 5-25% para los tests opcionales.

“Tales conjuntos de pesos estandarizados permiten ajustar dinámicamente las calidades predictivas de los antecedentes PSU. Y a su vez, tratar de evitar ingresos de alumnos y postulantes mediocres (error alfa), como dejar fuera de la universidad a los competentes (error beta). Estos intentos y serios errores políticos y de medición (alfa y beta), son más caros aún para las universidades públicas o estatales financiadas por todos los chilenos, formadoras de ciudadanos con elevada inversión y producción de capital humano avanzado.

“Por lo tanto, los cambios de la PAA (aplicada por más de 35 años en Chile) por la actual PSU (con más de un lustro de administración), involucran revisiones de fundamentos y validación constructiva.

“Ambos tests (PAA y PSU) han tenido excelentes psicometrías clásicas: confiabilidades mayores que 0,93; discriminaciones mayores que 100% debido a puntajes brutos negativos; dificultades o dominios de aprendizaje mayores que 35% en Lenguaje y Comunicación y menores que 25% en Educación Matemática. Más analíticamente, ítemes con dificultades que fluctúan entre 10% y 90%, con discrimaciones iguales o mayores que correlaciones biseriales +0,30. Con todo, la PSU presenta una mayor validez predictiva promedio para carreras universitarias que la PAA (34% versus 28%) (cf. Pizarro, 2001; Manzi et al., 2006, 2008, 2010; Bravo et al., 2008, 2010; Pizarro et al., 2012).

“Respecto de sesgos y discriminaciones, por lo común se confunde el termómetro con el calor. Cualquier test que pretenda seleccionar y predecir, debe dispersar puntajes (escala 150-850 en la PSU) entre postulantes según méritos académicos personales, destrezas, habilidades, aprendizajes, competencias. Contribuyen a lo precedente el aumento de ítemes, las opciones de respuestas (selección múltiple de 5 posibilidades con 20% azar), la cantidad de postulantes que ha sido mayor que 220.000 en los últimos años, y tener las mismas condiciones de administración de los tests para todos los postulantes en Chile.

“Las fuentes de sesgos, brechas, deltas entre postulantes obedecen principalmente (parecido a SIMCEs, Pizarro, 2010, 2011) a tipologías de administración de establecimientos educacionales (6 y no 3 de los análisis convencionales del MINEDUC); y, a la cultura previa de las escuelas/colegios (calidad/mérito de profesores y alumnos; metodologías pedagógicas, interaccionales y evaluativas; asistencia a clases con pocas interrupciones; cobertura y énfasis curricular; inteligencias, aptitudes y logros académicos previos; localización de los establecimientos; etc.). No única ni principalmente por el nivel socioeconómico familiar.

“Son los 12 años previos de escolaridad y no la PSU (dura 3 días) los que generan los deltas entre postulantes. La educación preferentemente tradicional que han recibido los alumnos en su etapa escolar, produce efectos Mateo (simil de curva normal, donde todos aprenden pero quedan casi en los mismos lugares según sus aprendizajes) y Regresivo (al masificar con educación tradicional para tener más y mejores ciudadanos, baja la calidad educativa promedio país y aumenta la inequidad de aprendizajes (Foliaco et al., 2006; Pizarro, 2008; cf. Manzi et al., 2010).

“Respecto de la futura evaluación internacional de la PSU, Pérez et al (2011: A 2), manifiestan: “La trayectoria de los sistemas de selección en las universidades chilenas es un motivo de orgullo para el Consejo de Rectores, pues han permitido elevar la calidad de nuestras universidades, formar a miles de exitosos profesionales y académicos y contribuir al desarrollo de nuestro país”.

“Luego, en términos de posibles resultados de evaluaciones nacionales e internacionales de la PSU para el año 2012, se espera: (a) aprobar positivamente los tests PSU chilenos tanto en su validez de contenido y constructo, lo cual apoyará la selección de ítemes escogidos según disciplinas curriculares y niveles educativos (cf. Atkinson y Geiser, 2009); (b) haya una evaluación positiva de las consistencias internas de los tests, cada uno de ellos con confiabilidades mayores que 0,92; (c) ratificar comparativamente que tests PSU tienen una validez predictiva promedio sobre el primer año universitario CRUCH igual o mayor que 34% (6% promedio mayor que PAA chilena basada en anclajes teóricos de inteligencia y aptitud); (d) verificar que casi o 100% ítemes de las 6 disciplinas curriculares, tienen dificultades extremas 10%-90%, con discriminaciones promedio iguales o mayores que correlaciones biseriales +0,30; (e) meta-evaluar el test genérico de Ciencias, para tal vez convertirlo en tests específicos para Biología, Física y Química; (f) que los sistemas de selección y admisión a las universidades chilenas (no sólo las del CRUCH, sino las privadas y también las escuelas matrices de las FFAA), sigan manteniendo las Notas NEM + tests PSU o PAA + Postulaciones; (g) que cualquier otra tipología de variables no académicas/no cognitivas, requieran consideración por esencialidad y “peso” relativo significativo en las ecuaciones regresivas y predictivas de éxito académico universitario.

“Más sustantivamente ahora, se recomienda: (a) crear algunos pocos nuevos ítemes para medir y evaluar redacción/producción lingüística en el test de Lenguaje y Comunicación; (b) estimar con pocos ítemes abiertos planteos y soluciones de problemas en Educación Matemática; (c) restructurar la forma y selección de test y subtests en la prueba de Ciencias; (d) mejorar por parte del DEMRE de la Universidad de Chile, algunos ítemes de selección múltiple complejos (con números romanos) pues presentan problemas de logicidad y número gramatical; (e) no confundir en los diseños y la elaboración de ítemes la categoría taxonómica síntesis (crear) con resumen (cf. Bloom et al., 1956; Pizarro y Clark, 1979; Anderson y Krathwohl, 2001; Pizarro, 2004; puntajes PSU y análisis CERES, 2011); (f) considerar junto a las notas educativas NEM los rankings, puestos o lugares que han obtenido los postulantes, los que son considerados para la obtención de la beca de excelencia académica (Manzi et al, 2010); (g) estudiar o pilotear otros factores que estimen “habilidades blandas”; aspectos proyectivos y psicológicos; entrevistas y observaciones; visitas; semilleros académicos de alumnos de enseñanza media que han tomado cursos universitarios.

“Aún existe un 66% de varianza no explicada de logros académicos universitarios debida a otros factores e informaciones.

“En términos más operativos se concuerda con la idea que los postulantes puedan rendir varias veces la PSU y usar sus distintos puntajes para intentar acceder a la universidad. No obstante, ¿seguirá pagando la JUNAEB a casi el 80% de los postulantes por más de una vez?, ¿debiera crearse -debido a cobertura y énfasis curricular- una PSU para liceos/colegios que no tengan la modalidad científico-humanista, y cuyos postulantes intentan acceder a carreras universitarias o de educación terciaria de 2-4 años de duración?

“Sin duda que provoca más de una controversia la recomendación que ha hecho la Universidad de California para sus ingresos 2009 en adelante. Acepta que sus postulantes pueden usar (debido a su convergencia y validación predictiva) sus resultados provenientes de ambas pruebas (SAT con fundamentos similares intelectuales a la PAA; o, ACT similar al fundamento curricular supuesto en la prueba PSU (Atkinson y Geiser, 2009).

“Esta antinomia debiera provocar en Chile un fuerte debate académico sobre qué o cuáles pruebas y mayores oportunidades se podrían proponer para postulaciones, ingresos y permanencias universitarias”.

Prof. Raúl Pizarro Sánchez, Ph.D.
Measurement, Evaluation and Statistical Analysis
University of Chicago
Académico Titular en Evaluación Educacional, UPLA
Viña del Mar, Chile, 13 de junio de 2012

BIBLIOGRAFÍA

ALAVA, J. (2010). Este país debe buscar la manera chilena de mejorar la educación. LA TERCERA, Reportajes Domingo 17 de Julio de 2010, 31.
ALAVA, J. (2011). Qué explica el éxito de la educación en Finlandia. Inauguración del Año Académico, Postgrados Universidad de Playa Ancha de Ciencias de la Educación, Sábado 30 de Abril, UPLACED, Valparaíso.
ANDERSON, W. L. y KRATHWOHL, R. D. (2001, Eds.). A taxonomy for learning, teaching and assessing. A revision of Bloom´s taxonomy of educational objectives. New York: Longman.
ATKINSON, C. R. y GEISER, S. (2009). Reflections on a century of college admissions tests. Educational Researcher, Vol. 38. No. 9, 665-676.
BLOOM, S. B. (1956, Ed.). Taxonomy of educational objectives: Handbook I: Cognitive domain. New York: David McKay.
BLOOM, S. B. (1985). Developing talent in young people. New York: Basic Books.
BRAVO, U. D., DEL PINO, M. G., DONOSO, R. G., MANZI, A. J., MARTÍNEZ, M. M. y PIZARRO, S. R. (2008). Resultados de la aplicaciónde pruebas de selección universitaria. Admisión 2006-2008. Santiago de Chile: Honorable Consejo de Rectores de las Universidades Chilenas (CRUCH), CTA-PSU, Documentos Técnicos.
BRAVO, U. D., DEL PINO, M. G., DONOSO,R. G., MANZI, A. J., MARTÍNEZ, M. M. y PIZARRO, S. R. (2010, en prensa). Resultados de la aplicación de pruebas de selección universitaria admisión 2006-2009. Santiago de Chile: Honorable Consejo de Rectores de las Universidades Chilenas (CRUCH), CTA-PSU, Documentos Técnicos.
BRUNNER, J. J. (2010). Un vacío que empieza a preocupar. EL MERCURIO, Domingo 29 de Agosto de 2010, A 12.
BRUNNER, J. J. (2010). Nuestra educación y la OCDE. LA TERCERA, Sábado 10 de Septiembre de 2010, 66.
BRUNNER, J. J. (2010). A mejorar la reforma. EL MERCURIO, Domingo 5 de Diciembre 2010, A 12.
COHEN, K. D., RAUDENBUSH, W. S. y BALL, L. D. (2003). Resorces, instruction, and research. Educational Evaluation and Policy Analysis, 25, 2, 119-142.
CSIKSZENTMIHALYI, M., RATHUNDE, K. y WHALEN, S. (1993). Talented teenagers. The roots of success and failure. New York: Cambridge University Press.
DEMRE-CERES (2011). Informe CERES. Santiago de Chile: Universidad de Chile-DEMRE.
EISNER, W. E. (1991). What really counts in schools. Educational Leadership, 48, 5, 10-17.
ESCALANTE, J. (1991). On creating ganas: A conversation with Jaime Escalante (entrevista conducida por Anne Meek). Educational Leadership, 46, 46-7.
FOLIACO, R. G., PIZARRO, S. R., SIMBAQUEVA, G. A., MORALES, G. D., SANTANILLA, P. M., MARTÍNEZ, R. J. MORENO, T. A. y TAMAYO, H. O. (2006). Indices de riesgo educativo (IREs). Revista Educación y Educadores, Facultad de Educación, Universidad de la Sabana, Colombia, Diciembre 2006, Vol. 9, 2, 11-22.
GARDNER, H. (1994). Educación artística y desarrollo humano. Barcelona: Paidós Educador).
GARDNER, H. (1994). Las estructuras de la mente. Teoría de las inteligencias
múltiples (2a. Ed.). México: Fondo de Cultura Económica.
GARDNER, H., CSIKSZENTMIHALYI, M. y DAMON, W. (2001). Good work. When excellence and ethics meet. New York: Basic Books.
KELLAGHAN, T., SLOANE, K., ALVAREZ, B. y BLOOM, S. B. (1993). The home environment & school learning. San Francisco. Jossey-Bass Publishers.
MANZI, A. J., BRAVO, U. D., Del PINO, G., DONOSO, R.G., MARTÍNEZ, M. M. y PIZARRO, S. R. (2006). Estudio acerca de la validez predictiva de los factores de selección a las universidades del Consejo de Rectores. Santiago de Chile: Honorable Consejo de Rectores de las Universidades Chilenas (CRUCH), CTA-PSU, Documentos Técnicos.
MANZI, A. J., BRAVO, U.D., Del PINO, G., DONOSO, R. G., MARTÍNEZ, M. M. y PIZARRO, S. R. (2008). Estudio acerca de la validez predictiva de los factores de selección a las universidades del Consejo de Rectores. Admisión 2003 a 2006. Santiago de Chile: Honorable Consejo de Rectores de las Universidades Chilenas (CRUCH), CTA-PSU, Documentos Técnicos.
MATTE, L. P. (2010). Educación: ¿se justifica la urgencia ? EL MERCURIO, Domingo 5 de Diciembre de 2010, A 2).
MELLER, P. (2010). Carreras universitarias. Rentabilidad, selectividad y discriminación. Santiago de Chile: Uqbar Editores.
OPPENHEIMER, A. (2010). ¡ Basta de historias ! La obsesión latinoamericana con el pasado y las 12 claves del futuro. Buenos Aires: Sudamericana S.A.
PALARDY, J. G. y RUMBERGER, W. R. (2008). Teacher effectiveness in first
grade: The importance of background qualifications, attitudes, and instructional practices for student learning. Educational Evaluation and Policy, 30, 2, 111-140.
PÉREZ , V. V., SANCHEZ, D. I., ZOLEZZI, C. J. M. y ROJAS, M. A. (2011). Evaluación Internacional de la PSU. EL MERCURIO, Jueves 10 de Marzo 2011, A 2.
PIZARRO, S. R. (2001). Nueva P.A.A. Chilena: Alguna consideraciones políticas, teóricas, técnicas y funcionales. Revista de Psicología de la Universidad de Chile, Vol. X, 1, 51-62.
PIZARRO, S. R. (2004). Manual de elaboración de ítemes objetivos de selección múltiple y preguntas abiertas breves para el segundo estudio regional comparativo y explicativo (SERCE). Santiago de Chile: OREALC/UNESCO, Laboratorio Latinoamericano de Evaluación de la Calidad Educativa (LLECE).
PIZARRO, S. R. (2008). Sistemas educativos formales y efectos Mateo, Regresivo y Robin Hood. Boletín de Investigación Educacional, Pontificia Universidad Católica de Chile, 23, 2, 13-38. Ponencia en La Comisión Organizadora de Encuentros Nacionales e Internacionales de Investigadores en Educación (ENIN), 5 de Septiembre, Santiago de Chile, 2008; y en el 8º. Encuentro Interregional y 2º. Internacional de Investigadores en Educación, Universidad de Los Lagos, Osorno, Chile, 15-16 Enero 2009.
PIZARRO, S. R. (2009). Mismos SIMCEs, otros análisis. Boletín de Investigación Educacional, Pontificia Universidad Católica de Chile, 24, 1 y 2, 209-240.
PIZARRO, S. R. (2009). Indices de riesgos educativos (IREs). Bogotá: Visión Mundial Colombia.
PIZARRO, S. R. (2011, en prensa). Mismos SIMCEs, otros análisis II. Revista Investigaciones en Educación, Universidad de la Frontera.
PIZARRO, S. R. y CLARK, L.S. (1979). Diseño y elaboración de tests cognitivos. Valparaíso: Facultad de Educación, Universidad de Chile, Valparaíso.
STERNBERG, J. R. (1997). Educating intelligence: Infusing the triarchic theory into school instruction. En Robert J. Sternberg y Elena Grigorenko (Eds.) (1997), Intelligence, heredity and environment. Cambridge: Cambridge University Press; 343-362.
UGARTE, G. J. J. (2011). Aseguramiento de la calidad en la educación superior. Viña del Mar: 58º. Aniversario de la Dirección de Educación de la Armada de Chile, DEA, 1º. de Abril 2011.
VILLATORO, P. (2007). Hacia la ampliación del segundo objetivo del milenio: Una propuesta para América Latina y El Caribe. Serie Políticas Sociales No. 132. Santiago de Chile: NACIONES UNIDAS, CEPAL, División de Desarrollo Social y División de Estadísticas y Proyecciones Económicas.
WAISSBLUTH, M. (2010). Se acabó el recreo. La desigualdad en la educación. Santiago de Chile: Random House Mondadori.

Pruebe también

Dra. Irma Fuentes: “Es fundamental incluir más contenidos astronómicos en el sistema educativo formal chileno”

Académica de Pedagogía en Física y astrónoma, explica en el Día de la Astronomía el enfoque que debiera darse a la enseñanza de esta ciencia en el sistema educacional, en un país que concentrará en una década el 70% de los telescopios del mundo.