http://dx.doi.org/10.18359/ravi.2691
Artículo
Revista Academia & Virtualidad 10(1): 42-55, 2017
Valor agregado como indicador de calidad en programas académicos universitarios utilizando resultados de pruebas censales1
Marco Tulio Rodríguez Sandoval2 & Rafael Alberto Vilchez Pirela3
Corporación Universitaria del Caribe CECAR, Colombia
Recibido, diciembre 18 de 2016
Concepto evaluación, enero 25 de 2017
Aceptado, enero 30 de 2017
Referencia: Rodríguez Sandoval, M. & Vilchez Pirela, R. (2017). "Valor agregado como indicador de calidad en programas académicos universitarios utilizando resultados de pruebas censales". Revista Academia y Virtualidad, 10, (1), 42-55
Resumen
Este estudio consistió en determinar el valor agregado como indicador de calidad de un programa académico teniendo en cuenta dos momentos de la vida académica de los estudiantes a partir de una cohorte y la construcción de una explicación razonada de esta valoración desde el aporte que hace la universidad. Con ello, se pretende una evaluación más justa del logro académico y se compara su magnitud con el de otras universidades que ofertan el mismo programa académico en dicha modalidad. La metodología implementada en el estudio tiene un enfoque cuantitativo de tipo correlacionai; involucró a estudiantes de la cohorte 2013-2 utilizando la información colectada por el ICFES a través de pruebas censales, Saber 11 y Saber PRO. Del análisis de esta información, se priorizó la determinación del logro académico de la universidad. Seguidamente, la determinación de los componentes principales de las variables socioeconómica y sociocultural; se realizó la correlación de variables con el logro académico y se calcularon sus interacciones, determinando la correlación lineal entre las variables y la fortaleza de éstas. Con esta información se explica la contribución de cada uno de los factores en el logro académico.
Palabras clave: valor agregado, logro académico, factor universidad, factores explicativos.
The value-added as a quality indicator in university academic programs using census test results
Abstract
This study aims to establish the value-added as a quality indicator of an academic program taking into account two times of the students' academic life, from a cohort and a reasoned explanation built of this assessment including the contribution by the university. With this, a fairer assessment of the academic achievement is intended, and then its magnitude is compared with the other universities offering the same academic program mode. The methodology implemented is a quantitative-correlational approach, which involved 2013-2 cohort students using data collected by ICFES through census tests, Saber 11 and Saber PRO. From the analysis of this Information, the identifícation of the academic achievement of the university was prioritized. Next, the definition of the main components of the socioeconomic and sociocultural variables; the variables correlation regarding academic achievement was performed and their interactions calculated by determining the linear correlation between variables and their power. This information explains the contribution of each one of the factors regarding the academic achievement.
Keywords: value-added, academic achievement, university factor, explanatory factors.
Valor agregado como indicador da qualidade nos programas académicos universitarios utilizando resultados de probas de qualidade.
Resumo
Este estudo teve como fim a determinação do valor agregado como um indicador de qualidade de um programa académico tendo em conta dois momentos da vida académica dos estudantes a partir de uma coorte e a construção de uma explicação razoada desta valoração desde o aporte que faz a universidade. Desse jeito, pretende-se uma avaliação mais justa do logro académico e sua magnitude é comparada com a de outras universidades ofertando o mesmo programa académico em tal modalidade. A metodologia implementada no estudo tem uma abordagem quantitativa de tipo correlacionai; involucrou estudantes da coorte 2013-2 utilizando a informação coletada pelo ICFES através de probas de qualidade Saber 11 e Saber PRO. Da análise desta informação priorizou-se a determinação do logro académico da universidade. Em seguida, a determinação dos componentes principais das variáveis socioeconómica e sociocultural; realizou-se a correlação de variáveis com o logro académico e foram calculadas suas interações, determinando a correlação lineal entre as variáveis e a fortaleza destas. Com essa informação explica-se a contribuição de cada um dos fatores no logro académico.
Palavras chave: valor agregado, logro académico, fator universidade e fatores explicativos.
Introducción
La complejidad del proceso educativo se pone en evidencia cuando se evalúa la efectividad de las políticas educativas y la calidad de los aprendizajes que adquieren los estudiantes en su tránsito por la universidad. Por esta razón, Backhoff (2007), después de analizar la complejidad del proceso educativo, considera que los factores que tienen alguna contribución en los aprendizajes de los estudiantes van desde la política pública y la inversión estatal hasta todos aquellos factores sociales, culturales, personales y escolares.
En este sentido, si se quiere hacer una evaluación justa de los aprendizajes de los estudiantes, se debe tener en cuenta la complejidad del proceso y sus desempeños en momentos claves del mismo y no el ejercicio que tradicionalmente se hace en un solo momento de su vida académica.
Este ejercicio de corte transversal, como argumenta Blanco (2008), ha servido para estigmatizar a los programas académicos, a las universidades y a la calidad de la educación de los países latinoamericanos basados en los resultados de una prueba como lo muestra la OCDE con la prueba PISA4. Esta información tradicionalmente se ha convertido en un argumento discriminante por las organizaciones que trazan políticas a nivel mundial de esta naturaleza como la OCDE que han promovido el incremento de las desigualdades educativas y sociales entre países no desarrollados y los desarrollados. Una alternativa sería el diseño y establecimiento de indicadores de evaluación basados en el valor agregado, con el propósito de hacer un buen diagnóstico que posibilite hacer las intervenciones ajustadas a las debilidades identificadas (Creemers 1997, citado por Peña, Fernández y Muñiz 2009, p.3).
En este orden de ideas, el presente estudio hace una valoración justa de lo que verdaderamente aprende el estudiante en su tránsito por la universidad considerando los factores agregados al desempeño en los distintos niveles de agregación estudiante y universidad con el propósito de identificar el factor que más incide, determinando su magnitud para tener un argumento explicativo que sirva para autoevaluarse y posteriormente diferenciar a una universidad de la otra.
Por consiguiente, una evaluación justa y equitativa de las instituciones de educación superior exige la atención primaria del progreso en el aprendizaje de sus estudiantes, requiriendo del uso de información que se toma en dos momentos de su vida escolar; una prueba de entrada (Saber 11) y una prueba de salida (Saber PRO), alineadas en las competencias. Con esa información, el modelo investigativo facilita la evaluación del valor agregado, las diferencias institucionales y los diferentes niveles de logro alcanzados en las pruebas realizadas. En Colombia, la práctica de este tipo de investigaciones no se ha generalizado y todavía persiste la práctica de clasificar y estigmatizar a las instituciones educativas teniendo en cuenta los resultados de una prueba. Por esta razón, este estudio, además de contribuir al inicio de procesos de cambio en este tipo de prácticas, promueve la búsqueda de procedimientos alternativos que permitan avanzar hacia procesos evaluativos más justos y equitativos. Concretizando esta iniciativa, el grupo investigador formuló los siguientes interrogantes:
En la implementación del estudio se utilizó la lógica en que están enunciadas las preguntas anteriores. Para lograrlo, se formuló el objetivo general que consistió en explicar cómo afectan los factores agregados al progreso de aprendizaje de los estudiantes del programa de Licenciatura en Educación Básica con énfasis en Ciencias Naturales y Educación Ambiental de la Corporación Universitaria del Caribe CECAR. Para responderlas, se trazaron los siguientes objetivos:
Las reflexiones anteriores justifican el estudio considerando que un número significativo de universidades del país no utilizan la información proveniente de las pruebas nacionales e internacionales porque no alcanzan a dimensionar su utilidad en términos de evaluación de la calidad de los aprendizajes que imparten. Sin embargo, el ICFES sí utiliza los resultados de los estudiantes en la pruebas que aplica en cada uno de los niveles de escolaridad para clasificar las instituciones educativas por los resultados académicos en la Prueba Saber 3o, 5o, 9o, 11 en los niveles básico y medio y Saber PRO a nivel universitario.
Con relación con las implicaciones que dejan este tipo de prácticas en Colombia, se observa en el listado de las Instituciones Educativas de Básica y Media que se encuentran ubicadas por el desempeño de sus estudiantes en los niveles de muy superior, superior, alto, medio, bajo e inferior; generalizando el comportamiento de las gestiones escolares para luego sugerir planes de mejoramiento, dirigidos a superar las debilidades observadas, además de fortalecer los aspectos positivos mostrados; cuyas intervenciones que hacen las unidades administrativas municipales y departamentales deben estar en función de estos planes estratégicos. En los últimos años, el Ministerio de Educación Colombiano ha utilizado la información proveniente del ICFES y ha definido el índice Sintético de Calidad para referirse a un parámetro referencial que le sirva a fin de mostrar avances o retrocesos mediante procesos de corte longitudinal considerando mediciones de la prueba Saber que se hacen en el grado tercero, en quinto, en noveno y en el grado once.
Los avances mostrados en el relato anterior en los niveles básico y medio, a nivel universitario no se realizan este tipo de prácticas monitoreadas por el Estado. Algunos de sus parámetros son utilizados en los procesos de acreditación para mostrar avances en los resultados académicos. Hasta el momento, son pocos los avances en la utilización de resultados de las pruebas Saber 11 con que ingresan los aspirantes en cada programa, tampoco se ha generalizado el uso de los resultados de la prueba Saber PRO para evaluar la eficiencia de las estrategias de enseñanza que implementa un programa académico y la calidad de éste.
Al mismo tiempo, los indicadores que se han construido y que son sugeridos por los pares académicos y/o revisados por el Consejo Nacional de Acreditación CNA se encuentran en mayor número asociados a aspectos administrativos, directiva y de extensión comunitaria que a los procesos académicos, dejando en evidencia la inexistencia de indicadores que evalúen el logro previo del estudiante y lo que ha aprendido a lo largo de su trayectoria como estudiante de educación superior.
Sin embargo, el Ministerio de Educación Colombiano MEN ha realizado mediciones para mostrarle a la sociedad un referente que les sirve para la toma de decisiones en la búsqueda de opciones para la elección de un programa universitario a través del MIDE5. Este referente tiene como propósito brindar información a la sociedad el estado de algunas variables que explican la calidad de las Instituciones de Educación Superior (IES), especialmente a estudiantes de instituciones educativas de educación media y padres de familia, para que cuenten con información pertinente y transparente al momento de tomar la decisión de dónde realizar sus estudios de educación superior. El modelo se apoya en la información que las universidades le aportan al Sistema Nacional de Información de las Instituciones de Educación Superior (SNIES).
En este punto es donde se evidencian vacíos en la construcción de indicadores que permitan hacer valoraciones más justas de los estudiantes porque no tienen en cuenta sus conocimientos previos. Así pues, resulta relevante el establecimiento de procedimientos dirigidos a evaluar la magnitud de los aprendizajes de los estudiantes y la calidad de un programa académico atendiendo a dos momentos de su estancia universitaria de manera longitudinal. Con ello se pretende el diseño e implementación de procedimientos alternativos que permitan evaluar los aprendizajes de los estudiantes y valorar la efectividad de los programas académicos universitarios e identificar los factores que mayor contribución tienen en el valor agregado que la Universidad les ha aportado a sus estudiantes.
Antecedentes sobre el valor agregado en el contexto educativo
Los estudios sobre el valor agregado en el contexto educativo se sustentan en las teorías de eficacia escolar y justicia educativa. Con ella se promueven prácticas evaluativas más precisas, confiables y justas en el sistema educativo en función de aportar conocimiento, de tal manera que sirvan para optimizar la calidad de la educación. En este sentido, Creemers (1997) plantea que "[...] el mejor criterio para la eficacia educacional es el valor que la educación agrega a los atributos iniciales de los estudiantes". Para entender la forma como tanto conceptual como metodológicamente se ha abordado este tema de valor agregado, conviene plantear un vínculo entre este concepto y el de eficacia escolar. La relación entre los dos es directa ya que una escuela puede considerarse eficaz en la medida que agregue valor; específicamente, la teoría de la eficacia escolar se fundamenta en la del valor agregado para identificar la verdadera contribución de la escuela al progreso educativo del estudiante.
En esta dirección, la teoría plantea que los estudiantes cuenten con antecedentes en términos de logros académicos, con habilidades innatas, con aptitudes para el aprendizaje, con un grupo de compañeros y con un contexto familiar y social que necesariamente inciden en las posibilidades, no solo cognitivas sino también aquellas relacionadas con competencias metacognitivas de un orden superior.
Por su parte, Goldstein (2001) plantea la inconveniencia de utilizar metodologías basadas sólo en el uso de los resultados académicos de los estudiantes provenientes de pruebas censales, expresando que dicha metodología genera prácticas institucionales inadecuadas. Es así que las instituciones educativas, en su afán por mejorar los resultados académicos, caen en distorsiones curriculares y el desarrollo de clases se dedica exclusivamente a enseñar para contestar una prueba.
Sobre este referente, Klein, et al. (2000) aportan una prueba en un estudio realizado en Texas, al analizar los resultados de las pruebas estatales y nacionales, pues encontraron que los resultados favorables a nivel estatal eran incongruentes con los resultados nacionales. Concluyeron que la dedicación específica a la preparación de la prueba estatal impidió el desarrollo de las competencias que mide el examen nacional.
Resulta interesante observar, entonces, que dentro de la agenda de la teoría de la eficacia escolar, la teoría del valor agregado aparece como reacción de los investigadores a la publicación de tablas de desempeño, que desde su amplia trayectoria en temas de educación, resultaban incongruentes con los objetivos perseguidos por el sistema educativo. Otro elemento para destacar es que el objetivo primario del análisis debe ser informar a los diferentes actores sobre el resultado de los estudiantes, y que la aparente complejidad de los modelos y técnicas de estimación no debe obstaculizar dicho propósito.
Trabajos anteriores sobre el mismo tema en la escuela secundaria (Cervini, 2002; 2003a; 2003b) han analizado los efectos de la composición socioeconómica de la escuela y de ciertos procesos institucionales, medidos a través de la agregación de informaciones proporcionadas por estudiantes, sobre el logro en matemática del último año de la escuela secundaria, según los resultados del Censo Nacional de Finalización del Nivel Secundario de 1998 realizado por el Ministerio de Cultura y Educación de Argentina. Una de las conclusiones de tales estudios fue que "ciertas características del proceso escolar tienen un efecto específico, propio; es decir, no todo es atribuible al efecto directo e indirecto" de los factores individuales del estudiante o de la composición social de la escuela, aunque "la magnitud de tal efecto es bastante más reducida que las expectativas optimistas de algunos discursos sobre efectividad escolar" (Cervini, 2003b: 92).
Asimismo, el Ministerio de Educación Nacional de Colombia, MEN (2015) ha seguido trabajando en el mejoramiento del MIDE para establecer un sistema de medición de la calidad de la educación que ofertan las universidades, de tal manera que cuente con indicadores cuantitativos, de fácil manejo, que pueda identificar fortalezas y debilidades en las universidades y sirva para compararlas entre sí. Con este referente, algunas universidades han iniciado el ajuste de sus procesos de autoevaluación y de mejoramiento institucional, afrontando los procesos de acreditación de una manera más segura y rápida.
Los indicadores de gestión y la calidad educativa
La calidad de la educación requiere la construcción de indicadores de gestión de los diferentes procesos, que sean de fácil manejo para que las comunidades puedan acceder a ellos en función del mejoramiento de sus procesos y de la calidad de la oferta educativa. En este sentido, se hace necesario definirlos para poder utilizarlos. Al respecto, González (2004) alude a la dificultad para establecer una definición generalizada del concepto indicador, de tal modo que realiza un análisis acerca de la necesidad de clarificar la función del mismo a partir de la respuesta que se da a interrogantes tales como "qué debe ser medido" y "para qué", con el fin de estimar la calidad de un aspecto determinado del sistema educativo. En esta línea, plantea que el concepto se refiere, generalmente, a aquellos factores que pretenden medir el grado de consecución de los objetivos perseguidos por la sociedad, de tal forma que permitan una mejor evolución de resultados y un mayor conocimiento en el momento de la adopción de decisiones. En educación esta medida, de acuerdo con De Landsheere, citado por González (2004), informa varios aspectos: la calidad y el funcionamiento del sistema, lo que los estudiantes conocen, lo que son capaces de hacer y las diferencias interinstitucionales en el desarrollo de los procesos.
El mismo autor expone que el indicador en el campo de la educación se puede considerar como:
[...] un dato o información (no forzosamente de tipo estadístico) relativo al sistema educativo o a alguno de sus componentes, capaces de resolver algo sobre su funcionamiento. Esta información aumenta la capacidad de comprensión de los fenómenos educativos y proporciona una base lo más sólida posible para la toma de decisiones. (De Landsheere, citado por González, 2004).
Calidad educativa en función de la oferta educativa
La preocupación por la calidad, la eficiencia, la productividad y la competitividad que existe actualmente en todos los ámbitos del sistema educativo, es el resultado del proceso y de la gran dinámica de la globalización. Es a partir de la segunda mitad del siglo xx que se han buscado soluciones al problema de la calidad en todos los niveles educativos en los países latinoamericanos, lo que ha conducido a que se generara un sinnúmero de cambios en los programas, en la formación docente y en los recursos empleados a fin de obtener mejores resultados (Cervini, 2004).
Por su parte, Cardoso (2006) establece que la calidad hace referencia a algo especial; además, comenta que existe calidad en la medida en que un producto o servicio se ajusta a las exigencias del cliente, por lo que la dimensión más importante de este término es su funcionalidad. Así, este autor distingue tres variantes del concepto de calidad:
En este mismo orden e ideas, Marques (2008) establece que la calidad educativa está determinada por la capacidad que tienen las instituciones para preparar al individuo, de tal manera que pueda adaptarse y contribuir al crecimiento, desarrollo económico y social mediante su incorporación al mercado laboral, por lo que la calidad se valora en función del progreso y de la modernidad del país.
Por consiguiente, para que un país se desempeñe satisfactoriamente en un mundo globalizado requiere estar preparado, y para ello, la calidad en la educación desempeña un papel determinante. Así, calidad educativa significa excelencia, por lo que este término puede referirse a
[...] las características de un currículum, de una biblioteca, del profesorado, de los aprendizajes logrados por los alumnos, del número de escuelas, del costo de la oportunidad, de los criterios para certificar, de la forma de incorporarse al mundo extraescolar, entre otros (Gago, 2005, p.39).
Esta concepción sobre la calidad entonces ha cambiado de contenido de una época a otra, por lo que no es estable ni duradera. A su vez, Blanco (2008) resalta que el pleno ejercicio del derecho a la educación exige que ésta sea de calidad, promoviendo el máximo desarrollo de las múltiples potencialidades de cada persona, a través de aprendizajes socialmente relevantes, experiencias educativas pertinentes a las necesidades, características de los individuos y de los contextos en los que se desenvuelven; es decir, el derecho a la educación es el derecho a aprender. La calidad de la educación es crucial, porque influye de forma determinante en los resultados de aprendizaje y en los niveles de asistencia y finalización de estudios, por lo que finalmente la calidad afecta la universalización de la educación (OREALC/UNESCO 2007).
La calidad definida por el CNA y adoptada por el CESU, en el Artículo 5 del Acuerdo 03 de 2014, menciona:
[...] El concepto de calidad aplicado a la educación superior, hace referencia a la síntesis de características que permiten reconocer un programa académico o una institución de educación superior, y hacer un juicio sobre la distancia relativa entre el modo como en esa institución o programa académico se presta dicho servicio y el óptimo que corresponde a su naturaleza.
De tal manera que la eficacia y eficiencia constituyen dos atributos básicos de la educación de calidad para todos y que han de representar las preocupaciones centrales de la acción pública en el terreno de la educación. Eficacia implica analizar en qué medida se logran o no garantizar, en términos de metas, los principios de equidad, relevancia y pertinencia de la educación, mientras que la eficiencia se refiere a cómo la acción pública asigna a la educación los recursos necesarios, distribuyéndolos y utilizándolos de manera adecuada.
Valor agregado y logro académico en función de los aprendizajes de los estudiantes
Los modelos de valor agregado que se están utilizando muestran avances significativos en la evaluación del desempeño escolar de un estudiante porque consideran el proceso de formación y momentos claves de su vida académica. Las comparaciones de puntuaciones brutas de pruebas proporcionan información importante, aunque son medidas deficientes del desempeño escolar. No toman en cuenta el rendimiento previo y generan resultados que en gran medida reflejan diferencias en las características contextúales como los antecedentes socioeconómicos de los estudiantes, diferencias culturales y personales.
Considerando lo anterior, se entiende por valor agregado (va) de una escuela, la contribución que realiza al progreso neto de los estudiantes hacia objetivos de aprendizaje establecidos, una vez eliminada la influencia de otros factores ajenos a la escuela que puedan contribuir a dicho progreso (Meyer, 1997). Para estimar el va se utilizan un conjunto de procedimientos estadísticos que permiten hacer inferencias sobre la eficacia de las escuelas a través del seguimiento de la trayectoria de los estudiantes, analizando los resultados de dos o más años (Tekwe, el al., 2004). Estos datos de la evolución de los estudiantes se transforman en indicadores de VA que pueden utilizarse para evaluar la eficacia de la escuela de manera mucho más válida y justa que el simple resultado promedio de sus estudiantes en un año cualquiera (Raudenbush, 2004).
El modelo que se utiliza en este estudio para el cálculo del valor agregado tiene en cuenta tanto factores contextúales como los resultados previos de los estudiantes. éste modelo fue desarrollado por Sander, Saxtón y Hom (1997), y emplea un diseño longitudinal donde el resultado académico es controlado y explicado por variables del contexto, entre ellas el estatus socioeconómico y el historial del rendimiento académico medido a lo largo del tiempo (Ballou, Sanders y Wright, 2004, citado por Peña, Fernández y Muñiz 2009, p.3).
Metodología
Este estudio se define como una investigación no experimental con un enfoque cuantitativo, ajustándose al trabajo con las variables explicativas como el nivel socioeconómico, sociocultural y el logro previo hasta el establecimiento de correlaciones con respecto al logro académico de los estudiantes. Las hipótesis formuladas son comprobadas a través de este tipo de análisis. La información que definen las variables independientes se toma de la base de datos del ICFES de la cohorte 2013 de los estudiantes del programa de Licenciatura en Educación Básica con énfasis en Ciencias Naturales y Educación Ambiental de la Corporación Universitaria del Caribe (CECAR). Sus indicadores fueron verificados y cuantificados con información del contexto de la universidad. El diseño de la investigación es longitudinal de panel (Hernández Sampieri, 2015, p. 537). Los integrantes de una cohorte son medidos en dos momentos de su vida académica para la determinación del valor agregado y logro académico alcanzado por los estudiantes en su tránsito por la universidad.
La población está constituida por estudiantes que cursaron el programa de Licenciatura en Educación Básica con énfasis en Ciencias Naturales y Educación Ambiental de la cohorte 2013, de la Corporación Universitaria del Caribe (CECAR), sus docentes, directivos y administrativos. La muestra está constituida por 100% de estudiantes de la cohorte 2013 que cursaron el Programa Licenciatura en Educación Básica con énfasis en Ciencias Naturales y Educación Ambiental, graduados en el segundo semestre de CECAR. La información proviene de la base de datos del ICFES de la prueba Saber 11 y Saber PRO de los estudiantes en la cohorte 2013, graduados en el segundo semestre del programa seleccionado, 15 docentes, 5 directivos y 3 administrativos.
Mediante observación directa y con entrevistas en el contexto universitario se aplicó una lista de verificación con los criterios e indicadores que permitieron comprobar su estado y cuantificarlo. Posteriormente, se aplicó una encuesta a una muestra al azar de los docentes seleccionados de la facultad de educación a la que pertenece el programa para recoger información sobre sus percepciones sobre la calidad del programa y de la universidad, aplicando un instrumento basado en los criterios e indicadores de una Escuela Eficaz y los del CNA.
Resultados
Determinación del logro académico de estudiantes de CECAR
Para determinar el logro académico se tuvieron en cuenta los resultados de la prueba Saber 11 y Saber PRO, incluyendo tanto las competencias genéricas como las específicas. El ejercicio se resume en la siguiente tabla:
La prueba de hipótesis se hizo de la siguiente manera:
Inicialmente, se formularon las hipótesis:
Ho = El nivel de logro académico de los estudiantes es diferente de CERO7.
Ha = El nivel de logro académico de los estudiantes es CERO8.
Como la muestra es mayor que 30 se considera como una muestra grande y el estadístico de prueba es la distribución NORMAL. Al calcular Z se obtuvo Zc=-0.2885046 que es un valor que aparece en la zona de aceptación de la hipótesis nula, es decir, hay diferencia entre el logro previo y el logro bruto, es decir, el aporte de la universidad es diferente de cero.
Por los valores obtenidos, se acepta la hipótesis nula.
Correlación entre las variables y el logro académico
La correlación entre el nivel socioeconómico y el logro académico se resume en la siguiente tabla:
De los componentes que definen el NSE, sólo tres explican el 84,957 % de la varianza. Para el establecimiento de las correlaciones se formularon las siguientes hipótesis:
Ho = el nivel socioeconómico del estudiante está relacionado con el logro académico.
Ha = el nivel socioeconómico del estudiante NO está relacionado con el logro académico.
Así, las correlaciones entre el nivel socioeconómico de los estudiantes de las universidades participantes son muy bajas, es decir, se observa poca fuerza de correlación lineal entre las variables. Puesto que el valor-P para la prueba es mayor que 0,05, se rechaza la hipótesis nula con un 95,0% de nivel de confianza y se acepta la hipótesis alternativa.
En lo respectivo a la correlación entre el nivel sociocultural de los estudiantes con el logro académico se resume en la siguiente tabla:
Para el establecimiento de las correlaciones se formularon las siguientes hipótesis:
Ho = el logro previo del estudiante está relacionado con el logro académico.
Ha = el logro previo del estudiante NO está relacionado con el logro académico.
Aquí se observa poca fuerza de correlación lineal entre las variables nivel sociocultural y el logro académico. Puesto que el valor-P para la prueba es mayor 0.05, se rechaza la hipótesis nula con un 95,0% de nivel de confianza y se acepta la hipótesis alternativa.
En cuanto a la correlación entre el logro previo de los estudiantes con el logro académico se resume en la siguiente tabla:
Para el establecimiento de las correlaciones se formularon las siguientes hipótesis:
Ho = el logro previo del estudiante está relacionado con el nivel de logro académico.
Ha = el logro previo del estudiante NO está relacionado con el logro académico.
En este caso se observa que la correlación entre el logro previo y el logro académico de los estudiantes en CECAR es alta y directa, con una interacción considerable. Puesto que el p-valor está por debajo de 0.05, se acepta la hipótesis nula Ho.
Análisis del contexto universitario y determinación de las contribuciones de los factores
La variable "organización y composición de la universidad" es considerada cuantitativa cuando se compara el logro académico de los estudiantes de un programa académico de diferentes universidades. Aquí se mide la contribución de los factores para explicar la varianza del efecto causado. Cuando se busca la relación entre la organización de la universidad y el logro académico de los estudiantes de un programa en la misma universidad, se definen las categorías y los indicadores que determinan su cumplimiento mediante una lista de verificación. Se le asignan valoraciones y pesos específicos a las mismas con el propósito de identificar el factor que tiene mayor contribución al logro académico de los estudiantes.
El análisis del contexto se hizo con una lista de verificación que fue diseñada con los siguientes criterios: Acreditación, MIDE, Investigación, Procesos Pedagógicos, Docentes, Estructura Académica, Recursos, Ambientes de Aprendizaje y Percepción de los Docentes sobre la calidad del programa. Este último fue recogido utilizando una encuesta tomando los criterios de una Escuela Eficaz Murillo (2005) y los indicadores del CNA Colombia (validado con una muestra en CECAR), de la siguiente manera: se utilizó un nivel de confianza del 82%. El tamaño de la muestra fue de 10 docentes. El instrumento fue aplicado a 10 docentes de la Facultad de Educación y del Programa Licenciatura en Educación Básica con énfasis en Ciencias Naturales y Educación Ambiental de la Corporación Universitaria del Caribe (CECAR). Con la información se calculó el coeficiente de Alfa de Cronbach (a) con el propósito de validar el instrumento y cuantificar su grado de confiabilidad. El valor calculado fue de 0,89, lo que indica que el instrumento utilizado es altamente confiable.
Cada criterio es definido con indicadores de procesos o de productos. En la siguiente tabla se resume el ejercicio de evaluación:
Los factores que mayor contribuyen al logro académico de los estudiantes del Programa de Licenciatura en Educación Básica con Enfasis en Ciencias Naturales y Educación Ambiental, en su orden: la estructura académica, procesos académicos, los docentes y la percepción que tienen los docentes sobre la calidad del programa. Los demás factores que son determinantes en la formación de los estudiantes como los indicadores de acreditación, MIDE, los recursos del programa y los ambientes de aprendizaje muestran debilidades y contribuyen en el bajo logro como el calculado (valor agregado 2,45%), partiendo de que el logro previo de estudiantes participantes es bajo.
Conclusiones
Después de analizar los resultados, se concluye que el valor agregado que La Corporación Universitaria del Caribe (CECAR) aportó a los estudiantes del programa Licenciatura en Educación Básica con énfasis en Ciencias Naturales y Educación Ambiental de la cohorte 2013 del segundo semestre fue 2,45 %. Esta magnitud es baja si se tiene en cuenta que el logro previo promedio de los estudiantes estuvo por debajo de la media nacional ese año y el aporte que les hace CECAR a ellos en términos de aprendizajes es poco.
El nivel socioeconómico de los estudiantes no está relacionado con el logro académico alcanzado en las universidades participantes por tratarse de grupos relativamente homogéneos que atienden a los factores de mayor contribución en la varianza como son la ocupación de los padres y el estrato socioeconómico.
El nivel sociocultural de los estudiantes no está relacionado con el logro académico alcanzado en las universidades participantes porque los grupos son relativamente homogéneos atendiendo al factor de mayor contribución en la varianza como es la educación del padre. Asimismo, el logro previo tiene una relación directa con el logro académico de los estudiantes de las universidades participantes. Esta relación se pone en evidencia tanto en las competencias genéricas como específicas del área de ciencias naturales y educación ambiental.
La organización de la universidad, por su naturaleza, presenta una alta relación directa con el logro académico, pues sus características académico-administrativas y prácticas institucionales son determinantes en el alcance del logro académico y en la formación de los estudiantes. Por la magnitud del logro académico y las debilidades mostradas en los aspectos evaluados de la universidad al aplicar esta metodología, esta herramienta se convierte en una trayectoria interesante de autoevaluación de un programa académico.
1 Artículo de Investigación Científica y Tecnológica.
2 Licenciado en Ciencias de la Educación con Especialidad en Química y Biología; Especialista en Ciencias Químicas y en Pedagogías para el Desarrollo del Aprendizaje Autónomo; Magíster en Nuevas Tecnologías Aplicadas a la Educación; Doctorando en Educación; Docente, Corporación Universitaria del Caribe CECAR. marco.rodriguez@cecar.edu.co
3 Licenciado en Trabajo Social; Magíster en Gerencia de Recursos Humanos; Doctor en Ciencias Gerenciales; Postdoctorante de Gerencia en las Organizaciones; Investigador, Comportamiento Humano en las Organizaciones, Vulnerabilidad Social y Grupos Poblacionales; Venezuela; Docente, Corporación Universitaria del Caribe CECAR. rafael.vilchez@cecar.edu.co
4 Prueba diseñada y aplicada por la OCDE (Organización para la Cooperación y el Desarrollo Económicos), aplicada a los estudiantes de los países afiliados para promover acciones que mejoren los procesos educativos.
5 MIDE: modelo de indicadores del desempeño de la educación, diseñados e implementados por el MEN, para que los interesados tengan un referente y escoger una universidad o un programa académico.
6 Promedio del logro de las dos competencias.
7 Ho = hipótesis nula
8 Ha = hipótesis alternativa
9 Encuesta de percepción elaborada por Marco Rodríguez, apoyado en los criterios de una Escuela Eficaz, Murillo (2005) citados por Cornejo R. y Redondo J. (2007) y los indicadores del CNA Colombia (validado con una muestra en CECAR).
Nivel 1: Muy bajo o nada; Nivel 2: bajo o poco; Nivel 3: Regular o aceptable; Nivel 4: bueno o suficiente; Nivel 5: Excelente
10 Indicador Sistema regional de información educativa de los estudiantes con discapacidad (SIRIED).
Referencias
Backhoff, E., Bouzas, A. y Confieras, C. (2007). Factores Escolares y aprendizaje en México. El caso de la Educación Básica. México: Instituto Nacional para la evaluación de la Educación. D.F. 1,24-29, 4,71-94.
Blanco, R. (2008). Eficacia escolar desde el enfoque de la calidad de la educación. OREALC/UNESCO. LLECE, Santiago de Chile: Laboratorio Latinoamericano para la Evaluación de la Calidad Educativa.
Briones, G. (1996). Metodología de la investigación cuantitativa en las ciencias sociales. Módulo 3. Universidad de Chile. Recuperado de http://ebevidencia.com/wp-content/uploads/2014/02/Metodolog%C3%ADa-de-la-investigaci%C3%B3n-cuantitativa-en-las-ciencias-sociales.pdf en agosto 12 de 2013.
Cardoso, E. (2006, p. 64). Revista Electrónica de Investigación Educativa. Vol. 13, No. 2, 2011 70.
Cardoso, E. y Cerecedo, M. (2011). Propuesta de indicadores para evaluar la calidad de un programa de posgrado en Educación. Revista Electrónica de Investigación Educativa, 13(2), 68-82. Recuperado de http://redie.uabc.mx/voll3no2/contenido-cardosocerecedo.html
Carvallo Pontón, M. (2005). Análisis de los resultados obtenidos en estudios de eficacia escolar en México, comparados con otros países. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 3(2), pp.88-108. Recuperado de http://www.rinace.net/arts/vol3num2/art6.htm en febrero 10 de 2014.
Cervini, R. (2004). Influencia de los factores institucionales sobre el logro en Matemática de los estudiantes en el último año de la educación Media de Argentina.- Un modelo de tres niveles. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 2(1). Recuperado de http://www.ice.deusto.es/RINACE/reice/vol2n1/Cervini.htm en marzo 10 de 2015.
Cornejo, R. y Redondo, J. (2007). Variables y factores asociados al aprendizaje escolar. Una discusión desde la investigación actual. Estudios Pedagógicos XXXIII, N° 2: 155-175, 2007. Recuperado de http://www.scielo.cl/scielo.php?script=sci_arttext&pid=S0718-07052007000200009
González, I. (2004). Calidad en la Universidad. Evaluación e Indicadores. Salamanca: Ediciones Universidad de Salamanca.
Hernández Sampieri R., Fernández, C. y Baptista, M. (2015). Metodología de la Investigación. Sexta Edición. McGraw-Hill Education. Interamericana Editores S.A de C.V. México D.F. Recuperado de http://www.colombiaaprende.edu.co/html/micrositios/1752/w3-propertyname-3214.html en marzo 15 de 2015.
ICFES (2014). Estudios sobre el valor agregado en la educación superior en Colombia. Recuperado de www.icfes.gov.co
MIDE (2016). Modelo de Indicadores del desempeño de la Educación. Dirección de Calidad de la Educación Superior. Viceministerio de Educación Superior. Febrero de 2016
OCDE (2011). La medición del aprendizaje de los alumnos: Mejores prácticas para evaluar el valor agregado de las escuelas, OECD Publishing. Recuperado de http://dx.d0i.0rg/l 0.1787/9789264090170-es
Peña, E., Fernández, R. y Muñiz, J. (2009). Estimación del valor añadido de los centros escolares. Aula Abierta, vol. 37, N° 1, p. 3-18.ICE. Universidad de Oviedo.
Raudenbush, S. (2004). What Are Valué-Added Models Estimating and What Does This Imply for Statistical Practice? Journal of Educational and Behavioral Statistics, 29(1), 121-129.
Sander, C. (1997). Planning Monitoring and Evaluation of Programme Performance. A Resource Book. Ottawa: International Development Research Centre.
Sanders, M. G. (1998). "The effects of school, family, and community support on the academic achievement of African American adolescents", Urban Education, N.° 33(3), pp. 385-409
Stone, J. E. (2003). Value-Added Assessment: an accountability revolution. Recuperado de https://edexcellence.net/better/tchrs/16.htm en marzo 28 de 2014.
Zevallos, F. (2012). Diagnóstico dei Valor Agregado en el nivel de lectura de los Egresados del Programa de Administración de Empresas de la Universidad Jorge Tadeo Lozano. Recuperado de http://www.icfes.gov.co/investigacion/evaluacionesinternacionales/iccs/44-programa-de-investigacion/investigacion/seminario-intemacionalde-investigacion-sobre-calidad-de-la-educacion/seminario-intemacional-2012