RT Dissertation/Thesis
T1 Analítica del aprendizaje para la predicción en escenarios educativos heterogéneos
A1 Moreno-Marcos, Pedro Manuel
AB Los entornos educativos permiten recoger una gran cantidad de información sobre la actividad de los estudiantes en los cursos. Esta información puedeser utilizada, por ejemplo, para predecir el comportamiento o los resultadosde los estudiantes y detectar alumnos en riesgo, de modo que el profesor puedaidentificar posibles dificultades y llevar a cabo intervenciones. A pesar deque ha habido muchos trabajos previos de predicción en educación, quedanaún muchos retos pendientes. Por ejemplo, es necesario conocer más sobrevariables predictoras nuevas y su relación con otras ya utilizadas (p. ej., devídeos o ejercicios). También, es importante poder determinar a partir de varioscontextos cuál es el momento a partir del cual la predicción puede ser losuficientemente precisa y cómo los modelos pueden generalizar a otros contextos.Asimismo, hace falta comprender cómo se relacionan diferentes variablesde la predicción y si las predicciones de estas variables pueden combinarsepara aportar más información.Para contribuir en parte a la solución de estos problemas, esta tesis secentra en el estudio de la predicción en varios escenarios educativos en relacióncon varios aspectos, en concreto (1) el efecto de algunas variables predictoras,(2) el análisis temporal, (3) el problema de la generalización, y (4) el efectode algunas variables a predecir. Se utilizan seis escenarios de aprendizaje,en los cuales se realiza un análisis de la predicción para posteriormenteextraer conclusiones globales. Estos seis escenarios incluyen Massive OpenOnline Courses (MOOCs) de edX y Coursera, Small Private Online Courses(SPOCs) en Open edX como apoyo a cursos universitarios y en edX Edgepara la preparación de pruebas de acceso universitarias, y datos de alumnosde primaria y secundaria (K-12) en una plataforma propietaria.Las variables dependientes a predecir incluyen el abandono académico,la consecución de objetivos (éxito), y las notas, tras identificar el interés deestas variables, tanto en la revisión de la literatura, como en entrevistas ygrupos focales llevados a cabo a líderes institucionales, expertos, profesores yestudiantes.Los resultados muestran que las variables relacionadas con interaccionescon ejercicios proporcionan un poder predictivo alto, y este resultadogeneraliza a los diferentes contextos. Asimismo, las notas sumativas previasconsiguen mejorar el poder predictivo cuando están disponibles, y las variablessobre actividad en la plataforma e interacciones con vídeos normalmenteofrecen un buen poder predictivo y son útiles en los modelos. También,las variables de aprendizaje autorregulado pueden contribuir en los modelosy ofrecer un buen poder predictivo por sí mismas, aunque pueden tenermenor efecto cuando otras variables principales, como las de ejercicios,están presentes, por su posible relación con las mismas. Sin embargo, otrasvariables como la actividad en el foro o comportamientos, como la eficiencia,constancia o persistencia no consiguen un alto poder predictivo o mejorarsignificativamente los modelos.En cuanto al análisis temporal, los resultados muestran que en todoslos contextos, independientemente del tipo de curso o si eran síncronos oasíncronos, pueden obtenerse unas buenas predicciones a partir del 13-40%de la duración del curso. Aunque el contexto pueda influir significativamenteen el poder predictivo, esto implica que pueden conseguirse prediccionesrelativamente tempranas.Respecto a la generalización, se analizan tres aproximaciones. En laprimera, se estudia la transferencia de un modelo de un curso a otro, yse obtienen buenos resultados cuando se transfiere un modelo a otro cursodiferente (aunque con contexto similar) con los mismos estudiantes (mismocohorte). Además, los resultados pueden ser aceptables al transferir a otraedición del mismo curso. Sin embargo, el poder predictivo puede reducirseconsiderablemente al cambiar de curso y estudiantes, aunque puede habercontextos concretos (como se identifican en MOOCs) donde no ocurra.La segunda aproximación consiste en un modelo global, entrenado condatos de varios cursos, los cuales pueden tener bastantes diferencias entreellos. Esta aproximación puede ser útil, por ejemplo, cuando hay cursosnuevos o cursos con muy pocos alumnos para generar modelos específicos.Sobre esta aproximación, se observa que los modelos pueden obtener un altopoder predictivo a nivel global, aunque pueden fallar en cursos concretos. Enparticular, en torno al 15-18% de los cursos, el Área Bajo la Curva (AUC)disminuye en más de 0.1 y la Raíz del Error Cuadrático Medio (RMSE) es almenos 0.05 mayor. Por ello, debe analizarse en cada caso si el modelo globalpuede funcionar en cada curso concreto. No obstante, dado que el contextopuede afectar bastante en los modelos, una recomendación es reutilizar yadaptar los modelos a cada contexto, que es la tercera aproximación propuesta.En este caso, se toma un modelo ya existente y se readapta el código paraañadir/eliminar variables si es necesario y generar un modelo para cada cursoespecífico.En torno a las variables a predecir, el análisis de los diferentes escenariosmuestra que hay diversos aspectos que pueden condicionar la selección ydefinición de la variable. Por ejemplo, en un curso puede considerarse queun alumno abandona cuando está inactivo durante cierto tiempo, pero enotro, aunque un alumno se conecte a la plataforma, se puede considerarabandono si no está centrado en el curso y no hace las actividades (p. ej.,en primaria/secundaria donde los alumnos pueden conectarse a la plataformaen clase, pero no realizar las actividades que se les piden). Además, entorno a las variables a predecir, se observa que se obtiene un mejor poderpredictivo al predecir la nota final que la nota del examen final. También, seaprecian variaciones entre el abandono y la nota, ya que, por ejemplo, puedehaber estudiantes con alta probabilidad de suspenso porque tengan problemascon los contenidos (y tengan baja probabilidad de abandono) o porqueno estén comprometidos con el curso (y también tengan alta probabilidadde abandono). Estas variaciones pueden servir para identificar perfiles másdetallados de estudiantes en función de sus dificultades (p. ej., posible faltade motivación, de comprensión, etc.).Una limitación de este trabajo es que los resultados obtenidos puedendepender de los seis escenarios considerados, pudiendo variar en otroscontextos. Además, dado que los contextos utilizados son diferentes, lasvariables utilizadas y los posibles filtrados varían, lo que podría afectar aalgunos resultados. No obstante, los resultados de este trabajo pueden servirde ayuda para las futuras implementaciones de los modelos predictivos, demodo que los investigadores puedan conocer mejor los factores relacionadoscon la predicción, y los técnicos que implementen los sistemas puedan conocermejor qué variables tomar, en qué momento los sistemas pueden dar resultadosprecisos o cómo generalizar los modelos. De este modo, se podrán diseñar modelos que puedan ayudar a hacer recomendaciones a alumnos y a mejorar eldiseño de los cursos, lo que puede tener un impacto positivo en el aprendizaje.
AB Educational environments allow retrieving a vast amount of informationabout students’ activity in the courses. This information can be used, forexample, to predict students’ behaviors and performance, and to detectstudents at risk, so that instructors can identify possible difficulties andcarry out interventions. Despite the fact that there have been many previousworks related to prediction in education, there are many challenges to beaddressed. Among them, it is necessary to explore new predictor variablesand their relationship with other well-known variables (e.g., variables relatedto interactions with videos and exercises). Furthermore, it is importantto determine, based on several contexts, what the right moment to startpredicting is so that predictions are good enough, and how predictive modelscan generalize to other contexts. Moreover, it is relevant to understand howdependent variables are related to and whether or not predictions of thosevariables can be combined to provide further information about students’behaviors.In order to contribute in part to these issues, this thesis focuses inthe analysis of different factors related to prediction in different scenarios.Particularly, this thesis analyzes (1) the effect of some predictor variables,(2) the temporal analysis, (3) the generalizability issue, and (4) the effectof some prediction outcomes. For the analyses, six scenarios are considered,so that they can be used to extract global conclusions from all of them.These scenarios include Massive Open Online Courses (MOOCs) in edX andCoursera, Small Private Online Courses (SPOCs) in Open edX to supportuniversity courses and SPOCs in edX Edge to support the preparation ofuniversity admission tests, and data from a proprietary platform that collectsdata from primary and secondary (K-12) students.The dependent variables used in this thesis include dropout, academicachievement (success), and grades. These variables have been identified asrelevant in the literature, and some interviews and focus groups that werecarried out involving institutional leaders, experts, professors and students.Results show that variables related to interactions with exercises canachieve a high predictive power, and this result generalizes to differentcontexts. Moreover, previous summative grades can improve the predictivepower whenever they are available, and variables related to activity in theplatform and interactions with videos normally offer a good predictive powerand they are useful in the models. In addition, variables about self-regulatedlearning can contribute to the predictive models and they offer a highpredictive power by themselves, although their relevance in the models is lowerwhen other main variables (e.g.., variables related to exercises) are included,probably because self-regulated learning variables can be related to other mainvariables. However, other variables, such as variables related to forum activityand students’ behaviors, including efficiency, constancy and persistence, donot achieve a high predictive power and they cannot significantly improve thepredictive models.In relation to the temporal analysis, results show that it can be possible toobtain accurate predictions from 13-40% of the course duration. This result isconsistent in all the scenarios of this thesis, regardless the kind of course andthe instruction mode (synchronous or asynchronous). Despite the fact thatcourse context can significantly influence the predictive power, this resultimplies that it can be possible to achieve early predictions.With regard to the generalizability issue, three different approaches areconsidered. In the first approach, predictive models are transferred from onecourse to another. Using this approach, accurate results can be obtained whenthe model is transferred to a different course with similar context and thesame students (same cohort). Moreover, results can also be acceptable whentransferring a model to a different edition of the same course. However, thepredictive power is considerably reduced when changing the course and cohort,although there can be some specific cases (they are identified in MOOCs)where this issue does not apply.The second approach consists on developing a global model trained withdata from several courses, which do not necessarily share a similar context.This approach can be useful, for example, when models want to be used in newcourses and courses with few students to generate specific models. Using thisapproach, it is observed that it is possible to achieve a high predictive powerat global level, but the model can fail at some specific courses. Particularly,the Area Under the Curve (AUC) decreases more than 0.1 and the RootMean Square Error (RMSE) increases more than 0.05 in about 15-18% of thecourses. Because of that, it is important to analyze each individual case toidentify whether or not the global model fits each specific course. Nevertheless,given that the context can significantly affect the models, one recommendationis reusing and adapting models to each context, which is the third proposedapproach. In this case, an existing model is taken, and software is adaptedto add/remove variables if needed and generate an specific model for anothercourse.As for the variables to predict, the analyses in different scenarios showthat there can be many aspects to consider when selecting and defining thedependent variable. For example, dropout can be considered as a lack ofactivity in a certain period in one course, while it can be considered a lackof completion of activities in another. For example, in primary/secondaryeducation, students may access to the platform in class, but they may notbe engaged with the exercises and they could be considered as dropout.Furthermore, in relation to the dependent variables, it is observed thatbetter results can be achieved when predicting the final grade than whenpredicting the final exam grade. In addition, some variations between dropoutand grades were identified. For example, there can be some students withhigh probability of failure because they do not understand the contents (butthey do not necessarily have a high dropout probability), and there can beother students at risk of failure because they are not engaged (and they canalso be at risk of dropout). These variations can be used to identify moredetailed students’ profiles depending on their possible difficulties (e.g., lack ofmotivation, understanding, etc.).One limitation of this work is that the obtained results can depend on thesix analyzed scenarios, and they could vary in other contexts. In addition,given that the contexts are different, the variables used and filtering criteriavary in each context, and that can affect some results. Nevertheless, results canserve to guide future implementations of predictive models, so that researcherscan better understand factors related to prediction, and technicians canimplement systems using these results to better select the variables, determinewhen accurate predictions can be provided and how models can be generalized.This way, models can help to provide recommendations to students and improve to the design of the courses so as to achieve a positive impact onlearning.
YR 2020
FD 2020-07
LK https://hdl.handle.net/10016/31049
UL https://hdl.handle.net/10016/31049
LA spa
NO Mención Internacional en el título de doctor
DS e-Archivo
RD 30 jun. 2024