Desarrollo de un sistema multimodal de simulación de entrevistas de trabajo para dispositivos móviles

Abstract

Este Trabajo de Fin de Grado tiene como objetivo principal el desarrollo de un sistema de simulación de entrevistas de trabajo que, a través de una interacción multimodal basada en el habla y el texto, será capaz de ofrecer a los usuarios un análisis de su rendimiento en dichas entrevistas. El usuario interactuará, mediante el uso del habla o directamente escribiendo con teclado, con un agente conversacional que realizará dos papeles: Mantendrá el flujo de conversación entre el usuario y el propio agente, realizando preguntas establecidas en la entrevista, y recogiendo la respuesta del usuario. Estudiar de manera semántica la respuesta del usuario, y hacer un análisis de la relación de esta con el contexto de la pregunta planteada Este agente conversacional, dentro del concepto de la simulación, hará el papel del entrevistador encontrado en una entrevista real, y sus reglas de conversación deberán estar definidas previamente con la idea de realizar la simulación más adecuada posible, tanto en tipo de preguntas realizadas, como en el análisis contextual realizado posteriormente. Paralelamente, el sistema utilizará un sistema de análisis, basado en la minería de texto y el análisis de sentimiento textual, que estudiará el tono y sentimiento de la respuesta del usuario, para obtener una representación de la intención del usuario al generar dicha respuesta. Este análisis, junto con el realizado por el agente conversacional, será ponderado por el sistema y mostrado al usuario como evaluación de su participación en la simulación, para que este pueda interpretar sus resultados adecuadamente y pueda mejorar a la hora de responder ciertas preguntas de cara a entrevistas de trabajo reales. Por último, concretar que, aunque la interacción del usuario con este sistema podría estar definido en aplicaciones disponibles en múltiples plataformas (que podrían realizar funcionalidades similares a la aplicación presentada en este proyecto), este Trabajo de Fin de Grado define la aplicación de interacción dentro de un entorno Android, sistema operativo presente en gran mayoría de los dispositivos móviles disponibles actualmente, y que permite que una gran cantidad de usuarios puedan utilizar este sistema en este tipo de dispositivos.

For this thesis, the main objective is to create a job interview simulation system, that, using multimodal interaction based on speech and text, is able to offer to the users feedback of their performance in these simulations. The user will interact with a conversational agent that will have two roles: It will keep the flux of the conversation, making questions to the users, receiving their answers. It will study, using semantics, the user’s answer, also analysing the relation between this answer and the proposed question. On the other hand, the agent will rely on a parallel analysis system, based on text mining and textual sentiment analysis, which will study the tone and sentiment of the user’s response, to understand the intention of this response. This analysis, along with the one performed by the conversational agent, will be weighted by the system and shown to the user as an evaluation of his or her participation in the simulation, so that the user can interpret its results properly and improve when answering certain questions in real job interviews. Finally, although the basis of this system could be defined in multiple platforms that could perform the same functions, this project defines the system within an Android environment, an operating system present in most of the mobile devices currently available.