Desarrollo de una App para la recomendación de actividades de acuerdo con el reconocimiento de emociones del usuario

Abstract

En este Proyecto Fin de Carrera se ha desarrollado un sistema de recomendación multimodal para Android que consiste en un asistente virtual que reconoce las emociones, identifica el estado de ánimo del usuario y sus preferencias de ocio para recomendar actividades acordes a sus necesidades. Gracias a la aplicación desarrollada, denominada PersonalOcio, el usuario de la aplicación puede visualizar como se encuentra a través de reconocimiento facial y reconocimiento de voz del dispositivo móvil. La aplicación realiza propuestas de ocio que el usuario no tenía contempladas e incluso terapéuticas para mejorar el estado anímico de la persona. El presente proyecto también incluye un estudio completo de los sistemas de diálogo, sistemas de recomendación, reconocimiento facial y análisis de sentimientos con el objetivo principal de incorporar a la aplicación para Android las características típicas de estos sistemas y de este modo aprovechar toda la potencia que ofrecen. Además, se realiza un análisis exhaustivo de la plataforma Android y del entorno de desarrollo de sus aplicaciones, centrándose en las posibilidades que ofrece dicha plataforma para el desarrollo de aplicaciones que permitan tanto la interacción oral con el usuario, es decir, que integren el reconocimiento automático del habla para la entrada, como la interacción visual para el reconocimiento facial. Posteriormente, se determina el potencial de ambas interacciones oral y visual como punto de partida para el análisis de sentimientos y el sistema de recomendación, su importancia en el sector y las posibilidades que ofrece al incluir esta tecnología en el desarrollo de aplicaciones.

In this Final Degree Project, a recommender system for Android has developed. It is intended to be used as a virtual assistant that recognizes the emotions, identifies the mood of the user and their leisure preferences to recommend activities according to their needs. Thanks to the application developed, called PersonalOcio, the user of the application can visualize as it is through facial recognition and voice recognition of the mobile device. The application makes leisure proposals that the user had not contemplated and even therapeutic to improve the mood of the person. The present project also includes a complete study of the recommender systems, facial recognition, sentiment analysis and dialogue systems, with the main objective of including to the Android application the typical characteristics of these systems and in this way to take advantage of all the power these systems offer. In addition, a comprehensive analysis of the Android platform and the development environment of its applications is done, focusing on the possibilities offered by this platform for the development of applications that allow both oral interaction with the user, integrate the recognition automatic speech for input, such as visual interaction for facial recognition. Moreover, the potential of both oral and visual interactions is determined as the starting point for the sentiment analysis and the recommendation system, its importance in the sector and the possibilities offered by including this technology in the development of applications.