Recommendation of songs through deep learning techniques

Abstract

The present project exposes the investigation and implementation of song recommender systems based on collaborative filtering (CF) and deep learning based techniques. These song recommender systems will automatically create personalized lists of songs depending on the tastes of each user. Recommender systems have become nowadays a very popular and important field of study in machine learning because of the evolution of music industry. To develop the recommender systems, the Million Song Dataset will be used. This dataset will be analyzed thoroughly to conclude if it is valid for recommendation tasks. If these results are valid, a subset of this dataset will be taken to input the recommender system model. First, a Collaborative Filtering recommender will be developed, having as input the number of times each user has listened to a particular song (implicit feedback). This recommender will be trained, validated and tested to be aware of its performance. Consequently, an artist classifier having as a model a convolutional neural network (CNN) and as input a song audio signal will be developed. This is done in order to have a prepared neural network in order to implement deep content-based technique in future steps. The inputs of the CNN will be MFCC of the songs audio signals. Different procedures to extract the MFCC and will be done and compared based on the CNN results. Different CNN architectures will be studied as well. Finally, an approach of a hybrid recommender system (called novelty detection in this project) will be made. This hybrid recommender system will combine collaborative filtering and deep learning based techniques. As a result, a system able to recommend popular and unpopular songs will be obtained (thanks to deep learning based technique).

El presente proyecto expone la investigación e implementación de un sistema de recomendación de canciones, basado en las técnicas de filtrado colaborativo y deep learning. Este sistema de recomendación de canciones creará de forma automática listas de canciones personalizadas en función de los gustos de cada usuario. Actualmente, los sistemas de recomendación son bastante famosos y se han convertido en un campo de estudio muy importante en aprendizaje automático, debido a la evolución de la industria de la música. Para desarrollar el sistema de recomendación se ha utilizado el conjunto de datos Million Song Dataset. Este conjunto de datos será analizado minuciosamente para concluir en su es válido o no para desarrollar el recomendador. Si resulta ser válido, un subconjunto de datos de este conjunto de datos será la entrada del model del sistema de recomendación. Primero, un recomendador basado en filtrado colaborativo será desarrollado, teniendo como entrada el número de veces que cada usuario ha escuchado cierta canción (feedback implícito). Este recomendador será entrenado, validado y probado para ser conscientes de su funcionamiento. Posteriormente se desarollará un clasificador de artistas que tendrá como modelo una red convolucional, y como entrada la señal de audio de una canción. Esto se hará para tener una red neuronal preparada para implementar la técnica deep content-based en un futuro. Las entradas de la red convolucional serán los coeficientes de Mel (MFCC) de la señal de audio de las canciones. Se realizarán y comparán diferentes procedimientos para extraer estos coeficientes be done and compared based on the CNN results. También se estudiarán diferentes arquitecturas de la red convolucional. Finalmente, se realizará un acercamiento a un sistema de recomendación (llamado en este proyecto: novelty detection). Este sistema de recomendación híbrido combinará las tecnicas de filtrado colaborativo y deep learning. Como resultado se tendrá un sistema capaz de recomendar canciones populares y no populares (gracias a la técnica deep learning based).