Conducción autónoma con el uso de imágenes sintetizadas con Redes Generativas Adversarias

Abstract

La conducción autónoma es uno de los temas en los que ha habido más investigación en los últimos años ya que llegar a conseguir un vehículo totalmente autónomo sería un gran avance para cualquier sociedad. Uno de los problemas de este campo de investigación es que generar nuevos agentes de conducción autónoma es lento y tedioso, impidiendo un desarrollo rápido. En este trabajo se propone un nuevo enfoque que intenta paliar este problema y que consiste en la utilización de imágenes realistas sintetizadas con Redes Generativas Adversarias para entrenar agentes de conducción autónoma que sean potencialmente aplicables en entornos reales. Siguiendo este enfoque, no solo se podrían generar imágenes sintéticas en entornos variados realistas, sino que también se podrían obtener imágenes realistas etiquetadas. Esto es posible ya que, como las imágenes sintéticas se generan a partir de un simulador, se pueden obtener de este las etiquetas como si de un vehículo real se tratara, pero de una forma mucho más flexible y rápida. Para desarrollar el sistema, se toma como base el simulador SDSandbox y se aplican una serie de modificaciones entre las cuales destaca la generación de circuitos aleatorios con mapas de Kohonen. Para producir las imágenes realistas se hace una extensa experimentación visitando las arquitecturas que conforman el estado del arte y utilizando conjuntos de datos tanto creados de forma artesanal como mundialmente conocidos. El objetivo de esta experimentación es obtener un modelo multimodal capaz de generar carreteras naturales nocturnas, de tarde y de día. Para comprobar que las imágenes generadas son realistas se hace una encuesta que implica a individuos reales, llegando a la conclusión de que las imágenes son lo suficientemente reales como para ser utilizadas para el entrenamiento de agentes de conducción autónoma. Finalmente, se crea un agente de conducción autónoma que utiliza como única entrada las imágenes producidas por las Redes Generativas Adversarias, añadiendo las líneas de la carretera.

Autonomous driving is one of the subjects on which there has been more research in recent years, as achieving a totally autonomous vehicle would be a great advance for any society. One of the problems in this field of research is that generating new autonomous driving agents is slow and tedious, preventing the rapid development of autonomous driving. This paper proposes a new approach that tries to alleviate this problem and that consists in the use of synthetic realistic images with adversarial generative networks to train autonomous driving agents that are potentially applicable in real environments. Following this approach, not only could synthetic images be generated in various realistic environments, but also labelled realistic images could be obtained. This would be possible because, as the synthetic images are generated from a simulator, the labels could be obtained from it as if it was a real vehicle. To develop the system, the simulator SDSandbox is taken as a basis and a series of modifications are applied among which the generation of random circuits with Kohonen maps stands out. In order to produce the realistic images, extensive experimentation is performed by visiting the architectures that make up the state of the art and using both handmade and world-famous data sets. The objective of this experimentation is to create a multimodal model capable of generating natural roads at night, in the evening and during the day. In order to verify that the images generated are realistic, a survey is made involving real individuals, reaching the conclusion that the images are real enough to be used for the training of autonomous driving agents. Finally, an autonomous driving agent is created that uses as the only input the images produced by the generative adversarial networks, including the road lines.