Robot imagination system

Abstract

This thesis presents the Robot Imagination System (RIS). This system provides a convenient mechanism for a robot to learn a user's descriptive vocabulary, and how it relates to the world for action. With RIS, a user can describe unfamiliar objects to a robot, and the robot will understand the description as long as it is a combination of words that have been previously used to describe other objects. One of the core uses of the RIS functionality is object recognition. Allowing requests with word combinations that have never been presented before together is well beyond the scope of many of the most relevant state of the art object recognition systems. RIS is not limited to object recognition. Through the use of evolutionary algorithms, the system endows the robot with the capability of generating a mental model (imagination) of a requested unfamiliar object. This capability allows the robot to work with this newly generated model within its simulations, or to expose the model to a user by projecting it on a screen or drawing the mental model as feedback so the user can provide a more detailed description if required. A new paradigm for robot action based on consequences on the environment has been integrated within the RIS architecture. Changes in the environment are continuously tracked, and actions are considered complete when the performed effects are closest to the desired effects, in a closed perception loop. Experimental validations have been performed in real environments using the humanoid robot Teo, bringing the Robot Imagination System closer to everyday household environments in the near future. ----------------------

Esta tesis presenta el Sistema de Imaginación para Robots (RIS, por sus siglas en inglés). Este sistema proporciona un mecanismo conveniente para que un robot aprenda el vocabulario que un usuario utiliza para descripciones, y cómo esto se relaciona con el mundo. Con RIS, un usuario puede describir un objeto desconocido, y el robot entendería la descripción mientras ésta sea una combinación de palabras que hayan sido utilizadas previamente para describir otros objetos. Uno de los usos principales de la funcionalidad de RIS es el reconocimiento de objetos. Permitir consultas con combinaciones de palabras que nunca han sido presentadas juntas con anterioridad sobrepasa el alcance de una gran porción de los sistemas relevantes de reconocimiento de objetos del estado del arte. RIS no está limitado al reconocimiento de objetos. A través de algoritmos evolutivos, el sistema proporciona a un robot la capacidad de generar un modelo mental (imaginación) a partir de la consulta de un objeto desconocido. Esta capacidad permite que el robot trabaje con este modelo nuevamente generado en sus simulaciones, o exponer el modelo a un usuario proyectándolo en una pantalla o dibujando el modelo mental para cerrar un lazo donde el usuario puede proporcionar una descripción más detallada si esto se requiere. Un nuevo paradigma de la acción en robots, basado en las consecuencias en el entorno, ha sido introducido en la arquitectura RIS. Los cambios en el entorno se monitorizan continuamente, y las acciones se consideran completas cuando los efectos realizados maximizan su parecido a los efectos deseados, en un lazo cerrado de percepción. Se han realizado validaciones experimentales en entornos reales utilizando el robot humanoide Teo, acercando el Sistema de Imaginación para Robots a entornos domésticos cotidianos para un futuro cercano.