RT Dissertation/Thesis
T1 Robotic system for garment perception and manipulation
A1 Estévez Fernández, David
AB Garments are a key element of people’s daily lives, as manydomestic tasks -such as laundry-, revolve around them. Performingsuch tasks, generally dull and repetitive, implies devotingmany hours of unpaid labor to them, that could be freedthrough automation. But automation of such tasks has been traditionallyhard due to the deformable nature of garments, thatcreates additional challenges to the already existing when performingobject perception and manipulation. This thesis presentsa Robotic System for Garment Perception and Manipulationthat intends to address these challenges.The laundry pipeline as defined in this work is composedby four independent -but sequential- tasks: hanging, unfolding,ironing and folding. The aim of this work is the automation ofthis pipeline through a robotic system able to work on domesticenvironments as a robot household companion.Laundry starts by washing the garments, that then need tobe dried, frequently by hanging them. As hanging is a complextask requiring bimanipulation skills and dexterity, a simplifiedapproach is followed in this work as a starting point, by usinga deep convolutional neural network and a custom syntheticdataset to study if a robot can predict whether a garment willhang or not when dropped over a hanger, as a first step towardsa more complex controller.After the garment is dry, it has to be unfolded to ease recognitionof its garment category for the next steps. The presentedmodel-less unfolding method uses only color and depth informationfrom the garment to determine the grasp and releasepoints of an unfolding action, that is repeated iteratively untilthe garment is fully spread.Before storage, wrinkles have to be removed from the garment.For that purpose, a novel ironing method is proposed,that uses a custom wrinkle descriptor to locate the most prominentwrinkles and generate a suitable ironing plan. The methoddoes not require a precise control of the light conditions ofthe scene, and is able to iron using unmodified ironing toolsthrough a force-feedback-based controller.Finally, the last step is to fold the garment to store it. Onekey aspect when folding is to perform the folding operation in a precise manner, as errors will accumulate when severalfolds are required. A neural folding controller is proposed thatuses visual feedback of the current garment shape, extractedthrough a deep neural network trained with synthetic data, toaccurately perform a fold.All the methods presented to solve each of the laundry pipelinetasks have been validated experimentally on different roboticplatforms, including a full-body humanoid robot.
AB La ropa es un elemento clave en la vida diaria de las personas,no sólo a la hora de vestir, sino debido también a que muchasde las tareas domésticas que una persona debe realizar diariamente,como hacer la colada, requieren interactuar con ellas.Estas tareas, a menudo tediosas y repetitivas, obligan a invertiruna gran cantidad de horas de trabajo no remunerado ensu realización, las cuales podrían reducirse a través de su automatización.Sin embargo, automatizar dichas tareas ha sidotradicionalmente un reto, debido a la naturaleza deformable delas prendas, que supone una dificultad añadida a las ya existentesal llevar a cabo percepción y manipulación de objetos através de robots. Esta tesis presenta un sistema robótico orientadoa la percepción y manipulación de prendas, que pretenderesolver dichos retos.La colada es una tarea doméstica compuesta de varias subtareasque se llevan a cabo de manera secuencial. En este trabajo,se definen dichas subtareas como: tender, desdoblar, planchary doblar. El objetivo de este trabajo es automatizar estas tareasa través de un sistema robótico capaz de trabajar en entornosdomésticos, convirtiéndose en un asistente robótico doméstico.La colada comienza lavando las prendas, las cuales han deser posteriormente secadas, generalmente tendiéndolas al airelibre, para poder realizar el resto de subtareas con ellas. Tenderla ropa es una tarea compleja, que requiere de bimanipulacióny una gran destreza al manipular la prenda. Por ello, en estetrabajo se ha optado por abordar una versión simplicada dela tarea de tendido, como punto de partida para llevar a caboinvestigaciones más avanzadas en el futuro. A través de una redneuronal convolucional profunda y un conjunto de datos deentrenamiento sintéticos, se ha llevado a cabo un estudio sobrela capacidad de predecir el resultado de dejar caer una prendasobre un tendedero por parte de un robot. Este estudio, quesirve como primer paso hacia un controlador más avanzado,ha resultado en un modelo capaz de predecir si la prenda sequedará tendida o no a partir de una imagen de profundidadde la misma en la posición en la que se dejará caer.Una vez las prendas están secas, y para facilitar su reconocimientopor parte del robot de cara a realizar las siguientes tareas, la prenda debe ser desdoblada. El método propuesto eneste trabajo para realizar el desdoble no requiere de un modeloprevio de la prenda, y utiliza únicamente información de profundidady color, obtenida mediante un sensor RGB-D, paracalcular los puntos de agarre y soltado de una acción de desdoble.Este proceso es iterativo, y se repite hasta que la prenda seencuentra totalmente desdoblada.Antes de almacenar la prenda, se deben eliminar las posiblesarrugas que hayan surgido en el proceso de lavado y secado.Para ello, se propone un nuevo algoritmo de planchado, queutiliza un descriptor de arrugas desarrollado en este trabajo paralocalizar las arrugas más prominentes y generar un plan deplanchado acorde a las condiciones de la prenda. A diferenciade otros métodos existentes, este método puede aplicarse en unentorno doméstico, ya que no requiere de un contol preciso delas condiciones de iluminación. Además, es capaz de usar lasmismas herramientas de planchado que usaría una persona sinnecesidad de realizar modificaciones a las mismas, a través deun controlador que usa realimentación de fuerza para aplicaruna presión constante durante el planchado.El último paso al hacer la colada es doblar la prenda paraalmacenarla. Un aspecto importante al doblar prendas es ejecutarcada uno de los dobleces necesarios con precisión, ya quecada error o desfase cometido en un doblez se acumula cuandola secuencia de doblado está formada por varios doblecesconsecutivos. Para llevar a cabo estos dobleces con la precisiónrequerida, se propone un controlador basado en una red neuronal,que utiliza realimentación visual de la forma de la prendadurante cada operación de doblado. Esta realimentación es obtenidaa través de una red neuronal profunda entrenada conun conjunto de entrenamiento sintético, que permite estimarla forma en 3D de la parte a doblar a través de una imagenmonocular de la misma.Todos los métodos descritos en esta tesis han sido validadosexperimentalmente con éxito en diversas plataformas robóticas,incluyendo un robot humanoide.
YR 2020
FD 2020-10
LK https://hdl.handle.net/10016/32186
UL https://hdl.handle.net/10016/32186
LA eng
NO Mención Internacional en el título de doctor
DS e-Archivo
RD 27 jul. 2024