Publication:
Aplicación web para la elaboración y gestión de procesos ETL en Big Data

Loading...
Thumbnail Image
Identifiers
Publication date
2016-09-23
Defense date
2016-10-10
Tutors
Journal Title
Journal ISSN
Volume Title
Publisher
Impact
Google Scholar
Export
Research Projects
Organizational Units
Journal Issue
Abstract
Las empresas de hoy en día se desarrollan de manera orgánica y de forma exponencial se van añadiendo más fuentes de datos. Este hecho induce a que empiecen a aparecer nuevos requisitos y sea necesaria una integración de sistemas. Como consecuencia, se ven en la necesidad de disponer de repositorios centralizados estandarizados de todos los datos de la organización y tener una visión global de la totalidad de los datos fijados en un almacén de datos. Esto ofrece la posibilidad a los altos cargos de las empresas de realizar decisiones estratégicas de manera más eficiente y rigurosa. Por estos motivos, a las organizaciones les interesa implantar procesos ETL. El presente trabajo de fin de grado se enmarca dentro de este área concreta del Big Data que se ocupa de mover datos desde múltiples fuentes, reformatearlos y limpiarlos, y cargarlos en otra base de datos o almacén de datos para su posterior análisis. El cometido de este trabajo es realizar un análisis y desarrollo de una aplicación web que genere procesos ETL de forma centralizada y mediante programación por componentes. La aplicación deberá ser capaz de crear programas autónomos que puedan extraer información desde las principales fuentes de origen, convertir el formato de los datos extraídos para que se ajuste a los requisitos de las fuentes de destino más utilizadas en una organización y escribir los datos en dichas fuentes de destino. Además, deberá incluir un repositorio para el control de versiones de estos procesos, un módulo que permita organizar los procesos en áreas de trabajo, la posibilidad de ejecutar procesos en determinados momentos de forma automática y un módulo que permita al usuario organizar su trabajo. El acceso a la aplicación será restringido, existiendo un sistema de perfiles y usuarios para este fin. El motivo de estudio y desarrollo de este proyecto viene definido por la necesidad de traer grandes volúmenes de datos desde diversas fuentes en diversos formatos y diferentes niveles de calidad juntos y almacenarlos en un sistema de destino. Para ello es necesario contar con herramientas que permitan realizar estas tareas haciendo frente a los retos que suponen el rendimiento, la facilidad y velocidad de desarrollo y el seguimiento y la capacidad de soporte de la solución. Estas herramientas son conocidas por las siglas ETL (extraer, transformar y cargar).
Description
Keywords
Desarrollo de aplicaciones web, Big Data, Procesos ETL, Repositorios de datos
Bibliographic citation