Publication: Análisis tecnológico del diseño, despliegue y puesta en marcha de soluciones big data empleando Apache Spark
Loading...
Identifiers
Publication date
2018-10
Defense date
2018-10-09
Advisors
Tutors
Journal Title
Journal ISSN
Volume Title
Publisher
Impact
Export
Abstract
Este proyecto está centrado en los desafíos que se tienen hoy en día y que sin duda se tendrán en los próximos años, ya que es un mercado emergente, aunque ya se ve el despunte. Todo este proceso de cambio se debe en parte a la digitalización del mundo en general. Esta digitalización de todos los servicios, de todas las empresas y sectores ha hecho que haya una necesidad de almacenar los datos. De este almacenamiento de dados nace la tecnología big data.
De este almacenamiento produce una reacción de nuevas tecnologías como el Internet de las cosas (IoT) o el machine learning, ya que se obtienen datos de todo tipo de plataformas y aplicaciones, tanto móviles que han experimentado una evolución y aumento de unidades significativo, como dispositivos en los edificios públicos con los que se pretende mejorar servicios o en la navegación web en la que nuestros datos son usados para una mejora de los servicios que aplican las empresas sobre sus clientes.
Por ello este proyecto se pretende desplegar y diseñar un sistema big data en un tres entornos diferentes, para ello se hará uso de Apache Spark, donde tendremos un entorno distribuido con dos nodos, un entorno pseudo-distribuido con dos nodos y un entorno Cloud basado en Apache Spark, como es Databricks.
Para la realización de este trabajo, será necesario tener unos requisitos para montar el entorno que se describirán más adelante. En este proyecto se estudiará soluciones a un entorno real, como son las multas de Madrid. Por lo que estas multas deberán ser tratadas y de este tratamiento, obtendremos unos resultados que se analizarán.
Description
Keywords
Big data, Optimización, Internet de las cosas (IoT), Inteligencia artificial