Análisis y clasificación de las tecnologías, técnicas y herramientas de big data

Abstract

La información siempre ha sido un importante activo, valioso para países, organizaciones, empresas, etc… Históricamente, aquellos que han tenido más información, disfrutaban de una ventaja competitiva, que la mayor parte de las veces resultaba definitiva. En un mundo competitivo como el de hoy, tener esta ventaja es, si cabe, aún más importante para poder lograr tus objetivos y estar por encima de tus competidores. En los últimos años la velocidad a la que se genera la información en el mundo está creciendo exponencialmente y esto implicaba dos problemas para los que se tenía que buscar solución. El primero era lograr almacenar toda esta información, y el segundo, poder analizarla, interpretarla y usarla en beneficio propio. Para resolver el primer problema, es sencillo darse cuenta de que junto con el aumento del volumen de información generado en el mundo, también ha ido evolucionando, más o menos a la misma velocidad, la tecnología que permite almacenarla. Cada vez aparecían dispositivos o tecnologías de almacenamiento con mayor capacidad y a menor coste. En cuanto al segundo problema, también es evidente que la tecnología de procesamiento de esta información ha ido evolucionando, aumentando la capacidad de proceso y disminuyendo el tiempo necesario para realizarlo, sin embargo, llegaba un punto en el que la cantidad de datos a analizar era tal que el tiempo que se necesitaba para procesarla provocaba que en el momento en el que se obtenían los resultados, la mayor parte de las veces, esta información estaba obsoleta, había cambiado y por lo tanto ya no era útil. Esto podía pasar por dos razones: una era la necesidad de procesar tal cantidad de información que el tiempo de proceso era muy alto (a veces podría llegar a meses, incluso años), mientras que la otra, aunque la cantidad de información que se necesitase procesar no fuera tan grande, en ocasiones existía la necesidad de obtener el resultado en tiempo real, en algunos casos obtener el resultado del análisis de la información en diez segundos no es suficiente. En este contexto surge, para responder a esta necesidad, lo que comúnmente se llama Big Data, sistemas que se encargan de gestionar la gran cantidad de información que se genera hoy en día, y sacar provecho de ella. Debido al rápido avance de estas tecnologías que, tal y como se ha comentado en el punto anterior, se encargan de gestionar de forma óptima la gran cantidad de información que se genera en el mundo, aparece la necesidad de realizar un análisis completo del ecosistema del Big Data, aclarando los conceptos, modelos, técnicas y herramientas que se están usando actualmente. Este análisis del ecosistema del mundo de Big Data es necesario para permitir la exploración efectiva, la comprensión, evaluación, comparación y selección de metodologías, lenguajes, técnicas, plataformas y herramientas. En este proyecto de fin de carrera, se revisa el estado del arte del Big Data desde una perspectiva holística. Se realiza un análisis detallado de uno de los landscape más típico que se pueden encontrar, aprovechando para realizar un estudio minucioso sobre las diferentes opciones tecnológicas existentes. Y por último, se realiza también la creación de un landscape alternativo, que permite realizar una clasificación diferente y nueva, que intenta ayudar, no solo a entender mejor el mundo del Big Data, sino también a poder tomar la mejor decisión en una situación en la que se debe optar por un sistema Big Data u otro, gracias al conocimiento de las diferentes alternativas, de cara a optimizar los resultados obtenidos por el sistema.