Evaluación de la herramienta de código libre Apache Hadoop

Abstract

La capacidad de los discos duros ha aumentado en gran medida a lo largo de los años. Las aplicaciones modernas manejan grandes volúmenes de datos y en ocasiones, los usuarios se encuentran con ficheros de varios gigabytes e incluso mayores. Los sistemas de ficheros tradicionales alcanzan pronto sus límites con esta clase de datos y rendimiento. Además, al análisis de estos grandes volúmenes de información resulta complejo, sino irrealizable, en una única computadora o servidor. Como una de las posibles soluciones a este problema se encuentra MapReduce, un modelo de programación diseñado por Google. En concreto en este trabajo se utilizan una implementación código libre de MapReduce llamada Hadoop. Este proyecto trata de hacer un estudio de esta herramienta, Hadoop, en la que se analiza el rendimiento de una aplicación MapReduce escrita en Java. El estudio se realizará sobre varios clusters de máquinas, aprovechando la capacidad de procesamiento de estos y la fiabilidad y tolerancia a fallos que facilita el modelo MapReduce. ___________________________________________________________________________________________________________________________

The capacity of hard drives has increased greatly over the years. Modern applications handle large volumes of data, at times, users are faced with multi-gigabyte files and even higher. The traditional file systems soon reach their limits with this kind of data and performance. In addition, the analysis of these large volumes of information is complex and sometimes impossible, on a single computer or server. MapReduce could be considered as a possible solutions to this problema. It is a programming model designed by Google. Specifically, an open source implementation of MapReduce, called Hadoop, is used in this paper. The aim of this project is to study this tool, Hadoop, analising the performance of a Java based MapReduce application. This study will be carried out by using several computer clusters taking advantage of their processing capability, reliability and failover, which make the MapReduce model easier.