Implementación de un sistema de cómputo distribudo Map-Reduce sobre AMQP

J. B. CABRAL

Congreso; Scipy Latin America 2015; 2015

Categorias: académico, caso de estudio, herramientas El advenimiento de grandes volúmenes de datos (o Big Dat ) esta generando una necesidad de productos que sirvan para la manipulación y resumen de los mismos. Big Data puede considerarse de manera mas o menos precisa (no es mas que un numero comercial) como una cantidad de información tal que no puede procesarse ni almacenarse en un único ordenador. En el siguiente trabajo analiza la implementación del modelo mas popular de los últimos años para el computo dis- tribuido: Map-Reduce así como un sistema distribuido de almacenamiento de archivos utilizando como sistema de transporte de información el modelo de colas de mensajes AMQP y utilizando como lenguaje de programación Pyt- hon y su librería de aprendizaje automático Scikit-Learn. El trabajo resultante se hizo publico bajo una licencia laxa bajo del nombre de Poopy en la siguiente dirección web http://poopy.jbcabral.org.