Map(k1,v1) -> list(k2,v2)
La función de mapeo es aplicada en paralelo para cada ítem en la entrada de datos. Esto produce una lista de pares (k2,v2) por cada llamada. Después de eso, el framework de MapReduce junta todos los pares con la misma clave de todas las listas y los agrupa, creando un grupo por cada una de las diferentes claves generadas.
Reduce(k2, list (v2)) -> list(v2)
Cada llamada a Reduce típicamente produce un valor v2 o una llamada vacía, aunque una llamada puede retornar más de un valor. El retorno de todas esas llamadas se recoge como la lista de resultado deseado.
Por lo tanto, el framework MapReduce transforma una lista de pares (clave, valor) en una lista de valores. Este comportamiento es diferente de la combinación "map and reduce" de programación funcional, que acepta una lista arbitraria de valores y devuelve un valor único que combina todos los valores devueltos por mapa.
Referencia: http://es.wikipedia.org/wiki/MapReduce
Hadoop
Dentro de la Web de Hadoop encontramos la definición de Hadoop como:
“Apache Hadoop Core es una plataforma de software que permite el desarrollo y ejecución de aplicaciones que procesan ingentes cantidades de datos”
Es decir, Hadoop es un Framework para el desarrollo de aplicaciones de procesamiento paralelo utilizando MaReduce, por lo tanto, Hadoop en sí “no es nada”
No hay comentarios:
Publicar un comentario