miércoles, 1 de septiembre de 2010

Cloud Computing y MapReduce


Esta mañana impartí clase en un curso de verano: Cloud Computing: desarrollo de aplicaciones y minería Web.
 Mi sesión era una introducción al concepto de Cloud Computing, seguida de una presentación del modelo MapReduce.

Como era la primera vez que me tocaba hablas de estos temas, estuve casi todo el mes de agosto preparando lo que iba a contar en 2 horas y media. Sin embargo, quedé contento por lo que aprendí y porque el tema da mucho juego.

Una de las cosas que más me gustó fue entender el modelo MapReduce, que desarrollaron en Google inspirándose en conceptos de Programación Funcional. De hecho, el artículo Google's MapReduce Programming Model - Revisited es uno de los que mejor explica el algoritmo y contiene un miniprototipo en Haskell que facilita mucho la comprensión del modelo.

Las trasparencias del curso las he dejado en Slideshare.
Casualmente, una de las cosas que me llamó la atención fue esta entrada de Jonathan Boutelle, uno de los fundadores de Slideshare, titulada: Lessons from SlideShare: Cloud Computing Fiascos & how to avoid them. en la que comenta sobre algunos problemas concretos que ellos están teniendo con Cloud Computing que les ha llevado a tener que pagar unos 5000dólares en un mes por un despiste al programar uno de los algoritmos. Su reflexión es, cuando se tienen superpoderes, hay que actuar con responsabilidad.

3 comentarios:

dahernan dijo...

Muy buenas las transparencias, quizas prodias hecharle un vistazo a CouchDB (bueno en general a todo el movimiento NoSQL). CouchDB es perfecto para practicar MapReduce ya que puedes escribir las funciones en javascript y probarlas en el interface web de CouchDB (ideal para hacer pequeños test y practicas)

Un saludo

migue dijo...

Hay un proyecto muy interesante en la Universidad de Yales que se llama HadoopDB (http://db.cs.yale.edu/hadoopdb/hadoopdb.html).

No está de mas echarle un vistazo!

migue dijo...

Hay un proyecto interesante en la universidad de Yale que se llama HadoopDB [1].

Un saludo,

Migue

[1] http://db.cs.yale.edu/hadoopdb/hadoopdb.html