Archivo de Junio, 2010
El origen de Map y Reduce
Publicado el Junio 23, 2010 por Jose María Rey
Archivado bajo Tecnologías
(No valorado aún) 
Loading ...A principios de este año se concedió a Google la patente de MapReduce, un método de procesamiento que, según Google, permite tratar gandes cantidades de información en entornos masivamente paralelos. El método se presta también a ser ejecutado en entornos de alta disponibilidad, donde una unidad de procesamiento puede ser reemplazada por otra en caso de fallo.
En esencia, el método consiste en distribuir la carga de trabajo entre un cierto numero de procesadores (los workers), cada uno de los cuales puede ejecutar una de estas tareas:
- Map: Las tareas tipo map aplican una función a su entrada para obtener los datos transformados. En el entorno MapReduce, a cada dato de salida se le asocia una etiqueta que se usa en las tareas Reduce.
- Reduce: Las tareas tipo reduce toman los datos que llegan de los workers ejecutando tareas map y generan una salida que se obtiene de aplicar una función a todos aquellos pares recibidos que contengan la misma etiqueta. La salida puede contener uno o más registros.
El aspecto que probablemente sea más relevante del entorno MapReduce es su alta configurabilidad:
- Por un lado, se puede organizar los workers en la estructura de malla que se desee (es decir, se puede por ejemplo asignar a una tarea M nodos map que alimentan a R nodos reduce que a su vez vuelven a otro conjunto de nodos map…). Tampoco debemos olvidar que el criterio de partición del conjunto de datos entre los nodos map puede ser también adaptado a una tarea particular.
- Por otro lado, tanto los nodos map como los nodos reduce aplican funciones que no son fijas sino que pueden ser programadas para cada tarea específica.
Ambos pasos de procesamiento (map y reduce) están inspirados, como reconocen implícitamente los autores de la patente, en funciones que la programación funcional lleva usando desde hace mucho tiempo.
La programación funcional basa su modelo de funcionamiento casi exclusivamente en la composición de funciones y no hay casi estructuras de control (tales como bucles, propios de los lenguajes imperativos) por lo que el tratamiento de funciones debe ser necesariamente muy potente. Parte de esta potencia viene del hecho de que en programación funcional las funciones son un tipo de objetos como cualquier otro y por tanto pueden ser pasadas como argumento a otras funciones. Es verdad que ciertos lenguajes imperativos como C++ importaron esta característica pero la integración conseguida no es tan perfecta como en programación funcional.
En programación funcional, la función map realiza lo siguiente:
map(f,[a1,a2,...,an]) = [f(a1), f(a2), ..., f(an)]
Es decir, map recibe dos un argumentos: Una función unaria (f) una lista de datos sobre los que operar (los ai). La función map aplica f a cada uno de los elementos de la lista y retorna una lista con todos los valores resultantes. La potencia de map está precisamente en este argumento puesto que sin cambiar la definición de map se pueden hacer infinidad de cosas con una lista, simplemente definiendo una f adecuada.
El paralelismo entre el map funcional y el primero de los dos pasos de procesamiento de MapReduce resulta claro (se debe tener en cuenta que no hay problema en que la función f devuelva pares (etiqueta, valor)). La lista de valores recibida por map estaría compuesta por todos los elementos pertenecientes a una misma partición definida por el paso inicial de particionamiento.
El paso reduce resulta algo más complejo. En programación funcional, reduce (también conocida como fold) aplica una función binaria a los elementos de una lista pero en lugar de devolver un valor por cada valor de entrada, reduce acumula todas las aplicaciones para generar un único valor:
reduce(f,z, [a1, a2, ..., an])=f(f(…f(f(z, a1), a2), a3),…, an)
En la expresión anterior se ha presentado el caso del reduce que acumula a izquierdas (conocido como foldl) pero, por supuesto, se puede definir su versión que acumula a derechas (foldr). En Haskell, la función reduce a izquierdas se puede escribir como sigue:
reduce f z [] = z
reduce f z (x:xs) = reduce f (f z x) xs
La definición permite apreciar que z es una especie de elemento neutro que se devuelve cuando se recibe una lista de elementos vacía. La versatilidad de reduce es mucho mayor de lo que pueda parecer a primera vista. Por ejemplo:
- Sumar todos los elementos de una lista: reduce (+) 0 [a1, ... ,an]
- Multiplicar todos los elementos de una lista: reduce (*) 1 [a1, ... ,an]
donde (+) y (*) representan respectivante las funciones binarias que suman o multplican sus dos argumentos. Usando valores más complejos de f se pueden conseguir efectos tales como definir map en función de reduce.
En este caso, la correspondencia entre el reduce funcional y el segundo paso del entorno MapReduce no es tan cercana ya que en el entorno de Google la salida de un paso de reducción puede tener más de un valor mientras que la versión funcional devuelve un único valor y en el esquema MapReduce probablemente se puedan definir otros esquemas de uso de f pero en cualquier caso, la relación es clara.
Tags: Google, lenguajes de programacion
CLR XXIV
Publicado el Junio 17, 2010 por Alonso Alvarez
Archivado bajo Ideas de negocio, Innovación, Sociedad de la Información, Tecnologías, Tendencias
(No valorado aún) Loading ...Limpieza de buffer. Una lista de alertas, noticias y artículos interesantes que corren el peligro de caer en el olvido:
- “Yammering away at the Office”. Articulo en The Economist sobre Yammer, un Twitter pra empresas.
- Economist.com: “A world of connections. A special report on social networking”
- “Oracle, will put up a cloud version of OpenOffice”
- En tiempos de tablets, un peculiar cubo: http://www.gesture-cube.com“
- Gartner 10 Key Predictions”: By 2015, context will be as influential to mobile consumer services and relationships as search engines are to the Web. Whereas search provides the “key” to organizing information and services for the Web, context will provide the “key” to delivering hyperpersonalized experiences across smartphones and any session or experience an end user has with information technology. Search centered on creating content that drew attention and could be analyzed. Context will center on observing patterns, particularly location, presence and social interactions. Furthermore, whereas search was based on a “pull” of information from the Web, context-enriched services will, in many cases, prepopulate or push information to users. The most powerful position in the context business model will be a context provider. Web, device, social platforms, telecom service providers, enterprise software vendors and communication infrastructure vendors will compete to become significant context providers during the next three years. Any Web vendor that does not become a context provider risks handing over effective customer ownership to a context provider, which would impact the vendor’s mobile and classic Web business
- Interioridades de Microsoft:
- Un buen artículo sobre cómo no hacer las cosas: “Microsoft Civil Wars”
- “Microsoft’s Creative Destruction“. Artículo muy interesante acerca de como la competición entre departamentos de Microsoft está entre las causas raíces de su pérdida de liderazgo tecnológico.
- “Microsoft Risks Margins as Office Unit Fights Google”: $19 billion Office business [...] 64 percent profit margin [...] Internet-based versions of Office may cut margins by 5 to 10 percentage points.
- “Fremium business model for iPhone Apps: free-to-play games with in-app purchases”
- Entrevista en Xataka al equipo de Telefonica I+D de 3G Box.
- According to the latest study from Juniper Research, the market for cloud-based mobile applications will grow 88% from 2009 to 2014. The market was just over $400 million this past year, says Juniper, but by 2014 it will reach $9.5 billion. Driving this growth will be the adoption of the new web standard HTML5, increased mobile broadband coverage and the need for always-on collaborative services for the enterprise.
- “By looking at mobile phone location data, it may be possible to predict human movement patterns and location up to 93 percent of the time. These findings may be useful in multiple fields, including city planning, mobile communication resource management, and anticipating the spread of viruses.” Ars Technica
- HomeGrid Forum is promoting the ITU G.hn standardization efforts for next-generation home networking. By developing a worldwide standard using a unified MAC/PHY for coaxial, phone line and powerline networking, ITU G.hn enables operators to deploy home networks most cost-effectively; enables consumer electronics manufacturers to develop cost-effective connected home equipment for the worldwide market; and provides consumers a range of interoperable products.
- Historias de fibra en USA “Broadband is jobs,“
- Chatter, la red social de Salesforce para empresas.
- “We may see mobile and desktop OS convergence in a near future”
- Interesante artículo sobre innovación de Eric Schmidt.
- Para los aficionados a los números (fuente IDC). Ventas mundiales de smartphones en 2009: 174 millones (crecimiento de un 15%). iPhone 25 M (crece un 82%). Cuotas de mercado: Nokia 39%, RIM 20%, Apple 14% y Microsoft 9% (en 2009 Microsoft cae 5 puntos en beneficio de Apple).
- “YouTube Will Kill Flat-rate Mobile Broadband Pricing Forever”
- “SIMfi: Movistar mete un punto de acceso WiFi dentro de una tarjeta SIM”
- “Ericsson in partnership w/ Bankinter & EMT pilots mobile NFC payments on buses in Madrid”
- “Qualcomm’s vision of future digital healthcare explored”
- ¿Pago en función del contenido? ‘Le Figaro’ se suma a los diarios digitales de pago. El rotativo francés presenta su nueva edición ‘on line’ con tres niveles de pago: última hora, contenidos en profundidad y profesionales.
- Interesantes diagramas los de Intersection Consulting sobre Social Media
- “The Apple App Store Economy”
- “Deadpool 2009”
- Lazaridis (Blackberry): “al actual ritmo de crecimiento, las redes móviles se colapsarán en tres años, o en cinco como máximo” ; “el 99% de las aplicaciones descargadas son desechadas o ignoradas después de tres semanas”
- “Comcast running out of IPv4 addresses, beginning IPv6 trial“
- “Clue by Mobile“. Una curiosa iniciativa, un juego basado en el uso de SMS
- Bespin (https://bespin.mozilla.com/) “sexy HTML5 ‘code-in-the-cloud’ IDE from Mozilla Labs. If the future is truly in locked-down hack-free devices whose only interface to the world is through the web browser, these sorts of IDEs are going to become critical for finding and raising the next generation of hackers.”
- “Akamai: World’s Net connection speeds rising“
- “Tendencias 2010, telefonía móvil“. Bastante razonables y asumibles
- “MediaPost: Will Online Video’s Ad Revenue Ever Surpass Search Advertising’s?”
- “How To Make Money In Online Video”
- “Wireless carriers want crackdown on cell phone boosters“
- La red “no neutral” de Australia en Ars Technica: “Australia’s Internet: nonneutral and proud of it“
- “Machine-to-Machine (M2M) 2.0: mHealth Opportunities“
- “How FarmVille Scales to Harvest 75 Million Players a Month“. Lecciones aprendidas del espectacular crecimiento del juego FarmVille en Facebook.
- Una visión original en “Wi-Fi’s likely impact on 3G/4G services and operators” con presentación y comentarios del autor.
- “Las principales estadísticas de Internet en una imagen“
- “How Google sets goals and measures success” Comentarios -desde dentro- sobre la forma de trabajar de Google. El post que enlaza “Failure is not an option (Why this can be a bad strategy)” es muy bueno también: “Startups play poker, big companies play chess”.
- En TED Microsoft anuncia AR estilo Photosynth en sus mapas: “Microsoft Adds ‘Augmented Reality’ to Bing Maps“
- ¿Están dando resultado las medidas anti-piratería? En “Pirating the 2010 Oscars” se muestra un gráfico con los días que median entre un estreno y la aparición de la versión “screener” de la película
- “Five billion people to use mobile phones in 2010: UN“
- “Peer-to-Peer File Sharing Usurped by Streaming Video” ( PW=distritoc)
- “Broadband Wireless — the future is 5 GHz” Razones para apostar por frecuencias entre 4 y 10 GHz frente al interés actual en recibir la herencia de la TV analógica
- Baterías contra red: “How smartphones are bogging down some wireless carriers“
- Quizá las (muy crecientes) proyecciones de tráfico móvil deban moderarse: “Overestimating mobile data growth“
- No hace mucho, circuló un video con un concepto similar. Ahora es una aplicación que se presentó en el MWC: “Augmented Identity“
- NOSQL:
- Presentación “NoSQL: Death to Relational Databases“
- Y conferencia sobre el mismo tema: “NoSQL conference coming to Boston“
- Interesante artículo que explica como NoSQL es una buena alternativa (ó complemento) a las bases de datos relacionales en entornos cloud.
- “Like Facebook and Twitter, Digg is also moving from MySQL, the initial Web 2.0 darling, to Cassandra.”
- “When it Comes to Tweets, the Key is Location, Location, Location!” Entrevista a Raffi Krikorian, a cargo de las APIs de Twitter.
- “The Truth about Mobile Application Stores“. Algunas pequeñas sorpresas
Tags: Apple, blogs, cloud, comunicaciones, Google, Innovación, Internet, iPhone, móviles, Microsoft, MIT, NoSQL, redes, TechObs, tecnología, Telefonica, TID, Trends Update, tv, twitter, vídeo, Web 2.0
IPv4: Aforo completo
Publicado el Junio 8, 2010 por Jose María Rey
Archivado bajo Futuro de Internet
(Votos: 1. Media: 5/5) Loading ...Cada vez son más frecuentes las noticias que hacen referencia al próximo agotamiento del espacio de direcciones IPv4. De hecho, hay ya signos claros de que el asunto comienza a ser importante:
- Todos los los RIR (Registros regionales de direcciones IP) muestran en sus webs notas relativas a la adopción de IPv6.
- En el momento de escribir esta entrada, sólo 16 de los 256 bloques de 24 bits de direcciones IP están sin asignar. Esto significa que IANA sólo conserva el 6,25% del espacio de direcciones.
- Lejos de disminuir, el ritmo al que se solicitan nuevos bloques de direcciones, va en aumento, posiblemente en un esfuerzo de los RIR por solicitar las últimas direcciones antes de que se agoten.
Así las cosas, la fecha en la que se asignará el último bloque en poder de IANA no puede establecerse con seguridad pero casi todas las fuentes la sitúan entre 2010 y 2011. Es cierto que esta fecha hace referencia al agotamiento del espacio de IANA y que los RIR tardarán algún tiempo más en agotar los bloques que les han sido asgnados pero en cualquier caso este segundo paso no dará mucho más tiempo.
¿Cómo se ha llegado a esta situación?. Un espacio de 32 bits permite más de 4000 millones de direcciones y sin embargo el espacio está a punto de agotarse. Al menos dos factores han llevado al rápido agotamiento del espacio de direcciones IPv4:
- En primer lugar, la inesperada popularización de Internet, cuyo ritmo no fue previsto por sus creadores. Esta popularización se ha producido a dos niveles: Por un lado, grandes grupos de población están usando una red que inicialmente fue diseñada como red experimental. Por otro lado, la expansión de Internet a muchos dispositivos más allá de los grandes ordenadores o los ordenadores de sobremesa; ahora es común conectarse a Internet desde PDAs, teléfonos móviles, electrodomésticos, etc.
- En segundo lugar, la inexperiencia reinante en la administración del espacio de direcciones hasta mediados de los años 90: En los primeros tiempos de Internet se asignaban grandes espacios de direcciones a empresas u organismos que terminaban por no usar el espacio asignado.
Un caso paradigmático del segundo escenario es el representado por el bloque de direcciones IPv4 que empiezan por 25 (25.0.0.0/8). Según IANA, este bloque está asignado al Ministerio de Defensa del Reino Unido desde 1995. Sin embargo, ese rango no está presente entre los anunciados en la tablas de BGP (ver figura siguiente), lo que significa que nadie fuera del citado organismo puede enviar a ese bloque de direcciones IP y que alguien usando una dirección en ese rango no puede acceder a Internet. De hecho, dado que ese rango está, en la práctica, en desuso, se han dado casos de operadores de telecomunicaciones que han usado ese rango para sus redes internas.
La siguiente figura muestra el estado del espacio IPv4: En azul la parte ocupada y en rojo las partes no incluidas en las tablas de encaminamiento (BGP). Fuente: Geoff Huston.
Aunque en teoría los RIR podrían forzar la devolución de los bloques no usados, es poco probable que lo hagan debido a los problemas legales que podrían surgir y a que la devolución de estos bloques sólo retrasaría ligeramente el problema.
La solución que parece más adecuada es migrar de IPv4 a IPv6. No obstante, en Septiembre de 2009, Google anunció que sólo el 0,252% de los accesos a sus servidores ocurrían sobre IPv6 y que ese porcentaje incluye no sólo accesos IPv6 nativos sino también accesos a través de tecnologías de adaptación (por ejemplo, IPv6 tunelado en IPv4). La comunidad de usuarios no parece sentir todavía la urgencia del cambio pero los primeros pasos ya se están dando.
Tags: IP, IPv4, IPv6
Suscripciones
Creative Commons
Los contenidos de este blog están bajo una licencia de Creative Commons. Pueden utilizarse, pero sin fines comerciales y citando la fuente.
Suscríbete a La Cofa