Parte 1. S02. R + Spark + Datos Masivos.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "nbpresent": {
     "id": "370bfa4e-8166-45db-a647-fafb435f326a"
    }
   },
   "source": [
    "<span style='font-size:2.4em'>Procesamiento masivo de datos con SparkR</span>\n",
    "\n",
    "<span style='font-size:1.5em'>VIII Jornadas de usuarios de R. Albacete, Castilla-La Mancha, 17 y 18 de noviembre de 2016</span>\n",
    "\n",
    "Taller impartido por: <span style='font-size:1.2em'>Manuel Jesús Parra Royón</span>\n",
    "\n",
    "\n",
    "![Alt](https://sites.google.com/site/manuparra/home/logoparty.png)\n",
    "\n",
    "<HR>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "nbpresent": {
     "id": "c698a2da-cc7f-4b9b-809d-0761b5113cc6"
    }
   },
   "source": [
    "# R + Spark + Big Data"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "nbpresent": {
     "id": "9e2fe0c4-601e-4d73-a965-669b2bea7448"
    }
   },
   "source": [
    "![Spark+R](https://sites.google.com/site/manuparra/home/SparkRlogo.png)\n",
    "\n",
    "<HR>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Introducción"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "La tendencia más reciente en el análisis de grandes conjuntos de datos indica la necesidad de un análisis *INTERACTIVO* de grandes conjuntos de datos.\n",
    "\n",
    "Debido a ello se han desarrollado herramientas academicas y comerciales para trabajar de este modo con los datos.\n",
    "\n",
    "Está claro que cada vez más el uso de herramientas como R para el análisis de datos, ya que permiten una mejora sustancial y más avanzada para el estudio de los datos. R, como sabemos, es ya hoy en día bastante popular y provee de soporte para procesamiento de datos estructurados usando dataframes y lo mejor de todo es que incluye en CRAN un número muy elevado de paquetes para análisis estadístico y visualización.\n",
    "\n",
    "<HR>\n",
    "\n",
    "* R es la herramienta ``de facto`` para el análisis de datos\n",
    "* R soporta procesamiento de datos estrcuturados ``dataframes``\n",
    "* R tiene miles de paquetes para todo tipo de tareas: analíticas, visualización, minería de datos, ...\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# R\n",
    "\n",
    "El proyecto R, o el lenguaje R es un lenguaje de programación, un entorno de desarrollo interactivo, y un conjunto de bibliotecas de computación estadistica.\n",
    "\n",
    "R es un lenguaje interpretado y provee de soporte para ejecución condicional, bucles, etc. \n",
    "R también incluye caracteristicas para computación nmérica, con tipos de datos vectores, matrices, etc.\n",
    "Otra característica fundamental es el uso de dataframes: estructuras de datos en tablas donde cada columna  está formada por elementos con su tipo de dato. Estos dataframes pueden ser manipulados para filtrado, agregación, etc."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Entonces, ¿cuál es el problema? ¿Por qué no se usa para Datos Masivos?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "El análisis de datos usando R está limitado por **la cantidad de memoria disponible** en una sola máquina y además R trabaja en un sólo hilo/proceso (*parallel*), por lo que **es poco práctico** usar R para grandes conjuntos de datos. \n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Spark"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Algunas de estas limitaciones se han abordado, a través de un mejor soporte de Entrada/Salida, la integración con Hadoop y el diseño de  aplicaciones R distribuidas que se pueden integrar con los motores de Bases de Datos más extendidos\n",
    "\n",
    "Por tanto, analizamos cómo podemos escalar los programas R al tiempo que facilitamos su uso y despliegue a través de varias cargas de trabajo. \n",
    "\n",
    "Hay una serie de beneficios para el diseño de un frontend R que está  integrado con Spark:\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* Bibliotecas de soporte: Spark, contiene bilbiotecas para trabajar con fuentes de datos y  SQL, \n",
    "   Machine Learning Distrbuido, análisis de grafos, etc.\n",
    "* Fuentes de datos: Desde bases de datos, HDFS, HBase, Cassandra, JSON, CSV, Parquet, ...\n",
    "* Rendimiento: Planificación de tareas, generación de código, gestión de memoria, ...\n",
    "\n",
    "Apache Spark es un motor de proposito general para procesamiento de conjuntos de datos masivos. El proyecto inicialmete introdujo el RDD, Resilient Distributed Datasets, una API para computación tolerante a fallos en un entorno de cluster. \n",
    "\n",
    "Más recientemte muchas más APIs de alto nivel están siendo desarrolladas en Spark. Estás son las siguientes:\n",
    "\n",
    "* Machine Learning Library (MLLib) una biblioteca para machine learning a gran escala.\n",
    "* GraphX, una biblioteca para procesamiento de grafos a gran escala \n",
    "* SparkSQL, una API para consultas analíticas en SQL\n",
    "\n",
    "Las bibliotecas están integradas en el CORE de Spark, por lo que Spark, puede permitir flujos de trabajos complejos, donde consultas SQL pueden ser usadas para preprocesar posteriormente los datos y analizarlos de forma avanzada con la parte de Machine Learning\n",
    "\n",
    "\n",
    "## ¿Por qué Spark? ¿Qué ventajas tiene?\n",
    "\n",
    "Desde el inicio de Hadoop hace más de 10 años, poco a poco han aparecido nuevos problemas que ya no se podían resolver usando el paradigma de MapReduce. Esto ha echo que hayan aparecido nuevos sistemas para afrontar estos problemas, apareciendo :\n",
    "\n",
    "\n",
    "![flora](https://sites.google.com/site/manuparra/home/flora.png)\n",
    "\n",
    "\n",
    "![lang](https://sites.google.com/site/manuparra/home/lenguajes.png)\n",
    "\n",
    "\n",
    "Una característica importante es que muchas de las aplicaciones ya existentes se han hecho compatibles con Spark y que estén surgiendo nuevas enfocadas en trabajar con Spark en áreas especificas de procesamiento de datos masivos.\n",
    "\n",
    "![fauna](https://sites.google.com/site/manuparra/home/fauna.png)\n",
    "\n",
    "\n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# SparkR"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "SparkR está construido como un paquete en R, luego no es necesarios hacer cosas especiales para que funcione.\n",
    "\n",
    "El componente principal de SparkR es un DDF, Distributed Data Frame, que permite procesamiento de datos estructurados utilizando la sintaxis familiar para los usuarios acostumbrados a R.\n",
    "\n",
    "Para mejorar el rendimiento, sobre grandes conjuntos de datos, SparkR provee de \"evaluación perezosa\" para operaciones sobre dataframes y utiliza además un optimizador de consultas relacionales para optimiar la ejecución.\n",
    "\n",
    "![coresparkr](https://sites.google.com/site/manuparra/home/rspark_arch.png)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "# R sobre Spark: Aplicación"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**BigData, Small Learning**: \n",
    "\n",
    "Habitualmente los usuarios comienzan con un conunto de datos enorme almacenado en algún formato. El procesamientos de los datos comienza con la limpieza, eliminación de instancias, ... El siguiente paso se realizan operaciones de agregación o muestreo de datos para reducir el tamaño del conjunto de datos. Por último el preprocesado de datos es usado para construir modelos o realizar otras tareas estadísticas.\n",
    "\n",
    "**Partition Aggregate**: \n",
    "\n",
    "Esto es util para un número de aplicaciones estadisticas como `ensembles` para machine learning, ajuste de parámetros, etc. El usuario necesita que una función sea ejecutada en paralelo a lo largo de las diferenctes particiones y que luego sean combinadas realizando una agregación. \n",
    "\n",
    "\n",
    "**Large Scale Machine Learning**: \n",
    "\n",
    "Es necesario ejecutar algoritmos de Machine Learning sobre conjunto de datos masivos. El modelo ajustado es sustancialmente más pequeño que el tamaño de la entrada de datos, El modelo luego será utilizado para hacer las predicciones."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "<HR>\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "anaconda-cloud": {},
  "kernelspec": {
   "display_name": "R",
   "language": "R",
   "name": "ir"
  },
  "language_info": {
   "codemirror_mode": "r",
   "file_extension": ".r",
   "mimetype": "text/x-r-source",
   "name": "R",
   "pygments_lexer": "r",
   "version": "3.3.1"
  },
  "nbpresent": {
   "slides": {},
   "themes": {
    "default": "e0e51597-5ca5-40be-84b2-d2bb41981c19",
    "theme": {
     "563b9d05-fb33-4f5d-88f7-bda098be8308": {
      "backgrounds": {
       "backgroundColor": {
        "background-color": "backgroundColor",
        "id": "backgroundColor"
       }
      },
      "id": "563b9d05-fb33-4f5d-88f7-bda098be8308",
      "palette": {
       "backgroundColor": {
        "id": "backgroundColor",
        "rgb": [
         34,
         34,
         34
        ]
       },
       "headingColor": {
        "id": "headingColor",
        "rgb": [
         238,
         238,
         238
        ]
       },
       "linkColor": {
        "id": "linkColor",
        "rgb": [
         170,
         34,
         51
        ]
       },
       "mainColor": {
        "id": "mainColor",
        "rgb": [
         238,
         238,
         238
        ]
       }
      },
      "rules": {
       "a": {
        "color": "linkColor"
       },
       "h1": {
        "color": "headingColor",
        "font-family": "Ubuntu",
        "font-size": 7
       },
       "h2": {
        "color": "headingColor",
        "font-family": "Ubuntu",
        "font-size": 5
       },
       "h3": {
        "color": "headingColor",
        "font-family": "Ubuntu",
        "font-size": 3.75
       },
       "h4": {
        "color": "headingColor",
        "font-family": "Ubuntu",
        "font-size": 3
       },
       "h5": {
        "color": "headingColor",
        "font-family": "Ubuntu"
       },
       "h6": {
        "color": "headingColor",
        "font-family": "Ubuntu"
       },
       "h7": {
        "color": "headingColor",
        "font-family": "Ubuntu"
       },
       "li": {
        "color": "mainColor",
        "font-family": "Ubuntu",
        "font-size": 5
       },
       "p": {
        "color": "mainColor",
        "font-family": "Ubuntu",
        "font-size": 5
       }
      },
      "text-base": {
       "color": "mainColor",
       "font-family": "Ubuntu",
       "font-size": 5
      }
     },
     "e0e51597-5ca5-40be-84b2-d2bb41981c19": {
      "backgrounds": {
       "backgroundColor": {
        "background-color": "backgroundColor",
        "id": "backgroundColor"
       }
      },
      "id": "e0e51597-5ca5-40be-84b2-d2bb41981c19",
      "palette": {
       "backgroundColor": {
        "id": "backgroundColor",
        "rgb": [
         253,
         246,
         227
        ]
       },
       "headingColor": {
        "id": "headingColor",
        "rgb": [
         88,
         110,
         117
        ]
       },
       "linkColor": {
        "id": "linkColor",
        "rgb": [
         38,
         139,
         210
        ]
       },
       "mainColor": {
        "id": "mainColor",
        "rgb": [
         101,
         123,
         131
        ]
       }
      },
      "rules": {
       "a": {
        "color": "linkColor"
       },
       "h1": {
        "color": "headingColor",
        "font-family": "Oswald",
        "font-size": 7
       },
       "h2": {
        "color": "headingColor",
        "font-family": "Oswald",
        "font-size": 5
       },
       "h3": {
        "color": "headingColor",
        "font-family": "Oswald",
        "font-size": 3.75
       },
       "h4": {
        "color": "headingColor",
        "font-family": "Oswald",
        "font-size": 3
       },
       "h5": {
        "color": "headingColor",
        "font-family": "Oswald"
       },
       "h6": {
        "color": "headingColor",
        "font-family": "Oswald"
       },
       "h7": {
        "color": "headingColor",
        "font-family": "Oswald"
       },
       "li": {
        "color": "mainColor",
        "font-family": "Lato",
        "font-size": 5
       },
       "p": {
        "color": "mainColor",
        "font-family": "Lato",
        "font-size": 5
       }
      },
      "text-base": {
       "color": "mainColor",
       "font-family": "Lato",
       "font-size": 5
      }
     }
    }
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}