Sistemas de Big Data El nuevo paradigma de los datos masivos Jordi Casas Roma Carles Garrigues Olivella

Índice 1. Contextualización 2. Definición  de  Big  Data 3. El  Big  Data  en  escenarios  de  Business   Intelligence

Índice 1. Contextualización 2. Definición  de  Big  Data 3. El  Big  Data  en  escenarios  de  Business   Intelligence

Antecedentes  (I) ¿Qué  inició   la  revolución  de  los  datos  masivos? § Principios  s.  XXI… § El  proyecto  Sloan Digital  Sky Survey § El  proyecto  del  genoma  humano § Después… § Internet,  redes  sociales,  etc § IoT (Internet  Of  Things)

Antecedentes  (II) ¿Qué  inició   la  revolución  de  los  datos  masivos? § Problemas  en  las  empresas  de  Internet 1.

Gran  cantidad  de  datos  acumulados  hacía  inviable  su   procesamiento  en  un  único  ordenador

2.

Heterogeneidad  de  datos.  Necesidad  de  insertar,  consultar   y  procesar  datos  en  diferentes  estructuras

3.

Necesidad  de  procesar  rápidamente  los  datos •

Ejemplo:  queries del  buscador  web

El paradigma  del  Big  Data Causalidad

Correlación

• Hipótesis

• Toda  la  población

• Muestra  aleatoria • ¿Verificación? “¿Por  qué?”

• Correlación  entre  variables “¿Qué?”

Índice 1. Contextualización 2. Definición  de  Big  Data 3. El  Big  Data  en  escenarios  de  Business   Intelligence

Definición  de  Big  Data  (I) En  el  2001,  el  analista  Doug  Laney de  META  Group (ahora   Gartner)  utilizaba  y  definía  el  término  Big  Data  como:   “el  conjunto  de  técnicas y  tecnologías para  el  tratamiento de  datos,  en  entornos   de  gran  volumen,  variedad de   orígenes   y  en  los  que  la  velocidad de  respuesta   es  crítica”.

Definición  de  Big  Data  (II) Podemos  definir   el  término  Big  Data  como:   • Conjunto  de  técnicas y  tecnologías para   • el  tratamiento y  almacenamiento de  datos,  en   entornos  de   • gran  volumen, • variedad de  orígenes   • y  en  los  que  la  velocidad de  respuesta   es  crítica

3  V’s del  Big  Data Volumen § Crecimiento  exponencial  de  datos § Gigabytes  à Terabytes  de  información  diaria

3  V’s del  Big  Data Velocidad § Tiempo  de  respuesta  crítico § P.ej.  sistemas  de  tránsito § Procesado  en  tiempo  (casi)  real § Consideramos  dos  tipos  de  velocidad: § Velocidad  de  carga (procesos  ETL) § Velocidad  de  procesamiento

3  V’s del  Big  Data Variedad § Diferentes  formatos y  estructuras de  los  datos § Orígenes  de  datos  estructurados § Bases  de  datos,  hojas  de  cálculo  o  ficheros  CSV

§ Orígenes  de  datos  semiestructurados § Documentos  XML  o  páginas web

§ Orígenes  de  datos  no  estructurados § Documentos  de  texto,  audio,  imágenes  o  vídeo

4  V’s del  Big  Data Veracidad § IBM  introdujo  una  cuarta  V § La  gran  cantidad  de  datos  y  la  diversidad  de  orígenes     provoca  que  la  veracidad debe  ser  considerada § 2  tipos: § Exactitud  del  dato § Exactitud  del  cálculo ¡No  hay  unanimidad  sobre  esta  4ª  V!

Índice 1. Contextualización 2. Definición  de  Big  Data 3. El  Big  Data  en  escenarios  de  Business   Intelligence

Escenarios  de  Big  Data ¿Cuándo  aplicar  una  solución  BI  basada  en  Big  Data? Si  existe  un  gran  volumen  de  datos,  alta  velocidad  de   generación  de  datos  o  necesidad  de  tratar  todo  tipo  de   datos.  No  es  necesario  que  se  cumplan  las  3  condiciones.

¿Puede  Big  Data  aplicarse  en  cualquier  proyecto  BI? Big  data  puede  utilizarse  en  cualquier  escenario  para   analizar  información  obtenido  de  diferentes  sistemas  de   información.  Hay  que  tener  en  cuenta  el  incremento  de   complejidad  y  coste  respecto  a  una  solución  BI  tradicional.

BI  tradicional  +  Big  Data Una  solución  Big  Data  debe  utilizarse  como  complemento   a  un  sistema  BI  tradicional. • Big  Data:  obtención  y  análisis  de  datos  basada  en  3V’s. • BI  tradicional:  obtención  y  análisis  de  datos  no  3V’s.

Fuente:  “Big  Data”.  Àlex  Caminals  Sánchez  de  la  Campa   -­‐ FUOC

Diferencias:  BI  tradicional   y  Big  Data Naturaleza  de  los   datos • Volumen,  Variedad  y  Velocidad.

Granularidad • BI  tradicional  datos  almacenados  en  el  DW  en  su   mínima  granularidad.   • Big  Data  datos  almacenados  en  el  DW  son  derivados  o   filtrados.  

Tecnología • Hadoop +  base  de  datos  NoSQL • SGBDR  +  herramienta  BI

Sistemas de Big Data El nuevo paradigma de los datos masivos Jordi Casas Roma Carles Garrigues Olivella