BIG-DATA Y TRANSPORTE: GESTIÓN Y PROCESAMIENTO DE DATOS GEO-ESPACIALES MASIVOS Laboratorio de Gestión y Procesamiento de Datos Masivos Centro del Transporte – UNAB Carlos Gómez-Pantoja, PhD. Miguel Gutiérrez Gaitán, MSc.

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

2

CONTEXTO

1) Flotas de Camiones 2) Empresas / Monitoreo GPS 3) Red Vial

1) Caracterización de Rutas 2) Variaciones Temporales 3) Detección de Anomalías

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

3

CONTEXTO

Un solo vehículo es simple y fácil de observar.

No representativo.

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

4

INVESTIGACIÓN APLICADA Preguntas Relevantes
CARACTERIZACIÓN DE VELOCIDAD DE OPERACIÓN (RED VIAL)
MAP MATCHING (asignación punto GPS a arco de red vial)
DETECCIÓN DE RUTAS MÁS UTILIZADAS
MATRIZ ORIGEN / DESTINO
OCURRENCIA DE DETENCIONES

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

INVESTIGACIÓN APLICADA Preguntas Relevantes ATRIBUTOS DATOS GPS 1) Fecha y Hora 2) Latitud / Longitud 3) Velocidad 4) Dirección (AZIMUT) 5) Identificación del Vehículo RESTRICCIONES 1) Punto GPS de un vehículo cada n segundos (30 segundos). 2) Margen de error del punto GPS.

5

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

6

ARQUITECTURA DE PROCESAMIENTO Sistema de Información Geográfica

CAPTURA Y PREPARACIÓN DE DATOS

ALMACENAMIENTO Y MANTENCIÓN DE DATOS

MANIPULACIÓN Y ANÁLISIS DE DATOS

VISUALIZACIÓN DE DATOS

GESTIÓN Y PROCESAMIENTO DE DATOS MASIVOS

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

7

ARQUITECTURA DE PROCESAMIENTO Sistema de Información Geográfica

CAPTURA Y PREPARACIÓN DE DATOS

ALMACENAMIENTO Y MANTENCIÓN DE DATOS

MANIPULACIÓN Y ANÁLISIS DE DATOS

VISUALIZACIÓN DE DATOS

GESTIÓN Y PROCESAMIENTO DE DATOS MASIVOS

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

INVESTIGACIÓN APLICADA Captura y Preparación ACTUALIZACIÓN DE RED VIAL.

8

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

INVESTIGACIÓN APLICADA Captura y Preparación RED VIAL / CONFLICTOS (SENTIDOS).

9

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

10

INVESTIGACIÓN APLICADA Captura y Preparación CONSISTENCIA DE LOS DATOS. 1) Fechas 1969-12-31 21:00:00.000;1969-12-31;21:00:00;154;-23.5962300000;-70.3848300000;0;58 1969-12-31 21:00:00.000;1969-12-31;21:00:00;154;-23.5962300000;-70.3848300000;0;58 1969-12-31 21:00:00.000;1969-12-31;21:00:00;155;-23.6813200000;-70.4122700000;0;351 1969-12-31 21:00:00.000;1969-12-31;21:00:00;156;-23.6224200000;-70.3743800000;0;312 1969-12-31 21:00:00.000;1969-12-31;21:00:00;156;-23.6224200000;-70.3743800000;0;312 1969-12-31 21:00:00.000;1969-12-31;21:00:00;157;-23.6639100000;-70.3949400000;0;77

2) Datos fuera de Chile

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

11

ARQUITECTURA DE PROCESAMIENTO Sistema de Información Geográfica

CAPTURA Y PREPARACIÓN DE DATOS

ALMACENAMIENTO Y MANTENCIÓN DE DATOS

MANIPULACIÓN Y ANÁLISIS DE DATOS

VISUALIZACIÓN DE DATOS

GESTIÓN Y PROCESAMIENTO DE DATOS MASIVOS

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

12

INVESTIGACIÓN APLICADA Almacenamiento y Mantención
ALMACENAMIENTO MASIVO.
DATOS ESTRUCTURADOS y NO ESTRUCTURADOS (SQL / NOSQL)
SQL (sólo reportes).

CONCLUSIÓN: Tecnologías Big Data + Tecnologías Clásicas (SQL)

NOVIEMBRE - 2015

UNIVERSIDAD ANDRÉS BELLO

13

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

14

ARQUITECTURA DE PROCESAMIENTO Sistema de Información Geográfica

CAPTURA Y PREPARACIÓN DE DATOS

ALMACENAMIENTO Y MANTENCIÓN DE DATOS

MANIPULACIÓN Y ANÁLISIS DE DATOS

VISUALIZACIÓN DE DATOS

GESTIÓN Y PROCESAMIENTO DE DATOS MASIVOS

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

15

INVESTIGACIÓN APLICADA Ocurrencia de Detenciones MÉTODOS 1. Atributos del datos GPS (por ejemplo motor on/off). 2. ¿Es posible hacerlo automáticamente a través de los puntos GPS de un vehículo?

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

16

INVESTIGACIÓN APLICADA Detección de Detenciones

Frecuencia

HISTOGRAMA DETENCIONES

Horas [hr] Transporte de pasajeros, transporte de carga y betoneras de hormigón.

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

INVESTIGACIÓN APLICADA Map Matching MAPEO DE PUNTOS GPS A UNA RED VIAL.

17

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

INVESTIGACIÓN APLICADA Map Matching CONFLICTOS / HISTORIA.

18

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

19

INVESTIGACIÓN APLICADA Caminos Mínimos
Entre dos puntos GPS consecutivos, existe una trayectoria seguida por el vehículo.
Esta trayectoria se debe “estimar” (no se conoce realmente).
La calidad de esta estimación de ruta decrece a medida que las mediciones son más distantes.
Algoritmos de Caminos Mínimos (Red Vial).

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

INVESTIGACIÓN APLICADA Caminos Mínimos

20

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

21

INVESTIGACIÓN APLICADA Obtención de Rutas DETENCIÓN + MAP MATCHING + CAMINOS MÍNIMOS = RUTAS

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

INVESTIGACIÓN APLICADA Procesamiento Masivo de Datos PRINCIPALES ENTRADAS: 1. Red Vial. 2. Datos GPS. 3. Zonas de Interés (Comunas, Zonas Industriales, etc.).

PROPÓSITO: “Procesamiento Eficiente de Datos GPS”

22

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

INVESTIGACIÓN APLICADA Procesamiento Masivo de Datos PRINCIPALES PROBLEMAS: 1. Millones de Datos por Día. 2. Datos con Errores. 3. Restricciones Duras de Tiempo (Indicadores). 4. Flotas Heterogéneas.

23

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

INVESTIGACIÓN APLICADA Procesamiento Masivo de Datos RED VIAL: ¿es necesaria la información a nivel de tramo?

Un sentido Bi-direccional

24

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

INVESTIGACIÓN APLICADA Procesamiento Masivo de Datos

DISCRETIZACIÓN DE REGIÓN DE INTERÉS.

25

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

INVESTIGACIÓN APLICADA Procesamiento Masivo de Datos DISCRETIZACIÓN DE RED VIAL.

26

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

INVESTIGACIÓN APLICADA Procesamiento Masivo de Datos DEFINICIÓN DE REGIÓN DE INTERÉS.

27

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

28

INVESTIGACIÓN APLICADA Procesamiento Masivo de Datos

COMUNA DE PROVIDENCIA.

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

INVESTIGACIÓN APLICADA Procesamiento Masivo de Datos PROCEDIMIENTO: 1. Ubicar punto GPS en un Cuadrante de la Grilla. 2. Actualizar las estadísticas de ese Cuadrante.

29

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

INVESTIGACIÓN APLICADA Procesamiento Masivo de Datos ESTADÍSTICAS: 1. Velocidad de Operación Promedio. 2. Zonas de Congestión.

30

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

INVESTIGACIÓN APLICADA Procesamiento Masivo de Datos RUTAS: 1. Rutas más Utilizadas. 2. Matriz Origen / Destino. 3. Zonas de Entrada / Salida a Comuna.

ESTADÍSTICAS DE RUTAS: 1. Tiempo de Sub-tramos. 2. Congestión de Sub-tramos.

31

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

INVESTIGACIÓN APLICADA Procesamiento Masivo de Datos PATRONES TEMPORALES: 1. La Velocidad de Operación varía a través del tiempo en un Cuadrante.

Velocidad [km/hr]

2. Se modela a través de Series de Tiempo.

32

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

INVESTIGACIÓN APLICADA Procesamiento Masivo de Datos ANOMALÍAS: 1. Valores atípicos de acuerdo al patrón de velocidad detectado. 2. Inundación en Providencia.

Velocidad [km/hr]

3. Impacto en cuadrantes vecinos.

33

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

34

ARQUITECTURA DE PROCESAMIENTO Sistema de Información Geográfica

CAPTURA Y PREPARACIÓN DE DATOS

ALMACENAMIENTO Y MANTENCIÓN DE DATOS

MANIPULACIÓN Y ANÁLISIS DE DATOS

VISUALIZACIÓN DE DATOS

GESTIÓN Y PROCESAMIENTO DE DATOS MASIVOS

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

INVESTIGACIÓN APLICADA Visualización HERRAMIENTAS GRATUITAS / OPEN SOURCE 1. GeoServer y OpenLayers (archivos ShapeFile). 2. Google Earth (archivos KML).

35

MAYO - 2016

36

UNIVERSIDAD ANDRÉS BELLO

ARQUITECTURA TECNOLÓGICA real-time & off-line DATA SOURCES GPS

STREAM PROCESSING

off-line STORAGE, PROCESSING AND MANAGEMENT

Reactive Mongo

HDFS

Tableau

Long Term Storage

Twitter Storm Web/Social Celery Geo/Tempo ral

PRESENTATION AND VISUALIZATION

H A D O O P

CartoDB

MongoDB OpenStreetMap

GoogleEarth

Sensors

PostgreSQL Java / Python

network & servers

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

37

CONCLUSIÓN ALTA COMPLEJIDAD 1. Datos Masivos. 2. Información Inconsistente (algunas veces). 3. Procesos Costosos Computacionalmente.

CIENCIAS DE LA COMPUTACIÓN 1. Utilización de Algoritmos y Estructuras de Datos Eficientes 2. Resultados preliminares: procesamiento de 11 millones de puntos por minuto. 3. Big Data.

MAYO - 2016

UNIVERSIDAD ANDRÉS BELLO

38

CONCLUSIÓN PROPÓSITO 1. Eficiencia / Eficacia de Procesos. 2. Se ha logrado capturar la complejidad del proceso de transporte de carga, específicamente desde la Computación e Informática.

NUEVO ENFOQUE

“Generación de Conocimiento en el Transporte de Carga guiado por los Datos”

BIG-DATA Y TRANSPORTE: GESTIÓN Y PROCESAMIENTO DE DATOS GEO-ESPACIALES MASIVOS Laboratorio de Gestión y Procesamiento de Datos Masivos Centro del Transporte – UNAB Carlos Gómez-Pantoja, PhD. Miguel Gutiérrez Gaitán, MSc.