Sistema de Información (Base de Datos) de Meteorología, Climatología e Hidrología

MCH – MX 2013 Manual de Administración, Usuarios Avanzados

México, diciembre de 2013

Organización Meteorológica Mundial

MCH-MX. Administración, Usuarios Avanzados. 2013

MCH-MX. Administración

1

MCH-MX. Características / Objetivos • Base de datos nacional de Meteorología, Climatología e Hidrología. • Permitir la concentración y distribución de la información actual e histórica, de estaciones convencionales (manuales) y automáticas. • Acceso a la información en la red de la institución donde se instale. • Presentar la información en formas básicas: tablas, gráficas, mapas, informes en Excel. MCH-MX. Administración

2

MCH-MX. Características / Objetivos. • Permitir acceso a la información con herramientas modernas para facilitar la generación de estudios y proyectos necesarios en la sociedad. • Coadyuvar en la toma de decisiones.

MCH-MX. Administración

3

MCH-MX. Sistema. 1. Base de datos. Funciones para manejarla. 2. Plataforma. Windows. 3. Arquitectura. Ejecutables sin pago de licencias / Open Source. 4. Ambiente. Red LAN / WAN. Interinstitucional. 5. Modos de operación. Cliente / Servidor, Web, Excel. -> a otros sistemas. MCH-MX. Administración

4

MCH-MX. Sistema 6. Auditorios: Básico, Técnico, Avanzado, Administración. Externos, entre instituciones. 7. Administración. Base de datos, Manejo de los datos. 8. Meteorología. 9. Climatología. 10. Hidrología. MCH-MX. Administración

5

MCH-MX

• Captura, gráficas, mapas módulo Usuario MCH-MX. Administración

6

MCH-MX

• Captura / consultas Web MCH-MX. Administración

7

MCH-MX

• Informes a través de Excel MCH-MX. Administración

8

• • • • • • •

MCH-MX. Sistema. Filosofía de Desarrollo. Estructura de la base de datos. Capacidad de manejo de volúmenes. Disponibilidad inmediata de datos. Auditorios. Cantidad de usuarios. Herramientas utilizadas. Forma de manejo de claves de estaciones, ... Manejo de la seguridad. MCH-MX. Administración

9

MCH-MX. Sistema. Integración. 1. Servidor (es) de Base de Datos MySQL5. 2. Módulo de Usuario / Administración en modo LAN / WAN, tipo cliente-servidor. 3. Servidor Web Intranet Apache. 4. Servidor FTP para intercambio de información entre servidores. 5. Informes ajustados a la instalación en Excel. 6. Rutinas de carga de información de estaciones automáticas. MCH-MX. Administración

10

MCH-MX. Documentación • • • • • •

Manual de Instalación del MCH-MX. Manual de Instalación de Base de Datos. Guía Simplificada MCH-MX (recetario). Manual de Utilización del MCH-MX. Ayuda en línea. --- Manual de Programación. Programas fuente. MCH-MX. Administración

11

MCH-MX. Usuarios Básicos 1. Tengo que introducir mis datos. 2. Tengo que obtener mi reporte. 3. Tengo de introducir mis datos y obtener mi reporte. 4. Tengo que enviar mi informe. Tengo que enviar mis datos.

MCH-MX. Administración

12

MCH-MX. Usuarios Técnicos 1. 2. 3. 4. 5.

Cargar datos históricos. Revisión de datos históricos. Revisión de datos diarios / recientes. Elaboración de informes. Mapas, gráficas. Obtención de elementos para otros documentos. MCH-MX. Administración

13

MCH-MX. Usuarios Avanzados 1. Definición de estaciones, grupos de estaciones. 2. Definición de criterios de datos válidos para la captura. 3. Definición de mapas. 4. Cálculos de datos diarios, mensuales, anuales, semanales, decenales. Normales. MCH-MX. Administración

14

MCH-MX. Usuarios Avanzados 5. 6. 7. 8.

Manejo cartográfico. Definición de archivos complementarios. Utilización del sistema como herramienta. Elaboración de documentos anuales, eventuales. 9. Estudios técnicos. Concatenar series. 10. Actualizar bases de datos de respaldo. MCH-MX. Administración

15

MCH-MX. Usuarios Avanzados 11. Carga de datos de estaciones automáticas. 12. Modificación de documentos base para página Web Intranet. 13. Preparación de elementos para página Web Internet.

MCH-MX. Administración

16

MCH-MX. Administración de datos • • • • •

Definición de Usuarios. Definición de variables. Utilización de servidores FTP. Envíos recepción de datos entre servidores. Modificación de terminología en el sistema. Utilización de datos en otras aplicaciones. MCH-MX. Administración

17

MCH-MX. Administración base de datos. Informático. • • • •

Instalación del sistema. Actualización de bases de datos de respaldo. Conexión de usuarios en red LAN / WAN. Administración de servidor de base de datos MySQL 5. • Administración de servidor web Apache. MCH-MX. Administración

18

MCH-MX. Concentración de la información 1. Captura de datos diarios y datos de detalle por módulo usuario. 2. Captura de datos diarios y de detalle por módulo Web Intranet. 3. Captura de mensajes Synop por módulo usuario. 4. Digitalización de bandas por módulo especial. 5. Envíos de datos entre servidores por FTP. 6. Actualización directa de datos entre servidores cuando están en la misma red LAN / WAN. 7. Carga directa de datos de estaciones automáticas. MCH-MX. Administración

19

MCH-MX. Concentración de la información

Entrada de datos al MCH-MX MCH-MX. Administración

20

MCH-MX. Concentración de la información

Actualización entre servidores por FTP MCH-MX. Administración

21

MCH-MX. Explicación de la documentación. • Guía simplificada. • Manual de Utilización.

MCH-MX. Administración

22

MCH-MX. Probables desarrollos • • • •

Radiosondeos. Administración de cuencas hidrológicas. Manejo de imágenes satelitales. ---

MCH-MX. Administración

23

MCH-MX. Interacción con otros sistemas

MCH-MX. Administración

24

1. 2. 3. 4. 5. 6. 7. 8.

MCH-MX. Definición de ambiente. Variables, ya vienen definidas. Usuarios. Definir estaciones. (Otras tablas). Definir grupos de estaciones. Tipos de estaciones. Valores aceptables. Otras verificaciones. Variables derivadas. Tablas de transformaciones. Fórmulas de Transformaciones. MCH-MX. Administración

25

MCH-MX. Definición de ambiente 9. Definiciones de mapas. --10. Definiciones de otras tablas (estados, municipios, regiones hidrológicas, ...) 11. Metadatos de estaciones. 12. Transmisiones entre servidores por FTP. Direcciones / opciones de transmisión / Carga de datos. 13. Opciones de Intxxnet. 14. Ajuste de definiciones (html) para Web. MCH-MX. Administración

26

MCH-MX. Estructuración de tablas 1. Tablas de ambiente. 2. Tablas de datos. i.

Datos de detalle, datos diarios. ---Datos de entrada. ii. Datos mensuales. Datos anuales. Datos semanales. Datos decenales. iii. Normales / promedios. Diarios, mensuales, anuales, semanales, decenales. MCH-MX. Administración

27

MCH-MX. Terminología regional • • • •

Manejo multilingüe. Terminología regional. Ajuste de archivos de definición. Invocación del MCH-MX con parámetros en línea de comando. • Web con archivos “.hdef” en cgi-binmch. MCH-MX. Administración

28

MCH-MX. Excel – Base de datos 1. Seguridad media de macros (programas en Basic-Excel). Herramientas / Macro / Seguridad.

MCH-MX. Administración

29

MCH-MX. Excel – Base de datos 2.

3. 4.

5.

Definir botón para invocar la macro. Ver / Barras de Herramientas / Formularios. DSN de la base de datos. Datos de estaciones y variables en celdas. Otros datos

MCH-MX. Administración

30

MCH-MX. Excel – Base de datos 6. En Basic-Excel (Alt_F11) activar controles ADO 2.5 o posterior. Herramientas / Referencias

MCH-MX. Administración

31

MCH-MX. Excel – Base de datos 7.

Definir la conexión a la base de datos y las tablas de trabajo. i. Dim dbMCH as New ADODB.Connection ii. Dim rs as New ADODB.Recordset

8.

Abrir la base de datos. i. dbMCH.ConnectionString = DSN ii. dbMCH.Open

9.

Definir tipo de consultas a la base de datos. i.

rs.CursorLocation = adUseClient

MCH-MX. Administración

32

MCH-MX. Excel – Base de datos 10. Forma de obtener datos de la hoja de Excel. i. Worksheets(“Hoja1”).Range(“K5”).Value ii. Worksheets(“Hoja1”).Cells(iFila, iCol).Value

11. Forma de poner datos en la hoja de Excel. i. Worksheets(“Hoja1”).Range.Formula = ... ii. Worksheets(“Hoja”).Cells(iFila, iCol).Formula = ...

12. Activado / desactivado de la hoja de Excel. i.

Application.ScreenUpdating = True / False

MCH-MX. Administración

33

MCH-MX. Excel – Base de datos 13. Construcción de consulta por medio de proposición SELECT a base de datos. i. strSQL = “SELECT * FROM tabladatos WHERE estacion=„miestacion‟ and fecha=„fechacons‟”

14. Cargar la consulta en la tabla temporal. i. rs.Open, strSQL, dbMCH, adOpenStatic, adLockReadOnly

15. Probar si hay datos en la consulta. i. If rs.RecordCount > 0 then

MCH-MX. Administración

34

MCH-MX. Excel – Base de datos 16. Para insertar registros utilizar proposición INSERT IGNORE 17. Para reemplazar registros utilizar proposiciones REPLACE INTO o UPDATE.

MCH-MX. Administración

35

MCH-MX. Excel – Base de datos 18. Insertar resultados de consultas en la hoja de Excel. i.

Worksheets(“Hoja1”).Cells(iFila, iCol).Formula = rs!campoconsulta

MCH-MX. Administración

36

MCH-MX. Excel – Base de datos 19. Cerrar tablas temporales. i.

dbMCH.Close

20. Cerrar conexión a la base de datos i.

rs.Close

SUGERENCIA. Utilizar hojas programadas y modificarlas. Complementar con cálculos y presentación en la hoja de Excel.

MCH-MX. Administración

37

MCH-MX. Manejo Web 1. 2. 3.

Página base, index.html = mch.html En captura solicita usuario / clave. Resto del funcionamiento en forma dinámica. Utilizan algunas funciones javascript. i.

Ejecutables en directorio cgi-binmch del servidor Web reciben datos del navegador, por medio de opción POST. ii. Consultan a la base de datos y preparan la respuesta (datos, tablas, mapas, gráficas). iii. Utilizan archivos “.hdef” de plantillas para las respuestas. MCH-MX. Administración

38

MCH-MX. Manejo Web

• Documentos base están en htdocsmch. • Incluidos rutinas de verificación y calendarios MCH-MX. Administración

39

MCH-MX. Manejo Web

• Respuestas dinámicas están ejecutables en directorio cgibinmch. Incluye plantillas base para respuestas (“.hdef”). • Allí se guardan gráficas y mapas generadas en respuestas a las consultas. • Programar tarea una vez al mes borrapasocgibin.bat para borrar gráficos temporales. MCH-MX. Administración

40

MCH-MX. Manejo Web

• Los archivos plantilla de respuesta pueden ser modificados. El diseño de la página puede solicitar que las respuestas queden dentro de un marco de otra página. • Lo comprendido entre cada pareja ##n ... #n# no se incluye en la respuesta y es sustituida por la respuesta generada (datos, gráficas, mapas). • Debe respetarse la funcionalidad de las rutinas javascript para encadenar las siguientes respuestas. MCH-MX. Administración

41

MCH-MX. Manejo Web • La comunicación de las rutinas al servidor Web es por Stdin / StdOut. (Procesos en lote tradicionales). • La entrada viene en una cadena campo1=valor1&campo2=valor2&... y debe ser decodificada. Valores siempre como caracteres. • La respuesta requiere prefijo dos líneas: 'Content-type: text/html' y línea en blanco ''. MCH-MX. Administración

42

MCH-MX. Manejo Web • Los programas fuente de las rutinas web van en el disco de instalación en el directorio RutinasWeb. • Pueden ser modificadas y compiladas (capturas, consultas y mapas) con la versión Delphi Explorer (gratuita) que se puede obtener de http://www.codegear.com/downloads/free/turbo .

• Las gráficas requieren comprar biblioteca de graficación ProEssentials. MCH-MX. Administración

43

MCH-MX. Respaldo entre servidores Para activar actualización enre servidores MySQL5. En el servidor MASTER: 1. Definir un usuarios con privilegios completos USE mysql; GRANT ALL PRIVILEGES ON claveacc@”%” WITH GRAN OPTION; FLUSH PRIVILEGES; 2. Borrar el archivo master.info (normalmente se encuentra dentro del directorio data) que contiene la información acerca del servidor maestro, la herramienta que sigue lo crea pero no siempre lo borra si hay cambios MCH-MX. Administración

44

MCH-MX. Respaldo entre servidores 3. Con MySQLAdministrator.exe (en directorio tools de MySQL5), en “Start Up Variables” / “log files” definir: a. Binary log filename b. Query log filename pueden quedar los nombres por omisión (y quedan dentro del directorio data).

4. Con MySQLAdministrator.exe (en directorio tools de MySQL5), en “Start Up Variables” / “Replication” definir: a. Server ID (diferente al del Slave). b. Slave Time Out (3600) o dejar en 0. c. Temporary Directory (para LOAD DATA INFILE). MCH-MX. Administración

45

MCH-MX. Respaldo entre servidores 5. Detener y reiniciar el servico (se puede en Services de Panel de control o dentro de MySQLAdministrator.exe en Service Control).

En el servidor SLAVE: 1. Con MySQLAdministrator.exe, en “Start Up Variables” / “Replication” definir: a. b. c. d.

Server ID (diferente al del Master). Relay log filename (dar un nombre). Temporary Directory (para LOAD DATA INFILE). Purge relay log. MCH-MX. Administración

46

MCH-MX. Respaldo entre servidores e.

En Slave default connections values i. ii.

Master hostname 192.22.22.22 Master username (definido en MASTER con privilegios completos). iii. Master port (si no es 3306 que es el valor por omisión).

2. Detener y reiniciar el servicio. Con esto quedan activadas las actualizaciones entre servidores. NOTA: No debe suceder que se hagan inserciones en el servidor SLAVE porque eso no queda notificado en el servidor MASTER. Además las inserciones INSERT no se actualizan en el SLAVE si ya hay un registro de igual llave en él. MCH-MX. Administración

47

MCH-MX. Respaldo entre servidores

• MySQLAdministrator.exe panel de control MCH-MX. Administración

48

MCH-MX. Respaldo entre servidores

• Definición de Logs files en MASTER MCH-MX. Administración

49

MCH-MX. Respaldo entre servidores

• Definiciones Replication en MASTER MCH-MX. Administración

50

MCH-MX. Respaldo entre servidores

• Definiciones Replication en SLAVE (1) MCH-MX. Administración

51

MCH-MX. Respaldo entre servidores

• Definiciones Replication en SLAVE (2) MCH-MX. Administración

52

MCH-MX. Respaldo entre servidores

• Definiciones Replication en SLAVE (3) MCH-MX. Administración

53