Skip to content

Dashboard Cloud Monitoring — Data Processes

Procedimiento operativo para regenerar la definición del dashboard Data Processes usado para observabilidad de ingesta en solvento-data-prod.

Alcance

  • Salida: archivo JSON con el layout y widgets del dashboard (compatible con la API de Cloud Monitoring).
  • No incluido aquí: políticas de alertas, SLOs ni permisos IAM; solo la generación del artefacto y referencia al repositorio generador.

Repositorio generador

El código vive fuera del repositorio data-architecture, en el entorno de desarrollo local del equipo:

  • Ruta típica (ejemplo): local_dev/dashboard_gcp dentro del árbol de trabajo Solvento en la máquina del desarrollador (p. ej. ~/Desktop/Solvento/local_dev/dashboard_gcp).
  • Archivos relevantes:
  • main.py — define pipelines (topics, regex de jobs Dataflow, tablas BigQuery), widgets y ensambla el JSON.
  • dash_result.json — salida generada (no suele versionarse como fuente de verdad; se regenera con main.py).

Ajustar la ruta local según tu clone; el nombre de carpeta usado en el equipo es dashboard_gcp.

Regenerar el JSON

Desde el directorio del generador:

cd /ruta/a/dashboard_gcp
python3 main.py

Se sobrescribe (o crea) dash_result.json con la definición del dashboard Data Processes.

Aplicar cambios en GCP

Tras generar dash_result.json, hay que crear o actualizar el dashboard en el proyecto solvento-data-prod usando el mecanismo que use el equipo (por ejemplo API de Monitoring, gcloud, Terraform u operación manual en consola importando la definición). Documenta aquí el paso concreto cuando esté estandarizado.

Enlace a arquitectura

Para qué sirve el dashboard y qué métricas muestra por pipeline: Observabilidad de ingesta (Cloud Monitoring).