Skip to content

Proyectos del Área de Data Engineering

Esta sección documenta los proyectos completos del área de data engineering de Solvento, que integran múltiples componentes (consumo, procesamiento, almacenamiento, visualización) para crear soluciones end-to-end.

Overview

Los proyectos documentados aquí representan soluciones completas que consumen datos del Data Warehouse (DWH) y los exponen a través de diferentes interfaces (aplicaciones web, APIs, dashboards) para consumo de usuarios finales.

Proyectos

Terminal

Proyecto completo de análisis y visualización de datos de terminales de carga.

Componentes: - Origen: Data Warehouse (solvento-adv-analytics-prod.terminal) - Tablas generadas por dbt - ETL: Pipeline Cloud Run (terminal-uploader-prod) que sincroniza datos hacia Supabase - Destino: Supabase (PostgreSQL) - Almacenamiento para aplicación web - Aplicación: Solvento Terminal (Lovable + React + TypeScript) - Dashboard y analytics

Flujo: dbt → BigQuery → Cloud Run ETL → Supabase → Aplicación Web

Ver detalles del proyecto →

Filosofía de Proyectos

Los proyectos del área de data engineering siguen estos principios:

  1. Consumo del DWH: Todos los proyectos consumen datos del Data Warehouse (solvento-adv-analytics-prod), que contiene datos depurados y transformados.

  2. Separación de Responsabilidades:

  3. DWH: Fuente de verdad para datos analíticos

  4. Proyectos: Consumen del DWH y exponen datos según necesidades específicas

  5. Arquitectura Modular: Cada proyecto puede tener su propio almacenamiento (ej: Supabase) y aplicación, pero siempre consume del DWH como fuente principal.

  6. Documentación Completa: Cada proyecto documenta:

  7. Arquitectura completa
  8. Flujo de datos
  9. Componentes involucrados
  10. Integraciones con otros sistemas
  11. Repositorios y código

Relación con Otras Secciones

Los proyectos integran componentes documentados en otras secciones:

  • Consumo: Componentes que consumen datos (Cloud Run, Cloud Scheduler, etc.)
  • Procesamiento: Transformaciones (dbt) que generan datos en el DWH
  • Almacenamiento: Destinos de datos (Supabase, BigQuery, etc.)
  • Visualización: Interfaces de usuario (aplicaciones web, dashboards)

Próximos Proyectos

  • Proyectos adicionales se documentarán aquí según se desarrollen

Última actualización: En desarrollo