Skip to content

Procesamiento de Datos

Esta sección documenta los componentes y procesos de transformación, enriquecimiento y procesamiento de datos en la arquitectura de Solvento.

Overview

El procesamiento de datos incluye todas las transformaciones, validaciones, enriquecimientos y cálculos que se aplican a los datos desde su ingesta hasta su almacenamiento final.

Componentes de Procesamiento

dbt ETLs - Transformaciones a Adv-Analytics

Proyecto dbt (dbt-etls) que transforma datos desde solvento-data-prod hacia solvento-adv-analytics-prod.

  • Lee datos raw de Syntage, Catalog, Analíticas
  • Transforma a capas silver/gold
  • Escribe a schemas: consistency_jobs, terminal, etc.
  • Incluye modelos de consistencia

Ver detalles →

Dataform - Transformaciones Complementarias

Transformaciones adicionales hacia solvento-adv-analytics-prod trabajando junto con dbt.

Ver detalles →

dbt Risk Analytics

Proyecto dbt dedicado a análisis de riesgo que transforma datos hacia solvento-risk-analytics-prod.

  • Lee de solvento-data-prod (raw) y solvento-adv-analytics-prod (depurado)
  • Genera data products especializados de riesgo
  • Arquitectura medallion (staging → intermediate → marts → data products)

Ver detalles →

Validación y Calidad

Validación de datos y control de calidad.

Documentación en desarrollo

Agregaciones

Cálculos agregados y métricas derivadas.

Documentación en desarrollo

Enriquecimiento

Enriquecimiento de datos con fuentes externas.

Documentación en desarrollo

Flujo de Procesamiento

graph TB
    subgraph fuentes["Fuentes"]
        DataProd[solvento-data-prod<br/>RAW]
        AdvAnalytics[solvento-adv-analytics-prod<br/>DEPURADO]
    end

    subgraph etl_adv["ETL a Adv-Analytics"]
        DBT[dbt ETLs<br/>dbt-etls]
        Dataform[Dataform]
    end

    subgraph dbt_risk["dbt Risk Analytics"]
        Staging[Staging<br/>stg_*]
        Intermediate[Intermediate<br/>int_*]
        Marts[Marts<br/>fact_*/dim_*]
        DataProducts[Data Products<br/>Risk]
    end

    subgraph destinos["Destinos"]
        AdvProd[solvento-adv-analytics-prod<br/>DEPURADO]
        RiskProd[solvento-risk-analytics-prod<br/>RIESGO]
    end

    DataProd --> DBT
    DataProd --> Dataform
    DBT --> AdvProd
    Dataform --> AdvProd

    DataProd --> Staging
    AdvAnalytics --> Staging
    Staging --> Intermediate
    Intermediate --> Marts
    Marts --> DataProducts
    DataProducts --> RiskProd

Próximos Pasos

Esta sección se completará con: - Detalles de pipelines ETL específicos - Transformaciones aplicadas por tipo de dato - Reglas de validación y calidad - Procesos de enriquecimiento - Cálculos de métricas y agregaciones

Sección en desarrollo - Próximamente