Skip to content

Mapa del ecosistema de datos

Vista de un vistazo: de dónde vienen los datos, cómo entran, dónde se transforman y quién los consume. Cada caja enlaza a su ficha en la tabla de abajo.

graph LR
    subgraph src["Fuentes"]
        SYN[["Syntage<br/>webhooks + API"]]
        SHK[["Shinkansen<br/>webhooks + API"]]
        TOKU[["Toku<br/>webhooks"]]
        HUB[["Hubspot<br/>(en reemplazo)"]]
        LFD[["Lightfield<br/>(CRM)"]]
        PG[["PostgreSQL producto<br/>(vulture)"]]
        LP[["LoanPro<br/>(RDS MySQL)"]]
        KC[["Keycloak"]]
        EXT[["Banxico · Diésel<br/>scrapers"]]
        ELV[["ElevenLabs<br/>Convai API"]]
    end

    subgraph ing["Ingesta"]
        EVT["Cloud Run webhooks<br/>→ Pub/Sub → Dataflow"]
        AB["Airbyte"]
        DS["Datastream (CDC)"]
        PULL["Cloud Run agendados<br/>(API pull / scrapers)"]
    end

    RAW[("solvento-data-prod<br/>RAW · syntage · shinkansen · toku<br/>hubspot · lightfield · svc_master_public · datastream_loanpro<br/>keycloack · analiticas")]

    subgraph dbt["Transformación (dbt Cloud)"]
        ETLS["dbt-etls →<br/>solvento-adv-analytics-prod"]
        ANA["dbt-analytics →<br/>solvento-risk-analytics-prod"]
    end

    TERM["Terminal v3<br/>terminal_v3.datarelease_*"]

    subgraph cons["Consumo"]
        MB["Metabase"]
        RISK["Modelos de riesgo"]
        APP["Producto / app<br/>(LoanPro, frontend vía solvento-api)"]
    end

    SYN --> EVT
    SHK --> EVT
    TOKU --> EVT
    SYN --> PULL
    SHK --> PULL
    EXT --> PULL
    ELV --> PULL
    HUB --> AB
    LFD --> AB
    PG --> AB
    KC --> PULL
    LP --> DS

    EVT --> RAW
    AB --> RAW
    DS --> RAW
    PULL --> RAW

    RAW --> ETLS --> ANA
    RAW --> ANA
    ANA --> TERM
    ETLS --> MB
    ANA --> RISK
    ANA --> MB
    RAW -->|directo| MB
    TERM --> MB
    MB -->|solvento-api| APP
    EVT -->|writeback| APP

    classDef store fill:#bfdbfe,stroke:#1e40af,color:#000;
    classDef logic fill:#dcfce7,stroke:#15803d,color:#000;
    class RAW store;
    class ETLS,ANA,TERM logic;

Leyenda y enlaces

Fuentes → su(s) proceso(s):

Fuente Procesos
Syntage Invoices · Cartas Porte · Buró · Tax Compliance · Background Checks · Insights Sales · Insights Moratorios · KYC · Entities Sync · CIEC Status · Consistencia
Shinkansen Payout Metadata · Payout Results · Treasury · LoanPro CEP · Payouts unificado
Toku Toku Eventos
Lightfield (CRM) Airbyte Lightfield
Hubspot (en reemplazo por Lightfield) Airbyte Hubspot
PostgreSQL (producto) Airbyte svc_master · CFDIs XML · KYC Documentos a Drive (en desarrollo)
LoanPro Datastream Loanpro
Keycloak Keycloak Ingest
Banxico / Diésel Banxico Scraper · Diesel Price Scraper
ElevenLabs ElevenLabs · Cobranza

Capas y consumo:

Capa Página
Transformación (dbt) Capa dbt
Producto de pricing Terminal v3
Consumo desde la app (qué usa el front) Consumo desde la app (Metabase)
Inventario de dashboards Metabase Extractor
Qué corre y cuándo Cloud Schedulers
Monitoreo / salud Dashboard Data Processes
⚠️ Qué evitar Deprecados / no usar

Para detalle de cualquier tabla o "de dónde sale este número", entra por el índice de procesos.

Última actualización: 2026-10-05