Repositorios

Listado de todos los repositorios del área de Data Engineering de Solvento, organizados por propósito.

Mapa de Repositorios

graph TB
    subgraph infra["Infraestructura"]
        TF[terraform-gcp-infrastructure<br/>gitlab: solventomx/data/gcp]
    end

    subgraph ingesta["Ingesta y Procesamiento"]
        KYCSVC[vass-move-kyc<br/>Cloud Run KYC]
        TU[terminal-uploader<br/>Cloud Run BQ→Supabase]
    end

    subgraph transformaciones["Transformaciones"]
        DBTETL[dbt-etls<br/>data-prod → adv-analytics-prod]
        DBTRISK[dbt-analytics<br/>→ risk-analytics-prod]
        DFTERM[dataform_terminal<br/>Syntage / Carta Porte]
        DFMETA[dataform_metabase_luzmo<br/>Snapshots para Metabase]
    end

    subgraph apps["Aplicaciones"]
        TERMINAL[solvento-terminal<br/>App React / Lovable]
    end

    subgraph gcp["GCP — BigQuery"]
        RAWPROD[solvento-data-prod]
        ADVPROD[solvento-adv-analytics-prod]
        RISKPROD[solvento-risk-analytics-prod]
        SUPABASE[Supabase]
    end

    TF --> RAWPROD

    DBTETL --> ADVPROD
    DBTRISK --> RISKPROD
    DFTERM --> RAWPROD
    DFMETA --> ADVPROD

    RAWPROD --> DBTETL
    RAWPROD --> DBTRISK
    RAWPROD --> DFTERM
    ADVPROD --> DBTRISK
    ADVPROD --> DFMETA

    TU --> SUPABASE
    RAWPROD --> TU

    SUPABASE --> TERMINAL

Infraestructura

terraform-gcp-infrastructure

GitLab: solventomx/data/gcp
Local: ~/Desktop/terraform-gcp-infrastructure
Propósito: Despliegue y gestión de infraestructura GCP mediante Terraform. Incluye VPC, NAT Gateway y clusters GKE para los proyectos de data.
Tecnologías: Terraform, GCP (VPC, GKE, NAT Gateway)
Ambientes gestionados: development, staging, demo, production
Módulos principales:
- modules/vpc — VPC con NAT Gateway e IP estática de salida
- modules/gke — Clusters GKE privados

Ambiente	Cluster	Proyecto GCP
Development	`k8s-solvers-development`	`solvento-k8s-dev`
Demo	`k8s-solvers-demo`	`solvento-k8s-demo`
Staging	`k8s-solvers-staging`	`solvento-k8s-staging`
Production	`k8s-solvers-prod`	`solvento-k8s-prod`

Transformaciones dbt

dbt-etls

GitLab: solventomx/data/dbt-etls
Local: ~/Desktop/dbt-etls
Propósito: ETL principal de Solvento. Transforma datos raw de solvento-data-prod hacia solvento-adv-analytics-prod.
Tecnologías: dbt, BigQuery
Destino GCP: solvento-adv-analytics-prod
Modelos principales:
- advanced_analytics/ — Modelos analíticos avanzados
- terminal_client/ — Datos de clientes de terminales
- terminal_market/ — Datos de mercado de terminales

Ver documentación de arquitectura →

dbt-analytics

GitLab: solventomx/data/dbt-analytics
Local: ~/Desktop/dbt-analytics
Propósito: Motor de transformación para análisis de riesgo. Lee de solvento-data-prod y solvento-adv-analytics-prod, escribe data products hacia solvento-risk-analytics-prod.
Tecnologías: dbt, BigQuery
Destino GCP: solvento-risk-analytics-prod
Capas (Medallion):
- staging/ — Bronze: transformación inicial de datos raw
- intermediate/ — Silver: lógica de negocio
- marts/core/ — Gold: tablas finales (fact_*, dim_*)
- data_products/ — Productos de riesgo (Solvento Score, DSCR, Customer Classifier…)

Ver documentación de arquitectura →

Dataform

dataform_terminal

GitLab: solventomx/data/dataform_terminal
Local: ~/Desktop/dataform_terminal
Propósito: Proyecto Dataform para procesamiento de datos de Syntage y Carta Porte dentro de solvento-data-prod.
Tecnologías: Dataform, BigQuery, SQLX
Proyecto GCP: solvento-data-prod (dataset: dataform)
Modelos principales:
- syntage_cartaporte.sqlx — Datos de Carta Porte
- syntage_mercancias.sqlx — Mercancías
- syntage_ubicaciones_origen.sqlx / syntage_ubicaciones_destino.sqlx — Ubicaciones de origen y destino

Ver documentación de arquitectura →

dataform_metabase_luzmo

GitLab: solventomx/data/dataform_metabase_luzmo
Propósito: Genera snapshots programados de saldos, límites y pagos para los dashboards embebidos de Metabase Cloud. Permite que los datos de los dashboards se mantengan actualizados mediante ejecución de schedules en Dataform.
Tecnologías: Dataform, BigQuery
Destino GCP: solvento-adv-analytics-prod
Uso: Alimenta los dashboards embebidos en solvento.metabaseapp.com

Ingesta y Procesos

vass-move-kyc

GitLab: solventomx/data/vass-move-kyc
Local: ~/Desktop/vass-move-kyc
Propósito: Servicio Cloud Run que gestiona el movimiento de documentos KYC de clientes desde Google Drive hacia S3, para los lenders BBVA y Lendable (VaaS).
Tecnologías: Python (Flask), Cloud Run, Google Drive API, AWS S3, Pub/Sub
Proyecto GCP: solvento-data-dev

Flujo

LoanPro API → obtiene clientes con custom_field_279 (1=Lendable, 2=BBVA)
    ↓
Pub/Sub (vaas-vault-kyc) → orquesta el procesamiento
    ↓
Google Drive → busca carpeta del cliente por RFC
    ↓
AWS S3 → sube documentos a: expedientes/{lendable|bbva}/{RFC}/

Endpoints principales

Endpoint	Método	Descripción
`/start-vaas-kyc-process`	POST	Obtiene todos los clientes de LoanPro y los envía a Pub/Sub
`/send-kyc-drive-s3`	POST	Procesa mensaje de Pub/Sub: busca documentos en Drive y sube a S3
`/search-vault`	POST/GET	Pull de mensajes de Pub/Sub y reenvío al tópico de procesamiento
`/health`	GET	Health check del servicio

terminal-uploader

GitLab: solventomx/data/terminal-uploader
Local: ~/Desktop/terminal-uploader
Propósito: Pipeline ETL que extrae datos de terminales desde BigQuery (solvento-data-prod) y los carga incrementalmente en Supabase (PostgreSQL) para la aplicación web Solvento Terminal.
Tecnologías: Python, Cloud Run, BigQuery, Supabase
Proyecto GCP: solvento-data-prod

Ver documentación de arquitectura →

Aplicaciones

solvento-terminal

GitHub: oscararzate/solvento-terminal
Local: ~/Desktop/solvento-terminal
Propósito: Aplicación web de visualización de datos de terminales de carga, construida con Lovable. Consume datos desde Supabase (PostgreSQL) que son alimentados por terminal-uploader.
Tecnologías: React, TypeScript, Vite, Supabase, Tailwind CSS
Plataforma: Lovable
Páginas principales: Dashboard (Index), Auth, AdminPanel, Chat

Ver documentación del proyecto Terminal →

Resumen

Repositorio	GitLab / GitHub	Tecnología	Destino
`terraform-gcp-infrastructure`	gitlab: data/gcp	Terraform	GCP Infra (GKE, VPC)
`dbt-etls`	gitlab: data/dbt-etls	dbt	`adv-analytics-prod`
`dbt-analytics`	gitlab: data/dbt-analytics	dbt	`risk-analytics-prod`
`dataform_terminal`	gitlab: data/dataform_terminal	Dataform	`solvento-data-prod`
`dataform_metabase_luzmo`	gitlab: data/dataform_metabase_luzmo	Dataform	`adv-analytics-prod`
`vass-move-kyc`	gitlab: data/vass-move-kyc	Python / Cloud Run	Google Drive → AWS S3
`terminal-uploader`	gitlab: data/terminal-uploader	Python / Cloud Run	BigQuery → Supabase
`solvento-terminal`	github: oscararzate/solvento-terminal	React / TypeScript	App Web