Skip to content

Procesos de datos

Entra por lo que ves —tabla, dashboard, campo del frontend— y sigue el linaje hasta la fuente y la lógica.

Pregunta típica: "En el frontend muestro la facturación del cliente. ¿De dónde sale ese dato y dónde está la lógica?" → busca en la tabla de abajo, abre la ficha y recorre el linaje hacia atrás.

"Veo esto → empieza acá" (consumo → proceso)

Lo que ves / la tabla que lees Proceso Dónde está la lógica
Tarifa / precio por km / pricing de lanes de flete · terminal_v3.datarelease_* Terminal v3 repo terminal (releases/<fecha>/sql/) ← dbt-analytics
Tarifas de lanes en el front de la app (o "Terminal muestra un mes viejo") Terminal v3 → Consumo desde la app Cards de Metabase vía solvento-api; el ID por ambiente está en flux/app-config
Tipo de cambio / conversión a MXN · analiticas.exchange_rates Banxico Scraper Cloud Run banxico-scraper (código local)
Precio de diésel · analiticas.precios_diesel Diesel Price Scraper Cloud Run diesel-price-scraper (código local)
❌ Facturación del cliente · terminal.client_dbt (dbt-etls) ELIMINADO el 2026-09-11 — ver Apagado Terminal → Supabase los modelos ya no existen; el cálculo vivo de Terminal es Terminal v3
Montos/totales de facturas en análisis · consistency_jobs.invoices Syntage · Invoices dbt-etls → models/advanced_analytics/invoices.sql
Carta porte / mercancías / origen-destino en el Terminal Syntage · Cartas Porte dbt-analytics → models/staging/carta_porte/ → analytics_engineering_intermediate.int_carta_porte
Score / historial de buró en análisis de riesgo · buro.buro_* Syntage · Buró dbt-analytics → models/staging/syntage/stg_syntage__buro_*
Estatus / opinión de cumplimiento fiscal · tax_compliance_body Syntage · Tax Compliance dbt-analytics → models/staging/syntage/
Resultado de verificación de antecedentes · background_checks Syntage · Background Checks Ingesta (modelos dbt (confirmar))
Facturación / ingresos por cliente · insights.sales_revenue_customers_daily_staging Syntage · Insights Sales Cloud Run insights-publisher-staging → Dataflow
Intereses moratorios por entidad/mes/institución · consistency_jobs.moratory_interest Syntage · Insights Moratorios dbt-etls → models/advanced_analytics/moratory_interest.sql
Datos de KYC de un cliente: CSF, acta y actos del Registro Público, socios y accionistas · syntage.tax_status, syntage.rpc_*, syntage.shareholders Syntage · KYC Cloud Run syntage-kyc-extractor-prod (MERGE, sin dbt)
Documentos KYC de un cliente en Drive (estado de cuenta, INE, asamblea, poder, comprobantes), una carpeta por RFC KYC · Documentos a Drive repo kyc-drive-sync → Cloud Run kyc-drive-sync-prod
Mapeo rfc → entity_id / credential_status · syntage.entities Syntage · Entities Sync Cloud Run syntage-entities-sync (MERGE)
Estado diario de credencial CIEC por RFC · syntage.daily_credential_status Syntage · CIEC Status Cloud Run syntage-ciec-extraction-status
Reporte de consistencia de invoices · report.invoices_consistency_report_90 Syntage · Consistencia Cloud Run consistencia-elk-bq-syntage
Comprobante de pago (receipt URL) en un loan de LoanPro Shinkansen · LoanPro CEP shinkansen-loandpro-cep-process (servicio, no dbt)
Tabla shinkansen.shinkansen_metadata Shinkansen · Payout Metadata Ingesta webhook → Dataflow
Tabla shinkansen.shinkansen_payout_results Shinkansen · Payout Results Ingesta webhook → Dataflow
Tabla shinkansen.shinkansen_treasury Shinkansen · Treasury API Shinkansen → Dataflow
Dispersiones de Shinkansen actualizadas (montos, estado, errores) · shinkansen_payouts_unificado Shinkansen · Payouts unificado VIEW que une webhook + API treasury (sin repo, pendiente dbt)
Transacciones / payouts de Toku · toku.transaction · .settlement Toku · Eventos toku-write-bigquery (insert directo)
Usuarios de Keycloak · keycloack_users Keycloak · Ingest Cloud Run keycloack-ingest (MERGE)
Logins / sesiones de Keycloak · keycloack_events Keycloak · Ingest Cloud Run keycloack-ingest /extract-events (MERGE por event_id, SOL-477)
Inventario / uso de dashboards · metabase_metadata.* Metabase · Extractor Cloud Run metabase-extractor (MERGE)
Expedientes KYC en S3 VAAS · Move KYC Cloud Run vass-move-kyc (Drive → S3)
Datos de CFDIs · svc_master_public.xml_data CFDIs XML Cloud Run bucket-xml-parser-prod
Oportunidades / funnel comercial del CRM · lightfield.lightfield_opportunities Airbyte · Lightfield Airbyte (conector custom) → dbt-etls (models/advanced_analytics/lightfield/)
Embudo / funnel de ventas comercial histórico · hubspot.* (en reemplazo por Lightfield) Airbyte · Hubspot dbt-analytics → models/staging/hubspot/
Dashboards operativos del producto · svc_master_public.* Airbyte · svc_master Metabase lee directo del RAW (SQL en la pregunta)
Préstamos / pagos del core · datastream_loanpro.* Datastream · Loanpro dbt-analytics → models/staging/loanpro/, marts/core/loanpro/
Tarifas/quoting o dashboards embebidos dentro de la app (qué question/dashboard usa el front) Consumo desde la app (Metabase) solvento-api (data-access + integrations) → Metabase
Contactos que llama el agente de cobranza de Adela · elevenlabs.contactos_cobranza Contactos Cobranza Adela Cloud Run contactos-adela-sheets-etl (transform.py)
Conversaciones/llamadas del agente de cobranza (promesa de pago, transcript) · elevenlabs.stg_elevenlabs_* ElevenLabs · Cobranza Cloud Run elevenlabs-extractor → dbt-etls (models/advanced_analytics/elevenlabs/)
Envíos de email / WhatsApp por día y template (open rate, read rate, entregas) · messaging.messaging_daily Mensajería · Envíos Cloud Run sendgrid-extractor + bird-extractor → dbt-etls (models/advanced_analytics/{sendgrid,bird,messaging}/)
"¿Por qué este número es así?" / una métrica o monto raro Capa dbt · Transformación Buscar el modelo por ref/source en dbt-etls / dbt-analytics

Catálogo por familia

Syntage

Proceso Origen RAW / salida Frecuencia Criticidad
Invoices Webhook syntage.invoices Streaming 🔴 Alta
Cartas Porte Webhook (complemento CCP) syntage.cp_* Streaming 🟡 Media
Entities Sync API /entities syntage.entities Diaria 🟡 Media
CIEC Status API /credentials + eventos syntage.daily_credential_status Por evento (confirmar) 🟢 Baja
Buró Webhook buro.buro_* (24 tablas) Streaming 🟡 Media
Tax Compliance Webhook syntage.tax_compliance_* Streaming 🟡 Media
Background Checks Webhook syntage.background_checks* Streaming 🟡 Media
Insights · Sales API insights.sales_revenue_customers_daily_staging Diaria + webhook 🟡 Media
Insights · Moratorios API syntage.moratory_interest Diaria 🟡 Media
KYC (CSF, RPC, accionistas) API /extractions + tax-status, RPC, shareholders syntage.tax_status, syntage.rpc_*, syntage.shareholders Diaria 5:45 MX 🟡 Media
Consistencia ELK + BQ + API report.invoices_consistency_report_90 Cada hora / diaria 🟢 Baja

Shinkansen

Proceso Origen RAW / salida Frecuencia Criticidad
Payout Metadata Webhook shinkansen.shinkansen_metadata Streaming 🟡 Media
Payout Results Webhook shinkansen.shinkansen_payout_results Streaming 🟡 Media
Treasury API shinkansen.shinkansen_treasury Diaria 🟡 Media
Payouts unificado metadata + results + treasury shinkansen.shinkansen_payouts_unificado (VIEW) ~Diaria 🟡 Media
LoanPro CEP Webhook → LoanPro (writeback a la app) Streaming 🟡 Media

Otras fuentes

Proceso Origen RAW / salida Frecuencia Criticidad
Toku · Eventos Webhooks Toku toku.* Streaming 🟢 Baja
Keycloak · Ingest API Keycloak keycloack_users · keycloack_events Diaria 2:00 / 3:00 MX 🟢 Baja
Metabase · Extractor API Metabase metabase_metadata.* Agendada (confirmar) 🟢 Baja
KYC · Documentos a Drive Bucket GCS del backoffice + entities_kyc Drive (carpeta por RFC) + índice por archivo Diaria 7:00 MX 🟡 Media
VAAS · Move KYC LoanPro + Drive AWS S3 (expedientes) Bajo demanda (confirmar) 🟢 Baja
CFDIs XML Bucket GCS svc_master_public.xml_data Por evento + Airbyte 🟡 Media
Banxico Scraper Banxico analiticas.exchange_rates Diaria 0 5 🟡 Media
Diesel Price Scraper Fuente pública analiticas.precios_diesel 2×/día 🟢 Baja
Contactos Cobranza Adela Google Sheet (CuSu) elevenlabs.contactos_cobranza 3x/dia 0 8,13,18 (MX) 🟡 Media
ElevenLabs · Cobranza ElevenLabs Convai API elevenlabs.conversations_detail → stg_elevenlabs_* Diaria (webhook pendiente) 🟡 Media
Mensajería · Envíos SendGrid API v3 + Bird Conversations API sendgrid.* / bird.* → messaging.messaging_daily Diaria 0 7 y 30 7 (MX) 🟡 Media

Productos de datos

Proceso Origen Salida Frecuencia Criticidad
Terminal v3 dbt-analytics + diesel solvento-risk-analytics-prod.terminal_v3.datarelease_* Manual (re-run idempotente; sin scheduler) 🟡 Media

Servicios gestionados (sin repo)

Proceso Origen RAW Frecuencia Criticidad
Airbyte · Lightfield Lightfield (conector custom) lightfield.* → adv-analytics.lightfield.* Airbyte cada 6 h + dbt-etls diario 🟢 Baja
Airbyte · Hubspot (en reemplazo por Lightfield) Hubspot hubspot.* ~30 min 🟢 Baja
Airbyte · svc_master PostgreSQL (vulture) svc_master_public.* ~20 min 🔴 Alta
Datastream · Loanpro RDS MySQL (CDC) datastream_loanpro.* CDC continuo 🟡 Media

Transversal e infraestructura

Página Qué es
Capa dbt Dónde vive la lógica de negocio (dbt-etls + dbt-analytics)
Consumo desde la app Qué questions/dashboards de Metabase usa el frontend
Cloud Schedulers Qué proceso corre y a qué hora (cron de todos los jobs)
Dashboard "Data Processes" Monitoreo: la fuente para saber si un proceso falló
Templates Dataflow Sistema de despliegue de los jobs de Dataflow
Dataform — Metabase/Luzmo Proyecto Dataform → dataset dashboards
Apagado Terminal → Supabase Decomiso del MVP de Terminal sobre Supabase/Lovable (2026-09-11): qué se borró y qué queda

Cómo crear / mantener una ficha

Copia _plantilla-proceso.md. Llena el frontmatter primero (lo lee el agente) y luego el cuerpo. Reglas: nombres de recursos exactos, distinguir ingesta (mueve datos) de lógica (dbt), y siempre apuntar al archivo de modelo + repo donde vive la lógica. Si un dato no se pudo verificar, déjalo marcado como (confirmar).