Plantilla para Documentar Recursos
Esta es una plantilla de referencia para documentar recursos específicos en las páginas de consumo.
Formato para Documentar Recursos
Ejemplo: BigQuery Dataset
#### Dataset: `nombre-dataset`
- **Proyecto**: `solvento-data-prod`
- **Descripción**: Descripción del propósito del dataset
- **Ubicación**: `us-central1`
- **Tablas principales**:
- `tabla1`: Descripción de la tabla
- `tabla2`: Descripción de la tabla
- **Vistas principales**:
- `vista1`: Descripción de la vista
- **Frecuencia de actualización**: Diaria/Semanal/En tiempo real
- **Retención**: Política de retención de datos
Ejemplo: Pub/Sub Topic
#### Topic: `nombre-topic`
- **Proyecto**: `solvento-data-prod`
- **Descripción**: Descripción del propósito del topic
- **Formato de mensaje**: JSON/Schema
- **Publishers**:
- Componente que publica
- **Subscriptions**:
- `subscription-1`: Descripción
- `subscription-2`: Descripción
- **Retención**: 7 días (default)
- **Message ordering**: Habilitado/Deshabilitado
Ejemplo: Cloud Storage Bucket
#### Bucket: `nombre-bucket`
- **Proyecto**: `solvento-data-prod`
- **Descripción**: Descripción del propósito del bucket
- **Clase de almacenamiento**: Standard/Nearline/Coldline/Archive
- **Ubicación**: `us-central1`
- **Estructura**:
```
bucket/
├── raw/ # Datos sin procesar
├── processed/ # Datos procesados
└── archive/ # Datos archivados
```
- **Lifecycle policies**: Descripción de políticas
- **Accesos**: IAM roles y permisos
Ejemplo: Dataflow Pipeline
#### Pipeline: `nombre-pipeline`
- **Tipo**: Batch/Streaming
- **Proyecto**: `solvento-data-prod`
- **Descripción**: Descripción del propósito del pipeline
- **Fuentes**:
- Pub/Sub topic: `topic-name`
- Cloud Storage: `gs://bucket/path`
- **Destinos**:
- BigQuery: `project:dataset.table`
- **Frecuencia**: Diaria/Continuo
- **Recursos**: Machine type, max workers
- **Scheduling**: Cloud Composer/Cloud Scheduler
Ejemplo: Cloud Function
#### Function: `nombre-function`
- **Trigger**: Pub/Sub/HTTP/Cloud Storage
- **Runtime**: Python 3.9/Node.js 18
- **Descripción**: Descripción del propósito de la función
- **Entrada**: Descripción de datos de entrada
- **Salida**: Descripción de datos de salida
- **Destinos**:
- BigQuery: `project:dataset.table`
- Pub/Sub: `topic-name`
- **Timeout**: 60s
- **Memory**: 256MB
Ejemplo: Cloud Run Service
#### Service: `nombre-service`
- **Imagen**: `gcr.io/project/image:tag`
- **Descripción**: Descripción del propósito del servicio
- **Trigger**: HTTP/Pub/Sub
- **Endpoints**:
- `/endpoint1`: Descripción
- `/endpoint2`: Descripción
- **Recursos**: CPU, Memory, Concurrency
- **Scaling**: Min/Max instances
- **Destinos**:
- BigQuery: `project:dataset.table`
Ejemplo: API Externa
#### API: `nombre-api`
- **URL Base**: `https://api.example.com`
- **Tipo de autenticación**: API Key/OAuth 2.0/Bearer Token
- **Descripción**: Descripción de la API y su propósito
- **Endpoints consumidos**:
- `GET /endpoint1`: Descripción
- `POST /endpoint2`: Descripción
- **Frecuencia de consumo**: Diaria/En tiempo real
- **Rate limits**: Límites de rate
- **Componente consumidor**: Cloud Functions/Cloud Run/Dataflow
Ejemplo: Webhook
#### Webhook: `nombre-webhook`
- **URL**: `https://service.run.app/webhook/endpoint`
- **Sistema origen**: Nombre del sistema externo
- **Método**: POST
- **Autenticación**: HMAC Signature/API Key
- **Formato de payload**: JSON
- **Descripción**: Descripción del propósito del webhook
- **Procesamiento**: Cloud Functions/Cloud Run
- **Destinos**:
- Pub/Sub: `topic-name`
- BigQuery: `project:dataset.table`
Ejemplo: Matia Ingesta
#### Ingesta: `nombre-ingesta`
- **Fuente**: Tipo de fuente (API, Database, File)
- **Descripción**: Descripción del propósito de la ingesta
- **Frecuencia**: Diaria/Semanal/En tiempo real
- **Transformaciones**: Lista de transformaciones aplicadas
- **Validaciones**: Reglas de validación
- **Destinos**:
- BigQuery: `project:dataset.table`
- Cloud Storage: `gs://bucket/path`
- **Scheduling**: Frecuencia y horario
Notas
- Reemplaza los valores de ejemplo con información real
- Mantén un formato consistente en todas las páginas
- Agrega enlaces a documentación adicional cuando sea relevante
- Incluye métricas y monitoreo cuando esté disponible