Skip to content

Almacenamiento de Datos

Esta sección documenta las estrategias, estructuras y políticas de almacenamiento de datos en la arquitectura de Solvento.

Overview

El almacenamiento de datos abarca desde el almacenamiento temporal (staging) hasta el almacenamiento a largo plazo, incluyendo data lakes, data warehouses y estrategias de archivado.

Componentes de Almacenamiento

Data Lake

Almacenamiento de datos en su formato raw y procesado.

Documentación en desarrollo

Data Warehouse

Almacenamiento estructurado para análisis y consultas.

Documentación en desarrollo

Staging Areas

Áreas temporales para datos en proceso.

Documentación en desarrollo

Archivado

Estrategias de archivado y retención a largo plazo.

Documentación en desarrollo

Replicación y Backup

Estrategias de replicación y backup de datos.

Documentación en desarrollo

Arquitectura de Almacenamiento

graph TB
    subgraph raw["Raw Data Layer"]
        RawStorage[Cloud Storage Raw]
        RawBQ[BigQuery Raw]
    end

    subgraph staging["Staging Layer"]
        StagingStorage[Cloud Storage Staging]
        StagingBQ[BigQuery Staging]
    end

    subgraph processed["Processed Layer"]
        ProcessedStorage[Cloud Storage Processed]
        ProcessedBQ[BigQuery Processed]
    end

    subgraph curated["Curated Layer"]
        CuratedBQ[BigQuery Curated]
        Views[Views y Vistas]
    end

    subgraph archive["Archive Layer"]
        ArchiveStorage[Cloud Storage Archive]
        Coldline[Coldline Storage]
    end

    RawStorage --> StagingStorage
    RawBQ --> StagingBQ
    StagingStorage --> ProcessedStorage
    StagingBQ --> ProcessedBQ
    ProcessedStorage --> CuratedBQ
    ProcessedBQ --> CuratedBQ
    CuratedBQ --> Views
    ProcessedStorage --> ArchiveStorage
    ArchiveStorage --> Coldline

Estrategias de Almacenamiento

Data Lake Architecture

  • Raw Zone: Datos sin procesar, formato original
  • Processed Zone: Datos transformados y validados
  • Curated Zone: Datos listos para consumo analítico

Data Warehouse

  • Staging Tables: Tablas temporales para carga
  • Fact Tables: Tablas de hechos para análisis
  • Dimension Tables: Tablas de dimensiones
  • Aggregate Tables: Tablas agregadas para performance

Políticas de Retención

  • Hot Data: Acceso frecuente, almacenamiento costoso
  • Warm Data: Acceso ocasional, almacenamiento balanceado
  • Cold Data: Acceso raro, almacenamiento económico
  • Archive Data: Acceso muy raro, almacenamiento muy económico

Próximos Pasos

Esta sección se completará con: - Estructura detallada del data lake - Esquemas de data warehouse - Políticas de particionamiento y clustering - Estrategias de archivado - Políticas de retención por tipo de dato - Costos y optimización

Sección en desarrollo - Próximamente