Che cos'è il caricamento dei dati?
¿Qué es la carga de datos?
Nel caricamento dei dati, gli strumenti di estrazione, trasformazione e caricamento (ETL) trasferiscono i dati trasformati dall'area di staging al data warehouse di destinazione. Per la maggior parte delle organizzazioni che vi ricorrono, si tratta di un processo automatizzato, ben definito, continuo e basato su batch. Di seguito sono descritti due metodi per il caricamento dei dati.
Caricamento completo
Nel caso del caricamento completo, tutti i dati dell'origine vengono trasformati e trasferiti nel data warehouse. In genere il caricamento completo avviene la prima volta che si caricano i dati di un sistema di origine nel data warehouse.
Caricamento incrementale
Nel caso del caricamento incrementale, lo strumento di ETL carica a intervalli regolari il valore delta (o differenza) tra sistemi di destinazione e origine. Il servizio archivia la data dell'ultima estrazione, in modo che vengano caricati soltanto i record aggiunti successivamente a tale data. Esistono due sistemi per implementare il caricamento incrementale.
Caricamento incrementale in streaming
Se si dispone di volumi di dati ridotti, è possibile inviare in streaming modifiche continue al data warehouse di destinazione mediante pipeline di dati. Quando la velocità dei dati sale a milioni di eventi al secondo, si può usare l'elaborazione del flusso di eventi per monitorare ed elaborare i flussi di dati per prendere decisioni più tempestive.
Caricamento incrementale in batch
Se si dispone di volumi di dati di grandi dimensioni, è possibile raccogliere periodicamente le modifiche ai dati di caricamento in batch. Durante tale intervallo di tempo preimpostato, né il sistema di origine né quello di destinazione possono subire interventi, perché i dati sono sincronizzati.
En la carga de datos, las herramientas de extracción, transformación y carga (ETL) mueven los datos transformados desde el área de ensayo al almacenamiento de datos de destino. Para la mayoría de las organizaciones que usan ETL, el proceso está automatizado, bien definido, continuo y por lotes. A continuación se presentan dos métodos para cargar datos:
Carga completa
En LA carga completa, todos los datos de la fuente se transforman y se mueven al almacenamiento de datos. La carga completa suele tener lugar la primera vez que carga datos de un sistema de origen en el almacenamiento de datos.
Carga progresiva
En la carga progresiva, la herramienta ETL carga el delta (o la diferencia) entre los sistemas de origen y destino a intervalos regulares. Almacena la fecha del último extracto para que sólo se carguen los registros agregados después de esta fecha. Hay dos formas de implementar la carga progresiva.
Transmisión de carga progresiva
Si tiene volúmenes de datos pequeños, puede transmitir cambios continuos mediante canales de datos al almacenamiento de datos de destino. Cuando la velocidad de los datos aumenta a millones de eventos por segundo, puede usar el procesamiento de flujo de eventos para monitorear y procesar las secuencias de datos para tomar decisiones más oportunas.
Carga progresiva por lotes
Si tiene grandes volúmenes de datos, puede recopilar cambios de datos de carga en lotes periódicamente. Durante este período de tiempo establecido, no se pueden realizar acciones ni en el sistema de origen ni en el de destino a medida que se sincronizan los datos.