What is data loading?
Che cos'è il caricamento dei dati?
In data loading, extract transform, and load (ETL) tools move the transformed data from the staging area into the target data warehouse. For most organizations that use ETL, the process is automated, well defined, continual, and batch driven. Two methods for loading data follow.
Full load
In full load, the entire data from the source is transformed and moved to the data warehouse. The full load usually takes place the first time you load data from a source system into the data warehouse.
Incremental load
In incremental load, the ETL tool loads the delta (or difference) between target and source systems at regular intervals. It stores the last extract date so that only records added after this date are loaded. There are two ways to implement incremental load.
Streaming incremental load
If you have small data volumes, you can stream continual changes over data pipelines to the target data warehouse. When the speed of data increases to millions of events per second, you can use event stream processing to monitor and process the data streams to make more-timely decisions.
Batch incremental load
If you have large data volumes, you can collect load data changes into batches periodically. During this set period of time, no actions can happen to either the source or target system as data is synchronized.
Nel caricamento dei dati, gli strumenti di estrazione, trasformazione e caricamento (ETL) trasferiscono i dati trasformati dall'area di staging al data warehouse di destinazione. Per la maggior parte delle organizzazioni che vi ricorrono, si tratta di un processo automatizzato, ben definito, continuo e basato su batch. Di seguito sono descritti due metodi per il caricamento dei dati.
Caricamento completo
Nel caso del caricamento completo, tutti i dati dell'origine vengono trasformati e trasferiti nel data warehouse. In genere il caricamento completo avviene la prima volta che si caricano i dati di un sistema di origine nel data warehouse.
Caricamento incrementale
Nel caso del caricamento incrementale, lo strumento di ETL carica a intervalli regolari il valore delta (o differenza) tra sistemi di destinazione e origine. Il servizio archivia la data dell'ultima estrazione, in modo che vengano caricati soltanto i record aggiunti successivamente a tale data. Esistono due sistemi per implementare il caricamento incrementale.
Caricamento incrementale in streaming
Se si dispone di volumi di dati ridotti, è possibile inviare in streaming modifiche continue al data warehouse di destinazione mediante pipeline di dati. Quando la velocità dei dati sale a milioni di eventi al secondo, si può usare l'elaborazione del flusso di eventi per monitorare ed elaborare i flussi di dati per prendere decisioni più tempestive.
Caricamento incrementale in batch
Se si dispone di volumi di dati di grandi dimensioni, è possibile raccogliere periodicamente le modifiche ai dati di caricamento in batch. Durante tale intervallo di tempo preimpostato, né il sistema di origine né quello di destinazione possono subire interventi, perché i dati sono sincronizzati.