What is data extraction?
Che cos'è l'estrazione di dati?
In data extraction, extract, transform, and load (ETL) tools extract or copy raw data from multiple sources and store it in a staging area. A staging area (or landing zone) is an intermediate storage area for temporarily storing extracted data. Data staging areas are often transient, meaning their contents are erased after data extraction is complete. However, the staging area might also retain a data archive for troubleshooting purposes.
How frequently the system sends data from the data source to the target data store depends on the underlying change data capture mechanism. Data extraction commonly happens in one of the three following ways.
Update notification
In update notification, the source system notifies you when a data record changes. You can then run the extraction process for that change. Most databases and web applications provide update mechanisms to support this data integration method.
Incremental extraction
Some data sources can't provide update notifications but can identify and extract data that has been modified over a given time period. In this case, the system checks for changes at periodic intervals, such as once a week, once a month, or at the end of a campaign. You only need to extract data that has changed.
Full extraction
Some systems can't identify data changes or give notifications, so reloading all data is the only option. This extraction method requires you to keep a copy of the last extract to check which records are new. Because this approach involves high data transfer volumes, we recommend you use it only for small tables.
Nell'estrazione dei dati, gli strumenti di estrazione, trasformazione e caricamento (ETL) estraggono o copiano dati non elaborati provenienti da più origini e li archiviano in un'area di staging. L'area di staging (o zona di destinazione) è un'area di archiviazione intermedia per archiviare in via temporanea i dati estratti. Le aree di staging dei dati sono speso transitorie, vale a dire che i loro contenuti vengono cancellati una volta completata l'estrazione. Tuttavia, l'area di staging potrebbe anche mantenere un archivio di dati a fini di risoluzione dei problemi.
La frequenza con cui il sistema invia dati dall'origine all'archivio dati di destinazione dipende dal meccanismo di acquisizione dei dati di modifica sottostante. L'estrazione dei dati generalmente avviene in uno dei tre modi seguenti.
Notifica di aggiornamento
Nella notifica di aggiornamento, il sistema di origine invia una notifica quando un record di dati viene modificato. Successivamente è possibile eseguire il processo di estrazione per tale modifica. La maggior parte dei database e delle applicazioni Web offre meccanismi di aggiornamento per supportare questo metodo di integrazione dei dati.
Estrazione incrementale
Alcune origini dei dati non forniscono notifiche di aggiornamento, ma possono individuare ed estrarre i dati che sono stati modificati in un determinato periodo di tempo. In tal caso, il sistema verifica la presenza di modifiche a intervalli regolari, ad esempio una volta a settimana, una volta al mese o al termine di una campagna. È necessario estrarre soltanto i dati modificati.
Estrazione completa
Alcuni sistemi non sono in grado di individuare le modifiche ai dati o di inviare notifiche, pertanto ricaricare tutti i dati è l'unica soluzione. Questo metodo di estrazione richiede di conservare una copia dell'ultima estrazione per verificare quali sono i record nuovi. Poiché tale approccio prevede volumi di trasferimento dati elevati, consigliamo di usarlo solo per tabelle di piccole dimensioni.