Nel 2004, Google ha pubblicato un documento su un processo chiamato MapReduce che utilizza un'architettura simile. Il concetto di MapReduce fornisce un modello di elaborazione parallela, e un'implementazione associata è stata rilasciata per elaborare enormi quantità di dati. Con MapReduce, le query sono divise e distribuite su nodi paralleli e elaborate in parallelo (la fase Map). I risultati vengono poi raccolti e consegnati (la fase Reduce). Il framework ha avuto molto successo, quindi altri hanno voluto replicare l'algoritmo. Pertanto, un'implementazione del framework MapReduce è stata adottata da un progetto open source Apache chiamato Hadoop. Apache Spark è stato sviluppato nel 2012 in risposta ai limiti del paradigma MapReduce, in quanto aggiunge la possibilità di impostare molte operazioni di mappa (non solo riducendo i dati). Domanda: Qual era l'idea per migliorare il nuovo processo di elaborazione dei dati?
modello di elaborazione parallela