2004 年,Google 發表一篇關於一個叫做 MapReduce 的過程的論文,它使用類似的架構.MapReduce 概念提供一個並列處理模型,並發佈了一個相關的實現,以處理大量數據.在 MapReduce 中,查詢被分割並分布在並列節點並並並列處理 (Map 步).結果之後被收集並交付 (Reduce 步).框架非常成功,所以其他人想複製算法.因此,MapReduce 框架的實現被 Apache 開源項目 Hadoop 採用.Apache Spark 於 2012 年為回應 MapReduce 范式的限制而開發,因為它增加了設定許多地圖操作的能力 (而不僅僅是透過減少).問題:改進新數據處理的想法是什麼?
兼程處理模型