Apache Beam
Apache Beam  — унифицированная модель программирования с открытым кодом, созданная для описания и выполнения конвейров обработки данных, предназначенных для таких процессов, как ETL, а также для пакетной и многопоточной обработки данных. Конвейры Beam создаются с помощью одного из представленных комплектов для разработки программного обеспечения и выполняются одним из поддерживаемых Beam “исполнителей”, в состав которых входят Apache Flink, Apache Samza, Apache Spark и Google Cloud Dataflow.

История  
Apache Beam является одной из реализаций модели потока данных Dataflow компании Google. Она основана на предыдущей работе компании Google связанной с абстракциями распределенных вычислений, в частности на FlumeJava и Millwheel. 
  
В 2014 году компания Google выпустила реализацию модели Dataflow в виде комплекта для разработки программного обеспечения с открытым исходным кодом, а также распределенную (в виде одного из сервисов "Oблачной платформы Google") и локальную (не распределенную) среды выполнения.

Хронология  
  
Второстепенные релизы Apache Beam выходят раз в 6 недель.

Ссылки  
 

 
Проекты Apache