Наскільки великим може бути кластер Spark?
Багато організацій керують Spark на кластерах з тисячами вузлів. Найбільший кластер, який ми знаємо, має 8000 з них. З точки зору розміру даних, Spark показав, що працює добре до петабайт. Він був використаний для сортування 100 ТБ даних в 3 рази швидше, ніж Hadoop MapReduce на 1/10 машини, вигравши 2014 Daytona GraySort Benchmark, а також для сортування 1 PB. Кілька виробничих робочих навантажень використовують Spark для проведення ETL та аналізу даних на PB даних.