Які основні компоненти Apache Spark засновані на параграфі?
Apache Spark вимагає кластерного менеджера та розподіленої системи зберігання. Для управління кластерами Spark підтримує автономний (національний) кластер Spark, де можна запустити кластер або вручну, або скористатися сценаріями запуску, наданими пакетом установки. Можна також запустити ці даемони на одній машині для тестування), Hadoop YARN, Apache Mesos або Kubernetes. Для розподіленого зберігання Spark може взаємодіяти з широким спектром, включаючи Alluxio, Hadoop Distributed File System (HDFS), MapR File System (MapR-FS), Cassandra, OpenStack Swift, Amazon S3, Kudu, Lustre файлова система, або індивідуальне рішення може бути реалізовано. Spark також підтримує псевдо-розподілений локальний режим, зазвичай використовується тільки для цілей розробки або тестування, де розподілене зберігання не потрібно, а замість цього може бути використана локальна файлова система; в такому сценарії Spark працює на одному комп'ютері з одним виконавцем на ядро процесора.
Виходячи з параграфа, менеджер кластерів і розподілене зберігання є двома основними компонентами Apache Spark. Для менеджера кластерів Spark підтримує автономний кластер, або Hadoop YARN, Apache Mesos або Kubernetes. Для зберігання Spark підтримує локальні файлові системи для розробки та тестування, а також Hadoop File System, Cassandra та хмарні сховища.