SparkとApache Hadoopの関係は？
Sparkは、Hadoopデータと互換性のある高速かつ汎用的な処理エンジンである。YARNまたはSparkのスタンドアロンモードを通じてHadoopクラスタで実行でき、HDFS、HBase、Cassandra、Hive、およびあらゆるHadoop InputFormatのデータを処理できる。バッチ処理（MapReduceに似ている）と、ストリーミング、対話型クエリー、機械学習などの新しいワークロードの両方を実行するように設計されている。