Що таке PySpark?
PySpark - це інтерфейс для Apache Spark в Python. Він не тільки дозволяє писати програми Spark з використанням API Python, але також надає оболонку PySpark для інтерактивного аналізу ваших даних в розподіленому середовищі. PySpark підтримує більшість функцій Spark, таких як Spark SQL, DataFrame, Streaming, MLlib (Machine Learning) і Spark Core.