Яка різниця між Spark Streaming і Spark Structured Streaming? Що я повинен використовувати?
Spark Streaming - це попереднє покоління потокового двигуна Spark. Більше немає оновлень для Spark Streaming і це спадковий проект. Spark Streaming забезпечує абстракцію високого рівня під назвою дискретизований потік або DStream, що представляє собою безперервний потік даних. Внутрішньо DStream представлений як послідовність RDD.

Spark Structured Streaming - це поточне покоління потокового двигуна Spark, який більш багатий на функціональність, простіший у використанні і більш масштабований. Spark Structured Streaming побудований на вершині двигуна Spark SQL і дозволяє виражати потокове обчислення так само, як ви виражаєте партійне обчислення на статичних даних.

Ви повинні використовувати Spark Structured Streaming для створення потокових додатків та трубопроводів з Spark. Якщо у вас є спадкоємні програми та трубопроводи, побудовані на Spark Streaming, ви повинні перенести їх на Spark Structured Streaming.