Spark StreamingとSpark Structured Streamingの違いは？どちらを使うべきですか？
Spark StreamingはSparkの前世代のストリーミングエンジンだ。Spark Streamingのアップデートはもうなく、レガシーなプロジェクトだ。Spark Streamingは、データの連続ストリームを表す離散化ストリーム（DStream）と呼ばれる高レベルの抽象化を提供する。内部的には、DStreamはRDDのシーケンスとして表現される。

Spark Structured StreamingはSparkの最新世代のストリーミングエンジンで、より豊富な機能を持ち、使いやすく、スケーラブルです。Spark Structured StreamingはSpark SQLエンジンの上に構築されており、静的データに対するバッチ計算と同じ方法でストリーミング計算を表現できます。

Sparkを使用してストリーミングアプリケーションやパイプラインを構築する場合は、Spark Structured Streamingを使用する必要があります。Spark Streamingで構築されたレガシーアプリケーションやパイプラインがある場合は、それらをSpark Structured Streamingに移行する必要があります。