DNET_SparkStreaming

Spark Streaming

• 戻る
  • Apache Spark
  • ストリーム処理
    • Hadoop Streaming
    • Spark Streaming
    • Apache Storm

概要

• ビッグデータのストリーム処理のプロダクト
• Apache Sparkのストリーム処理コンポーネント

詳細

• リアルタイム ストリーミング
• マイクロ・バッチ処理とも呼ばれる。
• 分散処理型でないストリーム型のデータ並列計算を実行
• 配信保証は安全なデータソースに依存

ストリーム型のデータ並列計算

• 属性の選択やフィルタ
• エンリッチメント
• リアルタイム・ウィンドウ集約処理
  到着時刻に基づき、ウィンドウ・スライディング幅で集約する。

安全なデータソース

※ 出力先は、データ・ストレージ、RDB、NoSQL、ダッシュボード等。

ストリーム系データソース

分散処理の該当節を参照。

• Apache Kafka
• Apache Flume
• Amazon Kinesis

データ・ストレージ

• Hadoop Distributed File System (HDFS)（Hadoopの該当節を参照）
• Amazon S3などのクラウド・ストレージ・サービス

その他

• Twitter
• , etc.

Spark Structured Streaming

• Spark Streaming (DStreams) は
  Spark Structured Streamingに置き換えられる。

• 将来的には、

  • Spark Structured Streamingのみ、拡張機能やメンテナンスを受ける。
  • 従って、Spark Streaming (DStreams)はメンテナンス モードのみになる。

参考

• Spark Streamingの概要と検証シナリオ | Think IT（シンクイット）
  https://thinkit.co.jp/article/9958

• Apache Storm vs Spark Streaming - Ericsson
  https://www.ericsson.com/en/blog/2015/7/apache-storm-vs-spark-streaming

• Spark Streaming vs. Structured Streaming - DZone Big Data
  https://dzone.com/articles/spark-streaming-vs-structured-streaming

移行メモ

• 「ストリーム型のデータ並列計算」配下の「属性の選択やフィルタ」 「エンリッチメント」は本文の無い見出しだったため、箇条書きにまとめた。

---

Tags: 移行, Spark Streaming, Apache Spark, ストリーム処理, DStreams, マイクロ・バッチ, ビッグデータ