本文共 414 字,大约阅读时间需要 1 分钟。
1.工作原理:
(1)Spark Streaming接收到实时数据流(data stream)
(2)Spark Streaming把数据按照指定的时间段切成一片片小的数据块(小批次)
(3)然后Spark Streaming把小的数据块传给Spark Engine处理
(4)Spark Engine处理后,输出处理后的数据(processed result)
1.工作原理:
(1)driver:启动spark应用程序,构建StreamingContext
(2)executor:启动receiver接收器,接收数据
(3)executor:接收input Stream,然后拆分不同block(小块)
(4)executor:receiver将block存储信息发送给StreamingContext
(5)driver:启动job,然后将task提交到对应executor上执行
转载地址:http://mvygi.baihongyu.com/