Use Flume-ng With SparkStreaming to HDFS

試了好久的東西~總算打通了!!

為了要將利用Flume擁有很多Protocal的優勢與Spark Straming結合~

因此試著將原本皆可以獨立運作的東西串起來。

Use Spark to Count Word And write file to HDFS

話說上一篇安裝Apache Maven 3.2.5 原本是打算自己建置Spark~
後來好像可以不必這樣~
所以就直接下載Pre Built的版本就好了阿~~挖哈哈哈哈哈~

環境背景：
4個VM centOS with Hadoop Avaliability
Spark-1.2.0-bin-hadoop2.3