Use Flume-ng With SparkStreaming to HDFS

試了好久的東西~總算打通了!!

為了要將利用Flume擁有很多Protocal的優勢與Spark Straming結合~

因此試著將原本皆可以獨立運作的東西串起來。

Use Spark to Count Word And write file to HDFS

話說上一篇安裝Apache Maven 3.2.5 原本是打算自己建置Spark~
後來好像可以不必這樣~
所以就直接下載Pre Built的版本就好了阿~~挖哈哈哈哈哈~

環境背景：
4個VM centOS with Hadoop Avaliability
Spark-1.2.0-bin-hadoop2.3

安裝Apache Maven 3.2.5

為什麼要安裝Apache Maven 3.2.5呢?

這說起來真的話非常長~所以可以發現我把這篇文章Tag了無數個相關項目。

因為KD正要開始研究Big Data Use Spark Streaming~

接下來的發展如下：

Big Data→Hadoop→HDFS→Flume→Spark Streaming→Spark→Maven.........

目標：為了建置Spark 1.2.0 (Building Spark using Maven requires Maven 3.0.4 or newer and Java 6+)

1.取得該安裝檔 Apache Maven

wget http://mirror.olnevhost.net/pub/apache/maven/maven-3/3.2.5/binaries/apache-maven-3.2.5-bin.tar.gz

2.解壓縮

tar xvf apache-maven-3.2.5-bin.tar.gz

3.將解壓縮完的資料夾內容移到/usr/local/apache-maven

mv apache-maven-3.2.5  /usr/local/apache-maven

4.將變數加入~/.bashrc file

export M2_HOME=/usr/local/apache-maven
export M2=$M2_HOME/bin
export PATH=$M2:$PATH

5.執行source ~/.bashrc

source ~/.bashrc

6.確認是否運作正常

mvn -version

參考文章：http://stackoverflow.com/questions/7532928/how-do-i-install-maven-with-yum