2015年1月28日 星期三

Centos 6.3 安裝中文語系包+新增yum server

若遇到Linux本身不包含中文語系的時候怎麼辦呢~~
就只要安裝中文語系包並且調一下設定值就可以了~
可惜我拿到VM連YUM都沒有很好用~
所以必須先把YUM Server設定好~

1.設定yum server,大家常用的就是義守大學的伺服器 
(檔名自取,我是新增一個名為 cnetos.repo的檔案)
[training@elephant ~]$ sudo vi /etc/yum.repos.d/centos.repo
---------content---------------------------------------
[base]
name=CentOS 6.3 - Base
baseurl=http://ftp.isu.edu.tw/pub/Linux/CentOS/6.6/os/x86_64
enabled=1
gpgcheck=1
gpgkey=http://ftp.isu.edu.tw/pub/Linux/CentOS/RPM-GPG-KEY-CentOS-6

[updates]
name=CentOS 6.3 - Updates
baseurl=http://ftp.isu.edu.tw/pub/Linux/CentOS/6.6/updates/x86_64
enabled=1
gpgcheck=1
gpgkey=http://ftp.isu.edu.tw/pub/Linux/CentOS/RPM-GPG-KEY-CentOS-6

至於為什麼要用6.6因為實際上的路徑就是那邊~
所以必須直接點進去看看喔~^^
2.安裝中文
[training@elephant ~]$ sudo yum groupinstall "Chinese Support" -y
3.修改設定檔(據說如果沒有i18n這個檔案就自己新增??!!!)
[training@elephant ~]$ sudo vi /etc/sysconfig/i18n
-----------------content---------------------------
#LANG="en_US.UTF-8"
LANG="zh_CN.UTF-8"
SUPPORTED= "zh_CN.UTF-8:zh_CN:zh:en_US.UTF-8:en_US:en:ja_JP.UTF-8:ja_JP:zh"
SYSFONT="latarcyrheb-sun16"
4.重開機~~~~~~~~~~~~就可以了喔!

2015年1月26日 星期一

Use Flume-ng With SparkStreaming to HDFS

試了好久的東西~總算打通了!!
為了要將利用Flume擁有很多Protocal的優勢與Spark Straming結合~
因此試著將原本皆可以獨立運作的東西串起來。

2015年1月16日 星期五

Use Spark to Count Word And write file to HDFS

話說上一篇安裝Apache Maven 3.2.5 原本是打算自己建置Spark~
後來好像可以不必這樣~
所以就直接下載Pre Built的版本就好了阿~~挖哈哈哈哈哈~

環境背景:
4個VM centOS with Hadoop Avaliability
Spark-1.2.0-bin-hadoop2.3

2015年1月15日 星期四

安裝Apache Maven 3.2.5

為什麼要安裝Apache Maven 3.2.5呢?
這說起來真的話非常長~所以可以發現我把這篇文章Tag了無數個相關項目。
因為KD正要開始研究Big Data Use Spark Streaming~
接下來的發展如下:
Big Data→Hadoop→HDFS→Flume→Spark Streaming→Spark→Maven.........

目標:為了建置Spark 1.2.0 (Building Spark using Maven requires Maven 3.0.4 or newer and Java 6+)
1.取得該安裝檔 Apache Maven
wget http://mirror.olnevhost.net/pub/apache/maven/maven-3/3.2.5/binaries/apache-maven-3.2.5-bin.tar.gz

2.解壓縮
tar xvf apache-maven-3.2.5-bin.tar.gz

3.將解壓縮完的資料夾內容移到/usr/local/apache-maven
mv apache-maven-3.2.5  /usr/local/apache-maven

4.將變數加入~/.bashrc file
export M2_HOME=/usr/local/apache-maven
export M2=$M2_HOME/bin
export PATH=$M2:$PATH

5.執行source ~/.bashrc
source ~/.bashrc

6.確認是否運作正常
mvn -version

參考文章:http://stackoverflow.com/questions/7532928/how-do-i-install-maven-with-yum