Google Extension : Rest Web Service Client

因為工作的關係必須要使用到RESTful的傳輸方式~
發現了這個google Extension~
非常好用阿~
Rest Web Service Client 

CentOS 更新Java JDK 版本

終於得開始碰Java~

雖然一開始都是拿Sample Code 所以1.7就夠用了~

但當要自己寫的時候，還是希望用最新的 ^.^

1.查看目前版本~

[training@tiger ~]$ java -version
java version "1.7.0_45"
Java(TM) SE Runtime Environment (build 1.7.0_45-b18)
Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode)

Centos 6.3 安裝中文語系包+新增yum server

若遇到Linux本身不包含中文語系的時候怎麼辦呢~~

就只要安裝中文語系包並且調一下設定值就可以了~

可惜我拿到VM連YUM都沒有很好用~

所以必須先把YUM Server設定好~

1.設定yum server，大家常用的就是義守大學的伺服器 

(檔名自取，我是新增一個名為 cnetos.repo的檔案)

[training@elephant ~]$ sudo vi /etc/yum.repos.d/centos.repo
---------content---------------------------------------
[base]
name=CentOS 6.3 - Base
baseurl=http://ftp.isu.edu.tw/pub/Linux/CentOS/6.6/os/x86_64
enabled=1
gpgcheck=1
gpgkey=http://ftp.isu.edu.tw/pub/Linux/CentOS/RPM-GPG-KEY-CentOS-6

[updates]
name=CentOS 6.3 - Updates
baseurl=http://ftp.isu.edu.tw/pub/Linux/CentOS/6.6/updates/x86_64
enabled=1
gpgcheck=1
gpgkey=http://ftp.isu.edu.tw/pub/Linux/CentOS/RPM-GPG-KEY-CentOS-6

至於為什麼要用6.6因為實際上的路徑就是那邊~
所以必須直接點進去看看喔~^^

2.安裝中文

[training@elephant ~]$ sudo yum groupinstall "Chinese Support" -y

3.修改設定檔(據說如果沒有i18n這個檔案就自己新增??!!!)

[training@elephant ~]$ sudo vi /etc/sysconfig/i18n
-----------------content---------------------------
#LANG="en_US.UTF-8"
LANG="zh_CN.UTF-8"
SUPPORTED= "zh_CN.UTF-8:zh_CN:zh:en_US.UTF-8:en_US:en:ja_JP.UTF-8:ja_JP:zh"
SYSFONT="latarcyrheb-sun16"

4.重開機~~~~~~~~~~~~就可以了喔!

Use Flume-ng With SparkStreaming to HDFS

試了好久的東西~總算打通了!!

為了要將利用Flume擁有很多Protocal的優勢與Spark Straming結合~

因此試著將原本皆可以獨立運作的東西串起來。

Use Spark to Count Word And write file to HDFS

話說上一篇安裝Apache Maven 3.2.5 原本是打算自己建置Spark~
後來好像可以不必這樣~
所以就直接下載Pre Built的版本就好了阿~~挖哈哈哈哈哈~

環境背景：
4個VM centOS with Hadoop Avaliability
Spark-1.2.0-bin-hadoop2.3

安裝Apache Maven 3.2.5

為什麼要安裝Apache Maven 3.2.5呢?

這說起來真的話非常長~所以可以發現我把這篇文章Tag了無數個相關項目。

因為KD正要開始研究Big Data Use Spark Streaming~

接下來的發展如下：

Big Data→Hadoop→HDFS→Flume→Spark Streaming→Spark→Maven.........

目標：為了建置Spark 1.2.0 (Building Spark using Maven requires Maven 3.0.4 or newer and Java 6+)

1.取得該安裝檔 Apache Maven

wget http://mirror.olnevhost.net/pub/apache/maven/maven-3/3.2.5/binaries/apache-maven-3.2.5-bin.tar.gz

2.解壓縮

tar xvf apache-maven-3.2.5-bin.tar.gz

3.將解壓縮完的資料夾內容移到/usr/local/apache-maven

mv apache-maven-3.2.5  /usr/local/apache-maven

4.將變數加入~/.bashrc file

export M2_HOME=/usr/local/apache-maven
export M2=$M2_HOME/bin
export PATH=$M2:$PATH

5.執行source ~/.bashrc

source ~/.bashrc

6.確認是否運作正常

mvn -version

參考文章：http://stackoverflow.com/questions/7532928/how-do-i-install-maven-with-yum

簡易IPCChannel 實作

Inter Process communication 指的是同一台電腦底下不同Process之間的溝通機制，
參考wiki-IPC可以發現，實現的方式有非常多種。
而在不同的程式語言基礎下，
各家提供的實作方式也都不太一樣。
Windows C#提供了一個蠻簡易的類別可以使用，
叫做IPCChannel，
沒錯!!就是這麼的直覺= = ，
其實他是直接組合了將兩個類別，
IpcClientChannel 和 IpcServerChannel 組合在一起。
參考MSDN: IPCChannel
以下是將程式碼簡化到最簡~
做出最簡易的程式碼。