Add Microsoft SQL JDBC driver to Maven

參考：

1.Add Microsoft SQL JDBC driver to Maven

2.安裝Maven (Step by Step ~)

3.java環境變數設定方式

起因：

因為使用Eclipse開發Java Program，希望能採用現在比較主流的Maven控管所有的Dependency檔。

但是MSSQL JDBC是少數不直接支援的。

Use PSCP Cpoy file to Linux

Use PSCP Cpoy file to Linux

As title , I want to copy files from windows to Linux by ssh protocol.

reference: http://libai.math.ncu.edu.tw/bcc16/6/putty/pscp.html

Step 1 : Download PSCP.exe

Step 2 : Use windows cmd and move to the location PSCP exist

Step 3: Send file to the target computer

Google Extension : Rest Web Service Client

因為工作的關係必須要使用到RESTful的傳輸方式~
發現了這個google Extension~
非常好用阿~
Rest Web Service Client 

CentOS 更新Java JDK 版本

終於得開始碰Java~

雖然一開始都是拿Sample Code 所以1.7就夠用了~

但當要自己寫的時候，還是希望用最新的 ^.^

1.查看目前版本~

[training@tiger ~]$ java -version
java version "1.7.0_45"
Java(TM) SE Runtime Environment (build 1.7.0_45-b18)
Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode)

Centos 6.3 安裝中文語系包+新增yum server

若遇到Linux本身不包含中文語系的時候怎麼辦呢~~

就只要安裝中文語系包並且調一下設定值就可以了~

可惜我拿到VM連YUM都沒有很好用~

所以必須先把YUM Server設定好~

1.設定yum server，大家常用的就是義守大學的伺服器 

(檔名自取，我是新增一個名為 cnetos.repo的檔案)

[training@elephant ~]$ sudo vi /etc/yum.repos.d/centos.repo
---------content---------------------------------------
[base]
name=CentOS 6.3 - Base
baseurl=http://ftp.isu.edu.tw/pub/Linux/CentOS/6.6/os/x86_64
enabled=1
gpgcheck=1
gpgkey=http://ftp.isu.edu.tw/pub/Linux/CentOS/RPM-GPG-KEY-CentOS-6

[updates]
name=CentOS 6.3 - Updates
baseurl=http://ftp.isu.edu.tw/pub/Linux/CentOS/6.6/updates/x86_64
enabled=1
gpgcheck=1
gpgkey=http://ftp.isu.edu.tw/pub/Linux/CentOS/RPM-GPG-KEY-CentOS-6

至於為什麼要用6.6因為實際上的路徑就是那邊~
所以必須直接點進去看看喔~^^

2.安裝中文

[training@elephant ~]$ sudo yum groupinstall "Chinese Support" -y

3.修改設定檔(據說如果沒有i18n這個檔案就自己新增??!!!)

[training@elephant ~]$ sudo vi /etc/sysconfig/i18n
-----------------content---------------------------
#LANG="en_US.UTF-8"
LANG="zh_CN.UTF-8"
SUPPORTED= "zh_CN.UTF-8:zh_CN:zh:en_US.UTF-8:en_US:en:ja_JP.UTF-8:ja_JP:zh"
SYSFONT="latarcyrheb-sun16"

4.重開機~~~~~~~~~~~~就可以了喔!

Use Flume-ng With SparkStreaming to HDFS

試了好久的東西~總算打通了!!

為了要將利用Flume擁有很多Protocal的優勢與Spark Straming結合~

因此試著將原本皆可以獨立運作的東西串起來。

Use Spark to Count Word And write file to HDFS

話說上一篇安裝Apache Maven 3.2.5 原本是打算自己建置Spark~
後來好像可以不必這樣~
所以就直接下載Pre Built的版本就好了阿~~挖哈哈哈哈哈~

環境背景：
4個VM centOS with Hadoop Avaliability
Spark-1.2.0-bin-hadoop2.3