Programming/Java

Hadoop common version(v2.1.0 beta) compile 하기

라우드니스 2013. 8. 23. 15:38

Source code를 받으면, BUILDING.txt 문서가 있는데 이를 참조.


Requirements:


* Unix System

* JDK 1.6

* Maven 3.0

* Findbugs 1.3.9 (if running findbugs)

* ProtocolBuffer 2.4.1+ (for MapReduce and HDFS)

* CMake 2.6 or newer (if compiling native code)

* Internet connection for first build (to fetch all Maven and Hadoop dependencies)


Ubuntu의 경우, Findbugs를 제외하고 apt를 통해서 받을 수 있다.


ProtocolBuffer의 경우, 이름이 protobuf-c-compiler, protobuf-compiler 두개 이다.


maven을 이용하여 build할 시의 명령어의 경우 다음과 같이 나와있다.


Build distribution        : mvn package [-Pdist][-Pdocs][-Psrc][-Pnative][-Dtar]


  * Use -Pnative to compile/bundle native code

  * Use -Pdocs to generate & bundle the documentation in the distribution (using -Pdist)

  * Use -Psrc to create a project source TAR.GZ

  * Use -Dtar to create a TAR with the distribution (using -Pdist)


-Pdist 의 명령어를 넣어줌으로써 binary가 생성된다.


mvn package -Pdist -DskipTests -Dtar


로 주면 native code와 documentation 없이 binary distribution이 만들어진다.


만들어진 tar 파일은, hadoop-dist/target 에 보면 tar 파일이 제작되어 있고 이 파일이 공식 홈페이지에서 받을 수 있는 tar와 동일한 역할을 한다. 해당 파일을 가지고 hadoop 설정을 하면, source code를 수정한 hadoop을 사용할 수 있는 셈.



+) hadoop-common 이라길래 당연히 stable version인 줄 알았는데 beta버전. 

반응형