세상밖으로...

mapreduce.task.io.sort.mb100The total amount of buffer memory to use while sorting files, in megabytes. By default, gives each merge stream 1MB, which should minimize seeks. http://www.slideshare.net/cloudera/mr-perf Map task (개별) 가 output을 작성할때, 당연하게도 바로 disk에 이를 적지는 않는다. 자신이 가지고 있는 in-memory buffer가 있는데, 이 크기를 조절하는게 mapreduce.task.io.sort.mb 이다. (아무리 생각해도 이름이 너무 직관적이지 못하다...) default 설정이 100MB..

Source code를 받으면, BUILDING.txt 문서가 있는데 이를 참조. Requirements: * Unix System* JDK 1.6* Maven 3.0* Findbugs 1.3.9 (if running findbugs)* ProtocolBuffer 2.4.1+ (for MapReduce and HDFS)* CMake 2.6 or newer (if compiling native code)* Internet connection for first build (to fetch all Maven and Hadoop dependencies) Ubuntu의 경우, Findbugs를 제외하고 apt를 통해서 받을 수 있다. ProtocolBuffer의 경우, 이름이 protobuf-c-compiler,..