세상밖으로...

YARN에 Distributed Shell application을 제출하는 Client distributed shell client는 application master가 container들의 set에서 제공된 shell command를 실행하는것을 가능하도록 한다. 이 Client는 어떻게 yarn 기반의 어플리케이션들을 작성하는지 예제 역할을 한다. application을 제출하기 위해, client는 첫째로 ResourceManager 혹은 ApplicationManager, ASM으로 알려진 것에 ApplicationClientProtocol을 통하여 접속한다. ApplicationClientProtocol은 client가 cluster 정보에 접근하거나 새로운 ApplicationId를 요청하는것..

Comment YARN framework을 사용하여 실행된 container들의 모음에서 shell command를 실행하는 ApplicationMaster이다. 이 class는 어떻게 yarn 기반의 application master들을 작성하는지에 대한 예제의 역할도 뜻한다. ApplicationMaster는 ResourceManager의 launcher에 의해서 container에서 실행된다. ApplicationMaster가 하기를 요구하는 것 중 첫번째 것은 스스로 ResourceManager에 연결하고 등록하는 것이다. 등록은 ResourceManager 안에 ApplicationMaster가 listening할 host:port에 관련된 정보를 설정하는것으로 이것들은 client에게 url을..

Javascript에서 D3와 같은 라이브러리를 사용해서 SVG를 만드는 일을 할때 브라우저 상의 SVG 객체를 SVG 파일화 시키거나 PNG로 저장하는 것이 필요할 떄가 있다. 이때 중요한 점은 SVG를 XML화 시킬때 CSS 내의 데이터는 참조가 되지 않는다는 점이다. Web SVG의 Path 객체를 SVG화 시킬때 계속 fill 속성이 없어져서 기본값인 검은색으로 나왔는데 fill 속성을 CSS가 아닌 자체 attribute로 옮긴 후 제대로 나오기 시작한다.

https://developer.mozilla.org/ko/docs/Web/JavaScript/Introduction_to_Object-Oriented_JavaScript.

http://maven.apache.org/guides/getting-started/maven-in-five-minutes.html Prerequisites 그냥 computer에 설치할줄만 알면 된다 Installation Maven은 java tool 이므로 꼭 Java가 설치돼있어야 한다. 첫번째, Maven을 다운로드 받고 installation instructions을 따라라. 그리고, cmd나 terminal에 다음을 쳐봐라 $ mvn -version 설치된 Maven 버전이 출력된다, 예를 들어: Apache Maven 3.0.5 Maven home: /usr/share/maven Java version: 1.7.0_72, vendor: Oracle Corporation Java home: ..

mapreduce.task.io.sort.mb100The total amount of buffer memory to use while sorting files, in megabytes. By default, gives each merge stream 1MB, which should minimize seeks. http://www.slideshare.net/cloudera/mr-perf Map task (개별) 가 output을 작성할때, 당연하게도 바로 disk에 이를 적지는 않는다. 자신이 가지고 있는 in-memory buffer가 있는데, 이 크기를 조절하는게 mapreduce.task.io.sort.mb 이다. (아무리 생각해도 이름이 너무 직관적이지 못하다...) default 설정이 100MB..

Hibench를 사용하여 hadoop의 성능을 테스트하고 있는데, random text writer를 사용하는 sort와 wordcount에서는 configure.sh에서 설정한 것이 제대로 반영되지 않는것을 확인할 수 있었다. 그래서 신버전의 randomtextwriter를 찾아본 결과, 이름이 수정되어서 이전 randomtextwriter의 코드로 작성된 prepare.sh의 내용이 제대로 반영되지 않는것으로 판단됐다. 현재 HiBench 2.2 버전의 prepare.sh 코드는 다음과 같다. #line: 39# generate data$HADOOP_EXECUTABLE jar $HADOOP_EXAMPLES_JAR randomtextwriter \ -D test.randomtextwrite.bytes_..

I had problems using Hibench 2.2 in new hadoop cluster, yarn. when I used prepare.sh to make data used in wordcount and sort, DATASIZE and NUM_MAPS in configure.sh aren't recognized correctly. So I edited some lines which looks like old code, after that, it was executed correctly. it is original source code #line: 39# generate data$HADOOP_EXECUTABLE jar $HADOOP_EXAMPLES_JAR randomtextwriter \ -D..

리눅스에서 Memory 정리하기많은 작업을 수행하다보면 메모리가 회수(?)되지 않는 상황이 생긴다. 이럴 때 다음 명령을 수행하여 회수를 할 수 있다. [이 전] [root@jpnips tmp]$ free total used free shared buffers cached Mem: 32932100 25916432 7015668 0 1535684 22394696 -/+ buffers/cache: 1986052 30946048 Swap: 65537156 532 65536624 [root@jpnips ~]# sync;echo 3 > /proc/sys/vm/drop_caches [이 후] [root@jpnips ~]# free total used free shared buffers cached Mem: 3293..

기본적인 사항은 http://samurai-mysql.blogspot.kr/2009/03/settingup-dbt-2.html 참조 1. DBT-2를 컴파일하기 위해서는 MySQL의 개발자 라이브러리가 필요하다. libmysqlclient-dev를 설치하자. sudo apt-get install libmysqlclient-dev 2. configure에서 --with-mysql 옵션만 주면 library나 include는 알아서 처리해줌. 3. make를 했을때, mysql 함수 관련으로 undefined reference가 뜬다면 1) 제대로 mysql 개발관련 library를 설치했는지 우선 확인해보자. locate libmysqlclient 를 쳤을경우 설치된 libmysqlclient의 경로가 잡..