반응형

Programming/Java 24

HiBench benchmark using random-text-writer have issue in yarn, new hadoop 2.x

I had problems using Hibench 2.2 in new hadoop cluster, yarn. when I used prepare.sh to make data used in wordcount and sort, DATASIZE and NUM_MAPS in configure.sh aren't recognized correctly. So I edited some lines which looks like old code, after that, it was executed correctly. it is original source code #line: 39# generate data$HADOOP_EXECUTABLE jar $HADOOP_EXAMPLES_JAR randomtextwriter \ -D..

Programming/Java 2014.04.16

Hadoop common version(v2.1.0 beta) compile 하기

Source code를 받으면, BUILDING.txt 문서가 있는데 이를 참조. Requirements: * Unix System* JDK 1.6* Maven 3.0* Findbugs 1.3.9 (if running findbugs)* ProtocolBuffer 2.4.1+ (for MapReduce and HDFS)* CMake 2.6 or newer (if compiling native code)* Internet connection for first build (to fetch all Maven and Hadoop dependencies) Ubuntu의 경우, Findbugs를 제외하고 apt를 통해서 받을 수 있다. ProtocolBuffer의 경우, 이름이 protobuf-c-compiler,..

Programming/Java 2013.08.23

[Java]File Class를 사용해서 Directory 검색하기

안드로이드에서 SD카드에 파일을 추가해놓으면 자동으로 리스트에 추가하는것을 하고싶어서 파일관련 기능이 있나 조사하려다가, 그냥 귀찮아서(..) 물어보니 java쪽을 찾아보라고 합니다. 그래서 찾아보니, 파일 열고 닫을때만 사용하던 File 클래스가 사실 디렉토리도 접근이 가능하다는 것을 보고 얼른 짜서 돌려봤습니다. 물론, 잘 돌아갑니다. 참고로, 디렉토리를 탐색하는 setFile 메소드는 재귀호출을 통해 자신의 하위 디렉토리까지 검색을 합니다. 그리고 파일의 확장자를 돌려주려고 만든 getFileNameExtension 메소드는 subString을 사용하기 때문에 웬만해선 바꾸고 싶은데 딱히 떠오르는게 없네요. 안드로이드 부분은 그냥 테스트해본 것이니 크게 신경쓰실 필요없습니다. public class..

Programming/Java 2011.02.15

[Java]Apache POI로 Java에서 Excel 내용 읽기

= Apache POI? = [Apache POI - the Java API for Microsoft Documents] 워드나 파워포인트, 엑셀에 저장한 데이터를 Java로 가지고 와서 사용하는 패키지. 기능 상 제약이 많지만, 경우에 따라서 유용하게 사용할 수 있습니다. 엑셀만이라면 Jxl 이라는 패키지도 존재하지만 android에서는 jxl을 사용할 경우 한글을 제대로 가지고 오지 못하여 apache POI를 사용해야 합니다. 안드로이드에서 테스트 몇 번 해본 거 뿐이라서 한글 문제점을 해결할 수 있다면 (혹은 한글을 사용하지 않는다면) jxl을 사용하는것도 좋습니다. 2010년 11월 12일 기준 bin 압축 파일 중 poi-3.7-20101029.jar 파일이 관련 API를 가지고 있는 jar ..

Programming/Java 2010.11.16
반응형