HBase 설치/설정하기

Michael 씨가 자세하게 설명했던 HDFS 설정과는 달리,
HBase 설정은 wiki.apache.org/hadoop/HBase에 나와있는 설명이 전부이다.
물론, 웹에서 많은 사람들의 노력의 흔적은 곳곳에 있긴 하지만, 역시 어렵다.
기본적인 수준의 설명이나, 링크의 소개, 해봤더니 잘 되더라는 소감이 대다수이니까.

1.  내 시스템 구성
   1) 앞서 설정한 HDFS(master, slave)  -> 2대
   2) HBase -> 1대

2. 미리 준비할 것
   1) hbase1과 master, slave 간 ssh가 미리 설정되어 있어야 함.
      (비밀번호 없이 SSH 인증하기 참조)
   2) hbase1, master, slave는 서로 reachable 해야 함.
     (hbase1는 master랑만 통신해도 될 줄 알았는데.. 아니었음) 

3. 환경 설정
   1) .bashrc에 HBASE_HOME을 설정
   2) /conf/hbase-env.sh에 JAVA_HOME 설정
   3) /conf/hbase-defaul.xml을 /conf/hbase-site.xml로 복사
   4) /conf/hbase-site.xml중, hbase,master 항목과 hbase.rootdir 항목 변경
      - hbase.master -> example.org:60000을 hbase1:60000 으로 설정  
      - hbase.rootdir -> hdfs://example.org:9000/hbase를  master:54310/hbase로
        설정
        (hbase가 뜨는 곳은 hbase1이고, hbase가 사용할 hdfs는 master로 시작됨)
   5) /conf/regionservers는 ${HADOOP_HOME}/conf/slaves와 동일하게 작성함
   6) Hbase가 HDFS를 제대로 쓰도록 하기 위해, hadoop-site.xml이 필요하므로,
      ${HBASE_HOME}/conf에 ${HADOOP_HOME}/conf/hadoop-site.xml을
      복사함.

4. 실행
   1) 띄우기 : ${HBASE_HOME}/bin/start-hbase.sh
      - 성공적으로 뜨면, 로그에 에러가 안 남음
      - jps 결과 : HMaster, HRegionServer가 추가됨
   2) 종료하기 : ${HBASE_HOME}/bin/stop-hbase.sh
      - jps 실행시, HMaster, HRegionServer가 사라짐

* 문제점
   - 내가 실험한 결과, start-hbase.sh 가 정상 작동하지 않는다. HMaster는
     뜨지만,  HRegionServer가 정상적으로 뜨지 않아서 쓸 수 없는 상태가 됨.
   - path가 너무 길거나 복잡하면 에러가 생기는 듯 한데, shell을 고쳐서 직접
     실행시키면 뜨기는 한다. 당분간은 이렇게라도 실행시켜봐야할 듯.
   - 정상적으로 동작하면, jps에도 뜨지만, start-base/stop-base 수행시간도 짧다.
     오작동시, 시간이 길어지며 최악의 경우, kill도 감수해야 한다. (vulnerablity)

댓글

Designed by JB FACTORY