HBase 설치/설정하기
- Development/Hadoop, NoSQL, BigData
- 2008. 7. 25.
Michael 씨가 자세하게 설명했던 HDFS 설정과는 달리,
HBase 설정은 wiki.apache.org/hadoop/HBase에 나와있는 설명이 전부이다.
물론, 웹에서 많은 사람들의 노력의 흔적은 곳곳에 있긴 하지만, 역시 어렵다.
기본적인 수준의 설명이나, 링크의 소개, 해봤더니 잘 되더라는 소감이 대다수이니까.
1. 내 시스템 구성
1) 앞서 설정한 HDFS(master, slave) -> 2대
2) HBase -> 1대
2. 미리 준비할 것
1) hbase1과 master, slave 간 ssh가 미리 설정되어 있어야 함.
(비밀번호 없이 SSH 인증하기 참조)
2) hbase1, master, slave는 서로 reachable 해야 함.
(hbase1는 master랑만 통신해도 될 줄 알았는데.. 아니었음)
3. 환경 설정
1) .bashrc에 HBASE_HOME을 설정
2) /conf/hbase-env.sh에 JAVA_HOME 설정
3) /conf/hbase-defaul.xml을 /conf/hbase-site.xml로 복사
4) /conf/hbase-site.xml중, hbase,master 항목과 hbase.rootdir 항목 변경
- hbase.master -> example.org:60000을 hbase1:60000 으로 설정
- hbase.rootdir -> hdfs://example.org:9000/hbase를 master:54310/hbase로
설정
(hbase가 뜨는 곳은 hbase1이고, hbase가 사용할 hdfs는 master로 시작됨)
5) /conf/regionservers는 ${HADOOP_HOME}/conf/slaves와 동일하게 작성함
6) Hbase가 HDFS를 제대로 쓰도록 하기 위해, hadoop-site.xml이 필요하므로,
${HBASE_HOME}/conf에 ${HADOOP_HOME}/conf/hadoop-site.xml을
복사함.
4. 실행
1) 띄우기 : ${HBASE_HOME}/bin/start-hbase.sh
- 성공적으로 뜨면, 로그에 에러가 안 남음
- jps 결과 : HMaster, HRegionServer가 추가됨
2) 종료하기 : ${HBASE_HOME}/bin/stop-hbase.sh
- jps 실행시, HMaster, HRegionServer가 사라짐
* 문제점
- 내가 실험한 결과, start-hbase.sh 가 정상 작동하지 않는다. HMaster는
뜨지만, HRegionServer가 정상적으로 뜨지 않아서 쓸 수 없는 상태가 됨.
- path가 너무 길거나 복잡하면 에러가 생기는 듯 한데, shell을 고쳐서 직접
실행시키면 뜨기는 한다. 당분간은 이렇게라도 실행시켜봐야할 듯.
- 정상적으로 동작하면, jps에도 뜨지만, start-base/stop-base 수행시간도 짧다.
오작동시, 시간이 길어지며 최악의 경우, kill도 감수해야 한다. (vulnerablity)
HBase 설정은 wiki.apache.org/hadoop/HBase에 나와있는 설명이 전부이다.
물론, 웹에서 많은 사람들의 노력의 흔적은 곳곳에 있긴 하지만, 역시 어렵다.
기본적인 수준의 설명이나, 링크의 소개, 해봤더니 잘 되더라는 소감이 대다수이니까.
1. 내 시스템 구성
1) 앞서 설정한 HDFS(master, slave) -> 2대
2) HBase -> 1대
2. 미리 준비할 것
1) hbase1과 master, slave 간 ssh가 미리 설정되어 있어야 함.
(비밀번호 없이 SSH 인증하기 참조)
2) hbase1, master, slave는 서로 reachable 해야 함.
(hbase1는 master랑만 통신해도 될 줄 알았는데.. 아니었음)
3. 환경 설정
1) .bashrc에 HBASE_HOME을 설정
2) /conf/hbase-env.sh에 JAVA_HOME 설정
3) /conf/hbase-defaul.xml을 /conf/hbase-site.xml로 복사
4) /conf/hbase-site.xml중, hbase,master 항목과 hbase.rootdir 항목 변경
- hbase.master -> example.org:60000을 hbase1:60000 으로 설정
- hbase.rootdir -> hdfs://example.org:9000/hbase를 master:54310/hbase로
설정
(hbase가 뜨는 곳은 hbase1이고, hbase가 사용할 hdfs는 master로 시작됨)
5) /conf/regionservers는 ${HADOOP_HOME}/conf/slaves와 동일하게 작성함
6) Hbase가 HDFS를 제대로 쓰도록 하기 위해, hadoop-site.xml이 필요하므로,
${HBASE_HOME}/conf에 ${HADOOP_HOME}/conf/hadoop-site.xml을
복사함.
4. 실행
1) 띄우기 : ${HBASE_HOME}/bin/start-hbase.sh
- 성공적으로 뜨면, 로그에 에러가 안 남음
- jps 결과 : HMaster, HRegionServer가 추가됨
2) 종료하기 : ${HBASE_HOME}/bin/stop-hbase.sh
- jps 실행시, HMaster, HRegionServer가 사라짐
* 문제점
- 내가 실험한 결과, start-hbase.sh 가 정상 작동하지 않는다. HMaster는
뜨지만, HRegionServer가 정상적으로 뜨지 않아서 쓸 수 없는 상태가 됨.
- path가 너무 길거나 복잡하면 에러가 생기는 듯 한데, shell을 고쳐서 직접
실행시키면 뜨기는 한다. 당분간은 이렇게라도 실행시켜봐야할 듯.
- 정상적으로 동작하면, jps에도 뜨지만, start-base/stop-base 수행시간도 짧다.
오작동시, 시간이 길어지며 최악의 경우, kill도 감수해야 한다. (vulnerablity)
'Development > Hadoop, NoSQL, BigData' 카테고리의 다른 글
Docker기반 Spark Cluster 설치하기 (6) | 2020.12.15 |
---|---|
Local AirFlow 설치하기 (0) | 2020.12.09 |
brew로 local zeppelin 설치하기 (0) | 2020.11.30 |
The Hadoop Distributed File System : Architecture and Design 요약 (0) | 2008.07.29 |
HBase에서 HQL 사용하기 (0) | 2008.07.25 |
HDFS 설정하기 (0) | 2008.07.25 |
Hadoop Installation on Ubuntu Linux 7.10 (0) | 2008.07.17 |
HBase Installation (Standalone mode/local file system) (0) | 2008.07.15 |