본 내용은 해당 링크내의 원본을 읽고, 키워드 등의 관점에서 축약하였음 원본 링크 : http://hadoop.apache.org/core/docs/current/hdfs_design.html 원본 링크내 첨부파일 : 본 내용은 해당 링크내의 원본을 읽고, 키워드 등의 관점에서 축약하였음 ■ Introduction - HDFS is highly fault-tolerant and is designed to be deployed on low-cost hardware. - HDFS provided high throughtput access to application data and is suitable for applications that have large data sets. ■ Assumptions an..
HBase에서 HQL 사용하기 (wiki.apache.org내용을 근거로) 설치된 HBase를 바탕으로, HQL을 수행하였다. (bin/hbase shell) 해당 정보의 참고 링크는 아래와 같다. http://wiki.apache.org/hadoop/Hbase/HbaseShell?action=print 1. Create Table hql> create table movielog_table ( --> year, length, inColor, studioName, vote, producer, actor); 2. Insert Data hql> insert into movielog_table (year:, length:, inColor:, studioName:, 'vote:user name', producer..
Michael 씨가 자세하게 설명했던 HDFS 설정과는 달리, HBase 설정은 wiki.apache.org/hadoop/HBase에 나와있는 설명이 전부이다. 물론, 웹에서 많은 사람들의 노력의 흔적은 곳곳에 있긴 하지만, 역시 어렵다. 기본적인 수준의 설명이나, 링크의 소개, 해봤더니 잘 되더라는 소감이 대다수이니까. 1. 내 시스템 구성 1) 앞서 설정한 HDFS(master, slave) -> 2대 2) HBase -> 1대 2. 미리 준비할 것 1) hbase1과 master, slave 간 ssh가 미리 설정되어 있어야 함. (비밀번호 없이 SSH 인증하기 참조) 2) hbase1, master, slave는 서로 reachable 해야 함. (hbase1는 master랑만 통신해도 될 줄 알..
기본적으로는, 아래 posting과 같이 Michael G. Noll씨가 설명한 바와 같이 따라하면, 하나의 machine에 single cluster를 이상없이 설치할 수 있다. Michael이 권고하기를, 여러 개로 multi cluster를 구축하기에 앞서, 단일 cluster로 정상 작동하는지 확인 후, 여러 개를 붙여가는 방법이 보다 효과적이라고 한다. 두 개의 cluster를 master-slave로 구성하고자 한다면, 앞서 마친 단일 cluster 2개 중 하나를 master로 다른 하나를 slave로 설정한다. 1. master와 slave의 conf/hadoop-site.xml에서 localhost 부분을 master로 바꿔준다. 2. master의 conf/masters 파일에 mast..
Ubuntu-desktop은 GUI모드로 부팅된다. redhat 계열 리눅스와는 달리 runlevel을 수정하는 것만으로는 동작하지 않는다. $ sudo mv /etc/rc3.d/S30gdm /etc/rc3.d/K30gdm (내 경우에는 rc2.d에서 해줘야 먹혔음) 참고로, Ubuntu에서 X윈도우를 터미널창에서 끄고 시작하려면, $ sudo /etc/init.d/gdm start(stop, restart) Ubuntu에서 X윈도우를 자동으로 실행하지 않고 터미널로 시작되도록 설정하는 명령어 $ sudo update-rc.d -f gdm remove 다시, X윈도우를 자동으로 띄우려면, $ sudo update-rc.d gdm defaults
1. Localhost에서 인증하기 루트의 권한을 가진 ID로 로그인하여 다양하게 스크립트를 실행할 경우, SSH 로그인을 필요로 할 수 있고, 이 때, 매번 password를 입력해야할 경우 번거로울 수 있다. SSH는 암호 뿐만 아니라, public key, private key 기반의 인증을 제공하고 어렵지 않게 설정할 수 있다. 공개키는 암호화를 위해 사용되고, 공개키에 매핑되는 개인키로 복호화를 할 수 있다. 암호없이 SSH 로그인을 하려면, 클라이언트 시스템에서 키를 생성해야 한다. ssh-keygen 명령어를 사용하여, 키를 생성할 수 있고, -t 옵션을 통해 생성되는 키의 type(RSA/DSA)을 지정할 수 있다. $ ssh-keygen -t rsa -P "" 와 같이 하면, .ssh 디..
sudo vi /etc/X11/xorg.conf 를 실행하여 해당 파일을 편집한다. Section "InputDevice" Identifier "Configured Mouse" Driver "mouse" Option "CorePointer" Option "Device" "/dev/input/mice" Option "Protocol" "ImPS/2" Option "Buttons" "5" Option "ZAxisMapping" "4 5" EndSection 마우스 디바이스 정의 부분 중, Protocol 부분을 위와 같이 바꿔주고 재시작하면, 휠 마우스의 휠이 동작한다.
1. 먼저, java를 설치한다. sudo apt-get install sun-java6-jdk 2. 시스템에서 기본적으로 동작할 java 를 선택해준다. sudo update-alternatives --config java 원하는 java를 선택한다. 3. eclipse를 설치한다. sudo apt-get install eclipse 4. 원하는 패키지를 추가로 설치한다. sudo synaptic 예) PyDev : Python 개발 플러그인
김정운 명지대 교수 강연내용(2008.7.10, DM총괄 Professional Forum) ㅇ 본인이 행복을 강연하고 다니니 어설픈 사람으로 인식되는 경우가 있으나 나름대로 공부를 많이 했음. 독일에서 13년간 유학했고 본인이 가르친 제자 중 3명이 교수가 되었음. 최근 1명이 하버드대학 교수가 되었는데, 본인이 가르친 것이 계기가 되어 관련 분야를 연구하여 결과적으로 하버드대 교수가 될 수 있었다고 고맙다는 편지를 받았음. ㅇ 한국사회의 근본적인 문제는 무엇인가? - '정치'라고 말하지만 사실은 그렇지 않음. 미국의 경우 2%가 나머지 98%를 돌리는 구조임. 지금 정도면 우리나라의 민도에 맞게 잘하는 편임. - '경제'라고 말하지만 이것도 틀렸음. 한강의 기적과 라인강의 기적을 비교하는 것은 기분 ..
VMWare를 쓰면서, 만들어둔 이미지를 여러번 복사하면서 쓰다보니 불필요한 ethernet interface 정보가 생성됐다. eth0, eth1만 필요한데, 막상 인터페이스 정보를 보면, eth4, eth5로 생성되어 있는 이 현상을 정리하려면 다음과 같이 하면 된다. $ cd /etc/udev/rules.d $ vi 70-persistent-net.rules 파일을 열어서, 내용을 다 지워주고, 재부팅한다. 재부팅 후, 네트워크 인터페이스를 조사하면, 다시 eth0, eth1 등으로 재설정된 것을 확인할 수 있다. 이제 IP를 원하는 대로 설정하고 깨끗하게 쓰자.
Related articles by Michael G. Noll ---------------------------------- 1. Running Hadoop On Ubuntu Linux (Single Node Cluster) http://wiki.apache.org/hadoop/Running_Hadoop_On_Ubuntu_Linux_%28Single-Node_Cluster%29 2. Running Hadoop On Ubuntu Linux (Multi Node Cluster) http://www.michael-noll.com/wiki/Running_Hadoop_On_Ubuntu_Linux_%28Multi-Node_Cluster%29 [Comments] 1. I created a VMWare Team pr..
Requirements ------------- - Java 1.5.x, preferably from Sun. - Hadoop 0.16.x. This version of HBase will only run on Hadoop 0.16.x.. - ssh must be installed and sshd must be running to use Hadoop's scripts to manage remote Hadoop daemons. - HBase currently is a file handle hog. The usual default of 1024 on *nix systems is insufficient if you are loading any significant amount of data into regio..
