everydayminder
java에서의 System.currentTimeMillis()에 해당 하는 것이 Python에서는 어떤 것이 있을까 궁금했다. 현재, 확인한 바로는 time 패키지의 time.clock()이 유용할 듯 하다. 이것의 특징은 애플리케이션이 실행된 시점으로부터 계산되는 count라는 점이다. 즉, 상대적인 stop watch라는 점. begin = time.clock() ... do something ... end = time.clock() elapsed = end - begin 과 같이, 소요된 시간을 구할 수 있다. 기본 단위가 seconds로 리턴이 되기 때문에 milliseconds는 0.xxx로 표현되는 값으로부터 얻을 수 있다. 반면, datetime.now()을 사용하게 되면, HH:MM:SS:..
ㅋ 앞서 간단히 만든 서버에 접속할 클라이언트를 만들어 봤다. # 프로토콜 class TestClient(LineReceiver): def connectionMade(self): self.sendLine("A new connection has been made!") self.factory.clientReady(self) def lineReeived(self, line): print "$ got msg [%s]\r\n" % line def connectionLost(self, reason): reactor.stop() # 팩토리 class TestFactory(ClientFactory): protocol = TestClient def __init__(self): self.startFactory() def ..
에서 Twisted Matrix 패키지를 다운로드 받아 설치하는데는 별다른 복잡한 과정이 필요하지 않다. 그냥 다운받아서 실행하면 끝. Blocking IO 방식의 통신 모듈만 썼었는데, 이번 기회에 Non-blocking IO를 파이썬으로 시도하게 되었다. 파이썬의 기본 모듈만 써서 비동기 통신을 구현할 수도 있으나, 편의성을 제공하는 유명한 framework이 존재하여, 이를 써보게 되었다. 나 말고, 다른 사람들은 이미 Twisted를 쓰고 있기 때문이기도 하다. 공식 사이트의 reference에 나와 있는 예제를 통해, TCP 서버를 순식간에 만들어 낼 수 있다. Factory 패턴과 Reactor 패턴을 써서, 하라는 대로만 하면 순식간에 간단한 서버를 만들어 준다. 세션 유지를 위한 Alive..
chm 파일을 만들기 위해, 다음의 툴들중 하나만 있어도 손쉽게 만들 수 있다. 1. HTML Help Workshop 2. WinCHM 3. jd2chm (커맨드라인 방식) 4. EasyCHM 등 대부분의 툴들은 직관적인 메뉴를 제공하여 몇번의 클릭만으로도 손쉽게 파일을 만들 수 있다. 어떤 툴을 사용하건 간에 기억할 사항은, "root는 실제 index.html등이 존재하는 최상의 디렉토리일 것." 이라는 것이다. 그 밖의 조건은 사용자의 기호에 맞게 메뉴 또는 내용을 추가/삭제 하여 만들면 될 뿐이다. 실행을 위한 조건. 1. 네트워크 드라이브상의 파일은 실행이 안된다. 2. 외부에서 다운로드 받은 파일은 차단되어 있을 가능성이 있다. (마우스오른클릭->속성->차단해제 후 열람 가능) 꼭 모든 ma..
본 내용은 해당 링크내의 원본을 읽고, 키워드 등의 관점에서 축약하였음 원본 링크 : http://hadoop.apache.org/core/docs/current/hdfs_design.html 원본 링크내 첨부파일 : 본 내용은 해당 링크내의 원본을 읽고, 키워드 등의 관점에서 축약하였음 ■ Introduction - HDFS is highly fault-tolerant and is designed to be deployed on low-cost hardware. - HDFS provided high throughtput access to application data and is suitable for applications that have large data sets. ■ Assumptions an..
HBase에서 HQL 사용하기 (wiki.apache.org내용을 근거로) 설치된 HBase를 바탕으로, HQL을 수행하였다. (bin/hbase shell) 해당 정보의 참고 링크는 아래와 같다. http://wiki.apache.org/hadoop/Hbase/HbaseShell?action=print 1. Create Table hql> create table movielog_table ( --> year, length, inColor, studioName, vote, producer, actor); 2. Insert Data hql> insert into movielog_table (year:, length:, inColor:, studioName:, 'vote:user name', producer..
Michael 씨가 자세하게 설명했던 HDFS 설정과는 달리, HBase 설정은 wiki.apache.org/hadoop/HBase에 나와있는 설명이 전부이다. 물론, 웹에서 많은 사람들의 노력의 흔적은 곳곳에 있긴 하지만, 역시 어렵다. 기본적인 수준의 설명이나, 링크의 소개, 해봤더니 잘 되더라는 소감이 대다수이니까. 1. 내 시스템 구성 1) 앞서 설정한 HDFS(master, slave) -> 2대 2) HBase -> 1대 2. 미리 준비할 것 1) hbase1과 master, slave 간 ssh가 미리 설정되어 있어야 함. (비밀번호 없이 SSH 인증하기 참조) 2) hbase1, master, slave는 서로 reachable 해야 함. (hbase1는 master랑만 통신해도 될 줄 알..
기본적으로는, 아래 posting과 같이 Michael G. Noll씨가 설명한 바와 같이 따라하면, 하나의 machine에 single cluster를 이상없이 설치할 수 있다. Michael이 권고하기를, 여러 개로 multi cluster를 구축하기에 앞서, 단일 cluster로 정상 작동하는지 확인 후, 여러 개를 붙여가는 방법이 보다 효과적이라고 한다. 두 개의 cluster를 master-slave로 구성하고자 한다면, 앞서 마친 단일 cluster 2개 중 하나를 master로 다른 하나를 slave로 설정한다. 1. master와 slave의 conf/hadoop-site.xml에서 localhost 부분을 master로 바꿔준다. 2. master의 conf/masters 파일에 mast..
Ubuntu-desktop은 GUI모드로 부팅된다. redhat 계열 리눅스와는 달리 runlevel을 수정하는 것만으로는 동작하지 않는다. $ sudo mv /etc/rc3.d/S30gdm /etc/rc3.d/K30gdm (내 경우에는 rc2.d에서 해줘야 먹혔음) 참고로, Ubuntu에서 X윈도우를 터미널창에서 끄고 시작하려면, $ sudo /etc/init.d/gdm start(stop, restart) Ubuntu에서 X윈도우를 자동으로 실행하지 않고 터미널로 시작되도록 설정하는 명령어 $ sudo update-rc.d -f gdm remove 다시, X윈도우를 자동으로 띄우려면, $ sudo update-rc.d gdm defaults
1. Localhost에서 인증하기 루트의 권한을 가진 ID로 로그인하여 다양하게 스크립트를 실행할 경우, SSH 로그인을 필요로 할 수 있고, 이 때, 매번 password를 입력해야할 경우 번거로울 수 있다. SSH는 암호 뿐만 아니라, public key, private key 기반의 인증을 제공하고 어렵지 않게 설정할 수 있다. 공개키는 암호화를 위해 사용되고, 공개키에 매핑되는 개인키로 복호화를 할 수 있다. 암호없이 SSH 로그인을 하려면, 클라이언트 시스템에서 키를 생성해야 한다. ssh-keygen 명령어를 사용하여, 키를 생성할 수 있고, -t 옵션을 통해 생성되는 키의 type(RSA/DSA)을 지정할 수 있다. $ ssh-keygen -t rsa -P "" 와 같이 하면, .ssh 디..
sudo vi /etc/X11/xorg.conf 를 실행하여 해당 파일을 편집한다. Section "InputDevice" Identifier "Configured Mouse" Driver "mouse" Option "CorePointer" Option "Device" "/dev/input/mice" Option "Protocol" "ImPS/2" Option "Buttons" "5" Option "ZAxisMapping" "4 5" EndSection 마우스 디바이스 정의 부분 중, Protocol 부분을 위와 같이 바꿔주고 재시작하면, 휠 마우스의 휠이 동작한다.
1. 먼저, java를 설치한다. sudo apt-get install sun-java6-jdk 2. 시스템에서 기본적으로 동작할 java 를 선택해준다. sudo update-alternatives --config java 원하는 java를 선택한다. 3. eclipse를 설치한다. sudo apt-get install eclipse 4. 원하는 패키지를 추가로 설치한다. sudo synaptic 예) PyDev : Python 개발 플러그인
VMWare를 쓰면서, 만들어둔 이미지를 여러번 복사하면서 쓰다보니 불필요한 ethernet interface 정보가 생성됐다. eth0, eth1만 필요한데, 막상 인터페이스 정보를 보면, eth4, eth5로 생성되어 있는 이 현상을 정리하려면 다음과 같이 하면 된다. $ cd /etc/udev/rules.d $ vi 70-persistent-net.rules 파일을 열어서, 내용을 다 지워주고, 재부팅한다. 재부팅 후, 네트워크 인터페이스를 조사하면, 다시 eth0, eth1 등으로 재설정된 것을 확인할 수 있다. 이제 IP를 원하는 대로 설정하고 깨끗하게 쓰자.
Related articles by Michael G. Noll ---------------------------------- 1. Running Hadoop On Ubuntu Linux (Single Node Cluster) http://wiki.apache.org/hadoop/Running_Hadoop_On_Ubuntu_Linux_%28Single-Node_Cluster%29 2. Running Hadoop On Ubuntu Linux (Multi Node Cluster) http://www.michael-noll.com/wiki/Running_Hadoop_On_Ubuntu_Linux_%28Multi-Node_Cluster%29 [Comments] 1. I created a VMWare Team pr..
Requirements ------------- - Java 1.5.x, preferably from Sun. - Hadoop 0.16.x. This version of HBase will only run on Hadoop 0.16.x.. - ssh must be installed and sshd must be running to use Hadoop's scripts to manage remote Hadoop daemons. - HBase currently is a file handle hog. The usual default of 1024 on *nix systems is insufficient if you are loading any significant amount of data into regio..
