티스토리

everydayminder
검색하기

블로그 홈

everydayminder

luran.me/m

IT, 코딩, 생활팁, 영어공부가 주 관심사입니다.

구독자
57
방명록 방문하기
공지 제 블로그(2차 도메인 설정)의 구독⋯ 모두보기

주요 글 목록

  • Hive - Queries against partitioned tables without a partition filter are disabled for safety reasons 에러 처리 Hive - Queries against partitioned tables without a partition filter are disabled for safety reasons 에러 처리 Hue에서 쿼리를 실행했는데, 위와 같은 에러가 발생한다면? 분명 Zeppelin에서 동작하는 것을 확인했는데, Hue에서만 안된다면 Zeppelin에서만 써야 할까? 만약 Hive 쿼리를 실행했는데, 위와 같은 에러가 발생한다면, 사실 에러 문구 속에 해결책이 잘 설명되어 있다. 에러 메시지 샘플 Error while compling statement: FAILED: SemanticException Queries against partitioned tables without a partition filter are.. 공감수 0 댓글수 0 2022. 12. 28.
  • Redis pub/sub 소개 Redis pub/sub 소개 일반적인 pub/sub의 개념에서 알 수 있듯이, 메시지를 보내는 publish와 그 메시지를 수신할 수 있는 subscribe를 말한다. Kafka와는 달리, Redis에서는 subscribe가 된 상태의 클라이언트만 publish되는 메시지를 받을 수 있다. 쉽게 생각하면, Youtube 채널 구독과 비슷하다. 구독과 좋아요를 누르면, 나중에 새로운 글이 올라오면 노티가 올텐데, 구독중인 상태의 채널에 신규 콘텐츠가 올라오면 노티를 받을 수 있는 것과 같다. 명령어 Redis 서버를 매개로, Redis 클라이언트간 통신을 도와줌 Redis 클라이언트는 Redis 서버내 "채널"을 생성함 메시지를 수신하고 싶은 클라이언트는 사전에 해당 채널을 subscribe 함 메시지를.. 공감수 0 댓글수 2 2021. 6. 17.
  • Redis Geo - Geospatial 명령어 개요 지리정보 관련 기능의 일부를 Redis에서도 간단하게나마 쓸 수 있다. 명령어 GEO 계열의 명령어도 있지만, 내부적으로 ZSet(Sorted Set)을 사용하기에 ZSet 계열 명령어도 일부 혼용 가능하다. GEOADD 127.0.0.1:6379> help geoadd GEOADD key [NX|XX] [CH] longitude latitude member [longitude latitude member ...] summary: Add one or more geospatial items in the geospatial index represented using a sorted set since: 3.2.0 group: geo 한 개 혹은 동시에 여러 개의 정보를 추가할 수 있다. 127.0.0.1.. 공감수 0 댓글수 0 2021. 6. 7.
  • Redis 자료 구조 - ZSet (Sorted Set) 개요 이름에서 유추할 수 있듯이, Redis(레디스)에서 제공하는 자료 구조 중, Set과 비슷하면서도 차이점이 있는 자료 구조다. 값 자체의 중복을 허용하지 않지만, 정렬을 해주는 자료 구조이다. 정렬의 기준을 score라고 한다. 명령어 Redis - Hash에서의 예와 같이, 사용자들의 데이터를 Redis 상에서 정렬하거나 업데이트 하는 예제로 접근해 보자. 앞서 다뤘던 것과 비슷하게 해볼텐데, 이번에는 사용자의 점수(포인트)로 순위를 관리하는 예로 접근해 보고자 한다. user[0].point = 100 user[1].point = 200 user[2].point = 50 등과 같이 사용자별로 포인트가 관리되는 상황을 가정해볼 수 있을 것이다. User들의 point를 모아서 순위를 매긴다면 프로.. 공감수 0 댓글수 0 2021. 6. 2.
  • Redis 자료 구조 - Hash 개요 마치 RDBMS에서의 테이블과 같은 형태를 저장하는데 유용한 구조이다. RDBMS의 테이블은 PK외 Secondary Index로도 조회를 하지만, PK 기준으로 데이터를 액세스 해야 한다는 점이 다르다. 또한, 스키마가 RDBMS의 경우는 고정형이지만, Redis의 Hash는 비고정형이며 이를 schemaless라고 한다. 따라서, RDBMS의 테이블 alter는 굉장히 무거운 작업이지만, Redis의 Hash는 그렇지 않다. 따라서, User 데이터를 저장한다 하더라도, RDBMS 테이블과 달리 데이터마다 설정된 필드들의 수가 다를 수도 있다. 명령어 Redis가 지원하는 Hash 관련 기능은 아래와 같다. RDBMS 테이블의 값을 설정하는 방식과 비교하면서 상상해 보자. 어떤 온라인 쇼핑몰의 .. 공감수 0 댓글수 0 2021. 5. 27.
  • Redis 자료 구조 - Set 개요 프로그래밍 언어에서 어떨 때 set을 사용할까? 주로 중복을 제거하거나, 말 그대로 집합 연산(포함여부 및 합집합/교집합 등)을 해야할 경우에 사용할 것이다. Redis에서도 이러한 연산을 지원한다. 명령어 Redis가 지원하는 집합 연산 기능은 아래와 같다. SADD 127.0.0.1:6379> help sadd SADD key member [member ...] summary: Add one or more members to a set since: 1.0.0 group: set set에 아이템을 추가한다. // 여러 아이템을 set에 추가 127.0.0.1:6379> sadd s1 e1 e2 e3 (integer) 3 127.0.0.1:6379> smembers s1 1) "e2" 2) "e3".. 공감수 0 댓글수 0 2021. 5. 12.
  • Redis 자료 구조 - List 개요 Redis에서 List는 여러 개의 데이터를 저장하기 위한 자료구조이다. 쉽게 생각해서 Linked List를 생각하게 될텐데, 지원하는 기능을 바탕으로 보면, 오히려 Dequee(Double Ended Queue)에 가깝다. Qeueue의 인터페페이스와 Stack의 인터페이스를 동시에 지원하기 때문이다. Stack 혹은 Queue의 말단 연산은 비용이 닞지만, 중간 데이터를 처리하는 연산은 비용이 상대적으로 높다. 따라서, 내가 수행해야 하는 오퍼레이션의 종류 및 데이터 성격이 어떤지 알고 쓰면 좋을 것이다. 명령어 List가 제공하는 전체 명령어 중 주요 기능은 아래와 같다. LRANGE 127.0.0.1:6379> help lrange LRANGE key start stop summary: G.. 공감수 1 댓글수 0 2021. 5. 10.
  • Redis 자료 구조 - String 개요 Redis에서 기본적으로 문자열, 숫자를 저장할 때 사용하는 자료구조이다. Key와 Value 모두 최대 길이가 512MB이다. 그렇다고, Key를 표기할 때 과다하게 길이가 길면 메모리 낭비가 발생한다. 프로그램내에서만 사용하는 로컬변수가 아니라, 여러 서비스에서 공통으로 사용하는 공간인 만큼, Key를 부여할 때, 적절한 가시성과 구분자를 섞어서 쓰는 편이 좋을 것이다. (예: "user_service:member:status") 명령어 주로 어떤 값을 설정하고, 조회하는 용도가 대부분이다. 특히 숫자형 데이터라면 증/감의 오퍼레이션도 지원된다. set 127.0.0.1:6379> help set SET key value [EX seconds|PX milliseconds|EXAT timestam.. 공감수 1 댓글수 0 2021. 5. 6.
  • Memcached vs. Redis - 특징 비교 개요 In-Memory Data Store 관점에서 Memcached냐 Redis냐를 두고 저울질 하는 광경을 종종 보곤한다. 이에 두 솔루션을 비교 정리해 놓는다. 주요 특징 비교 두 솔루션 모두 NoSQL로 분리되고, 크게는 In-Memory 솔루션, 캐시 솔루션으로 인식되고 있다. 그러나, 아래 표에서 보는 바와 같이 지원하는 기능에 차이가 있다. 항목 Memcached Redis 데이터 분할 O O 다양한 데이터구조 지원 X O Mutli Thread/ Single Thread Multi Thread Single Thread 데이터 저장 (persistence/ snapshot) X O 데이터 복제 (replication) X O 트랜잭션 지원 X O Publisher/Subscriber X O .. 공감수 2 댓글수 0 2021. 5. 3.
  • Redis 개요 개요 Redis는 Remote Dictionary Server를 뜻한다. Redis는 대표적인 In-Memory data store 솔루션 중 하나로 꼽히는데, 특히 Memcached와 종종 비교되곤 한다. 그러나, Redis는 Memcached와는 달리 다양한 데이터 타입을 지원하여 보다 다양한 분야의 요구사항을 충족시키고 있다. Redis는 분산 Key-Value Store, 캐시서버, 메시지 브로커 등으로도 활용되기도 한다. Redis 지원 Data Type들 Redis에서 주로 쓰이는 데이터 형은 String, List, Set, ZSet(Sorted Set), Hash가 있다. String 문자열, 정수, 소수를 저장한다. 문자열 전체 혹은 부분을 다룬다. 정수와 소수를 증감한다. List St.. 공감수 2 댓글수 0 2021. 4. 28.
  • Avro 개요 Avro란? Avro는 데이터 직렬화와 관련된 시스템이다. 한국 개발자들은 /에이브로/라고 발음하곤 하지만, 외국 개발자 커뮤니티에서는 주로 /아브로/라고 발음하고 있다. Avro는 JSON 형태로 기록한다. 따라서, Avro는 스키마를 표현하는 JSON이라 생각할 수 있다. Avro의 장단점 장점 데이터의 타입을 알 수 있다. 데이터가 압축되어 효율성이 높다. 스키마에 설명을 포함하여 구조를 이해하는데 도움을 줄 수 있다. 데이터를 여러 언어로 액세스할 수 있다. 향후 스키마 변경에 유연하게 대응할 수 있다. (schema evolution) Hadoop 계열과 궁합이 좋다. Confluent Schema Registry에 쓸 수 있다. (유일) 단점 바이너리 형태로 직렬화(serialize) 되므로 .. 공감수 1 댓글수 0 2021. 4. 23.
  • Redis 설치 방법 세 가지 Redis 설치 방법 세 가지 본 글에서는, Redis를 설치하는 여러 방법을 다룬다. 운영환경용이라기 보다 로컬 개발환경에 설치하는 목적이다. Redis 공식 사이트 https://redis.io/download Redis *Download Stable releases liberally follow the usual major.minor.patch semantic versioning schema. *Other versions Old (6.0) Redis 6.0 introduces SSL, the new RESP3 protocol, ACLs, client side caching, diskless replicas, I/O threads, faster RDB loading, ne redis.io Redis .. 공감수 0 댓글수 0 2021. 4. 21.
  • Docker기반 Spark Cluster 설치하기 Docker에 Spark Cluster 설치하기 Baremetal 서버나 cloud, VM 등에 설치하기에 앞서, docker기반으로 spark cluster 환경을 빨리 쉽게 구축하고 사용할 수 있다. 어떻게 동작하는지 살펴보거나, 간단한 프로젝트를 하고자 한다면 나쁘지 않은 선택이 될 것이다. Spark Cluster Project 받기 인터넷에서 다음의 프로젝트를 받아서 설치한다. git clone https://github.com/big-data-europe/docker-hadoop-spark-workbench.git Spark Cluster 시작하기 위 프로젝트를 clone한 디렉토리에서, 다음과 같이 실행하면 프로젝트내 기술된 docker-compose.yml을 바탕으로 spark cluste.. 공감수 1 댓글수 6 2020. 12. 15.
  • Local AirFlow 설치하기 Airflow Local 설치 (OSX) 예전에는 실행하고자 하는 job들을 crontab으로만 구성하였으나, 이제는 rundeck, oozie, airflow 등 많은 툴들이 사용되고 있다. 이와 같은 툴들은 각 job들의 실행 순서를 정의하고, 언제 실행될지, 실행시간이 얼마나 걸리는지 등에 대한 정보도 제공하기 때문에 유지보수나 관리, 성능개선 트래킹 관점에서도 crontab과는 비교할 수 없을만큼 유용하다. AirFlow의 공식 사이트는 https://airflow.apache.org/ 이다. 다른 어떤 문서보다 공식사이트내 설치, 설정 활용 등에 대한 가이드를 먼저 참고하는 것이 좋다. pip로 airflow를 설치할 것이므로, 다음과 같이 pip를 설치한다. 예전 설치 방식 sudo easy_.. 공감수 0 댓글수 0 2020. 12. 9.
  • brew로 local zeppelin 설치하기 brew가 실행가능하도록 설정되어 있다는 전제하에 brew install apache-zeppelin 위와 같이 간편하게 zeppelin을 설치한다. alias 설정 실행 편의를 위해, 다음과 같이 alias를 선언한다. which zeppelin.sh 로 zeppelin 설치 위치를 확인하고, alias zeppelin-start="/usr/local/bin/zeppelin.sh start" alias zeppelin-stop="/usr/local/bin/zeppelin.sh stop" 과 같이 본인이 사용하는 shell에 등록한다. Zeppelin 실행 zeppelin을 실행하려면, java runtime이 설치되어 있어야 한다. zeppelin-start Zeppelin 종료 zeppelin-sto.. 공감수 0 댓글수 0 2020. 11. 30.
  • The Hadoop Distributed File System : Architecture and Design 요약 본 내용은 해당 링크내의 원본을 읽고, 키워드 등의 관점에서 축약하였음 원본 링크 : http://hadoop.apache.org/core/docs/current/hdfs_design.html 원본 링크내 첨부파일 : 본 내용은 해당 링크내의 원본을 읽고, 키워드 등의 관점에서 축약하였음 ■ Introduction - HDFS is highly fault-tolerant and is designed to be deployed on low-cost hardware. - HDFS provided high throughtput access to application data and is suitable for applications that have large data sets. ■ Assumptions an.. 공감수 0 댓글수 0 2008. 7. 29.
  • HBase에서 HQL 사용하기 HBase에서 HQL 사용하기 (wiki.apache.org내용을 근거로) 설치된 HBase를 바탕으로, HQL을 수행하였다. (bin/hbase shell) 해당 정보의 참고 링크는 아래와 같다. http://wiki.apache.org/hadoop/Hbase/HbaseShell?action=print 1. Create Table hql> create table movielog_table ( --> year, length, inColor, studioName, vote, producer, actor); 2. Insert Data hql> insert into movielog_table (year:, length:, inColor:, studioName:, 'vote:user name', producer.. 공감수 0 댓글수 0 2008. 7. 25.
  • HBase 설치/설정하기 Michael 씨가 자세하게 설명했던 HDFS 설정과는 달리, HBase 설정은 wiki.apache.org/hadoop/HBase에 나와있는 설명이 전부이다. 물론, 웹에서 많은 사람들의 노력의 흔적은 곳곳에 있긴 하지만, 역시 어렵다. 기본적인 수준의 설명이나, 링크의 소개, 해봤더니 잘 되더라는 소감이 대다수이니까. 1. 내 시스템 구성 1) 앞서 설정한 HDFS(master, slave) -> 2대 2) HBase -> 1대 2. 미리 준비할 것 1) hbase1과 master, slave 간 ssh가 미리 설정되어 있어야 함. (비밀번호 없이 SSH 인증하기 참조) 2) hbase1, master, slave는 서로 reachable 해야 함. (hbase1는 master랑만 통신해도 될 줄 알.. 공감수 0 댓글수 0 2008. 7. 25.
  • HDFS 설정하기 기본적으로는, 아래 posting과 같이 Michael G. Noll씨가 설명한 바와 같이 따라하면, 하나의 machine에 single cluster를 이상없이 설치할 수 있다. Michael이 권고하기를, 여러 개로 multi cluster를 구축하기에 앞서, 단일 cluster로 정상 작동하는지 확인 후, 여러 개를 붙여가는 방법이 보다 효과적이라고 한다. 두 개의 cluster를 master-slave로 구성하고자 한다면, 앞서 마친 단일 cluster 2개 중 하나를 master로 다른 하나를 slave로 설정한다. 1. master와 slave의 conf/hadoop-site.xml에서 localhost 부분을 master로 바꿔준다. 2. master의 conf/masters 파일에 mast.. 공감수 0 댓글수 0 2008. 7. 25.
  • Hadoop Installation on Ubuntu Linux 7.10 Related articles by Michael G. Noll ---------------------------------- 1. Running Hadoop On Ubuntu Linux (Single Node Cluster) http://wiki.apache.org/hadoop/Running_Hadoop_On_Ubuntu_Linux_%28Single-Node_Cluster%29 2. Running Hadoop On Ubuntu Linux (Multi Node Cluster) http://www.michael-noll.com/wiki/Running_Hadoop_On_Ubuntu_Linux_%28Multi-Node_Cluster%29 [Comments] 1. I created a VMWare Team pr.. 공감수 0 댓글수 0 2008. 7. 17.
  • HBase Installation (Standalone mode/local file system) Requirements ------------- - Java 1.5.x, preferably from Sun. - Hadoop 0.16.x. This version of HBase will only run on Hadoop 0.16.x.. - ssh must be installed and sshd must be running to use Hadoop's scripts to manage remote Hadoop daemons. - HBase currently is a file handle hog. The usual default of 1024 on *nix systems is insufficient if you are loading any significant amount of data into regio.. 공감수 0 댓글수 0 2008. 7. 15.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.