시민광장에 오신걸 환영합니다
아이디 · 비밀번호 찾기 | 회원가입
자유 게시판
'데이터베이스를 재정의하는' 신기술 8가지
임정수 | 2018-06-29 11:56:54 | 조회 1482  |  추천 : 0 인쇄하기
http://blog.usimin.co.kr/83972     


트위터 페이스북

데이터베이스란 무엇인가? 옛날 옛적에는 아주 간단한 것이었다. 데이터베이스는 항목당 한 개의 행으로 채워진 여러 개의 아주 깔끔한 열로 구성된 테이블에 데이터를 넣고 있는 현대판 밥 그래칫(스쿠루지에 나오는 박봉의 직원)이었다. 길고, 끝이 없는 정보의 사각형이 미래로 펼쳐지고 있다.

관계형 데이터베이스(Relational Database)는 현대 컴퓨팅의 기반이 되었다. 대부분 웹사이트는 단지 SQL 상부에 덧칠해진 한 묶음의 CSS에 불과하다. 우리를 특별하게 만드는 것은 커다란 삶의 테이블에 있는 또 다른 행일 뿐이다.

Image Credit : GettyImagesBank
Image Credit : GettyImagesBank



하지만 개발자들이 모든 것이 단순한 테이블에 적합하지 않다는 것을 알아채면서 수 많은 비트로 구성된 커다란 매트릭스와의 애정 행각도 서서히 시들고 있다. 그리고 개발자들은 똑똑하며 모든 필요사항에 대한 솔루션을 찾는 것에 강박을 가지고 있기 때문에, 정보를 저장하기 위한 새롭고 더 나은 장소를 만들기 시작했다. 이로 인해 지난 몇 년 동안 데이터를 저장하기 위한 다른 메커니즘이 우후죽순처럼 생겨났다.

이런 멋진 새 옵션들을 여전히 데이터베이스라 해도 될까? 데이터베이스이기 위해서는 데이터가 어떤 커다란 행렬에 꼭 들어 맞아야만 하는 건가? 일부에서는 “데이터베이스”란 용어가 우리 머리 속에는 과거의 테이블형 구조와 너무 밀접하게 연결되어 있기 때문에 최신 메커니즘을 차별화하기 위해서 “데이터 저장소(Data Store)”라는 용어를 쓰고 싶어한다. 이 문제는 철학자들에게 남기기로 한다. 데이터가 들어가면 답이 나오기 마련이다.

데이터베이스가 새로운 모양과 형태로 재탄생되는 8가지 방법을 살펴본다.

GPU 컴퓨팅
예전에는 아동용 게임을 위한 정교한 장면을 그리기 위해 비디오 카드가 제작되었지만, 지금은 소위 GPU(Graphics Processing Unit)라는 것이 비 그래픽 처리 작업에 더 많이 사용되고 있다. 데이터를 검색하는 것은 GPU가 처리할 수 있는 최상의 비 그래픽 작업 중 한 가지일 뿐이다. 이렇게 하지 않을 이유가 없다. 일치하는 것을 찾기 위해 무수한 자료 더미를 찾는 것은 근본적으로 수백만 번 반복되는 엄청난 수의 (같은 지를 시험하는) 기초적인 작업으로 이루어진 병렬 작업이다. 그렇기 때문에 작업을 GPU에 있는 수천 개의 프로세서로 넘기는 것은 아주 간단하다.

GPU 컴퓨팅의 가장 큰 이점은 각각의 쿼리(Query)에 답하는 것(확실히 몇 배는 더 빠르다)에 있는 것이 아니라 준비 작업에 있다. 별 다른 사전처리가 필요 없기 때문이다. 많은 데이터베이스가 인덱스를 유지함으로써 시간을 절약하고 있는데, 이는 실질적으로는 가능한 모든 검색에 대해 사전에 계산된 결과이다. 이 인덱스에 오류가 생기거나 망실되면, 인덱스를 재구축하는데 몇 시간, 며칠, 또는 심지어 몇 개월이 걸릴 수 있다. 그렇지만, 데이터를 GPU의 메모리 안에 넣을 수만 있다면, 대개는 인덱스 없이도 버텨낼 수 있다. 데이터가 빠르게 변경되거나 인덱스의 대부분이 전혀 사용되지 않고 있다면, 사전처리를 생략하는 것이 매우 효율적이다.

보유하고 있는 데이터와 검색이 가속화될 수 있는지를 알아보려면 맵D(MapD), 키네티카(Kinetica), 브라이트라이트(Brytlyt)를 비롯한 다른 것들을 확인해보라.

VRAM(Non-volatile Memory, 비 휘발성 메모리)
50년 전에 경험을 쌓은 프로그래머들은 작업이 쉬웠다. 일관성을 보장하기 위해 정교한 프로토콜을 사용해서 데이터를 RAM과 디스크 간에 효율적으로 움직일 필요가 없었다. 당시의 메모리는 철로 된 코어였고 전원이 꺼져도 삭제되지 않았기 때문이다. 하지만 칩 제조업체들이 RAM을 NVRAM 혹은 비 휘발성 메모리로 대체하는 것에 대해서 논의하고 있기 때문에 그런 좋은 시절이 조만간 다시 올 수도 있다.

가장 커다란 난제 중 하나(그리고 더 나가서는 가장 큰 삶의 이유)가 없어지는 것이기 때문에 이는 데이터베이스 프로그래머들에게는 대단한 사건이다. 일부에서는 트랜잭션 시맨틱스(Semantics)가 더 간단해질 수 있기 때문에 데이터베이스가 훨씬 더 빨라질 수 있다고 말한다. 또 한편으로는 데이터가 매체에 기록되기 전이 아니라, 기록된 후에 복구 로그를 구축하자는 아이디어도 제시하고 있다.

결과가 어떻게 될지는 아무도 모른다. 영구 기록이 필요 없게 되어도 사람들이 여전히 데이터베이스를 사용하고 있을 것인가? 아니면 검색 작업과 인덱스 작업이 데이터베이스를 계속해서 필요로 할 것인가? 모든 알고리즘과 모든 아키텍처는 재고 대상이다. 10년 정도 지나면 NVRAM을 사용하기 위한 최선의 방법을 알게 될 것이다.

스케일 아웃(Scale-out) SQL
NoSQL 운동이 시작되었을 때, 가장 큰 특징 중 한 가지는 여러 대의 노드에 데이터 스토리지를 분산시킬 수 있는 능력이었다. 카산드라(Cassandra)와 몽고DB(MongoDB)같은 NoSQL 데이터베이스는 대규모 스토리지의 좋은 기능을 모두 이용할 수 있을 것처럼 보였고, 사람들이 SQL이란 익숙한 세상을 버릴 것처럼 보였다.

현실은, 이런 것들이 상충할 필요가 없다는 것이다. 대규모 데이터베이스의 초창기 실험은 SQL의 모든 짐을 내려 놓았었기 때문에 구축하기가 더 쉬웠고, 그 덕분에 SQL이 엄청난 규모로 구동하는 여러 대의 머신에 걸쳐서 동작하지 않을 이유가 전혀 없었다. 실제로 오라클 같은 업체는 몇 년 동안 그렇게 해오고 있다.

가장 최신의 대규모 데이터베이스는 커다란 클러스터 전체에 퍼져 있는 데이터 세트를 사용해서 사용자가 자신의 모든 SQL 지식과 편리성을 활용할 수 있게 해준다. 예를 들면, 카크로치DB(CockroachDB)눈 여러 대의 노드에 복제되어 있는 데이터에 액세스하는 표준 SQL 쿼리 엔진을 제공하고 있으며, 모두 ACID(원자성, 일관성, 고립성, 지속성)가 보장된다. 그렇다, 데이터 일관성에 대한 이런 철두철미한 지원에 대해 어느 정도는 대가를 지불하겠지만, 예상보다는 적을 것이다.

일관성 보장이 중요하다면, 카크로치DB, 구글 클라우드 스패너(Spanner), 클러스트릭스(Clustrix), 애저 SQL, 그리고 누오DB(NuoDB) 같은 스택들을 확인해보라.

metal powder - http://www.hanaamt.com magnesium powder - http://www.hanaamt.com 3d printing powder - http://www.hanaamt.com am powder - http://www.hanaamt.com
     

덧글쓰기 | 전체글 0건이 등록되어 있습니다
필명 : 비밀번호 :
2996 이수민, 임성진과의 열애설-목격담 직접 부인 “아닙니다.. 홍익대 18-07-09 0 1657
2995 자유당 개쓰레기들 대놓고 친일이네 (빡침 주의) 소시민 18-07-03 0 1505
2994 유시민작가님을 특강에 초청하고자 합니다 정의로운사회 18-07-03 0 1535
2993 증강현실 지원 본격화 外··· iOS 11이 기업에게 가지는.. 강정희 18-07-02 2 1789
2992 혜경궁김씨 넌 누구냐 18-07-01 0 1579
2991 노무현 우려먹고 벗겨먹자, 끝까지 - 김어준(한겨레) 혜경궁김씨누구냐 18-07-01 0 1674
2990 아~ 안철수 암기법 연상달인 18-06-30 0 1635
'데이터베이스를 재정의하는' 신기술 8가지 임정수 18-06-29 0 1483
2988 호주 페루전 승률 26%…험난한 월드컵 16강 도전 김보라 18-06-27 0 1500
2987 유시민은 돌아오라.... 樂당소굴 18-06-27 0 1655
2986 전문가에게 듣는 랜섬웨어 예방법 유정희 18-06-27 0 1869
2985 호주 페루전 승률 26%…험난한 월드컵 16강 도전 김보라 18-06-26 0 1699
2984 전문가에게 듣는 랜섬웨어 예방법 유정희 18-06-26 0 1768
2983 90년대 IT기술 어떻게 진화했나 이진성 18-06-24 0 1640
2982 김성태 홍준표 사람?   3 피닉스문 18-06-22 0 1350
2981 엄마의기도 무진장 18-06-21 0 1520
2980 머신러닝 최신 성공사례 3가지 유정희 18-06-19 3 1685
2979 김어준 반문이라는데   1 혜경궁김씨는 누구입니까 18-06-16 0 1438
2978 미국 기준금리 10년만에 2%대 경제학도 18-06-16 0 1497
2977 천만명 이상이 사용해본 통계 프로그램   1 정다빈 18-06-15 0 1263
2976 ‘자율운행 수상 보트’ 개발 한창 유주원 18-06-15 0 1411
2975 ‘차량 공유’에서 ‘비행 공유’ 시대로 안주희 18-06-13 0 1617
2974 트럼프 "한미훈련 중단" 언급 김위상 18-06-13 0 1304
2973 (교육.해외) 2018년 세 번째 쪽빛캠프 [태국에서 한번 살.. 피스캠프 18-06-11 0 1351
2972 인공지능의 수학적 원리 규명 임진호 18-06-10 0 1439
2971 귀에 꽂는 컴퓨터 ‘히어러블’ 안상수 18-06-08 0 1339
2970 2018 열두 번째 피스로드 [아무도 모르는 유럽 시즌2] 피스캠프 18-06-06 0 1212
2969 물류의 모든 길은 ‘오카도’로 통한다 우정태 18-06-06 0 1411
2968 설립 3주년 ‘구글 캠퍼스 서울’, 스타트업 생태계 허브.. 윤준희 18-06-03 0 1315
2967 유튜브, 전 연령에서 가장 오래 사용하는 앱 안성수 18-06-03 0 1394
2966 타오바오가 60세 이상 직원을 뽑는 이유 윤현준 18-06-02 0 1362
2965 올해 스타트업 투자 2조 전망 … ‘퓨처나인 리포트’ 발.. 임준상 18-06-01 0 1343
2964 세계사 암기법 12-1 연상달인 18-05-31 0 1190
2963 총 사용시간 1위는 구글, 2위는 카카오 …앱 개발사별 총.. 강성준 18-05-30 0 1280
2962 일본에서는 카톡보다 LINE 이민우 18-05-28 0 1487
2961 미일 잡종 홍준표는 정계를 떠나야하지 않을까? 박수일 18-05-26 0 1246
2960 트럼프의 운명은 정해졌다 김성환 18-05-26 0 1499
2959 알수록 위대한 북한의 정책. 김일성 주석의 회고록 여성중.. 여성중대 18-05-26 0 1479
2958 트렌드의 변화, 데이터 관리의 방향성 성윤호 18-05-24 0 1299
2957 보고 누락, 부실 수사? 미륵도사 18-05-22 0 1298
11121314151617181920