Tableau 기술

Hyper는 고객이 트랜잭션 데이터베이스에서 바로 분석 쿼리를 효율적으로 평가함으로써 크고 복잡한 데이터 집합을 더 빠르게 분석할 수 있게 도와주는 고성능 인메모리 데이터 엔진 기술입니다. 핵심 Tableau 플랫폼 기술인 Hyper는 자체적인 동적 코드 생성 및 최첨단 병렬 처리 기술을 사용하여 추출 생성 및 쿼리 실행에서 빠른 성과를 낼 수 있습니다.

Hyper의 고유한 설계

지난 10년 동안 인메모리 데이터 엔진 및 분석 데이터베이스 기술은 샘플링, 요약과 같은 기술을 통해 놀라운 쿼리 성능을 제공했습니다. 그러나 이러한 성능 개선은 대가가 따릅니다. 많은 시스템에서 분석 워크로드 성능의 최적화를 위해 빠른 추출 만들기와 새로 고침 성능에 필수적인 쓰기 성능을 포기하기도 합니다. 하지만 쓰기 속도가 떨어지면 데이터 처리가 지연되거나 데이터 연결이 차단됩니다. 결과는 어떨까요? 사람과 분석할 데이터 사이에 지연 시간이 발생합니다. Hyper를 통해 Tableau가 이루고자 하는 사명은 빠른 쓰기 속도와 빠른 분석 워크로드 성능을 제공하여 사람이 데이터에 더 가까이 다가가도록 만드는 것입니다. 간단히 말해서 Hyper는 최신 데이터를 더욱 빠르게 제공하므로 더 크고 복잡한 데이터를 효율적으로 분석할 수 있습니다.

시스템 아키텍처: 트랜잭션 및 분석 쿼리에 대한 단일 상태

Hyper를 사용하면 트랜잭션 및 분석 쿼리가 동일한 열 저장소에서 처리되며, 데이터를 활용한 이후에 후처리가 필요하지 않습니다. 이렇게 하면 오래된 데이터를 줄이고 시스템 간의 연결 지연을 최소화합니다. Hyper의 독창적인 접근 방식은 단일 시스템에서 읽기 및 쓰기가 많은 워크로드의 진정한 결합을 가능하게 합니다. 이는 빠른 쿼리 성능에 영향이 없이 신속하게 추출 만들기가 가능하다는 것을 의미합니다. (우리는 이를 윈윈이라고 부릅니다.)

쿼리 실행에 대한 새로운 접근 방식: 동적 코드 생성

Hyper는 새로운 적시(JIT) 컴파일 실행 모델을 사용합니다. 다른 많은 시스템에서는 최신 멀티코어 하드웨어를 최대한 활용할 수 없는 전통적인 쿼리 실행 모델을 사용합니다. 반면에, Hyper는 쿼리를 최적화하고 맞춤형 기계어 코드로 컴파일하여 기본 하드웨어를 보다 효율적으로 활용합니다. Hyper는 쿼리를 받으면 트리를 만들고, 트리를 논리적으로 최적화하며, 이를 기본으로 사용하여 고유한 프로그램을 만든 다음 실행합니다. 결국, 최신 하드웨어를 보다 잘 활용하여 빠르게 쿼리를 실행하게 됩니다.

더 효율적인 하드웨어 활용: Morsel-Driven Parallelism(모셀 기반 병렬 처리)

Tableau는 시작 단계부터 대형, 멀티코어 환경을 염두에 두고 Hyper를 설계했습니다. Tableau의 병렬 처리 모델은 매우 작은 작업 단위(모셀)에 기반을 둡니다. 이러한 모셀은 사용 가능한 모든 코어에 걸쳐 효율적으로 할당되므로, Hyper에 코어 속도의 차이를 더 실감나게 느낄 수 있습니다. 이는 보다 효율적인 하드웨어 활용과 더 빠른 성능을 의미합니다.

Hyper는 2010년 뮌헨 공과 대학(TUM)에서 학술 연구 프로젝트로 시작되었습니다. Hyper를 업계에 소개하고 상업용 기술 버전을 제공한다는 목표로 2015년 독립 조직으로 분사했습니다. Hyper는 2016년에 Tableau에 인수되었으며, 이의 핵심 기술이 현재 Tableau 데이터 엔진에 힘을 실어주고 있습니다.