와이더플래닛, 명실상부한 국내 애드테크 1위 기업입니다. 와이더플래닛의 핵심 역량은 데이터에 기초한 타겟 마케팅입니다. 특히 PC, 모바일 등 다양한 장치에서 생성하는 데이터를 토대로 이용자의 행동을 추적하는 알고리즘과 빅 데이터를 다루는 솜씨는 명성이 자자하죠. 실제로 와이더플래닛의 DMP(Data Management Platform)과 DSP(Demand Side Platform)을 경험한 고객들은 칭찬을 아끼지 않습니다.
데이터 수집과 처리가 곧 비즈니스인 와이더플래닛이 최근 빅 데이터 플랫폼 환경에 큰 변화를 주었습니다. 바로 구글의 BigQuery로 새로운 빅 데이터 분석 환경을 마련한 것입니다. 와이더플래닛이 BigQuery를 선택한 이유는 많은 양의 데이터를 더 빨리 처리하고 싶었기 때문입니다. 와이더플래닛은 보다 정교한 타게팅 광고를 위해 매일 35억 건 이상의 트랜잭션, 압축 기준 2TB 이상의 대규모 데이터를 분석합니다. 이런 일상적인 작업 외에도 최근에는 비즈니스가 활황세를 타면서 다양한 심층 분석과 인터랙티브 분석에 대한 현업 분석가들의 요구가 늘고 있습니다. 이런 조건들이 맞물리자 기본에 온프레미스에서 운영하던 하둡 플랫폼의 한계가 크게 느껴졌고, 대안으로 BigQuery를 도입하게 된 것입니다.
“고르고 고른 끝에 선택한 BigQuery”
와이더플래닛은 데이터 전문 기업입니다. 이런 기업의 눈에 BigQuery가 들었다는 것은 다 그만한 이유가 있겠죠? 와이더플래닛은 다차원 드릴다운(drill down) 분석, 교차 분석, 장기간 시계열 분석, Ad-hoc 등 심층 분석 요건을 충족하면서 빠른 속도의 인터랙티브 분석을 수행할 수 있는 솔루션을 찾았습니다. 필요에 맞는 대용량 분산 데이터웨어하우스를 찾기 위해 여러 상용 솔루션을 검토하였고, 다양한 워크로드를 대상으로 벤치마킹을 했습니다. 이런 과정을 거쳐 최종 선택한 것이 바로 구글 BigQuery입니다. 와이더플래닛은 BigQuery를 활용해 다음과 같이 여러 부서에서 다양한 데이터 세트를 올려 BI/OLAP 작업을 할 수 있도록 빅 데이터 아키텍처를 바꾸었습니다.
와이더플래닛이 꼽은 BigQuery의 장점 4가지
BigQuery를 실전에 투입하면서 와이더플래닛은 도입 전 검토 때 확인했던 장점 4가지를 직접 체험합니다. 와이더플래닛이 꼽는 BigQuery의 장점 4가지는 다음과 같습니다.
- 대용량 데이터, 신속한 분석·배포가 가능: 대용량 확장이 가능할 뿐 아니라 대용량 데이터 세트(최대 몇 십억 개의 행)을 대화식으로 분석하는 데 사용이 가능했습니다. 빅쿼리를 활용하여 수백만 개의 레코드를 수 초 만에 분석할 수 있으며 서비스 배포 속도를 크게 향상시킬 수 있었습니다.
- 별도 운영인력이 필요하지 않음: 다른 빅 데이터 플랫폼의 경우 설치, 설정, 클러스터 유지보수 등 작업을 위해 별도의 운영조직과 여러 리소스가 소요됩니다. 하지만 BigQuery는 메가존과 같은 공식 파트너사를 통해 매니지드 서비스를 받을 수 있습니다. 와이더플래닛의 경우도 메가존에 모든 것을 맡기고 있다 보니 따로 운영에 신경 쓸 필요 없이 자원을 개발과 분석에만 집중하고 있습니다.
- SQL만 수행할 줄 알아도 빅데이터 분석이 가능: 보통 다른 빅데이터 플랫폼을 사용할 경우 전문성 있는 개발자가 분석 로직을 개발해야 하기 때문에 상당한 시간과 전문성이 요구됩니다. 하지만 BigQuery는 로그인 후 SQL만 수행하면 됩니다. 이처럼 분석이 쉬워 새로운 솔루션 도입에 대한 부담과 리스크를 최소화할 수 있습니다.
- 비용이 저렴: 데이터 저장 시 1GB당 월 $0.02, 스트리밍 데이터 입력 시 1GB당 $0.05, 데이터 질의 시 조회되는 데이터 1TB 당 $5의 요금으로 대량의 데이터 저장 및 스트리밍 데이터 처리, 데이터 분석이 가능합니다.
“도입 효과: 데이터 처리와 분석 속도 10배 이상 빨라져”
BigQuery 도입 효과, 뭐니 뭐니 해도 속도죠. 관련해 와이더플래닛 정수동 CTO의 말을 들어 보시죠.
“기존 빅데이터 저장과 분석에 저효율의 어려움을 느끼던 중 구글 빅쿼리를 사용함으로써 기존 Hive 시스템에서 5분 이상 소요되었던 분석을 BigQuery에서 20초 이내에 처리할 수 있게 되었으며 이로 인해 수십 배 빠른 대용량 인터랙티브 분석이 상대적으로 저렴한 비용으로 가능하게 되었습니다”
– ㈜와이더플래닛 CTO, 정수동
좀 더 자세히 효과를 소개하자면 크게 3가지로 압축할 수 있습니다.
- 데이터 처리와 분석 속도가 열 배 이상 향상: 빅쿼리 도입 이후 최소 5분씩 소요되던 대부분의 정형 질의(Report, BI) 응답속도가 10초 이내로, 긴 기간 대량 데이터 Ad-hoc 질의 응답 속도는 수십 초 이내로 단축되었습니다. 특히 대규모 데이터에 대한 Full Scan 성 집계 작업에서 BigQuery는 탁월한 성능을 보여 주었습니다.
- DBA 없이 쉬운 운영 관리: 구글 클라우드 공식 파트너사 메가존의 매니지드 서비스 및 컨설팅 서비스를 통해 운영 관리 작업의 부담이 대폭 감소하여 관련 비용을 절감하였습니다. 뿐만 아니라 BigQuery가 제공하는 자동화된 데이터 라이프사이클 관리 기능을 이용하여, 타임 파티션, 파티션 자동 만료기간 설정, 장기간 시계열 프라이싱 등의 기능을 통해 경제적이고 편리한 운영 관리가 가능하게 되었습니다.
- 스토리지 증설 고민에서 해방: Nearline, Coldline 스토리지와 BigQury의 Long-term storage pricing 정책 덕분에 온프레미스 환경에 비해 데이터 보존 기간을 3배 이상 연장하고도 저렴한 비용으로 운영이 가능해졌으며, 데이터 보존을 위한 스토리지 증설 고민에서 해방될 수 있었습니다.
