데이터 분석은 시대를 타지 않는 ‘유행어’입니다. 분석의 토대라 할 수 있는 데이터베이스, 데이터웨어하우스 역시 유행을 타지 않습니다. 다만 시대적 요구에 따라 진화합니다. 데이터베이스는 RDBMS, NoSQL 등 각각 쓰임에 최적화되는 쪽으로 진화하고 있습니다.
그렇다면 40년 이상 엔터프라이즈 분석 현장의 중심에 있던 데이터웨어하우스는 어떤 모습으로 발전하고 있을까요? 현대적인 데이터웨어하우스가 지향하는 것은 ‘실시간’ 이라는 의미도 함축되어 있습니다. 데이터를 준비하고, 배치하여, 분석하던 오랜 관행은 최근 빠르게 ‘실시간’으로 바뀌고 있습니다. 기업은 쏟아지는 데이터 속에서 즉각적인 의사결정을 위한 통찰력을 얻고 싶어 합니다. 실시간 분석은 필수가 되었고, 최근에는 인공 지능까지 더해 예측 기반 분석까지 시도하고 있습니다.
이런 시대적 요구를 전통적인 데이터웨어하우스 구축과 운영 방식으로 따라가는 것은 뭔가 앞뒤가 맞지 않습니다. 운영자 눈에는 실시간 처리에 필요한 강력한 인프라의 규모와 성능을 어디까지 잡아야 할지 구체적으로 보이지 않습니다. 분석가는 셀프서비스로 실시간 분석을 하는 데 한계를 느낍니다. 그래서 IT 부서에 데이터를 요청하는 기존 방식으로 돌아가곤 합니다.
BigQuery로 기업들이 전환하는 이유
40년간 우리가 알아 온 데이터웨어하우스는 2020년 현재 비즈니스 요구를 담기에 그릇이 작습니다. 이런 이유로 BigQuery 같은 네이티브 클라우드 데이터웨어하우스의 수요가 늘고 있습니다. BigQuery는 기업의 분석 전략을 빠르게 현대화하는 길을 제시합니다. 관련해 효과를 거둔 곳도 많습니다.
금융 서비스 기업인 KeyBank의 예를 볼까요? 이 은행의 최고 데이터 책임자(CDO, Chief Data Officer)인 Michael Onders는 “우리는 온프레미스 데이터웨어하우스를 BigQuery로 마이그레이션하여 회사의 분석 전략을 현대화하였고, 이를 통해 컴퓨트와 스토리지 등 자원 관련 TCO를 줄였습니다.”라며 “구글 클라우드가 제공하는 스마트한 분석 플랫폼으로 우리는 광범위한 데이터 변환 도구와 머신 러닝 도구를 접하고 있습니다. 이를 통해 우리는 예측 기반 분석을 통해 통찰력을 끌어내고 있고, 우리가 보유한 데이터의 잠재적 가치를 극대화하고 있습니다.”라고 말합니다.
Redshift, S3에서 BigQuery로 마이그레이션 하기
레거시 환경은 사내에만 있는 것이 아닙니다. 레거시 환경 일부를 클라우드에서 운영하는 곳도 많습니다. 이런 기업들이 KeyBank와 같이 분석 전략 현대화의 혜택을 누릴 수 있도록 구글은 최근 아마존 Redshift와 S3 환경을 BigQuery로 마이그레이션 하는 데 필요한 도구를 공식(GA, General Availability) 발표했습니다. 이 도구를 이용하면 아마존에서 이용하던 데이터웨어하우스를
BigQuery로 매끄럽게 마이그레이션 할 수 있습니다.
마이그레이션을 하면 어떤 효과를 거둘 수 있을까요? 아마존에서 구글 클라우드로 데이터웨어하우스를 옮긴 홈디포, 레딧, 디스코드 등의 기업 사례를 보면 그동안 느껴온 분석의 제약과 성능의 한계를 극복한 것에 만족감을 표현하고 있습니다. 사례 기업 중 하나인 채팅 서비스 기업 디스코드의 경우 Teradata와 Redshift 환경을 BigQuery로 이전했습니다. 관련해 디스코드의 기술과 머신 러닝 부문을 이끄는 Spencer Aiello는 “Redshift에서 BigQuery로 온 것은 우리 조직에게 있어 뭔가 판이 바뀌는 것 같은 변화를 가져왔습니다.”라며 “그동안 발목을 잡던 성능 병목 현상을 더 이상 겪지 않아도 되고, 용량 제약도 없습니다. 이로 인해 우리 비즈니스 발전에 도움이 되는 실행 가능한 통찰력을 끌어낼 수 있게 되었습니다.”라고 말합니다.
마이그레이션 지원을 위한 파트너 생태계 강화
데이터웨어하우스 마이그레이션은 도구만 있다고 되는 것이 아닙니다. 도구를 가지고 직접 작업을 한다? 위험 부담이 너무 큽니다. 이런 이유로 많은 기업이 데이터웨어하우스를 이전할 때 기술 지원을 받을 수 있는 파트너를 찾습니다. 구글의 경우 Redshift, S3에서 BigQuery로 마이그레이션 하는 것을 돕는 파트너 생태계를 구축하고 있습니다. 관련해 구글은 세 가지 유형으로 파트너십을 맺고 있습니다. 마이그레이션 지원 전담팀을 보유한 파트너, 전문 지식과 인력을 갖춘 GIS(Global system integrators) 파트너, 구글의 마이그레이션 도구와 연계 가능한 솔루션을 보유한 GIS 파트너입니다. 현재 구글은 Wipro, Infosys, Accenture 등 파트너를 확대하고 있습니다.
현재 운영 중인 데이터웨어하우스를 BigQuery로 전환하고 싶다면? 문의 페이지를 방문하기 바랍니다.
또한, 직접 마이그레이션을 진행할 수 있는 인력과 노하우가 있다면 구글이 제공하는 마이그레이션 도구에 대한 상세 내용을 참조 바랍니다.
DATA ANALYTICS–GOOGLE CLOUD PLATFORM
