2017년 7월 한국을 대표하는 애드테크 기업인 와이더플래닛이 일본 법인 설립에 대한 뉴스가 한국과 일본의 주요 언론에 보도되었다. 웹과 모바일 광고 시장에서 빅 데이터를 통한 맞춤형 광고로 승부수를 띄우며 2010년 창업 후 가파른 성장세를 이어온 와이더플래닛의 성공적인 일본 시장 진출 배경에는 클라우드 컴퓨팅 기술이 자리하고 있습니다.
와이더플래닛은 메가존과 손잡고 온 프레미스에서 운영하던 하둡 클러스터 환경을 인프라부터 플랫폼까지 모두 구글 클라우드 플랫폼으로 옮겼습니다. 그리고 이를 통해 일본 시장 진출에 필요한 시스템 기반을 신속하게 제공하였습니다.
와이더플래닛의 첨단 기술을 기반으로 사업을 펼칩니다. 따라서 해외 시장에 진출한다는 것은 현지에 국내 못지않은 IT 환경을 갖추어야 함을 뜻합니다. 현지에 시스템 인프라와 플랫폼에 구축한다는 것은 생각처럼 쉬운 일이 아니죠. 일본에 하둡 기반 빅 데이터 환경을 마련하려면 꽤 많은 시간, 인력, 비용을 투입해야 합니다. 이런 방식은 신속한 해외 시장 진출의 발목을 잡기 쉽죠. 와이더플래닛은 다른 접근 전략을 취했습니다. 클라우드 인프라와 플랫폼을 활용해 신속히 일본 현지 광고 서비스를 위한 빅 데이터 환경을 마련했습니다.
“구글 클라우드 플랫폼을 이용해 일본 고객을 위한 빅 데이터 플랫폼 구축”
와이더플래닛은 한국에서 온프레미스 방식으로 운영하는 하둡 기반 빅 데이터 환경을 고수하지 않고 클라우드 친화적인 방식을 선택했습니다. 더 신속하고, 효율적으로 일본 시장에 진출하기 위해서였습니다. 와이더플래닛은 기존에 사용하던 온프레미스 하둡 환경을 인프라부터 플랫폼까지 모든 요소를 구글의 클라우드 서비스로 하나하나 대체하여 전체 시스템 환경을 설계했습니다.
첫 번째로 한 것은 워크로드 증감에 맞춰 하둡 클러스터를 신속하게 배포하고, 효율적으로 운영할 수 있는 인프라를 구글 클라우드 플랫폼에 조성한 것입니다. 메가존은 와이더플래닛의 온 프레미스 하둡 클러스터의 구성 방식과 운영 방법을 참조해 기존 온 프레미스 환경을 클라우드로 이전했습니다.
다음으로 한 작업은 하둡 시스템의 자리를 구글의 Dataproc으로 채우는 것이었습니다. 이를 통해 하둡 환경 관리를 더 신속하고 정확하게 할 수 있는 토대를 마련했습니다. 참고로 Dataproc은 구글에서 제공하는 클라우드 기반 하둡, 스파크 서비스로 신규 클러스터 구축을 90초 이내에 생성할 수 있고, 확장이나 자원을 줄여야 할 때도 신속하게 작업을 할 수 있습니다.
그리고 스토리지 이용 및 증설의 고민을 해결하기 위해 HDFS(Hadoop Distributed File System)을 GFS(Google File System)으로 바꾸었습니다. 구글의 Cloud Storage를 빅 데이터 저장 공간으로 활용하여 용량 제약 없이 데이터를 저장하고 활용할 수 있는 기반을 마련한 것입니다.
그 다음에 추가한 요소는 바로 구글 BigQuery입니다. 빅 데이터 저장, 분석 부문까지 클라우드 친화적으로 구성한 것입니다. 구글의 클라우드 서비스로 전체 환경을 구성했다고 해서, 기존 온프레미스에서 운영하던 기존 프로젝트나 ETL 파이프라인에 따로 손을 댈 필요는 없었습니다. 하둡 및 스파크 오픈 소스 커뮤니티에서 Dataproc 관련 도구, 라이브러리, 문서를 풍부하게 제공하기 때문이죠.
“클라우드 EFFECT ~ 신속한 해외 진출 및 운영 부담 없는 현지 비즈니스 지원”
일본 시장 공략의 기반인 구글 클라우드 플랫폼(GCP) 기반 빅 데이터 환경은 어떤 이점을 가져다주었을까요? 와이더플래닛 빅데이터 센터장 우경창 이사의 말을 들어 보시죠.
“구글 클라우드 플랫폼을 이용하여 일본 서비스를 위한 전체 플랫폼 구성을 단기간에 완료할 수 있었습니다. 일례로 온 프레미스 하둡 클러스터를 증설하는 작업의 경우 구매, 설치, 배포 프로세스에 최소 수 일에서 수 주가 소요되었으나, 구글 클라우드 플랫폼에서는 최대 십 분 이내로 수행할 수 있고, 저장 용량과 처리 성능을 바로 확장할 수 있어 서비스 환경 변화와 워크로드 증감에 빠르게 대응할 수 있게 되었습니다.”
– 와이더플래닛 빅 데이터 센터장 우경창 이사
와이더플래닛 빅 데이터 센터는 구글 덕에 일본 현지 비즈니스 지원에 대한 다양한 고민을 풀어 냈습니다. 이를 요약하면 대략 다섯 가지로 요약할 수 있습니다.
- 하둡 시스템 운영 및 관리의 어려움 해결: Dataproc 을 이용하여 하둡 시스템을 빠르게 구성할 수 있었고, 워크로드에 따라 클러스터 규모를 유연하게 조정할 수 있어 하둡 시스템 관리와 운영, 증설의 고민을 해결할 수 있었습니다.
- 스토리지 증설 고민에서 해방: 빅 데이터 처리를 위해 지속적으로 증설이 필요한 스토리지의 도입 및 구축, 적용, 운영에 대한 고민을 Cloud Storage를 통해 모두 해결할 수 있었습니다. 또한, 삭제를 해야 할지 말아야 할지 판단이 어려운 콜드 데이터에 대해 다양한 스토리지 옵션을 통해 저렴한 비용으로 저장하고 이용할 수 있게 되었습니다.
- 인터랙티브 분석 가능한 빅데이터 웨어하우스 구축: BigQuery를 이용하여 대규모 데이터를 저장하고 빠르게 분석할 수 있게 되어, 다양한 심층 분석과 인터랙티브 분석을 훨씬 빠르게 수행할 수 있게 되었습니다.
- 빅데이터 시스템 백업 및 복구 시간의 단축: 구글 클라우드에서 제공하는 간편한 스냅샷 백업 및 복구 기능을 통해 빠르고 쉽게 장애에 대응할 수 있게 되었습니다.
- 글로벌 서비스로의 빠른 확장이 가능: 글로벌 규모로 안정적으로 구축되어 있는 구글의 네트워크 및 플랫폼을 활용하여 중국 등 다른 나라에도 동일한 아키텍처의 안정적인 시스템을 빠르게 구축할 수 있게 되었습니다.
