컬리

.

마켓컬리는 국내 최초로 신선 식품의 새벽 배송 서비스를 열었던 국내 최고의 이커머스 유통 업체입니다. 우수한 품질과 배송 서비스로 고객님의 사랑을 받아왔고, 최근 뷰티컬리를 런칭해 하나의 컬리라는 브랜드로 나아가고 있습니다.

컬리는 오늘 주문하신 상품을 내일까지 배송하기 때문에 모든 비즈니스 활동에 데이터를 활용하며, 데이터를 기반으로 운영 의사결정을 내립니다. 그렇기 때문에 준실시간 데이터를 빠르게 전달하는 일이 무엇보다 중요합니다. 그러나 기존에 컬리가 사용하던 Data Warehouse에는 여러 문제점이 있었습니다.

 

첫 번째 문제는 데이터 지연이 잦았다는 점입니다.

기존 데이터 웨어하우스와 데이터 파이프라인은 데이터를 빠르게 전달하기 부족했고 평균 20분에서 길게는 수 시간 이상 데이터가 지연되는 일이 잦았습니다.

 

두 번째 문제는 확장성이 떨어지고 스토리지가 부족했습니다.

성장하는 컬리에 따라 증가하는 대규모 데이터를 스토리지 걱정 없이 보관하고 빠르게 조회할 필요가 있었습니다.

 

세 번째 문제는 이전 데이터 웨어하우스에서의 쿼리 응답 시간이 너무 길었습니다.

동시 실행 쿼리가 많아질수록 분석 자원이 부족해졌고 빠르게 데이터를 조회할 수 없었습니다. 또한 데이터 적재와 데이터 분석 작업이 동일한 자원을 썼기 때문에, 데이터 적재에 영향을 주지 않기 위해 쿼리 시간을 제한하거나 실행 중인 쿼리를 강제 종료해야 했습니다.

 

이러한 문제점들을 해결하고자 구글 BigQuery를 도입하게 됐고 보다 간결하고 효율적인 데이터 파이프라인을 구축할 수 있었습니다.

컬리는 구글 BigQuery를 통해 이전 데이터 웨어하우스의 여러 문제점들을 모두 해소할 수 있었으며 보다 빠르고 정확하게 데이터를 적재하고 활용할 수 있게 되었습니다.

또한 BigQuery와 연계할 수 있는 다양한 Google Service를 사용할 수 있게 되어, 실무자들의 데이터 접근 방식을 다각화하고 업무 효율을 높일 수 있었습니다.

더 나아가 구글의 우수한 머신러닝 기술을 활용해 컬리의 비즈니스 활동을 개선할 수 있는 길이 열렸습니다.

구글 BigQuery로 데이터 웨어하우스를 구성하면서 보다 간결하고 효율적인 데이터 파이프라인을 구축할 수 있었고 비용 및 장애 지점을 획기적으로 줄임으로써 기대 이상의 효과를 얻었습니다. 또한 실무자들이 더 손쉽게 데이터를 활용할 수 있게 되어, 컬리의 데이터 활용역량을 더욱 강화할 수 있었습니다.

 

▼ 정형 데이터 파이프라인 아키텍처

▼ 비정형 데이터 파이프라인 아키텍처

출처: “컬리의 BigQuery 도입기-2부”, Kurly Tech Blog

새로운 클라우드의 환경에 정착하는 건 쉽지 않습니다. 이런 어려움을 함께 헤쳐 나갈 수 있는 파트너로서, 컬리가 직면한 문제를 함께 고민하고 타사의 다양한 시행착오를 바탕으로 얻은 경험을 적극 활용해 성공적으로 데이터 웨어하우스 이전 구축을 마무리할 수 있었습니다.

“컬리가 구글 클라우드를 선택한 것은 결국 Google의 여러 성공 비즈니스로 검증된 Google Cloud 제품의 기술력과 다양한 국내외 성공 도입 사례가 있었기 때문입니다. 무엇보다 구글 BigQuery는 다른 클라우드 제품이 도저히 따라올 수 없는 성능과 편의성을 제공합니다. 확장성과 성능이 우수한 데이터 웨어하우스를 구축하고 싶다면 구글 클라우드를 적극 검토해 보시길 추천 드립니다.”

 

<이춘오 데이터플랫폼 팀, 컬리>