이베이하면 뭐가 떠오르세요? 전자상거래의 대표 브랜드하면 이베이가 떠오를 것입니다. 전자상거래 분야의 개척자 중 하나인 이베이는 요즘 무엇에 꽂혀 있을까요? 네, 인공 지능(AI)입니다. 이베이는 다양한 부문에 AI를 적용하고 있습니다. 이중 이미지 검색 관련해 이베이가 갖는 경쟁력을 좀 살펴보겠습니다.
이미지 검색에 AI를 적용하는 이유는 간단합니다. 고객의 쇼핑 방식이 변하는 것에 따라가기 위해서입니다. 쇼핑몰을 이용할 때 점점 더 많은 사람이 이미지 검색을 합니다. 고객이 이미지 검색을 통해 원하는 상품을 찾고, 구매할 수 있도록 돕기 위해 유명 쇼핑몰은 AI 기술을 총동원하고 있죠. 이베이 역시 마찬가지입니다. 이베이는 모바일 앱과 이베이 샵봇을 통해 비주얼 서치 기능을 제공합니다.
출처: 이베이
이베이는 더 정확한 이미지 검색 결과를 제공하기 위해 머신 러닝을 적용하고 있습니다. 관련해 모델 트레이닝과 인퍼런싱을 해왔는데, 이 과정에서 꽤 큰 도전 과제에 직면합니다. 모델 트레이닝에 너무 많은 시간이 소요된 것입니다. 이베이에 등록된 상품 수는 11억 개 정도 됩니다. 이 규모를 보면 왜 모델 트레이닝에 시간이 오래 걸리는 지 알 수 있죠. 수천만 개의 이미지를 데이터 세트로 사용해 트레이닝을 하려다 보니 시간이 엄청나게 걸렸던 것이죠.
“Cloud TPU로 이미지 검색 모델 트레이닝 시간을 40일에서 4일로 단축”
이베이처럼 큰 사업자도 한없이 GPU 기반 클러스터를 늘려갈 수 없습니다. 더군다나 매우 짧은 주기로 최신 아키텍처 기반의 GPU가 나오는 현실을 고려할 때 사고 나면 곧 구형이 되는 GPU 기반 서버를 온프레미스 환경에 구축해 늘려가는 것은 왠지 손해 보는 느낌이 들 수 있습니다. 이런 이유로 이베이는 대안을 찾게 됩니다.
이베이의 눈에 들어온 것이 바로 구글 Cloud TPU입니다. 써본 결과 이베이는 모델 트레이닝은 클라우드가 답이라는 결론을 쉽게 내렸습니다. 구글 Cloud TPU v2 Pod를 통해 이용해본 결과 사내 시스템을 이용할 때 40일 걸리던 트레이닝이 4일로 줄었습니다. TPU 성능은 11.5페타플롭스 규모였는데, 이를 구축형 서버로 지원하려면 비용이 어마어마했을 것입니다.
트레이닝 시간이 준 것이 갖는 의미는 크게 다가왔습니다. 트레이닝을 거듭하면서 정확도(accuracy)를 빠르게 높일 수 있었던 것이죠. 이는 고객이 이베이 앱이나 샵봇을 이용해 이미지 검색을 할 때 느끼는 만족도를 높이는 결과로 이어졌습니다. 다음 화면은 페이스북 메신저에서 이베이 샵봇을 이용해 이미지 검색을 한 결과인데요, 이미지를 보여 주니 해당 상품 링크를 바로 안내하네요. 똑똑하네요.
이베이의 TPU 활용 사례는 Google Next ’18에서 발표되기도 했는데요, 영상을 통해 직접 보면 느낌이 더 강력하게 옵니다.
