전문가 영역에 있는 기술은 소수만 다룰 수 있습니다. 하지만 기술 발전은 전문가 없이도 사용자가 스스로 뭔가 할 수 있는 환경을 현실로 만들고 있습니다. 특히 데이터 부문에서 이런 현상이 빠르게 이루어지고 있습니다. 가장 먼저 일어난 일은 데이터 분석의 셀프서비스화입니다. BI의 셀프서비스화는 상당히 익숙한 개념이지만, 예전에는 그렇지 않았습니다. 사용자 도구의 부단한 편의성 개선과 기능 강화 속에서 이루어진 변화입니다. 2021년 현재 전문가의 손을 덜 빌려도 되는 부문이 하나 더 늘 전망입니다. 바로 AI/ML 모델링입니다. 관련 동향을 정리해 보았습니다.
데이터의 가치는 활용 범위가 넓어질수록 커집니다. 이게 뜻하는 바는 데이터를 편히 다룰 수 있는 사용자가 많아질수록 그 가치가 확대된다는 것입니다. 이는 셀프서비스 BI를 통해 어느 정도 검증이 되었습니다. 가령 Google 스프레드시트를 BigQuery와 연계하면 일반 사용자가 전문 데이터처럼 대량의 데이터에 자유로이 접근해 원하는 분석 결과를 확인할 수 있습니다. IT 팀에 부탁해 데이터를 수집하고, 데이터 분석가에게 의뢰해 원하는 결과를 뽑고, 이를 다시 대시보드 형태로 구성해 보기까지 절차와 시간을 생각해 보십시오. Google 스프레드시트와 BigQuery는 모든 절차를 건너뛰어도 사용자가 원하는 정보를 볼 수 있는 길을 열어 줍니다.
구글이 제공하는 Connected Sheets는 사용하면 SQL을 잘 모르는 사용자도 스프레드시트에서 수십억 행에 이르는 페타바이트 규모의 데이터를 분석할 수 있습니다. 따라서 IT 부서나 데이터 분석가에 의지하지 않아도 약간의 사내 교육으로 피벗 테이블, 차트, 수식 등의 평소 익숙하게 사용하던 스프레드시트 기능을 이용해 빅 데이터에 접근해 원하는 분석 결과를 끌어낼 수 있습니다.
BigQuery는 대화형으로 사용자가 원하는 답을 빅데이터에서 찾을 수 있게 돕기도 합니다. 구글은 자연어 인터페이스인 Data QnA를 통해 일반 사용자가 BigQuery 데이터에 접근하게 합니다. 이 기능은 사내에서 사용하고 있는 업무 지원용 챗봇, 생산성 도구인 스프레드 시트, Looker 같은 BI 플랫폼에 통합할 수 있습니다. 이에 따라 사용자가 빅 데이터에서 원하는 분석 결과를 일상적인 업무 워크플로우 상에서 확인할 수 있습니다.
AI/ML 역시 일반 사용자까지 문호가 넓어질 전망입니다. 물론 아직은 배경지식과 경험이 필요합니다. 일단 SQL 구문을 알고 있다면 AI/ML 활용은 가능합니다. BigQuery ML을 이용하면 표준 SQL로 ML 모델을 만들어 트레이닝할 수 있습니다. BigQuery ML을 사용하면 Python이나 자바 같은 프로그래밍 언어에 익숙하지 않은 사용자도 표준 SQL로 모델을 만들 수 있습니다. 구글은 사전 정의한 템플릿을 통해 AI/ML 문턱을 낮추기 위해 마케팅과 영업 팀에서 활용할 수 있는 고객 세분화, 고객 평생 가치(LTV) 예측, 전환 및 구매 예측 모델을 템플릿화 하여 깃허브 페이지에 올려놓았습니다. 모델 템플릿과 샘플 데이터 세트를 통해 BigQuery ML 체험부터 필요시 코드와 데이터 세트 변경을 통해 실제 업무에도 적용해 볼 수 있습니다. 참고로 BigQuery ML을 통해 선형 회귀 기반 예측, 이진 로지스틱 기반 분류, 데이터 분할, 제품 추천, 시계열 예측 모델 등을 만들 수 있습니다.
현업 부서가 주도적으로 분석, AI/ML 부분까지 데이터를 활용할 수 있다는 것은 기업의 의사결정이 데이터 중심으로 이루어지는 데 있어 매우 큰 역할을 할 것입니다. 데이터 경제 시대, 데이터 중심 의사 결정의 시작은 결국 도구가 아니라 사용자에서 나오지 않을까요?
