Cloud Storage 모니터링 설정 가이드
조직에서 데이터를 주로 다루는 업무를 맡는 이들은 데이터 엔지니어, 데이터 과학자, 데이터 분석가 등이 있습니다. 데이터 전문 조직이 없는 경우에는 역할을 세세히 나누지 않기도 합니다. 사정이 어찌 되었건 조직에서는 누군가는 매일 데이터를 수집해야 하고 품질을 관리해야 합니다. 관련해 Cloud Storage 환경에서의 모니터링 및 경보 생성 방법을 소개합니다. 이 접근은 매우 간단하지만 유용한 데이터 수집 및 품질 관리 방안입니다.
오브젝트 스토리지 서비스의 인기 비결
Cloud Storage는 오브젝트 스토리지 서비스입니다. 엑사 바이트 규모까지 저장 규모를 확대할 수 있어 대규모 데이터 저장소로 주목받습니다. 실제로 많은 조직이 빅 데이터, 백업 및 복원, 웹 및 모바일 애플리케이션 데이터를 Cloud Storage의 버킷에 저장합니다. 참고로 Cloud Storage는 버킷이라는 이름의 컨테이너에 데이터를 담습니다.
쉽지만 신경이 많이 쓰이는 데이터 수집 작업
매일 같이 대규모 데이터를 다루는 조직이 점점 늘고 있습니다. 빅 데이터, 인공 지능 열풍에 힘입어 조직이 다루는 데이터의 종류와 양은 앞으로도 꾸준히 증가할 전망입니다. 데이터 관리자의 일상 중 여러 소스에서 데이터를 수집하는 일은 매일 하는 일인 동시에 중요한 작업입니다. 수집 방식이 배치가 되었건, 실시간이 되었건 데이터 관리자는 여러 소스에서 수집하는 가운데 어딘가에서 누락이 일어나고 있지 않은지 잘 살펴야 합니다. 만약 누락된 것이 있다면 어떤 소스가 문제인지를 바로 알 수 있어야 합니다.
Cloud Storage의 모니터링 기능을 이용하면 데이터 누락 발생 시 경보를 띄울 수 있습니다. 따라서 데이터 관리자는 여러 소스에서 데이터를 수집하는 가운데 데이터 누락이 발생하면 어떤 소스가 원인인지 바로 파악할 수 있습니다. 이를 절차로 표현하면 다음 그림과 같습니다.
모니터링 및 경보 관련 설정은 3단계로 하면 됩니다.
첫 번째 할 일은 데이터 액세스 로그 설정입니다. 클라우드 콘솔에 접속한 후 상단 메뉴에서 ‘IAM & Admin > Audit Logs’를 선택하여 감가 로그 페이지로 넘어갑니다. 그러고 나서 Google Cloud Storage를 선택합니다. 페이지 오른쪽에 있는 정보 패널에서 ‘Data Write’ 콤보 박스를 체크한 다음 ‘SAVE’ 버튼을 누릅니다. 이처럼 데이터 액세스 로그를 활성화하면 파일을 Cloud Storage 버킷에 업로드 할 때마다 로그가 생성됩니다.
두 번째 단계는 로그 기반 메트릭 설정입니다. 왼쪽 창에서 logging > Log-Based metric을 선택합니다. 그리고 정책 이름을 ‘Blog_demo’라고 지정합니다. 필터 조건은 다음 그림과 같이 설정합니다. 메소드 이름은 ‘storage.objects.create’입니다. 버킷 이름은 로그를 모니터링할 버킷의 것으로 지정하면 됩니다.
필터를 적용해 수집한 로그 내용은 다음과 같습니다.
세 번째 할 작업은 경보 생성 설정입니다. 왼쪽 창에서 ‘Alerting > Create Policy’를 선택합니다. 정책 이름은 ‘Blog_demo’로 지정합니다. ‘Add Condition’을 클릭해 조건을 생성합니다. 아래 예제 화면은 10분 이내에 버킷에 데이터가 하나도 올라오지 않을 경우 경보를 생성하는 조건입니다.
Cloud Storage에서 데이터를 보는 방법은 다음 화면과 같습니다. 시계열 데이터를 10분 간격으로 정렬해 각 버킷에 담긴 오브젝트 수를 확인할 수 있습니다.
이상으로 Cloud Storage를 이용한 데이터 수집 작업 수행 시 해야 하는 기본적인 품질 관리에 모니터링 및 경보 생성 기능을 이용하는 방법을 알아보았습니다. 데이터 액세스 로그와 로그 기반 메트릭에 대한 더 자세한 내용은 해당 페이지를 참조 바랍니다.
