엣지 컴퓨팅 환경이 생성하는 데이터는 이용 목적에 맞게 작업이 배치 되거나 실시간으로 유연히 처리해야 합니다. Google Cloud의 서비스를 이용하면 손쉽게 실시간 또는 배치 기반 데이터 파이프라인을 만들 수 있습니다. 🙂
Google Cloud에서 엣지 컴퓨팅을 위한 데이터 파이프라인의 시작 위치에는 Cloud Pub/Sub을 둘 수 있습니다. 데이터 전송이 필요할 때만 구동되는 경제적 측면에서 효율적인 서버리스 서비스인 Cloud Pub/Sub은 메시징, 센서, IoT 등을 대상으로 이벤트와 데이터를 수집하는 역할을 합니다. 실시간 스트리밍과 배치 프로세싱 혼합 운영이 가능하고 자동 확장 기능으로 수집 데이터 양에 따라 탄력적으로 운영이 가능하며, 단일 데이터 스트림을 여러 파이프라인에 연계할 수 있습니다. 또한, 마이크로서비스와 컨테이너라이제이션 환경과 연계할 수 있어 엣지 컴퓨팅 데이터를 활용하는 애플리케이션 측면에서도 유연성이 뛰어납니다.
엣지 컴퓨팅을 위한 데이터 파이프라인에서 배치 프로세스를 담당하는 위치에는 Cloud Dataflow를 배치하면 됩니다. 이 서비스는 데이터 스트림 및 배치 프로세싱을 통합 처리하는 ETL 엔진으로 엣지 장치 데이터의 추출과 전송을 담당합니다. Apache Beam 기반의 서버리스 서비스로 특정 기술에 대한 종속 걱정이 없습니다. 또한, 같은 코드로 매치와 스트림을 모두 처리할 수 있어 비용과 복잡성을 모두 낮출 수 있습니다. 이외에도 스트림/배치 데이터 전처리 및 Google Cloud의 분석, ML 플랫폼과 연동이 간편해 사내에 데이터 과학자, AI/ML 전문가, 인프라 전담 관리 인력이 없어도 데이터 파이프라인 구축과 운영이 가능하다는 장점이 있습니다.
일반적으로 엣지 컴퓨팅 환경은 신속한 처리를 요구하는 조건이 많습니다. 이런 경우 룰 기반으로 실시간 이벤트/데이터 처리가 필요합니다. 엣지 컴퓨팅 데이터 파이프라인 설계 시 실시간 처리는 Cloud Functions에 맡기면 됩니다. 이 서비스는 엣지 장치에서 올라온 데이터를 처리할 때 전송하기 좋은 형태로 전처리 작업을 처리합니다. 또한, 신속한 처리와 실행이 필요한 이벤트/데이터가 생성될 때마다 적용할 커스텀 로직 작성에 사용하기도 좋습니다.
보통 실시간 처리와 배치 작업은 어느 한쪽을 선택하기 보다 엣지 컴퓨팅 시나리오에 맞게 필요한 때 필요한 것을 데이터 파이프라인 상에서 활성화시켜 사용하는 식으로 이용합니다. 예를 하나 들자면 산업 설비에 구현한 엣지 컴퓨팅 장치에서 올라오는 데이터를 분석과 로깅 목적으로 쓰고자 할 경우 실시간으로 처리해야 할 경우 IT Core 데이터를 Cloud Pub/Sub 토픽으로 변환 후 분석용 데이터는 Dataflow로 보내고, 로깅용 데이터는 CloudFunctions로 전달하는 아키텍처를 적용할 수 있습니다.
Google Cloud를 이용한 엣지 컴퓨팅 데이터 저장 및 관리
엣지 컴퓨팅 환경을 구축할 때 데이터는 어떻게 관리하고 어디에 저장할 것인가? Google Cloud는 이런 고민을 명쾌하게 풀어 냅니다. 데이터베이스 설계 없이, 내부 전문 인력 도움 없이 사용 가능한 서버리스 서비스인 Datastore·Firebase를 이용하면 엣지 장치 상태를 클라우드에 저장, 장치 연결이 끊어지거나 오프라인 상황에도 클라우드를 통해 해당 정보를 참조할 수 있습니다. 가령 엣지 장치의 설정 정보를 저장하고 관리해야 할 경우 IoT Core에 데이터를 업데이트하고, 이 정보를 구조화된 형태로 Firebase에서 관리하는 방식을 적용할 수 있습니다.
저장의 경우 Cloud Storage를 이용하면 됩니다. 엣지 장치가 미디어 데이터를 캡처하면 Cloud Storage는 용량을 사실상 무제한으로 경제적이면서 지속적으로 저장할 수 있습니다. Cloud Storage는 데이터 생명 주기에 맞춰 핫, 콜드, 장기 보관 목적에 맞게 스토리지 클래스 선택할 수 있어 경제적이고 체계적으로 엣지 컴퓨팅 데이터를 관리할 수 있습니다.
데이터 파이프라인을 구축하고 데이터 관리 및 저장 방안을 마련했다면 다음에 할 일은? 네, AI, 첨단 분석 같은 응용 방안을 알아보는 것입니다.
다음 포스팅을 통해 Google Cloud에서 엣지 컴퓨팅 환경에 적용할 수 있는 AI, 분석, 리포팅 서비스를 알아보겠습니다. 😀
