지리 공간 데이터(geographical data)의 가치는 나날이 높아지고 있습니다. 금융, 물류, 건설, 제조 등 다양한 업계에서 지리 공간 데이터를 실시간 스트림으로 하여 다양한 실시간 분석을 수행하는 것에 관심이 많습니다. 관련해 정보가 될만한 소식 하나 공유합니다. 지리 공간 데이터를 BigQuery 데이터웨어하우스에 손쉽게 로드해 활용하는 방법을 소개해 드리겠습니다.
FME 플랫폼과 BigQuery의 만남
구글은 전 세계 지리 공간 데이터를 450개가 넘는 시스템에서 수집해 통합하는 플랫폼인 FME를 개발한 세이프 소프트웨어와 파트너십을 맺었습니다. 이번 파트너십 체결은 지리 공간 데이터를 구글 클라우드에서 더 편리하게 다룰 수 있게 하여 여러 산업 분야의 비즈니스 혁신을 앞당기기 위함입니다.
이번 제휴로 FME가 다루는 지리 공간 관련 다양한 유형의 데이터를 BigQuery 테이블로 편히 가져올 수 있게 되었습니다.
이것이 뜻하는 바는 무엇일까요?
네, FME로 많은 양의 지리 공간 파일을 수집하고 변환할 때 BigQuery의 강력한 데이터 처리 성능을 이용할 수 있다는 것입니다.
FME 사용자는 시각화 인터페이스로 데이터 추출, 변환, 적재, 통합, 유효성 검사, 공유 등의 처리 작업을 합니다. 또한, 이벤트 기반 워크플로우를 생성해 자동으로 데이터 전처리 작업이 이루어지게 하여 실시간 기반의 각종 알림 서비스를 제공할 수도 있습니다.
FME를 사용해 BigQuery에 연결
지리 공간 정보의 경우 수백 개의 GIS 파일 형식과 좌표 정의(projection)가 있습니다. 이들 정보를 데이터웨어하우스에 올리려면 데이터 형식과 좌표 정의를 변환해야 합니다. FME의 데이터를 가져오는 경우 BigQuery GIS는 WGS84 좌표 시스템을 사용합니다. 데이터를 가져오는 것은 간단합니다. FME 플랫폼상에서 데이터를 통합하는 워크플로우를 만들고 여기에 한 개 또는 수백 개의 파일을 동시에 수집해 변환한 다음 이를 BigQuery 테이블에 직접 로드할 수 있습니다.
다음 화면은 데이터 통합 워크플로우를 만들 때 사용하는 FME 워크벤치 인터페이스입니다.
FME는 수백 가지의 데이터 지리 공간 데이터 형식, 관련 애플리케이션과 시스템을 지원합니다. 그리고 지오 메트릭스(Geo Matrix) 생성, 유효성 검사, 좌표 정의 등의 처리 작업을 위한 493개의 데이터 변환기를 제공합니다. 일관성 있고, 재현성이 뛰어난 데이터 처리 파이프라인을 만드는 데 있어 FME가 제공하는 데이터 변환기는 유용합니다. FME 플랫폼은 그 특성상 다양한 원천에서 데이터를 가져옵니다. 따라서 데이터 유효성 검사와 품질 관리가 매우 중요합니다. BigQuery와 같은 데이터웨어하우스로 데이터를 가져오면 유효성과 품질에 대한 요구 사항 충족 여부를 확인하기 좋습니다.
프로덕션 환경에서 지리 공간 데이터 활용하기
FME에 BigQuery를 연계해 사용하면 지리 공간 관련 시스템을 운영하는 조직은 데이터 처리에 시간과 노력을 허비하지 않고 서비스 혁신에 집중할 수 있습니다. 유타주 교통국 GISP의 IT 책임자인 Adam Radel은 “우리는 FME를 사용해 shp, GeoJson, CAD 등 다양한 유형의 데이터를 변해왔습니다.”라며 “FME를 이용해 몇 주 만에 BigQuery로 1천 개가 넘는 파일을 임포트 할 수 있었습니다. FME에 BigQuery를 연계한 것은 앞으로 우리 업무에 큰 변화를 몰고 올 것입니다. 이렇게 강력한 도구 조합을 이용할 수 있게 되어 기쁩니다.”라고 말합니다.
FME에서 BigQuery로 지리 공간 데이터 로드해보기
FME에서 BigQuery로 데이터를 로딩하는 방법이 궁금하다면 직접 한번 해보시기 바랍니다. 먼저 FME 데스크톱 버전 평가판을 가상 머신 또는 로컬 머신에 설치합니다. 그리고 Google Cloud Marketplace에서 FME 플랫폼 시험판을 찾아 이를 구글 클라우드에 배포합니다. FME로 로드한 데이터를 사용하는 것에 관련해서는 다음 샘플을 통해 BigQuery GIS에서 데이터를 쿼리하는 방법을 참조하시기 바랍니다. 쿼리 결과는 FME 사용자 인터페이스에서 GeoViz 옵션을 통해 시각화하여 볼 수 있습니다.
plotting hurricane paths in BQ GIS
k-means clustering of spatial with BQML
이상으로 지리 공간 정보를 위한 데이터웨어하우스로 BigQuery를 활용하는 방법 한 예를 알아보았습니다.
