😃 Dataform을 이용한 데이터 파이프라인 구축
최근 구글 클라우드에서 GA로 Dataform을 발표했습니다.😮 Dataform은 데이터 엔지니어와 데이터 분석가가 GCP(Google Cloud Platform)에서 데이터 파이프라인을 구축하고 관리할 수 있도록 도와주는 도구입니다. 데이터 파이프라인을 정의하기 위한 간단한 선언적 구문, 기본 제공 스케줄러, 코드 리포지토리, 테스트 프레임워크, CI/CD 파이프라인을 제공하는 완전 관리형 클라우드 네이티브 데이터 엔지니어링 플랫폼이라 이해하시면 됩니다.
🤔 데이터 파이프라인 구축 고민에 대한 해결책
Dataform 발표가 반가운 분들이 많을 텐데요. Dataform은 데이터 파이프라인 구축과 관리에 대한 고민을 해결할 수 있는 솔루션입니다. ETL, 데이터 웨어하우스, AI/ML 데이터 파이프라인을 구축하고 관리하는 데에는 데이터 품질, 지연 시간, 보안, 규정 준수, 거버넌스, 확장성, 비용 등 여러 가지 과제가 있습니다. Dataform은 다양한 데이터 파이프라인 구축과 관리를 간소화하고, 데이터 품질을 높이고, 비용을 줄이는 등 실무자가 바로 체감할 수 있는 여러 이점이 있습니다.
💡Dataform 활용 사례
Dataform을 이용해 데이터 파이프라인을 구축한 3가지 사례를 살펴보겠습니다.
✅ ETL 파이프라인입니다. Dataform을 사용하여 다양한 소스에서 데이터를 추출하고, SQL을 사용하여 데이터를 변환하고, BigQuery, Cloud Data Warehouse, Cloud Spanner와 같은 다양한 대상에 로드할 수 있습니다.
✅ 데이터 웨어하우스 파이프라인을 알아보겠습니다. Dataform을 사용하여 데이터를 BigQuery로 로드하고 분석 데이터 집합을 만드는 데이터 웨어하우스 파이프라인을 구축할 수 있습니다.
✅ 마지막으로 요즘 관심들이 많은 데이터 과학 파이프라인입니다. Dataform은 다양한 소스에서 데이터를 추출하고, SQL 및 머신 러닝 모델을 사용하여 데이터를 변환하고, BigQuery ML, Cloud Dataproc 및 Cloud Dataflow와 같은 다양한 대상에 로드하는 데이터 과학 파이프라인을 구축하는 데 사용할 수 있습니다.
💡데이터 분석가와 데이터 과학자의 일상은 어떻게 달라질까?
Dataform을 사용하면 뭐가 달라질까요? 한 마디로 이를 활용하면 확장 가능한 데이터 파이프라인을 구축, 버전 제어 및 운용할 수 있는 단일 통합 UI 및 API를 확보할 수 있습니다. 조직 측면에서 보면 이 장점은 매우 크게 다가옵니다. 최소한의 노력으로 데이터 파이프라인을 운영하여 조직 전체에서 데이터에 더 쉽게 액세스할 수 있기 때문입니다.
좀 더 구체적으로 알아볼까요. Dataform은 데이터 엔지니어, 데이터 분석가 및 데이터 과학자의 일상을 더 편하게 만드는 다양한 기능을 제공합니다.
📌 간단한 선언적 구문: Dataform은 파이프라인을 쉽게 작성할 수 있는 간단한 선언적 구문을 사용합니다. 파이프라인은 Python으로 작성되며, 로컬 또는 클라우드에서 실행할 수 있습니다.
📌 기본 제공 스케줄러: Dataform에는 파이프라인을 정기적으로 실행하도록 쉽게 예약할 수 있는 기본 제공 스케줄러가 포함되어 있습니다.
📌 코드 저장소: Dataform 파이프라인은 GitHub 또는 GitLab과 같은 코드 리포지토리에 저장됩니다. 이렇게 하면 파이프라인의 변경 사항을 쉽게 추적할 수 있으며, 다른 데이터 엔지니어 및 데이터 분석가와 쉽게 협업할 수 있습니다.
📌 테스트 프레임워크: Dataform에는 파이프라인을 쉽게 테스트할 수 있는 테스트 프레임워크가 포함되어 있습니다. 이를 통해 파이프라인이 올바르게 작동하는지 확인하고 회귀를 방지하는 데 도움이 됩니다.
📌 CI/CD 파이프라인: Dataform은 Jenkins 또는 CircleCI와 같은 CI/CD 파이프라인과 통합할 수 있습니다. 따라서 파이프라인을 프로덕션 환경에 쉽게 배포할 수 있습니다.
📌 코드 수명 주기 관리: Dataform은 Cloud Build 또는 CodePipeline과 같은 코드 수명 주기 관리 솔루션과 통합할 수 있습니다. 이를 통해 개발부터 프로덕션까지 파이프라인의 전체 라이프사이클을 쉽게 관리할 수 있습니다.
위 기능들을 종합해 보면 Dataform이 데이터 엔지니어 그리고 데이터 분석가 및 데이터 과학자가 프로덕션급 데이터 파이프라인 구축할 때 상당한 도움을 줄 수 있다는 결론에 도달합니다.
이상으로 『 Google Cloud의 Dataform로 데이터 파이프라인 구축하기 』 에 대해 알아보았습니다. 😎🤗🤗
Google Cloud와 관련된 더 자세한 내용은 메가존소프트로 문의해 주세요. 👉 메가존소프트 문의 바로가기
