BigQuery에서 쿼리 예약 하기 반복해서 쿼리를 실행해야 하는 경우 어떻게 하시나요? 쿼리 예약을 통해 작업하는 것이 떠오를 것입니다. 구글 클라우드가 자랑하는 BigQuery는 2018년 쿼리 예약을 지원하는 기능인 ‘BigQuery Scheduling’ 베타를 공개했습니다. 이 기능 덕분에 매일 반복해서 수동으로 쿼리를 실행하는 불편이 사라졌습니다. 이번 포스팅에서는 이 기능을 이용하는 방법을 알아볼까 합니다. 🙂 😃…
구글 클라우드는 다양한 산업 영역에 특화된 AI 솔루션을 제공합니다. 관련해 총 4회에 걸쳐 소매업을 위한 구글 클라우드의 AI 제안을 살펴보겠습니다. 이번 포스팅은 첫 번째 주제인 수요 예측(Demand Forecasting)에 대한 것입니다. 😃 구글 클라우드가 제공하는 소매업을 위한 수요 예측 서비스는 BigQuery ML을 기반으로 합니다. 이를 예측 엔진으로 활용해 소매 업계에서 매우 중요한 업무…
코로나19로 바이오, 헬스케어 산업에 대한 대중의 관심이 매우 커졌습니다. 관련해 의료 관련 연구 개발 강화 움직임도 활발해지고 있습니다. 의료 연구를 뒷받침하려면 매우 강력한 컴퓨팅 파워가 필요하고, 다양한 도구도 있어야 하기 때문에 이를 일일이 구축하고 운영하는 것은 부담스러운 일입니다. 하지만 이런 부담을 간단히 덜어내는 방법이 있습니다. 바로 클라우드를 활용하는 것입니다 🙂 Google Cloud…
구글이 영국의 스타트업 데이터폼(Dataform)을 인수했다. 정확한 인수 가격은 공개되지 않았다. 영국 런던에서 3년 전 데이터폼을 공동 창립한 기욤 헨리 후온(Guillaume-Henri Huon)이 블로그를 통해 이러한 내용을 공개했다. (중략…) 데이터폼 웹은 빅쿼리(BiqQuery) 지원에 중점을 두고 개발 및 운영에 중점을 둘 계획이다. 빅쿼리는 구글의 빅데이터 플랫폼으로 페타 바이트급의 데이터 저장과 분석을 제공하는, 완전 관리형 클라우드 서비스다.…
Google Sheets로 페타바이트 규모의 데이터 분석하기 빅 데이터가 일반 비즈니스 유저에게 ‘그림의 떡’이던 시절이 있었습니다. 그럼 현재는 어떨까요? 여전히 쿼리를 좀 다룰 줄 알아야 빅 데이터에서 원하는 정보를 찾을 수 있을까요? 이런 상식을 뒤집는 기능을 구글이 발표했습니다. 바로 Connected Sheets는 기능입니다. 이를 이용하면 Google Sheets로 BigQuery에 바로 접근할 수 있습니다. 스프레드 시트 화면에서 데이터웨어하우스에…
클라우드 맛집, 메가존이 배달하는 <Google Cloud Next OnAir Recap> 이번 주에는 ‘Week 5. Data Analytics’ 주간 하이라이트 소식, 전해드립니다. ▼ Next OnAir 5주차 추천 세션 ▼ 1. What’s New and What’s Next in Smart Analytics (키노트) → https://youtu.be/IIIAuSAf-uo 2. What’s New in BigQuery, Google Cloud’s Modern Data Warehouse →…
개인정보보호법 본격 시행 시절 데이터베이스 암호화 솔루션이 큰 인기를 끌었던 기억이 납니다. 데이터베이스 암호화와 접근 제어를 다소 느슨히 하던 기업들은 규제 준수를 위해 써드파티 솔루션 도입을 서둘러야 했습니다. 규제 준수는 사내 시스템만 해서 되는 게 아닙니다. 클라우드 이용이 늘면서 외부에 있는 데이터까지 규제 준수에 신경 써야 합니다. 강력한 테이블 수준 접근 제어…
머신 러닝은 한때 데이터 과학자의 전문 영역이었습니다. 뭔가 특별한 기술과 도구를 알아야 손을 댈 수 있는 그런 분야로 통했습니다. 2020년 현재 머신 러닝은 누가 더 전문성을 갖추고 있는지 실력을 겨루는 장이 아닙니다. 누가 더 참신한 아이디어를 가지고 있느냐가 더 중요한 시대가 되었습니다. 이런 변화를 만든 주인공은 클라우드입니다. 이제 코딩을 몰라도 데이터 전처리에서 모델 트레이닝까지…
데이터 분석은 시대를 타지 않는 ‘유행어’입니다. 분석의 토대라 할 수 있는 데이터베이스, 데이터웨어하우스 역시 유행을 타지 않습니다. 다만 시대적 요구에 따라 진화합니다. 데이터베이스는 RDBMS, NoSQL 등 각각 쓰임에 최적화되는 쪽으로 진화하고 있습니다. 그렇다면 40년 이상 엔터프라이즈 분석 현장의 중심에 있던 데이터웨어하우스는 어떤 모습으로 발전하고 있을까요? 현대적인 데이터웨어하우스가 지향하는 것은 ‘실시간’ 이라는 의미도 함축되어 있습니다.…
지리 공간 데이터(geographical data)의 가치는 나날이 높아지고 있습니다. 금융, 물류, 건설, 제조 등 다양한 업계에서 지리 공간 데이터를 실시간 스트림으로 하여 다양한 실시간 분석을 수행하는 것에 관심이 많습니다. 관련해 정보가 될만한 소식 하나 공유합니다. 지리 공간 데이터를 BigQuery 데이터웨어하우스에 손쉽게 로드해 활용하는 방법을 소개해 드리겠습니다. FME 플랫폼과 BigQuery의 만남 구글은 전 세계…