| Day 3 Lab 17 · Session 1 · Datastream CDC Ingestion from Cloud SQL to BigQuery & Lakehouse[Lab 1 · 1교시] 데이터 파이프라인 아키텍처 & Datastream 실시간 CDC ➔ BigQuery 복제Serverless real-time CDC replication from Cloud SQL directly into BigQuery datasets and Lakehouse storage.운영 DB(PostgreSQL) 변경분(WAL CDC)을 서버리스로 캡처해 BigQuery에 실시간 동기화 |
|
| Day 3 Lab 18 · Session 2 · BigQuery External Tables & Lakehouse Iceberg Federation[Lab 2 · 2교시] 오픈 포맷 데이터 레이크하우스(Lakehouse) & Iceberg 외부 테이블 실습Querying open format Parquet and Apache Iceberg tables in GCS via Lakehouse without duplicating data.Cloud Storage 위 데이터를 복사 없이 BigQuery Connection으로 참조·행/열 권한 제어 |
|
| Day 3 Lab 19 · Session 3 · BigQuery Partitioning, Clustering & Cost Optimization Benchmark[Lab 3 · 3교시] BigQuery 아키텍처(Colossus·Dremel) & 반정형(JSON·ARRAY·STRUCT) DWIngesting massive datasets and comparing query bytes processed before and after partitioning & clustering.스토리지·컴퓨트 분리 원리와 비정규화 중첩·반복(ARRAY · UNNEST) 설계·조인 실습 |
|
| Day 3 Lab 20 · Session 4 · BigQuery Materialized Views & BI Engine Acceleration Hands-on[Lab 4 · 4교시] BigQuery 파티셔닝 · 클러스터링 비용 최적화 & DW 챌린지 실습Accelerating sub-second dashboard queries with BI Engine in-memory reservations and materialized views.Date-Partitioned · Clustered 테이블 생성으로 스캔 용량(Bytes Processed) 절감 및 챌린지 |
|
| Day 3 Lab 21 · Session 5 · Knowledge Catalog Lakehouse Governance, Data Quality & Data Lineage[Lab 5 · 5교시] Dataform(SQLX) 기반 ELT 워크플로 & 데이터 변환 파이프라인 자동화Organizing data lakes into zones, automated metadata cataloging, data quality scans, and lineage graphs.리포지토리·워크스페이스 생성 · SQLX ref() 의존성 그래프(DAG) 및 Assertions 품질 검증 |
|
| Day 3 Lab 22 · Session 6 · BigQuery Column-Level Security, Policy Tags & Row-Level Filtering[Lab 6 · 6교시] 데이터 거버넌스 & Knowledge Catalog 보안·품질 실습Enforcing fine-grained column masking and row-level access controls via taxonomy policy tags.Lake·Zone 도메인 구성 · Aspects 메타데이터 태그 · 열/행 수준 보안 및 자동 품질 검증 |
|
| Day 3 Lab 23 · Session 7 · BigQuery ML (BQML) In-DB Model Training & Batch Inference[Lab 7 · 7교시] Gemini in BigQuery 생산성 향상 & Data Canvas 대화형 분석 실습Training customer churn logistic regression and k-means clustering models directly inside BigQuery using SQL.AI 코파일럿 기반 SQL·파이썬 자동 생성·설명·튜닝 및 Data Canvas 그래프 시각적 분석 |
|
| Day 3 Lab 24 · Session 8 · BigQuery Studio & Gemini in BigQuery SQL Generation & Tuning[Lab 8 · 8교시] BigQuery ML(BQML) 분류 모델 학습 & Gemini SQL 비정형 리뷰 분석Authoring SQL workflows in BigQuery Studio and generating optimized queries using Gemini assistance.데이터 이동 없이 SQL(CREATE MODEL · ML.GENERATE_TEXT)로 예측 모델과 감성 분석 수행 |
|
