Data Pipelines: Ingest, Transform, Store, and Serve Distributed Data데이터 파이프라인: 흩어진 데이터를 모아, 다듬고, 쌓아, 쓰게 만든다

Pinch to zoom, drag to pan. Rotate phone landscape for a larger view.두 손가락으로 벌려 키우고, 한 손가락으로 옮겨 보세요. 휴대폰은 가로로 돌리면 더 크게 보여요.

Start · On-Premises시작 · 회사 안

Google Cloud

Ingestion모으기

Destination · Serving끝 · 쓰는 곳

Start · Multi-Cloud & SaaS시작 · 다른 클라우드 · SaaS

Operational DB운영 DBProduction OLTP DB앱이 매일 쓰는 DBWhat무엇OLTP 운영 DB: 주문·회원처럼 앱이 매일 읽고 쓰는 트랜잭션 DBWhy왜핵심 데이터 원천: 회사 정형 데이터의 가장 큰 출발점이에요

App & IoT Events앱 · IoT 이벤트Continuous streaming logs계속 흘러오는 기록What무엇실시간 스트림: 끊임없이 흘러오는 사용자 클릭·앱 로그·IoT 센서 메시지Why왜즉시 감지: 지금 무슨 일이 일어나는지 지연 없이 알려줘요

File Server파일 서버On-premises storage files쌓여 있는 파일What무엇배치 파일 원천: 쌓여 있는 CSV · JSON · Parquet · Avro 파일Why왜범용 교환 포맷: 시스템끼리 대량 데이터를 가장 흔히 주고받는 형태예요

DatastreamDedicated DB ➔ BQ/GCS CDCDB → BQ·GCS 전용 CDCWhat무엇서버리스 CDC 복제: 운영 DB(MySQL·PG·Oracle·SQL Server·Spanner·MongoDB) 변경분만 실시간 복제해요. 전용 도착지 2곳: 오직 BigQuery와 Cloud Storage(·Iceberg)뿐이에요Why왜무부하 실시간 동기화: 운영 DB 부하 없이 변경분을 BigQuery에 바로 병합하거나 Cloud Storage에 Avro·JSON으로 쌓아요Pub/Sub · KafkaReal-time event & stream ingestion실시간 이벤트 · 스트림 수집What무엇Pub/Sub: 글로벌 서버리스 실시간 메시징 · Managed Service for Apache Kafka: 오픈소스 Kafka 호환 스트림 수집Why왜비동기 결합 분리(Decoupling): 보내는 쪽과 받는 쪽을 떼어 놓고 대규모 스트림을 유실 없이 안정적으로 받아요Storage TransferDedicated File ➔ GCS transfer파일 → GCS 전용 이사What무엇Storage Transfer Service: 파일·객체 저장소 전용 대량 이사 서비스(사내 파일 서버 · S3 · Azure Blob ↔ Cloud Storage) · Transfer Appliance: 물리 장비 대량 이관Why왜파일 전용 무에이전트 전송: DB 테이블이 아니라 파일만 옮기며, 최소 한쪽(주로 도착지)은 Cloud Storage 레이크예요DataflowUnified stream & batch processing (Beam)실시간·배치 범용 가공 (Beam)What무엇Apache Beam 통합 엔진: Batch와 Streaming을 같은 코드(Beam · SQL · Notebook)로 가공하는 범용 서버리스 엔진(특정 상품 전용 아님)Why왜범용 ETL 파이프라인: Pub/Sub·Kafka·Cloud Storage·DB 어디서든 읽어 정제한 뒤 BigQuery · Bigtable · Spanner 어디로든 보낼 수 있어요Managed Service for Apache SparkServerless Spark & Data Fusion ETL서버리스 Spark · Data Fusion 정제What무엇Managed Service for Apache Spark: 서버리스 Spark · Cloud Data Fusion · Dataprep: GUI 노코드 ETL 및 시각적 데이터 정제Why왜클러스터 관리 없는 정제: 특정 두 상품 전용이 아니라 클러스터 관리 없이 Spark 코드를 돌리거나 마우스 플러그인으로 여러 저장소 데이터를 정제해요Cloud StorageRaw file storage (Data Lake)원본 파일 보관 (레이크)What무엇데이터 레이크(Data Lake): 어떤 파일이든 원본 그대로 두는 객체 저장소(Storage Classes · Autoclass · Lifecycle)Why왜저비용 무제한 보관: 싸고 크게, 나중에 다시 쓸 원본 파일을 수명주기에 맞춰 안전하게 지켜요

BigQueryMassive SQL analytics (Data Warehouse)SQL 로 대량 분석 (웨어하우스)What무엇엔터프라이즈 데이터 웨어하우스: SQL로 대량 분석하는 서버리스 컬럼형 DW (Partitioning · Clustering · JSON)Why왜분석·AI 중심 허브: 거의 모든 데이터 길이 여기로 모여요. 대규모 분석과 AI가 여기서 시작해요

Raw Tables원본 테이블As-ingested raw data들어온 그대로What무엇Bronze (Raw 테이블): 각 길로 들어온 데이터가 처음 쌓이는 원본 표Why왜재처리 보장: 원본을 남겨 둬야 언제든 다시 가공할 수 있어요

DataformBigQuery in-engine SQLX ELTBigQuery 내부 전용 (SQLX)What무엇Dataform (SQLX): 오직 BigQuery 안에서만 동작하는 SQLX 변환 순서(DAG)·품질 어설션·스케줄 도구예요Why왜BigQuery 내부 ELT 전용: 외부 데이터를 가져오는 도구가 아니라, BigQuery에 들어온 원본 테이블을 정제 테이블로 다듬는 ELT 전용이에요

Curated Tables정제 테이블For analytics & AI분석·AI 용What무엇Silver · Gold 테이블: 정제·조인·집계가 끝난 분석·마트용 표Why왜즉시 활용: 대시보드와 AI 모델은 이 표를 바로 써요

BigQuery ML · Gemini · Analytics HubSQL-driven AI predictions & zero-copy dataset sharingSQL 로 AI 예측·요약 · 복사 없이 데이터셋 공유What무엇BigQuery ML · Gemini: SQL로 ML 학습·벡터 검색·Gemini 호출·Data Canvas 실행 · Analytics Hub: 데이터셋 무복사 공유(Sharing)Why왜In-DB AI & 제로카피 공유: 데이터를 밖으로 옮기거나 복사하지 않고 SQL 한 줄로 AI와 조직 간 공유까지 바로 써요

Cloud SQL · AlloyDBSpanner & Google Cloud operational DBsSpanner 등 Google Cloud 운영 DBWhat무엇Google Cloud 관계형 운영 DB 3종: Cloud SQL(관리형 MySQL·PG·SQL Server) · AlloyDB(고성능 PG) · Spanner(글로벌 분산 RDBMS)Why왜DW 직접 연결: 운영 DB 데이터도 DTS 정기 배송이나 Federated Query(EXTERNAL_QUERY)로 BigQuery에서 바로 분석해요BigtableUltra low-latency NoSQL serving앱용 초고속 NoSQL 조회What무엇Wide-column NoSQL: Row Key 단일 인덱스 설계로 밀리초(ms) 단위에 읽고 쓰는 대규모 비관계형 저장소Why왜초저지연 서빙: 실시간 피처 서빙·금융·IoT 시계열 데이터를 앱에 즉시 내줘요

Real-Time Apps실시간 앱Interactive low-latency services바로 반응하는 서비스What무엇실시간 서비스 화면: 사용자가 쓰는 웹·모바일 앱(Streamlit · Cloud Run 등)Why왜밀리초 응답: 지금 흐르는 데이터로 지연 없이 바로 반응해야 해요

Data StudioDashboard visualization (BI)대시보드로 보기 (BI)What무엇Data Studio: 셀프서비스 시각화 대시보드 · Looker: 시맨틱 모델(LookML) 기반 전사 BI 플랫폼Why왜시각화 의사결정: 정제된 지표를 차트와 대시보드로 시각화해 의사결정을 도와요Gemini Enterprise Agent PlatformBuilding AI & agents from data데이터로 AI · 에이전트 만들기What무엇Gemini Enterprise Agent Platform: 정식 명칭 기반 모델 배포 · Agent Search(RAG) · 에이전트 빌더 플랫폼Why왜기업 데이터 기반 AI: 정제된 기업 데이터를 임베딩·검색(RAG·Text-to-SQL)해 맞춤형 AI 에이전트로 연결해요

Amazon S3 · Azure BlobFiles in other clouds다른 클라우드의 파일What무엇타 클라우드 객체 저장소: Amazon S3 · Azure Blob Storage의 원본 파일Why왜레이크 통합: Storage Transfer로 Cloud Storage 레이크에 옮겨 와 함께 분석해요

Amazon RDS · Azure SQLOperational DBs in other clouds다른 클라우드의 운영 DBWhat무엇타 클라우드 운영 DB: AWS RDS · Aurora, Azure SQL Database 등 외부 RDBMSWhy왜멀티클라우드 CDC: 옮겨 오거나 Datastream으로 실시간 변경분을 복제할 대상이에요

SaaSAd & CRM SaaS data광고·CRM 데이터What무엇외부 SaaS 앱: Google Ads · GA4 · Salesforce · YouTube 등 외부 비즈니스 데이터Why왜노코드 정기 수집: 회사 밖에 있지만 마케팅·매출 통합 분석엔 꼭 필요해요

Automation자동화 Schedule & Order언제·순서

Managed Service for Apache AirflowWhat무엇Managed Service for Apache Airflow: Python DAG로 전체 파이프라인 단계를 지휘하는 오케스트레이션 도구Why왜복합 파이프라인 조율: 여러 서비스 단계를 순서·의존성·재시도까지 한 번에 조율해요WorkflowsWhat무엇Workflows: YAML/JSON으로 서버리스 API 호출 순서를 정의하는 경량 오케스트레이션Why왜서비스 간 API 체이닝: 몇 개 서비스를 가볍게 순서대로 엮어 부를 때 써요Cloud SchedulerWhat무엇Cloud Scheduler: 정해진 Cron 시각에 HTTP·Pub/Sub 작업을 깨우는 관리형 스케줄러Why왜정기 배치 트리거: 매일 새벽 같은 정기 배치 작업을 시작해요Cloud Run functionsWhat무엇Cloud Run functions: 이벤트에 즉시 반응하는 가벼운 서버리스 단일 함수Why왜이벤트 즉시 실행: 파일이 올라오면 바로 BigQuery 적재 같은 트리거 작업을 실행해요EventarcWhat무엇Eventarc: 클라우드 감사 로그·상태 변화 이벤트를 감지해 실행할 함수·워크플로에 전달하는 이벤트 버스Why왜이벤트 라우팅: Cloud Storage 업로드 같은 상태 변화를 놓치지 않고 이어 줘요

Governance지키기 Quality, Security & Observability품질·보안·관측

Knowledge CatalogWhat무엇Knowledge Catalog: 정식 명칭 기반 전사 데이터 탐색·품질·계보(Lineage)·거버넌스Why왜단일 거버넌스: 데이터가 어디 있고 믿을 만한지 카탈로그와 Aspects로 한눈에 관리해요IAM · CMEK · SecretWhat무엇IAM: 역할 기반 권한 제어 · CMEK: 고객 관리 암호화 키(Cloud KMS) · Secret Manager: 비밀번호·API 키 안전 보관Why왜심층 보안 통제: 최소 권한 원칙과 암호화 키 분리로 데이터 접근을 엄격히 통제해요Sensitive Data ProtectionWhat무엇Sensitive Data Protection: 개인정보(PII)·민감정보를 자동 탐지하고 가리는 보안 서비스(Cloud DLP 포함)Why왜개인정보 비식별화: 주민번호·카드번호 같은 민감한 값이 분석·AI로 새지 않게 마스킹·토큰화해요Monitoring · LoggingWhat무엇Cloud Monitoring: 파이프라인·Dataflow Job 지표 감시 · Cloud Logging: 감사·실행 로그 수집 및 분석Why왜실시간 장애 관측: 스트리밍 지연·오류·리소스 병목을 실시간으로 찾아 대응해요

Real-time CDC changes바뀐 것만 실시간 (CDC)What무엇Datastream → BigQuery 직접 복제: 전용 도착지 1번인 BigQuery로 실시간 CDC 복제Why왜Storage Write API 병합: Datastream 도착지는 BigQuery와 Cloud Storage 두 곳뿐이며 변경분을 실시간 병합(UPSERT)해요CDC file landing (GCS)CDC 파일 적재 (GCS)What무엇Datastream → Cloud Storage 복제: 전용 도착지 2번인 Cloud Storage(·Iceberg)로 적재Why왜무손실 로그 적재: 변경분을 Cloud Storage의 Avro·JSON 파일이나 Iceberg 테이블로 실시간 저장하고 뒤에 Dataflow를 붙일 수 있어요Read batch & CDC files배치·CDC 파일 읽기What무엇Cloud Storage → Dataflow 입력: 레이크에 쌓인 배치·CDC 파일을 읽어 가공Why왜스트림·배치 겸용: Dataflow는 Pub/Sub 스트림뿐 아니라 Cloud Storage 파일도 읽어 어디로든 가공해 보낼 수 있어요Transform & load정제 후 적재What무엇Dataflow → BigQuery 적재: Apache Beam 파이프라인에서 Storage Write API로 고속 적재Why왜실시간·배치 ETL: 스트림이나 대량 배치 데이터를 코드로 정제(ETL)하면서 BigQuery 원본 테이블에 바로 적재해요Also real-time serving via BigtableBigtable 로도 실시간 서빙What무엇Dataflow → Bigtable 직행: 가공 결과를 BigQuery가 아닌 Bigtable로 직접 출력Why왜범용 출력(Sink): Dataflow는 특정 상품 전용이 아니라 Bigtable·Spanner·Cloud SQL 등 원하는 목적지 어디로든 결과를 내보내요batchWhat무엇Cloud Storage → Managed Service for Apache Spark · Data Fusion: 레이크 원본 파일 배치 읽기Why왜대용량 파일 스캔: 레이크에 쌓인 대량 원본 파일을 서버리스 Spark나 노코드 Data Fusion으로 읽어들여요Batch transform & load배치 정제 적재What무엇Managed Service for Apache Spark · Data Fusion → BigQuery: Spark BigQuery Connector로 정제 결과 적재Why왜분산 배치 ETL: 대규모 분산 조인·정제를 마친 결과를 BigQuery 테이블에 적재해요Lakehouse (Iceberg)What무엇Lakehouse: Cloud Storage 오픈 포맷(Iceberg·Parquet) 파일 ↔ BigQuery 연결 계층Why왜무복사 행·열 보안 조회: 파일을 복사해 옮기지 않고도 세밀한 행·열 권한을 걸어 BigQuery에서 바로 조회해요DTS scheduled loadDTS · 정기 적재What무엇BigQuery Data Transfer Service (DTS): 오직 BigQuery 한 곳으로만 들어오는 단방향 정기 배송Why왜노코드 스케줄 적재: 코드 없이 Cloud Storage 파일을 일정대로 BigQuery에 적재해요(BigQuery 밖으로 내보내기는 불가)DTS · Federated QueryWhat무엇DTS 정기 복사 & Federated Query: Cloud SQL · AlloyDB · Spanner 3종 → BigQuery 전용 외부 쿼리Why왜EXTERNAL_QUERY 직접 조인: 운영 DB 데이터를 정기 복사하거나 복사 없이 BigQuery SQL로 세 운영 DB를 직접 조인해 읽어요DTS (BigQuery native ingestion)DTS (BigQuery 전용 유입)What무엇BigQuery DTS 외부 커넥터: 외부 SaaS · S3 · 타 DW → 오직 BigQuery 한 곳으로만 수집Why왜노코드 SaaS 수집: 코드 없이 광고·CRM·타 클라우드 데이터를 일정대로 BigQuery로 들여와요File transfer파일 이사What무엇Storage Transfer Service: S3 · Azure Blob 파일 → Cloud Storage 전용 이전Why왜멀티클라우드 파일 동기화: 에이전트 없이 타 클라우드 객체 저장소의 파일을 일정·이벤트에 맞춰 Cloud Storage로 가져와요AWS & Azure DB CDCAWS · Azure DB 도 CDCWhat무엇타 클라우드 DB → Datastream CDC: RDS · Aurora · Azure SQL 변경분 실시간 수집Why왜실시간 멀티클라우드 복제: 외부 클라우드 DB의 변경분도 Datastream으로 읽어 BigQuery나 Cloud Storage로 실시간 복제해요

Human Analytics사람이 본다

Agentic AI ConsumptionAI 로 쓴다