2-1 · 데이터 파이프라인 지도 — GCDE 전체 흐름 (만화풍 스케치) 2-1 · 데이터 파이프라인 지도 — GCDE 전체 흐름 (만화풍 스케치) 회사 안과 타 클라우드의 데이터를 모아(Datastream·Pub/Sub·STS), 다듬고(Dataflow·Spark·GCS), BigQuery에 쌓아 BI·AI로 쓰기까지 운영 DB — 앱이 매일 읽고 쓰는 주문·회원 트랜잭션 DB 사내 DB · RDS · Azure SQL 운영 DB 사내 DB · RDS · Azure SQL 앱이 매일 읽고 쓰는 주문·회원 트랜잭션 DB 앱 · IoT 이벤트 — 끊임없이 흘러오는 실시간 사용자·센서 기록 웹·모바일 · 센서 스트림 앱 · IoT 이벤트 웹·모바일 · 센서 스트림 끊임없이 흘러오는 실시간 사용자·센서 기록 파일 · 객체 저장소 — 쌓여 있는 CSV · JSON · Parquet 파일과 SaaS 데이터 파일 서버 · S3 · Azure Blob 파일 · 객체 저장소 파일 서버 · S3 · Azure Blob 쌓여 있는 CSV · JSON · Parquet 파일과 SaaS 데이터 Datastream — 운영 DB 부하 없이 바뀐 데이터(CDC)만 서버리스 복제 DB · BQ·GCS 전용 CDC https://docs.cloud.google.com/datastream/docs/overview Datastream DB · BQ·GCS 전용 CDC 운영 DB 부하 없이 바뀐 데이터(CDC)만 서버리스 복제 Pub/Sub · Kafka — 보내는 쪽과 받는 쪽을 분리해 대규모 스트림 수신 실시간 이벤트 · 스트림 수집 https://docs.cloud.google.com/pubsub/docs/overview Pub/Sub · Kafka 실시간 이벤트 · 스트림 수집 보내는 쪽과 받는 쪽을 분리해 대규모 스트림 수신 Storage Transfer — 사내·타 클라우드 대량 파일을 Cloud Storage로 이전 파일 · GCS 전용 이사 https://docs.cloud.google.com/storage-transfer/docs/overview Storage Transfer 파일 · GCS 전용 이사 사내·타 클라우드 대량 파일을 Cloud Storage로 이전 Dataflow — 스트림·파일을 같은 코드로 정제(ETL)해 어디로든 전달 Apache Beam (실시간·배치) https://docs.cloud.google.com/dataflow/docs/overview Dataflow Apache Beam (실시간·배치) 스트림·파일을 같은 코드로 정제(ETL)해 어디로든 전달 Managed Spark — 클러스터 관리 없는 Spark 분석 및 노코드 GUI 정제 Serverless Spark · Data Fusion https://docs.cloud.google.com/managed-spark/docs/serverless-overview Managed Spark Serverless Spark · Data Fusion 클러스터 관리 없는 Spark 분석 및 노코드 GUI 정제 Cloud Storage — 원본 파일을 값싸게 보관하고 Iceberg로 무복사 연결 데이터 레이크 · Lakehouse https://docs.cloud.google.com/storage/docs/introduction Cloud Storage 데이터 레이크 · Lakehouse 원본 파일을 값싸게 보관하고 Iceberg로 무복사 연결 BigQuery — 모든 데이터 길이 모이는 서버리스 분석 창고 & AI 허브 DW · Dataform(SQLX) · BQML https://docs.cloud.google.com/bigquery/docs/introduction BigQuery DW · Dataform(SQLX) · BQML 모든 데이터 길이 모이는 서버리스 분석 창고 & AI 허브 Cloud SQL · AlloyDB — Federated Query·DTS로 BigQuery에서 바로 결합 분석 Spanner · Google 운영 DB https://docs.cloud.google.com/sql/docs/introduction Cloud SQL · AlloyDB Spanner · Google 운영 DB Federated Query·DTS로 BigQuery에서 바로 결합 분석 Bigtable · 실시간 앱 — 실시간 피처·시계열 데이터를 지연 없이 앱 화면에 제공 밀리초 NoSQL · 웹·모바일 서빙 https://docs.cloud.google.com/bigtable/docs/overview Bigtable · 실시간 앱 밀리초 NoSQL · 웹·모바일 서빙 실시간 피처·시계열 데이터를 지연 없이 앱 화면에 제공 Data Studio — 정제된 분석 지표를 차트와 대시보드로 시각화 Looker · BI 대시보드 https://docs.cloud.google.com/data-studio Data Studio Looker · BI 대시보드 정제된 분석 지표를 차트와 대시보드로 시각화 Gemini Agent Platform — 기업 데이터를 임베딩·검색해 맞춤형 AI 에이전트 구축 Vertex AI · RAG · 에이전트 https://docs.cloud.google.com/gemini-enterprise-agent-platform Gemini Agent Platform Vertex AI · RAG · 에이전트 기업 데이터를 임베딩·검색해 맞춤형 AI 에이전트 구축 시작 · 회사 안 & 타 클라우드 모으기 (수집 · 이사) 다듬기 · 레이크 보관 중심 창고 · 운영 DB 끝 · 쓰는 곳 (앱 · BI · AI) 1 DB 변경분 2 CDC 병합 3 실시간 이벤트 4 스트림 전달 5 정제 적재 실시간 서빙 6 대량 파일 레이크 적재 배치 읽기 배치 정제 7 Lakehouse 외부 쿼리 8 BI 시각화 9 AI · RAG 원본 2번(/g/data/2) 데이터 엔지니어(GCDE) 파이프라인 지도를 만화풍 스케치(vis-sketch) 스타일로 변환한 장표예요. 아이콘을 누르면 공식 문서가 열려요.

아이콘을 누르면 공식 문서가 열려요.