Hover over each component to view architecture rationale; click to open official docs.각 상자에 마우스를 올리면(Hover) 무엇인지·왜 쓰는지 설명이 열리고, 누르면 공식 문서로 이동해요.

Data Pipeline Architecture: Data Ingestion (OLTP) ➔ Analytics (OLAP · Lakehouse) ➔ Knowledge Catalog & AI Systems데이터 파이프라인 아키텍처: 데이터 생성(OLTP) ➔ 데이터 분석(OLAP · Lakehouse) ➔ Knowledge Catalog · AI 활용

Pinch with two fingers to zoom, drag with one finger to pan. Hover or click boxes for details.두 손가락으로 벌려 키우고, 한 손가락으로 옮겨 보세요. 상자에 올리거나 누르면 설명이 열려요.

Data Pipeline Continuous data flow from operational ingestion (OLTP) on the left to analytics (OLAP) and AI systems on the right왼쪽 데이터 생성(OLTP)부터 오른쪽 데이터 분석(OLAP)·AI 활용까지 파이프 안으로 데이터가 끊임없이 흘러가요
Users사용자 Customers & Staff고객 · 임직원
App (Application)앱 (App) Client UI & Application Server서비스 화면 · 서버
  • LOB (Internal Apps)(사내 업무 앱)
  • Operation (Production)(운영)
  • Transaction (Transactions)(거래)
ERP · E-Commerce · AuthERP · 쇼핑몰 · 로그인
Google Cloud Database Engineer On-Line Transaction (OLTP) <High-Throughput Real-Time><실시간 처리에 강함>
SQL (Relational)SQL (정형) Cloud SQL Schema Tables · ACID DB표 스키마 · 트랜잭션 DB What무엇행과 열 스키마가 정해진 관계형 운영 DB (Cloud SQL: 리전 RDBMS · AlloyDB: 고성능 PG · Spanner: 글로벌 분산)Why왜주문 · 결제 · 재고: 단 한 건도 틀리면 안 되는 정형 트랜잭션(ACID) 데이터를 다뤄요 NoSQL (Semi-Structured)NoSQL (반정형) Firestore · Bigtable Flexible Documents · Low-Latency유연한 문서 · 초고속 조회 What무엇유연한 스키마의 반정형 DB (Firestore: 실시간 문서 · Bigtable: 초고속 와이드컬럼 · Memorystore: 인메모리 캐시)Why왜상품 카탈로그 · 채팅 · 센서 로그: 형태가 자주 바뀌고 빠르게 쌓이는 데이터를 담아요
Unstructured Data비정형 데이터 Media · Audio · Documents이미지 · 비디오 · 자연어
SaaS · IoT sensor External Apps · IoT Telemetry외부 앱 · 실시간 센서 기록
Other Cloud / CSPs (AWS, Azure..)타 클라우드 / 타 CSP (AWS, Azure..)
On-Premises (Corporate Data Center)On-Prem. (사내 전산실 서버)
External Feeds · Social Media · News Data외부 피드 · SNS · 뉴스 데이터
1. Data Generation1. 데이터 생성
When ➔ Large-Scale Analytics Required대규모 분석 필요 Multi-Year History · Full Scan Bottleneck수년 치 누적 · Full Scan 부담
Ingest ➔Ingest (수집) ➔
· Batch (Nightly / Scheduled)· Batch (야간 · Cron) · Streaming (Real-Time IoT)· Streaming (실시간 IoT) · Event-Driven (User Events)· Event-driven (회원가입)
무엇 (수집 3대 방식)1) Batch(Scheduled): 야간 작업·Cron처럼 정해진 주기에 묶어 한꺼번에 수집
2) Streaming: IoT 센서·클릭 로그처럼 끊임없이 흘러오는 데이터를 실시간 수집
3) Event-driven: 회원가입·결제 완료 같은 특정 사건이 발생할 때마다 즉시 수집왜 나누나요?데이터 실시간성 요구 수준과 비용에 맞춰 최적의 파이프를 선택하기 위해서예요
OLTP vs. OLAP Row-Oriented vs. Columnar
Single Records vs. Mass AggregationsRow-nar vs. Columnar
단건 처리 vs. 대용량 집계 무엇 (운영 DB vs 분석 DW 비교)· 저장 구조: OLTP는 Row-nar(행 기반) 단건 처리 / OLAP는 Columnar(열 기반) 대용량 열 압축·집계
· 탐색 방식: OLTP는 B-Tree Index 탐색 / OLAP는 Index 대신 Partitioning(날짜 분할) · Clustering(정렬)
· 인프라·트랜잭션: OLTP는 저장소·컴퓨트 통합 및 PK/FK 강제(정규화) / OLAP는 저장소·컴퓨트 분리(Auto-scale 분산처리) 및 비정규화왜 나누나요?운영 DB는 실시간 단건 트랜잭션에, 분석 창고는 수년 치 대용량 열 집계에 최적화되어 있기 때문이에요
Google Cloud Data Engineer On-Line Analytical Processing (OLAP)
TETL · ETL · ELT ComparisonTETL · ETL · ELT 비교 PII Protection · Cost Reduction · Fault Isolation개인정보보호 · 비용절감 · 장애격리 무엇 (정수기 비유 · 변환 시점 비교)· TETL (T➔E➔T➔L): 수도관 입구 거름망처럼 원본에서 불필요한 데이터를 먼저 사전 필터링(Pre-filter)한 뒤 이동·변환
· ETL (E➔T➔L): 외부 정수장(Dataflow·Spark)에서 깨끗이 정제한 뒤 적재 (클라우드 진입 전 PII 마스킹 · 컴퓨트 비용 절감)
· ELT (E➔L➔T): 원수를 저수지(BigQuery)에 바로 붓고 무한 확장 SQL 파워(Dataform·dbt)로 정제왜 (파이프라인 3대 목적)① 개인정보보호(PII 마스킹) · ② 클라우드 비용절감 · ③ Fault-tolerance(장애 격리·재처리)를 달성하기 위해서예요
Br동Bronze : Raw data (As-is): raw data (원본 그대로)
Ag은Silver : Cleansed · Joined: 정제 · 클렌징 · 조인
Au금Gold : Curated Marts: 목적별 통합 / 통계 마트
Data Lake Cloud Storage · LakeCloud Storage · 호수 <Lake Shape> Multi-Format · Open Data Formats<호수 모양> 비/반/정형 · Open Data Format What무엇Cloud Storage (Data Lake) & Open Data Format: 정형·반정형·비정형 원본과 개방형 데이터 파일(Columnar: Parquet·ORC / Row: Avro·JSON·CSV)을 그대로 담아 두는 호수왜 Columnar(Parquet)를 주력으로 쓰나?· 분석·Lakehouse에서는 열 단위 압축·집계가 빠른 Parquet·ORC(Columnar)를 주력으로 쓰고, 수집·스트리밍(CDC) 원본에는 Avro·JSON·CSV(Row)를 함께 써요 Data Warehouse BigQuery · WarehouseBigQuery · 창고 WAREHOUSEWAREHOUSE (창고) High-Density Structured Data Warehouse & Aggregations높은 천장까지 정형 데이터 적재·집계 What무엇BigQuery (데이터 웨어하우스): 열 기반(Columnar)으로 잘 정돈된 정형 데이터를 높은 선반 끝까지 촘촘히 쌓아 둔 분석 전용 창고Why왜Partitioning · Clustering · 분산 쿼리: 수조 건의 정형 데이터를 몇 초 만에 SQL로 집계해 대시보드와 AI에 공급해요
Data Replication
vs. Data Virtualization데이터 복제
vs. 데이터 가상화 Replication (Duplicate Storage)
Virtualization (Direct Source Query)복제(사본 중복 저장)
가상화(원본 직접 참조) 무엇 (데이터 복제 vs. 데이터 가상화)· 데이터 복제: Data Lake(호수)의 파일을 Data Warehouse(창고)로 또 복사해 양쪽에 중복 저장(2벌 보관)하는 방식
· 데이터 가상화 (Lakehouse): 파일을 창고로 복사하지 않고 호수에 그대로 둔 채 메타데이터만 연결해 직접 조회하는 방식왜 가상화(Lakehouse)를 쓰나요?중복 저장 비용과 복사 대기 시간을 없애고 단일 원본(Single Source of Truth)을 유지하기 위해서예요
Data Lakehouse Warehouse over Lake호수 위 창고 Lake + Metadata Folder Warehouse on the Lake · Open Table Format호수 위 창고 · Open Table Format What무엇Google Lakehouse & Open Table Format (Iceberg · Delta · Hudi): Data Lake의 Open Data Format(Parquet 등 Columnar 파일) 위에 Open Table Format(메타데이터 폴더 구조·ACID)을 세운 결합 아키텍처Why왜무복사 직접 조회 · 단일 거버넌스: 복사 비용 없이 호수 속 Parquet 파일들을 하나의 SQL 테이블처럼(Time Travel·스키마 진화) 다뤄요
Lakehouse · 3 FormatsLakehouse · 3대 포맷 Open Data · Table · Knowledge 무엇 (Data ➔ Table ➔ Knowledge 3대 개방형 포맷)· 1) Open Data Format (Data Lake): 분석·Lakehouse 주력인 Columnar(Parquet · ORC)와 수집·스트리밍 원본용 Row(Avro · JSON · CSV)
· 2) Open Table Format (Lakehouse): Apache Iceberg(Google 표준) · Delta Lake · Apache Hudi — 호수 속 Parquet 파일 위에 메타데이터 폴더(_metadata)를 얹어 하나의 SQL 테이블(ACID·Time Travel)로 관리
· 3) Open Knowledge Format (Knowledge Catalog): OKF (YAML + Markdown) + MCP — 사람과 LLM이 함께 읽는 기업판 LLM Wiki왜 함께 쓰나요?호수의 열 기반 파일(Parquet) 위에 테이블 장부(Iceberg)를 얹고, 지식 개요서(OKF)로 AI에게 전체 맥락을 알려 주기 위해서예요
2. Data Analytics2. 데이터 분석
Business Intelligence (BI) | Agentic System | Decision Making Discover broad landscape with Knowledge Catalog, then query via Dashboards & AI AgentsKnowledge Catalog로 전체 개요(OKF)를 파악한 뒤 대시보드·AI 에이전트로 정밀 조회
BI & Analytics DashboardsBI (대시보드) Data Studio Executive KPI Charts & Reports핵심 지표 차트 시각화 · 리포트 What무엇Data Studio · Looker: Google Cloud의 셀프서비스 대시보드(Data Studio) 및 전사 시맨틱 BI 플랫폼(Looker)Why왜Gold 마트 실시간 시각화: Data Warehouse의 정제 지표를 차트와 리포트로 시각화해 빠른 의사결정을 도와요 Knowledge Catalog Knowledge Catalog Glossary용어집 Schema스키마 Lineage·MCP계보·MCP Data Profiles · Open Knowledge Format데이터 개요서 · Open Knowledge Format What무엇Knowledge Catalog: 전사 Lake·Lakehouse·DW에 어떤 데이터가 어디에 있고 무슨 뜻인지 전체 그림을 보여 주는 데이터 개요서(기업판 LLM Wiki)왜 Open Knowledge Format (OKF) 인가?· OKF (YAML + Markdown, 2026.06): Google이 만든 개방형 지식 포맷으로 비즈니스 용어집·스키마·쿼리 규칙을 마크다운 그래프로 구조화해요
· 선(先) 전체 그림 파악 ➔ 후(後) 정밀 질의: AI 에이전트가 무작정 창고를 뒤지기 전에 MCP로 카탈로그 개요(OKF)를 먼저 읽고 정확한 SQL Query를 날려요! Gemini Enterprise Agent Platform LLM · AI AgentsLLM · AI 에이전트 Text-to-SQL · Tool Use · Structured RAGText-to-SQL · Tool Use · 정형 RAG What무엇· Gemini Enterprise Agent Platform: 모델을 배포하고 에이전트를 만드는 곳
· GPT = 사전학습(지식), Pretrained: 범용 사전학습 모델왜 Knowledge Catalog ➔ Query ↔ Data 순서인가?· ① 전체 개요(OKF) 파악: LLM은 사내 테이블 구조와 용어를 모르므로 먼저 Knowledge Catalog에서 전체 지도를 읽어요
· ② Query ➔ ③ Data: 방향이 정해지면 Data Warehouse·Lakehouse에 정밀 Query를 날려 특정 Data를 가져와 Answer를 답해요!
Business Decision Makers내부사용자(의사결정) Query data (Q) & receive actionable insights질문(Q)하고 데이터 답변(Answer) 받기 What무엇내부사용자 (의사결정): BI 대시보드와 AI 에이전트(LLM)에게 질문(Q)하고 데이터 기반 답변(Answer)을 받아 비즈니스 의사결정을 내리는 주체왜 2번으로 이어지나요?서비스 및 앱 개선 (선순환 루프): 데이터 분석·AI로 얻은 인사이트가 다시 2번(사용자 · 앱 · 운영 시스템)의 서비스 및 앱 개선으로 이어져 데이터 파이프라인의 선순환을 완성해요
3. Data Utilization3. 데이터 활용
무엇 (4대 데이터 분석 플랫폼 아이콘 순서)1) Databricks · 2) Google BigQuery · 3) Microsoft Fabric · 4) SnowflakeWhy왜각 데이터 분석 플랫폼이 우측 3. 데이터 활용의 내장 AI 에이전트와 1:1 순서로 대응돼요 Genie · Conversational Analytics · Copilot · CoWork/CoCo 무엇 (플랫폼별 내장 AI 에이전트 1:1 순서)· Genie: Databricks AI/BI Genie
· Conversational Analytics: Google BigQuery 내장 대화형 분석
· Copilot: Microsoft Fabric AI
· CoWork / CoCo: Snowflake AIWhy왜SQL을 직접 짜지 않아도 자연어 질문(Q)으로 차트와 데이터 답변(Answer)을 바로 얻어요
Structured Load (ETL / ELT)정형 적재 (ETL / ELT)
+ Lake Raw (Un/Semi/Structured)+ 호수 원본 (비/반/정형)
Structured Analytics정형 · 분석 가능성
BI Visualization시각화 조회
① Full Context & Graph① 전체 개요 · 맥락 (OKF)
② ? Query② ? Query (질의)
③ Data③ Data (특정 데이터)
Q (Question)Q (질문)
AnswerAnswer (답변)
⬅ Service & App Feedback⬅ 서비스 및 앱 개선