# 1. 프로젝트 ID 변수 등록 및 기본 리전 설정
export PROJECT_ID=$(gcloud config get-value project)
gcloud config set compute/region us-central1

# 2. 파이프라인용 서비스 계정(SA) 생성
gcloud iam service-accounts create pipeline-sa \
  --display-name="Data Pipeline SA"

# 3. Predefined Role(Object Viewer) 바인딩
SA=pipeline-sa@${PROJECT_ID}.iam.gserviceaccount.com
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:$SA" \
  --role="roles/storage.objectViewer"

• Cloud Shell 기본 환경gcloud·bq·cbt CLI가 사전 설치된 5GB 영구 홈 디렉터리 제공
• add-iam-policy-binding기존 프로젝트 정책에 주체(member)와 역할(role)을 안전하게 추가
• 실습 체크포인트IAM 콘솔과 CLI 양쪽에서 역할 부여 및 권한 회수(remove) 확인

# 1. Uniform Access 데이터 레이크 버킷 생성
gcloud storage buckets create gs://$PROJECT_ID-lake \
  --location=us-central1 --uniform-bucket-level-access

# 2. 30일 경과 → Nearline 전환(lifecycle.json)
{"rule": [{
  "action": {"type": "SetStorageClass",
             "storageClass": "NEARLINE"},
  "condition": {"age": 30}
}]}

# 3. 수명주기 정책 적용 및 조회
gcloud storage buckets update gs://$PROJECT_ID-lake \
  --lifecycle-file=lifecycle.json

• gcloud storage 표준 CLIgsutil은 2027-03 제거 예정 레거시예요. 실무는 gcloud storage를 쓰고, 랩 지문의 gsutil도 그대로 동작해요
• JSON 조건(Condition) 조합age, createdBefore, matchesPrefix, isLive 등 복수 조건 지정 시 AND 조건으로 평가
• 비동기 반영정책 적용 후 실제 클래스 변경·삭제 실행까지는 최대 24시간 소요 가능

# 1. Multi-Zone HA + PITR Cloud SQL(PG) 생성
gcloud sql instances create commerce-pg \
  --database-version=POSTGRES_15 \
  --tier=db-custom-2-8192 --region=us-central1 \
  --availability-type=REGIONAL \
  --backup-start-time=02:00 \
  --enable-point-in-time-recovery

# 2. Read Replica 추가 및 Failover 테스트
gcloud sql instances create commerce-pg-read \
  --master-instance-name=commerce-pg \
  --tier=db-custom-2-8192 --region=us-central1
gcloud sql instances failover commerce-pg

• availability-type=REGIONALPrimary와 Standby가 서로 다른 Zone에 동기 복제되어 자동 Failover 보장
• PITR 전제 조건자동 백업(backup-start-time)과 WAL 아카이빙이 함께 켜져 있어야 시점 복원 가능
• 1일차 핵심 요약Project/IAM 최소 권한 ➔ Cloud Storage 수명주기 ➔ 워크로드 맞춤 DB 선택

-- 1. 부모 테이블 (분산 키 사용)
CREATE TABLE Customers (
  CustomerId STRING(36) NOT NULL,
  Name       STRING(100)
) PRIMARY KEY (CustomerId);

-- 2. 자식 테이블 (부모 Split 동반 배치)
CREATE TABLE Orders (
  CustomerId STRING(36) NOT NULL,
  OrderId    STRING(36) NOT NULL,
  OrderTotal NUMERIC
) PRIMARY KEY (CustomerId, OrderId),
  INTERLEAVE IN PARENT Customers ON DELETE CASCADE;

• 복합 PK 상속 규칙자식 테이블 PK는 반드시 부모 테이블의 PK(CustomerId)를 맨 앞 접두어로 포함해야 해요
• Query Execution Plan콘솔의 Query Plan 시각화에서 네트워크 셔플 없이 Local Join으로 실행되는지 확인
• gcloud spanner CLI인스턴스·DB 생성부터 DDL 반영, SQL 조회까지 CLI로 자동화

# 1. cbt CLI 환경파일(.cbtrc) 자동 구성
echo project = $PROJECT_ID > ~/.cbtrc
echo instance = nyc-transit >> ~/.cbtrc

# 2. 테이블 생성 및 컬럼 패밀리(cf) 추가
cbt createtable bus-data
cbt createfamily bus-data cf

# 3. 특정 버스 노선(M86-SBS)의 시계열 범위 스캔
cbt read bus-data prefix=MTA/M86-SBS/ count=5

# 4. 특정 시각·차량 단건 Row Key 즉시 조회
cbt lookup bus-data "MTA/M86-SBS/1496275200000/NYCT_5824"

• prefix 범위 스캔Row Key가 사전순(Lexicographical)으로 정렬되어 있어 prefix 지정만으로 특정 노선 전체를 밀리초에 읽어요
• Tall & Narrow 구조버스 위치 측정값 1건을 행(Row) 1개로 저장해 확장성과 스캔 효율 극대화
• Dataflow 대량 적재Cloud Storage의 SequenceFile/Parquet 데이터를 Dataflow 템플릿으로 고속 병렬 적재