21. 메모리 계층 구조 (Memory Hierarchy)

1) 한 문장 정의

메모리 계층 구조는 CPU·GPU가 필요로 하는 데이터를 ‘빠르고 비싼 것 → 느리고 싸고 큰 것’ 순서로 배치한 구조예요.

2) 비유로 쉽게 설명

집에서 물건을 꺼내 쓰는 상황을 떠올려보자!

🧠 1) 레지스터(Register) = 바지 주머니

  • 손만 넣으면 바로 꺼낼 수 있음
  • 가장 빠르고 가장 작음

🧠 2) 캐시(Cache) = 책상 서랍

  • 꽤 빠르게 꺼낼 수 있음
  • 용량은 조금 더 큼
  • L1/L2/L3처럼 여러 층이 있음

🧠 3) DRAM = 방 안 책장

  • 방에 가서 꺼내야 해서 조금 느림
  • 대신 용량이 훨씬 큼

🧠 4) HBM = 책장이지만 바로 옆 방에 있음

  • DRAM보다 훨씬 넓은 통로로 연결되어 빨리 가져올 수 있음
  • AI 연산을 위해 특별히 만든 “초고속 책장”

🧠 5) SSD = 창고

  • 훨씬 느리지만 저장 용량이 매우 큼
  • 오래 보관할 수 있음

📌 즉, 데이터는 가까운 곳일수록 빠르고 비싸고 작다
📌 먼 곳일수록 느리고 싸고 크다

3) 실제 기업·제품 예시

CPU·GPU 속도 예시

  • 레지스터 → 나노초(ns) 단위
  • 캐시 → 수 ns
  • DRAM → 수십~수백 ns
  • HBM → DRAM보다 빠름(극단적 병렬 통로 덕분)
  • SSD → 마이크로초(µs) 수준
  • HDD → 밀리초(ms) 수준(엄청 느림)

실제 제품 안에서

  • Apple M3 → L1/L2/L3 캐시 + LPDDR5X 메모리
  • NVIDIA H100 → 대규모 캐시 + HBM3
  • 스마트폰 → 캐시 + DRAM + UFS SSD

4) 시각적 이미지 설명

머릿속에 “층층 구조”를 떠올려보자:

   ┌────────┐  가장 빠르고 작음
   │Register│
   └────────┘
   ┌────────┐
   │  L1    │
   │ Cache  │
   └────────┘
   ┌────────┐
   │  L2    │
   │ Cache  │
   └────────┘
   ┌────────┐
   │  L3    │
   │ Cache  │
   └────────┘
   ┌────────┐  중간 속도, 큰 용량
   │ DRAM   │
   └────────┘
   ┌────────┐  AI 고속용 특수 메모리
   │  HBM   │
   └────────┘
   ┌────────┐  가장 느리고 큼
   │  SSD   │
   └────────┘

위에서 아래로 갈수록:

  • 속도 ↓
  • 용량 ↑
  • 가격 ↓
  • 전력 효율 ↓

5) 산업·시장 관점

AI 시대의 핵심은:

👉 “GPU의 연산 속도보다 데이터를 공급하는 속도가 더 중요해졌다.”

그래서 HBM의 가치가 폭발적으로 상승함.

✔ CPU 시대 → 캐시 + DRAM이 중요
✔ AI 시대 → GPU + HBM + 고대역폭 구조가 핵심

기업 관점:

  • SK하이닉스·삼성 → HBM 시장 주도
  • NVIDIA·AMD·Google TPU → HBM 없으면 성능 절반 이하
  • TSMC·삼성 파운드리 → 인터포저·CoWoS 같은 구조 필수
  • SSD 기업(삼성, SK, WD) → 저장 공간 확장

6) 초보자 체크 질문

다음 중 가장 빠르지만 용량이 가장 작은 메모리는 무엇일까?

  1. DRAM
  2. Register(레지스터)
  3. SSD

정답 번호만 말해줘!