32. HBM(High Bandwidth Memory) — AI 시대의 핵심 메모리
1) 한 문장 정의
HBM은 여러 개의 DRAM 칩을 세로로 쌓아 올리고 초고속 통로로 연결해서, 대역폭을 엄청 크게 만든 메모리예요.
2) 비유로 쉽게 설명
일반 DRAM은 1층짜리 도서관이라고 해보자.
- 책(데이터)을 꺼내려면 복도도 돌아가고
- 가져오는 속도도 그럭저럭임
HBM은:
👉 30층짜리 초고층 도서관을
👉 엘리베이터 기둥 같은 초고속 통로(TSV) 로 세로로 연결해 둔 것과 같아.
그래서:
- 아래층에서 책 가져오는 속도
- 위층에서 책 가져오는 속도
→ 모두 동시에 폭발적으로 빨라짐.
AI 연산은 엄청난 양의 데이터를 가져와야 하니까
HBM 없으면 GPU 성능이 반토막 나.
3) 실제 기업·제품 예시
NVIDIA AI GPU
- H100 → HBM3
- H200 → HBM3e
- B200 → 차세대 HBM3e / HBM4 예정
→ 모두 HBM이 붙지 않으면 성능이 절대 안 나옴.
HBM 제조 기업
- SK하이닉스 (세계 1위)
- 삼성전자 (추격 중)
- 마이크론
현재 AI 붐 = 사실상 HBM 공급 부족 붐
4) 시각적 이미지 설명
HBM 구조를 머릿속에 그리면:
□ ← DRAM 칩
□
□
□ ← 이런 식으로 8~12장 적층
│
│ TSV(세로 구멍으로 된 초고속 통로)
│
┌─────────┐ ← 인터포저(덩치 큰 기판)
│ GPU │
└─────────┘
포인트:
- DRAM을 세로로 적층
- 각 층을 TSV로 연결
- 밑에서 GPU와 대면적 인터포저로 붙음
- 결과 → 메모리 대역폭이 수 TB/s로 증가!
5) 산업·시장 관점
왜 HBM이 AI 시대의 핵심일까?
✔ 딥러닝 연산 = 행렬 계산
✔ 행렬 계산 = 데이터를 엄청 빨리 가져와야 함
✔ 일반 DRAM은 속도가 너무 느림
✔ 그래서 HBM + 2.5D 패키징이 필수가 됨
현재 시장 동향:
- SK하이닉스: HBM3 공급의 절대강자
- 삼성전자: HBM3e 품질 향상 중
- 마이크론: HBM 분야 빠르게 성장
- NVIDIA·AMD·Google TPU → HBM 의존도 100%
미래:
- HBM4, HBM4e
- 더 많은 층(12층 → 16층)
- 더 큰 인터포저
- 더 높은 대역폭(10TB/s 시대)
6) 초보자 체크 질문
HBM이 빠른 이유는 무엇 때문일까?
- DRAM 칩을 색칠해서
- DRAM 칩을 여러 층 세로로 쌓고 초고속 통로(TSV)로 연결해서
- GPU를 작게 만들어서
정답 번호만 말해줘!