11. HBM (High Bandwidth Memory)


1) 한 문장 정의

HBM은 여러 장의 D램 칩을 ‘층층이 쌓아 올려’ 만든, 초고속·초넓은 길의 메모리야.


2) 비유로 설명

HBM을 고속도로라고 생각해보자.

일반 D램

  • 1차선 도로
  • 차가 많이 몰리면 막힘

HBM

  • 8차선·16차선처럼 아주 넓은 도로
  • 게다가 도로를 위로 층층이 쌓아 올림(3D 구조)
  • 차들(데이터)이 매우 빠르게 GPU까지 이동할 수 있음

즉,
AI 같은 대용량 연산에 최적화된 슈퍼 고속도로 메모리
트래픽(데이터)을 막힘 없이 처리


3) 실제 기업·제품 예시

HBM을 만드는 회사

  • SK하이닉스 (세계 1위)
  • 삼성전자 (2위)
  • 마이크론 (3위)

HBM이 들어가는 대표 제품

  • NVIDIA H100, H200, B200
  • AMD MI300
  • 구글 TPU v4, v5
  • AI 서버 전용 GPU 대부분 HBM 필수

왜 HBM이 중요?

AI가 너무 많은 데이터를 계산해야 해서
GPU가 메모리에서 데이터를 빨리 못 받으면 속도가 느려짐
→ 그래서 HBM이 AI칩의 심장처럼 중요함!


4) 시각적 이미지 설명

HBM 모듈을 머리속에 그려보면:

  • 얇은 메모리 칩(D램 다이)을 8~12층 정도로 쌓아 올림
  • 층과 층은 작은 엘리베이터(TSV: 실리콘을 관통하는 통로)로 연결
  • 전체가 하나의 큰 직육면체 블록처럼 보임
  • 이 블록이 GPU 옆에 딱 달라붙어 있음

마치
📦 얇은 책을 여러 권 세로로 쌓아서 하나의 거대한 사전처럼 만든 모습!

그리고 그 사전과 GPU 사이에
**아주 굵은 케이블(폭넓은 데이터 통로)**이 연결되어 있는 모습이야.


5) 산업·시장 관점

HBM은 지금 AI 산업에서 가장 부족한 핵심 자원이야.

왜냐면:

  • 만들기 너무 어렵고
  • 수율 관리가 까다롭고
  • TSV(층 연결 기술)과 고급 패키징(CoWoS 등)이 필수

그래서:

  • SK하이닉스 → HBM 시장 점유율 50~60% 압도적 1위
  • 삼성이 뒤따라 추격
  • 마이크론도 3위로 성장 중
  • NVIDIA는 “HBM 많이 확보한 업체”와만 협력하려고 함

향후 5~10년 동안
📈 “HBM 생산 능력이 곧 AI 국가 경쟁력”
이런 말까지 나올 정도로 중요함.


6) 초보자 체크 질문

HBM은 왜 빠를까?

  1. 칩을 여러 층으로 쌓아서
  2. GPU 안에 넣어서
  3. 모양이 예뻐서

정답 번호만 말해줘!