20. 버스(Bus)와 대역폭(Bandwidth)
1) 한 문장 정의
버스는 칩 내부·칩 사이에서 데이터를 주고받는 ‘길(도로)’이고, 대역폭은 그 길이 얼마나 넓은지 나타내는 값이에요.
2) 비유로 쉽게 설명
데이터는 마치 자동차(정보) 라고 생각해봐!
✔ 버스(Bus) = 도로
- CPU ↔ 메모리
- GPU ↔ HBM
- SoC 내부 CPU ↔ GPU
이렇게 서로 통신하는 길(도로) 역할을 해.
✔ 대역폭(Bandwidth) = 도로의 차선 수
- 1차선 → 차가 막힐 수 있음 (느림)
- 8차선 → 차가 많이 다닐 수 있음 (빠름)
HBM이 빠른 이유도 바로
→ 도로가 엄청 넓기 때문! (초고대역폭)
그래서:
✔ 버스 = 길 자체
✔ 대역폭 = 길의 폭(얼마나 많은 차가 동시에 지나가나)
3) 실제 기업·제품 예시
GPU·HBM 사이 대역폭
- NVIDIA H100: 약 3.3TB/s
- NVIDIA B200: >8TB/s 수준
AI가 더 커질수록
→ 더 넓은 도로(더 큰 대역폭)가 필수가 됨.
CPU·GPU·SSD에서도 활용
- PCIe 5.0
- PCIe 6.0 (전송 속도 128GB/s 이상)
이것도 버스의 한 종류이자 “도로 규격”이에요.
스마트폰 SoC 내부
- Apple A17/M3 → 내부 버스 대역폭이 커서
GPU 성능과 메모리 속도가 매우 빠름 - Qualcomm Snapdragon
- 삼성 Exynos
이들도 모두 버스·대역폭 설계가 핵심 경쟁 포인트!
4) 시각적 이미지 설명
버스 구조를 머릿속에 그리면:
- 칩 안에 수많은 미세한 길(전선 길) 이 쫙 깔려 있음
- CPU·GPU·NPU가 각각 방(회로) 안에 있고
- 방과 방 사이를 굵고 얇은 도로들이 연결
- 도로가 넓을수록(대역폭↑)
→ 데이터 자동차가 막힘 없이 달림 - 도로가 좁으면(대역폭↓)
→ 교통 체증 발생 → 성능 저하
AI 칩은
👉 “슈퍼 고속도로가 깔린 도시” 라고 보면 된다!
5) 산업·시장 관점
왜 대역폭이 중요할까?
✔ AI 모델이 커질수록
→ GPU가 읽어야 하는 데이터 양 폭증
→ 좁은 도로(낮은 대역폭)로는 감당 불가
✔ HBM 시장이 폭발하는 이유도
→ 고대역폭 구조 덕분
기업 경쟁 포인트:
- NVIDIA: GPU ↔ HBM 연결 대역폭 최강
- SK하이닉스·삼성: HBM 기술력
- TSMC: CoWoS 인터포저로 대역폭 극대화
- 인텔: EMIB 등 패키징으로 대역폭 개선
AI 시대에는
📌 “연산 속도 < 데이터 공급 속도(대역폭)이 성능을 결정한다”
즉, 대역폭이 진짜 성능의 핵심이 됐어.
6) 초보자 체크 질문
대역폭(bandwidth)은 무엇을 의미할까?
- 칩의 색깔
- 데이터를 전달하는 ‘길의 폭(차선 수)’
- 칩을 보관하는 상자의 크기
정답 번호만 말해줘!