HBM은 메모리 칩을 단순히 빠르게 만드는 기술이 아니라, 여러 DRAM을 수직으로 적층하고 GPU와 가까운 위치에 배치해 데이터 이동 경로를 넓힌 패키징 기술입니다. 핵심 장점은 높은 대역폭과 전력 효율이며, 핵심 과제는 적층 구조의 발열·수율·패키징 비용입니다.
📌 핵심 5줄 요약
1. HBM은 여러 DRAM 다이를 수직으로 쌓은 고대역폭 메모리입니다.
2. TSV와 넓은 인터페이스를 사용해 GPU와 대량의 데이터를 빠르게 주고받습니다.
3. 대역폭은 높지만, 일반 DDR 메모리처럼 메모리 모듈만 교체하는 구조는 아닙니다.
4. 적층 수가 늘어날수록 용량은 커지지만 열 방출과 제조 난도도 높아집니다.
5. HBM 성능은 메모리 단품뿐 아니라 GPU, 인터포저, 패키지, 냉각 설계를 함께 봐야 합니다.
📌 목차
01 | HBM이란 무엇인가
02 | HBM이 필요한 이유
03 | HBM의 기본 구조
04 | DRAM 다이를 쌓는 적층 방식
05 | TSV와 마이크로 범프
06 | HBM 대역폭 계산 원리
07 | GPU와 HBM을 함께 쓰는 이유
08 | HBM과 DDR 메모리 비교
09 | 적층 수가 늘어날 때의 변화
10 | HBM 발열이 어려운 이유
11 | 발열을 줄이는 기술
12 | 패키징과 인터포저의 역할
13 | HBM의 제조·설계 한계
14 | HBM을 이해할 때 확인할 기준
01 | HBM이란 무엇인가
HBM은 ‘High Bandwidth Memory’의 약자로, 한국어로는 고대역폭 메모리라고 부릅니다. 일반적인 DRAM 모듈이 메모리 칩을 기판 위에 나란히 배치하는 방식이라면, HBM은 여러 DRAM 다이를 위로 쌓고 이를 하나의 메모리 스택처럼 사용합니다.
HBM은 메모리 제조 기술과 2.5D·3D 첨단 패키징 기술이 결합된 형태입니다. 따라서 HBM 성능은 DRAM 공정만으로 결정되지 않고, 적층 연결과 패키지 설계까지 함께 좌우됩니다.
02 | HBM이 필요한 이유
AI 학습과 추론, 과학 계산, 고성능 그래픽 작업에서는 연산 장치가 계산한 결과를 메모리에서 빠르게 읽고 써야 합니다. GPU의 연산 성능이 높아져도 메모리가 데이터를 제때 공급하지 못하면 연산 장치가 대기하는 병목이 생깁니다.
HBM은 한 번에 오가는 데이터 통로를 넓혀 이 문제를 줄입니다. 즉, HBM의 핵심은 CPU나 GPU의 연산 속도를 직접 높이는 것이 아니라 연산 장치에 데이터를 공급하는 속도를 높이는 데 있습니다.
03 | HBM의 기본 구조
HBM 스택은 여러 개의 DRAM 다이와 이를 제어하는 베이스 다이로 구성됩니다. DRAM 다이는 데이터를 저장하고, 베이스 다이는 외부 시스템과의 연결 및 일부 제어 기능을 담당합니다.
스택 아래에는 GPU 또는 AI 가속기와 연결되는 패키지 영역이 있습니다. HBM 자체가 메인보드의 독립적인 메모리 모듈로 꽂히는 것이 아니라, 가속기와 함께 하나의 고급 패키지 안에 통합되는 점이 일반 DDR 메모리와 다릅니다.
04 | DRAM 다이를 쌓는 적층 방식
HBM에서 4단, 8단, 12단과 같은 표현은 DRAM 다이를 몇 개 쌓았는지를 뜻합니다. 적층 수가 높아지면 같은 패키지 면적에서 더 큰 용량을 구현할 수 있습니다.
예를 들어 Micron은 HBM3E 제품에서 8단 24GB와 12단 36GB 구성을 제시하고 있으며, SK하이닉스도 2024년 12단 HBM3E 36GB 양산을 발표했습니다. 다만 세대와 제조사에 따라 다이 용량과 사양은 달라질 수 있습니다.
05 | TSV와 마이크로 범프
TSV는 ‘Through-Silicon Via’의 약자로, 실리콘 다이를 수직으로 관통하는 미세한 전기 연결 통로입니다. 이 연결을 통해 위아래로 쌓인 DRAM 다이가 데이터를 주고받을 수 있습니다.
다이 사이에는 미세한 범프와 접합 구조가 사용됩니다. 연결 간격이 좁고 개수가 많기 때문에 미세한 정렬 오차도 수율과 신뢰성에 영향을 줍니다. 적층 수가 늘어나면 연결부와 검사 공정도 함께 복잡해집니다.
06 | HBM 대역폭 계산 원리
HBM의 대역폭은 대략 ‘입출력 핀 수 × 핀당 데이터 전송 속도’를 바탕으로 계산합니다. HBM은 일반 메모리보다 훨씬 넓은 인터페이스를 사용하기 때문에 핀당 속도를 지나치게 높이지 않아도 전체 대역폭을 크게 확보할 수 있습니다.
Micron HBM3E는 1,024개의 입출력 핀과 9.2Gb/s를 넘는 핀 속도를 바탕으로 배치당 1.2TB/s 이상의 대역폭을 제시합니다. SK하이닉스의 12단 HBM3E는 9.6Gb/s 동작 속도를 발표했습니다. 제품별 실제 시스템 대역폭은 HBM 배치 수와 가속기 설계에 따라 달라집니다.
07 | GPU와 HBM을 함께 쓰는 이유
GPU는 수천 개 이상의 연산 유닛이 동시에 작업하는 병렬 처리 장치입니다. 이 구조에서는 작은 데이터 요청이 매우 많이 발생하므로 메모리 통로가 좁으면 연산 유닛이 데이터를 기다리는 시간이 늘어납니다.
HBM은 GPU 가까이에 배치되고 넓은 인터페이스를 사용해 대규모 행렬 연산과 모델 파라미터 처리에 적합합니다. 특히 AI 가속기에서는 메모리 용량과 대역폭이 모델 크기, 배치 크기, 추론 동시성에 직접적인 영향을 줄 수 있습니다.
08 | HBM과 DDR 메모리 비교
| 구분 | HBM | DDR 메모리 |
|---|---|---|
| 배치 방식 | DRAM 다이를 수직 적층 | 메모리 모듈이나 기판에 분산 배치 |
| 강점 | 매우 넓은 인터페이스와 높은 대역폭 | 범용성, 교체 편의성, 확장성 |
| 주요 사용처 | AI 가속기, GPU, 고성능컴퓨팅 | PC, 서버, 일반 시스템 |
| 설계 난도 | 고급 패키징과 열 설계가 필요 | 상대적으로 표준화된 모듈 구성 |
HBM이 모든 메모리를 대체하는 것은 아닙니다. 대용량 저장과 범용 확장이 중요하면 DDR 계열이 유리하고, 연산 장치에 매우 높은 대역폭을 공급해야 하면 HBM이 적합합니다.
09 | 적층 수가 늘어날 때의 변화
적층 수가 증가하면 같은 면적에서 메모리 용량을 키울 수 있습니다. 그러나 다이를 더 얇게 가공해야 하고, 수직 연결부를 안정적으로 형성해야 하며, 전체 스택의 휨과 접합 상태도 관리해야 합니다.
따라서 12단 제품이 8단 제품보다 단순히 좋은 것은 아닙니다. 시스템이 요구하는 용량과 대역폭, 패키지 높이, 냉각 성능, 제조 수율을 함께 판단해야 합니다.
10 | HBM 발열이 어려운 이유
HBM의 열 문제는 여러 다이를 수직으로 포개는 구조에서 시작됩니다. 위쪽 다이에서 발생한 열은 비교적 빠르게 냉각 장치로 전달될 수 있지만, 아래쪽 다이와 베이스 다이에서 발생한 열은 여러 층과 접합부를 거쳐 빠져나가야 합니다.
Micron도 HBM 시스템에서 냉각이 DRAM 스택의 위쪽에 위치하고, 베이스 다이와 DRAM 각 층에서 발생한 열은 아래쪽에 집중되는 구조적 어려움을 설명합니다. 적층 수와 동작 속도가 높아질수록 열 저항과 온도 균일성 관리가 중요해집니다.
11 | 발열을 줄이는 기술
발열 대응은 한 가지 부품으로 해결하지 않습니다. 저전력 신호 설계, 다이 두께 최적화, 접합 재료 개선, 열 확산 구조, 패키지와 냉각 장치의 통합 설계가 함께 필요합니다.
SK하이닉스는 12단 HBM3E에서 Advanced MR-MUF 공정을 적용해 이전 세대보다 열 방출 성능을 10% 높였다고 설명했습니다. 이 수치는 특정 제조사 제품의 발표값이므로 모든 HBM 제품에 일반화해서는 안 됩니다.
12 | 패키징과 인터포저의 역할
인터포저는 GPU와 HBM을 같은 패키지 안에서 고밀도로 연결하는 중간 기판입니다. HBM은 넓은 인터페이스를 사용하므로 일반적인 기판 배선만으로는 필요한 연결 밀도를 확보하기 어렵습니다.
TSMC의 CoWoS는 여러 시스템온칩과 HBM 스택을 실리콘 인터포저 위에 통합하는 대표적인 첨단 패키징 방식입니다. 이 과정에서는 전기적 연결뿐 아니라 신호 무결성, 전력 무결성, 열과 기계적 변형까지 함께 설계해야 합니다.
13 | HBM의 제조·설계 한계
HBM의 첫 번째 한계는 제조 난도입니다. 다이를 얇게 만들고 여러 장을 정밀하게 연결해야 하므로 한 장의 불량이 전체 스택의 수율에 영향을 줄 수 있습니다.
두 번째는 패키지 의존성입니다. HBM 성능이 높아도 GPU와 인터포저, 기판, 냉각 장치가 이를 뒷받침하지 못하면 시스템 전체 성능이 기대만큼 나오지 않을 수 있습니다.
세 번째는 비용과 공급망입니다. HBM은 일반 메모리보다 첨단 패키징과 검사 공정의 비중이 크기 때문에 생산 능력과 패키징 병목이 제품 공급에 영향을 줄 수 있습니다.
14 | HBM을 이해할 때 확인할 기준
HBM 제품이나 AI 가속기를 비교할 때는 세대명만 보지 말고 다음 항목을 함께 확인해야 합니다.
- 스택당 메모리 용량과 시스템 전체 HBM 용량
- 스택당 대역폭과 가속기 전체 대역폭
- 적층 수와 다이당 용량
- 핀당 전송 속도와 인터페이스 폭
- 패키지 방식과 인터포저 구성
- 전력 소비와 냉각 설계 조건
- 제조사가 공개한 수치인지, 실제 시스템 측정값인지 여부
예를 들어 HBM3E의 스택당 대역폭이 높더라도 가속기에 탑재된 스택 수, 메모리 컨트롤러 구조, 소프트웨어 최적화에 따라 실제 작업 성능은 달라질 수 있습니다.
☑ 체크리스트
- HBM 세대와 제품 구성을 확인했는가
- 8단·12단 등 적층 수를 용량과 혼동하지 않았는가
- 스택당 대역폭과 가속기 전체 대역폭을 구분했는가
- HBM 단품이 아닌 GPU·인터포저·패키지를 함께 비교했는가
- 발열 수치가 제품 조건과 측정 환경을 포함하는지 확인했는가
- 제조사 발표값과 실제 벤치마크 결과를 구분했는가
📝 마무리
HBM은 DRAM을 수직으로 적층하고 넓은 인터페이스로 연결해 AI와 고성능컴퓨팅에 필요한 높은 메모리 대역폭을 제공하는 기술입니다. 반면 적층 수가 늘어날수록 발열, 접합, 수율, 패키징 비용이 함께 어려워집니다. 따라서 HBM을 평가할 때는 용량이나 대역폭 하나만 보지 말고 적층 구조와 냉각을 포함한 전체 시스템 관점에서 확인해야 합니다.