이러한 변화는 AI 반도체에 데이터를 공급하는 메모리의 발전으로 이어진다. 연산 장치가 높은 성능을 갖추더라도 필요한 데이터를 제때 전달받지 못하면 그 능력을 충분히 활용하기 어렵기 때문이다. 따라서 더 많은 데이터를 저장하고 원활하게 공급하면서, 데이터 이동에 필요한 에너지를 줄이는 것이 AI 시스템의 중요한 과제로 떠오르고 있다.

이번 시리즈에서는 이러한 배경을 바탕으로 HBM이 AI 시스템에서 수행하는 역할과 앞으로의 발전 방향, 그리고 이에 대응하는 삼성전자의 차세대 메모리 솔루션을 살펴본다. 1편에서는 HBM의 등장 배경과 발전 과정을, 2편에서는 zHBM의 기술적 장점과 이를 뒷받침하는 삼성전자의 통합 역량을 소개한다.

개별 칩에서 시스템 전체로 진화하는 AI 반도체

AI Chip은 AI 모델의 학습과 추론에 필요한 연산을 효율적으로 수행하도록 설계되거나 활용되는 반도체이다. 대표적인 AI Chip으로 GPU와 AI 전용 ASIC이 있으며, CPU는 데이터 전처리와 작업 배분, 시스템 운영 등을 담당한다.

GPU가 AI에 널리 활용된 이유는 그래픽 처리와 딥러닝 연산의 공통점에 있다. 화면을 구성하는 많은 픽셀을 동시에 처리하도록 발전한 GPU의 병렬 구조가, 대량의 곱셈과 덧셈을 수행하는 딥러닝의 행렬 연산에도 적합했기 때문이다.

다만 GPU의 효율은 워크로드에 따라 달라진다. 많은 데이터를 묶어 처리하는 학습에서는 병렬 처리 능력을 적극적으로 활용할 수 있지만, 토큰을 순차적으로 생성하는 일부 추론 작업에서는 연산 자원을 충분히 활용하기 어렵다. 특히 GPU가 동시에 처리하는 데이터 샘플의 개수가 작은 디코드 단계에서는 메모리의 데이터 공급 속도가 성능을 제한할 수 있다.

이러한 요구에 대응해 특정 연산에 하드웨어를 최적화한 AI 전용 ASIC도 활용되고 있다. ASIC은 목표 워크로드의 처리 효율과 전력 효율을 높이는 데 초점을 맞추며, 실제 이점은 모델과 시스템 구성에 따라 달라진다.

AI용 GPU 역시 행렬 연산 전용 유닛과 다양한 수치 정밀도 지원을 강화하며 발전하고 있다. 성능을 높이는 접근도 개별 칩을 넘어 GPU·CPU·메모리·고속 연결망과 전력·냉각을 함께 고려하는 랙 규모(Rack-scale)의 통합 설계로 확대되고 있다. 여기에 소프트웨어를 결합해 시스템 전체의 자원 활용과 데이터 흐름을 최적화한다.

이러한 시스템에서 가속기의 연산 능력을 충분히 활용하려면 필요한 데이터를 제때 공급해야 한다. AI Chip의 발전과 함께 메모리의 역할이 중요해지는 이유이다.

연산 장치가 데이터를 기다리는 이유

AI 연산에는 모델 가중치와 실행 과정에서 생성되는 데이터가 필요하다. 연산 장치의 처리 능력에 비해 메모리의 데이터 공급 능력이 부족하면, 계산을 수행하는 대신 데이터가 도착하기를 기다리는 시간이 늘어난다. 이러한 성능 격차에서 발생하는 병목을 설명하는 개념이 메모리 월(Memory Wall)이다.

대규모 언어 모델의 추론에서도 이러한 특성을 확인할 수 있다. 입력을 처리하는 프리필(Prefill) 단계와 토큰을 순차적으로 생성하는 디코드(Decode) 단계는 서로 다른 연산 특성을 갖는다. 특히 여러 요청을 한꺼번에 처리하는 배치의 크기가 작은 디코드에서는 모델 가중치와 KV 캐시를 읽어오는 속도가 응답 시간에 큰 영향을 줄 수 있다.

KV 캐시는 이전 토큰에서 계산한 키(Key)와 값(Value)을 저장해 다음 토큰 생성에 재사용하는 메모리 공간이다. 긴 문맥을 처리하거나 동시 요청이 늘어나면 이러한 데이터를 저장하고 공급하는 부담도 커질 수 있다.

이때 중요한 것이 메모리의 대역폭과 용량이다. 대역폭은 일정 시간에 전달할 수 있는 데이터의 양을, 용량은 저장할 수 있는 데이터의 양을 의미한다.

연산 장치를 공장에, 메모리를 인접한 창고에 비유하면 이해하기 쉽다. 대역폭은 창고에서 공장으로 향하는 도로의 운송 능력에 해당한다. 차선이 넓어지면 더 많은 화물을 동시에 보낼 수 있다. 용량은 창고에 보관할 수 있는 물량이다. 창고가 충분히 크면 필요한 화물을 가까이에 확보해 다른 창고에서 가져오는 부담을 줄일 수 있다.

AI 시스템에서도 가까운 메모리에 작업 데이터를 충분히 유지하면서, 이를 연산 장치에 원활하게 공급할 수 있어야 한다.

더 넓은 데이터 통로를 위한 HBM의 등장

그래픽용 GPU는 높은 대역폭을 확보하기 위해 GDDR을 널리 사용해 왔다. GDDR은 일반적인 메모리인 DDR보다 높은 핀당 데이터 전송률을 제공하도록 설계되어, 초기 GPU 기반 AI 연산에서도 많은 데이터를 공급하는 데 유리했다.

그러나 AI 모델이 커지면서 대역폭과 용량을 함께 확장해야 하는 부담도 증가했다. GDDR은 GPU 주변의 보드에 배치되므로 메모리 칩을 추가하려면 공간과 배선을 확보해야 한다. 핀당 전송률을 높이는 방법 역시 전력 소모와 발열, 신호 품질을 함께 고려해야 한다. GDDR은 계속 발전하고 있지만, 제한된 공간과 전력 안에서 더 많은 데이터를 처리하려면 다른 접근이 필요했다.

HBM은 수직 적층과 넓은 입출력 인터페이스를 결합해 이러한 요구에 대응한다. 여러 DRAM 다이를 쌓고, 실리콘 관통 전극인 TSV(Through Silicon Via)로 연결해 많은 데이터를 병렬로 주고받는 구조를 구현한다. 주요 장점은 다음과 같다.

1. 넓은 입출력 인터페이스를 통한 높은 대역폭

HBM은 핀당 전송률을 높이는 데만 의존하지 않고, 많은 입출력 통로로 데이터를 동시에 전달한다. GDDR보다 낮은 핀당 전송률로도 높은 전체 대역폭을 확보할 수 있어, 연산 장치에 대량의 데이터를 공급하는 데 유리하다.

2. 수직 적층을 통한 높은 저장 밀도

DRAM 다이를 수직으로 쌓아 제한된 바닥 면적에 더 많은 용량을 구현한다. 모델 가중치와 KV 캐시를 가속기에 인접한 HBM에 충분히 저장하면, 상대적으로 느린 다른 메모리 계층에서 데이터를 가져오는 부담과 그에 따른 지연을 줄일 수 있다.

3. 짧은 연결 경로를 통한 전력 효율 향상

HBM은 인터포저와 같은 고밀도 연결 기술을 통해 AI Chip에 가까이 배치된다. 짧은 데이터 경로는 전송에 필요한 에너지와 신호 손실을 줄이는 데 유리하다. 여기에 넓은 병렬 인터페이스를 결합해, 핀당 전송률을 과도하게 높이지 않고도 높은 대역폭을 구현한다.

4. 작은 면적을 활용한 고밀도 패키징

수직 적층은 여러 메모리 칩을 보드에 나란히 배치할 때보다 점유 면적을 줄이는 데 유리하다. 이를 인터포저 기반의 2.5D 패키징과 결합하면, AI Chip과 여러 HBM 스택을 하나의 패키지 안에 인접 배치할 수 있다. 이는 공간을 효율적으로 활용하면서 많은 입출력 신호를 촘촘하게 연결하는 방식이다.

이처럼 HBM은 대역폭과 용량뿐 아니라 전력과 공간 효율을 함께 고려한 메모리이다. 이러한 특성을 바탕으로 GPU와 AI 전용 ASIC 등 고성능 AI Chip의 핵심 메모리로 자리 잡았다.

AI의 요구와 함께 발전하는 HBM

HBM은 세대를 거듭하며 대역폭과 용량을 꾸준히 높여왔다. 그 덕분에 더 큰 모델과 긴 문맥을 처리할 수 있게 됐지만, 저장하고 이동해야 할 데이터도 함께 늘어나고 있다. 특히 추론과 논리적 사고 과정을 강화하는 리즈닝(Reasoning)이 확대되면서, 모델 가중치와 KV 캐시를 읽고 전달하는 부담이 커지고 있다. 메모리 성능이 향상돼도 AI의 새로운 요구에 따라 병목이 다시 나타나는 이유이다.

이에 HBM은 새로운 세대의 개발과 기존 세대의 성능 개선을 병행하며, 대역폭과 용량을 늘리는 동시에 선단 공정을 통해 에너지 효율을 높이는 방향으로 발전하고 있다. 제품 내부 TSV 수를 늘려 대역폭을 높이고, 8H, 12H, 16H로 Stack 수를 증가시키거나 내부 DRAM 다이 자체의 용량을 늘리는 방법으로 패키지당 용량을 확대하고 있다. 나아가 최선단 DRAM 공정을 적용하고 선단 Logic 공정을 적용한 Base Die를 사용하여 전력 효율을 높이고 있다.

HBM의 다음 과제는 연결의 효율

데이터 이동의 효율을 높이는 접근 중 하나는 메모리와 연산 장치 사이의 거리를 줄이는 것이다. 더 짧은 경로로 많은 데이터를 전달할 수 있다면, 높은 대역폭을 확보하면서 데이터 전송에 필요한 에너지도 줄일 수 있다.

삼성전자가 개발 중인 zHBM은 이러한 방향을 구현하는 차세대 메모리 솔루션이다. GPU나 AI 전용 ASIC 같은 연산 장치와 메모리를 직접 수직으로 적층해 데이터 이동 경로를 줄이고, 촘촘한 병렬 연결로 데이터 통로를 넓힌다. 직접 적층에 따른 열 관리까지 함께 고려해, 메모리와 연산 장치 사이의 데이터 이동을 시스템 차원에서 최적화하는 접근이다.

이어지는 2편에서는 데이터 이동의 효율을 높이는 차세대 메모리 zHBM의 고밀도 수직 연결과 에너지 효율, 열 관리 기술을 살펴본다. 또한 삼성전자가 메모리부터 첨단 패키징까지 아우르는 통합 역량을 바탕으로, 고객 및 파트너와의 개방형 협력과 공동 설계를 통해 AI 시스템에 최적화된 솔루션을 구현해 나가는 방향을 소개한다.

※ 본 기사는 삼성전자 반도체 공식 웹사이트 테크블로그 콘텐츠를 전재하였습니다.

* 본 페이지의 내용은 정보 제공만을 목적으로 합니다. 삼성 및 그 임원, 자문인, 대리인 또는 직원은 본 페이지에 포함된 정보, 진술, 의견 또는 기타 내용의 정확성, 합리성 또는 완전성에 대하여 명시적 또는 묵시적으로 어떠한 진술이나 보증도 하지 않으며, 해당 내용은 “있는 그대로(AS IS)” 제공됩니다.
* 삼성은 본 블로그 내용의 사용으로 인해 발생하거나 이와 관련하여 발생하는 어떠한 손해에 대해서도 책임을 지지 않습니다. 본 블로그의 어떠한 내용도 본 문서에 제공된 정보, 자료 또는 콘텐츠나 기타 지식재산에 대한 라이선스 또는 권리를 부여하는 것으로 해석되지 않습니다.

The post 인공지능의 발전과 AI Chip, 이를 뒷받침하는 HBM first appeared on 삼성전자 반도체 뉴스룸.