[반도Chat Ep.3] 초거대 AI 시대를 이끌 메모리 반도체 ‘HBM’

어떤 질문이든 척척 답을 내어주는 ‘챗GPT’처럼, 삼성전자 반도체 뉴스룸은 ‘반도Chat’ 시리즈를 통해 어려운 반도체 용어도 단번에 쏙쏙 알기 쉽게 전하고 있다. 반도Chat 시리즈 세 번째 이야기 주제는 초거대 AI 기술 발전의 핵심인 메모리 반도체, ‘HBM’이다.

.

MAP 1. 메모리, 초거대 AI를 마주하다

초거대 AI란 딥러닝으로 대용량 데이터를 스스로 학습해 인간처럼 종합적 추론이 가능한 차세대 AI를 말한다. 챗GPT가 인간과 유사한 수준으로 질문에 적절하게 응답하는 것도 파라미터(parameter, 매개 변수)가 1,750억 개에 달하는 수많은 데이터를 학습한 언어모델이기 때문이다.

‘챗GPT’, ‘DALL·E’, ‘Bard’의 등장과 같이 AI 서비스 종류가 다양해지고 고도화될수록, 메모리 반도체가 수행해야 할 역할도 더욱 확장되고 있다. AI 서비스를 원활하게 구현하려면 대량의 데이터를 기반으로 여러 연산을 동시에 빠르게 수행하는 능력이 필요하기 때문이다.

이러한 상황에서 반도체 업계는 ‘AI 서비스와 함께 폭발적으로 증가하는 데이터를 어떻게 효율적이고, 빠르게 처리할 것인가’에 대한 해답을 찾게 된다. 차원이 다른 고성능 기술을 제공하는 AI 시대의 핵심 반도체, ‘HBM’이 바로 그것이다.

.

MAP 2. HBM이란 무엇인가

HBM(High Bandwidth Memory)은 이름 그대로 넓은 대역폭을 지닌 메모리를 뜻한다. 여기서 ‘대역폭’이란 주어진 시간 내에 데이터를 전송하는 속도나 처리량, 즉 데이터 운반 능력을 의미한다. HBM은 현재 메모리 시장에서 가장 넓은 대역폭을 지닌 메모리 반도체인데, 간단히 이야기하면 메모리 중 데이터를 가장 빠르게 처리하고 전송할 수 있다는 것이다. 이로써 HBM은 응용처의 성능과 전력 효율 향상에 기여할 수 있게 된다.

.

MAP 3. 처리 속도, 전력 효율 모두 잡은 HBM 속 숨은 기술

주로 게임이나 그래픽 작업과 같은 고성능 그래픽 분야에 활용되는 GDDR은 비교적 낮은 비용으로 높은 성능과 용량을 제공할 수 있다. 한편, HBM은 GDDR 대비 상대적으로 제조 과정이 복잡하고 비용이 높을 수 있지만, 더 높은 에너지 효율을 기반으로 HPC·AI 응용 수준의 높은 대역폭을 제공할 수 있다.

이는 HBM에 TSV(Through Silicon Via)라는 기술이 적용됐기 때문이다. TSV는 메모리 칩을 수직으로 쌓고, 적층된 칩 사이에 얇은 금속 터널을 만들어 전기적 신호가 칩 간 직접 전달되게 하는 패키징 기술이다. 이로써 데이터 전송 속도의 지연을 최소화하고, 적은 전력으로 많은 양의 데이터를 처리할 수 있게 된다. 한편, HBM에는 CoW(Chip on Wafer)  기술과 TCB(Thermal Compression Bonding) 기술도 적용되었다. CoW는 이름 그대로 웨이퍼 위에 칩을 붙이는 기술을 의미하며, TCB는 TSV가 적용된 얇은 칩이 전기적으로 연결될 수 있게 정밀하게 쌓아 올리는 패키징 기술을 말한다.

.

MAP 4. 초거대 AI 시대 속, 기술 발전의 씨앗이 될 메모리 반도체

삼성전자 반도체는 2016년에 업계 최초로 HPC 향 HBM 사업화를 시작하며, AI 메모리 시장을 개척해 왔다. 이를 이어, 2017년 업계 최초로 8단 적층 HBM2를 상용화하며, 당시 가장 빠른 메모리인 GDDR5 대비 8배 빠른 속도를 제공했다. 이후 HBM2E, HBM3를 개발했고, 2023년 10월에는 ‘HBM3E 샤인볼트’를 공개하기에 이르렀다.

HBM3E D램 ‘샤인볼트’는 데이터 입출력 핀 1개당 최대 9.8Gbps의 고성능을 제공하는데, 이는 현재 존재하는 메모리 반도체 중 가장 빠른 수준이다. 1초에 최대 1.2TB(테라바이트) 이상의 데이터를 처리할 수 있음을 의미하며, 더 쉽게 예를 들면 30GB 용량의 UHD 영화 40편을 1초 만에 처리하는 것과 같다.

.

MAP 5. 메모리의 무한한 가능성을 위한 차세대 기술

삼성전자 반도체는 웨이퍼를 제조하고 회로를 만드는 전공정뿐 아니라, 완성된 칩에 데이터 이동과 전기 전달을 가능하게 하고, 외부 환경으로부터 보호하는 패키징 공정도 지속 개발 중이다. 현세대 제품에서 칩 적층 시 적용 중인 NCF(Non-conductive Film, 비전도성 접착 필름)와 차세대 제품 적용을 목표로 개발 중인 HCB(Hybrid Copper Bonding, 하이브리드 접합) 기술이 바로 그것이다.

NCF는 적층된 칩 사이를 절연시키고 충격으로부터 연결 부위를 보호하기 위해 사용하는 고분자 물질이다. NCF를 활용하면 열전도를 극대화하고 열 특성을 개선할 수 있다. 한편 HCB 기술은 칩을 접합할 때 ‘범프’라는 매개체를 없애고, 각 칩 표면에 드러난 구리를 직접 연결한다. 이로써 범프를 사용할 때보다 칩 적층 시 안정성을 향상하고, 열성능을 최적화할 수 있을 것으로 기대된다.

머지않은 미래에는 AI에 특화된 기술과 제품이 시장을 주도할 중요한 역할을 할 것이다. 최근 HBM3E D램 ‘샤인볼트’를 공개한 삼성전자 반도체는 앞으로도 최고 성능의 HBM을 제공하고, 고객 맞춤형 HBM 제품까지 확장하여 AI 시대에 최상의 솔루션을 제공할 계획이다.

AI 서비스의 가능성을 확장할 메모리 반도체, ‘HBM’에 대해 보다 자세하게 알고 싶다면 삼반뉴스 ‘AI 반도체’ 편을 참고하길 바란다.