글로벌 반도체 학회 ‘MemCon 2024’는 AI 시대에 걸맞은 미래 메모리 솔루션에 대해 깊이 있게 다루는 장으로 다양한 글로벌 IT 기업들이 참여했다.

삼성전자는 이번 ‘MemCon 2024’에서 미래 컴퓨팅 패러다임의 초석, HBM과 CXL 솔루션에 대해 발표하고 업계 리더로서의 비전을 공유했다. HBM은 AI에 필요한 필수적인 속도와 극한의 대역폭을 제공하며, CXL은 여러 개의 인터페이스를 하나로 통합해 용량과 대역폭을 확장시킨다.

.

☐ 메모리 기술 혁신 없이는 인공지능 발전이 계속될 수 없다

삼성전자는 1992년부터 30년 이상 메모리 제품 기술 분야에서의 리더십을 바탕으로 선제적인 투자를 했으며, 이를 바탕으로 적시에 최고 품질의 제품을 공급해왔다.

최근 몇 년 메모리 시장 침체에도 불구하고 삼성전자는 기술 개발과 시설 투자에 자원을 아끼지 않았으며, 작년 D램 41%, 낸드플래시 32%의 시장 점유율을 기록하는 등 메모리 시장에서 굳건한 리더십을 이어가고 있다.

AI 기술 성장에는 메모리 반도체의 발전이 필수적이다. 시스템 고성능화를 위한 고대역폭, 저전력 메모리는 물론 새로운 인터페이스와 적층 기술도 요구되고 있다.

삼성전자는 D램 기술 초격차 유지를 위해 10nm 이하 D램에 수직 채널 트랜지스터(VCT, Vertical Channel Transistor)를 활용하는 새로운 구조에 대한 선제적인 연구 개발을 진행하고 있으며, 2030년 3D D램 상용화에 나설 계획이다.

.

☐ 삼성전자, AI 시대의 메모리 솔루션 준비 현황

2024년 하반기는 HBM 공급 개선으로 AI 서버 확산이 가속화될 뿐만 아니라, Conventional 서버와 스토리지 수요도 증가하는 선순환이 뚜렷하게 나타날 것으로 예상된다.

삼성전자는 2016년 업계 최초로 고성능 컴퓨팅(HPC)용 HBM 사업화를 시작하며, AI용 메모리 시장을 본격적으로 개척했고, 2016년부터 2024년까지 예상되는 총 HBM 매출은 100억 불이 넘을 것으로 전망된다.

삼성전자는 HBM3E 8단 제품에 대해 지난달부터 양산에 들어갔으며, 업계 내 고용량 제품에 대한 고객 니즈 증가세에 발맞추어 업계 최초로 개발한 12단 제품도 2분기 내 양산할 예정으로 Ramp-up 또한 가속화할 계획이다.

앞으로 삼성전자는 성장하는 생성형 AI용 수요 대응을 위해 HBM 캐파 확대와 함께 공급을 지속 늘려나갈 것이다.

한편 온디바이스 AI(On-Device AI) 관련 제품 또한 확대 중이다. PC·노트북 D램 시장의 판도를 바꿀 LPCAMM2를 2023년 9월 업계 최초로 개발했고, 기존 LPDDR 대비 고대역폭을 가지고 있어 기기에서 생성되는 데이터를 실시간으로 처리할 수 있는 LLW(Low Latency Wide I/O)를 개발 중에 있다.

또한 기존 D램과 공존하며 시스템 내 대역폭과 용량을 확장할 수 있는 CMM-D는 거대 데이터 처리가 요구되는 차세대 컴퓨팅 시장에서 주목받을 것으로 예상되며, 삼성전자는 CXL 메모리 생태계 구축을 위해 제품 개발 및 사업 협력을 선도하고 있다.

이 밖에도 미래 AI 시대를 대비하기 위해 컴퓨테이셔널 메모리(Computational Memory), 첨단 패키지(Advanced Package) 기술 등을 통해 새로운 솔루션 발굴을 추진하고 있다.

.

☐ 고객 맞춤형으로 진화하는 차세대 HBM

최근 HBM에는 맞춤형(Custom) HBM이라는 표현이 붙기 시작했다. 이는 AI 반도체 시장에서 메모리 반도체가 더 이상 범용 제품이 아니라는 것을 의미한다고 볼 수 있다.

삼성전자는 고객별로 최적화된 ‘맞춤형 HBM’ 제품으로 주요 고객사들의 수요를 충족시킬 계획이다. HBM 제품은 D램 셀을 사용하여 만든 코어 다이와 SoC와의 인터페이스를 위한 버퍼 다이로 구성되는데, 고객들은 버퍼 다이 영역에 대해 맞춤형 IP 설계를 요청할 수 있다.

이는 HBM 개발 및 공급을 위한 비즈니스 계획에서부터 D램 셀 개발, 로직 설계, 패키징 및 품질 검증에 이르기까지 모든 분야에서 차별화 및 최적화가 주요 경쟁 요인이 될 것임을 의미한다.

.

☐ 차세대 HBM 초격차를 위해 종합 반도체 역량 활용

변화무쌍한 AI 시대에서 고객들이 원하는 시스템 디자인을 완벽히 이해하고, 미래 기술 환경까지 고려해 시스템의 발전을 예측하고 주도하기 위해서는 종합 반도체 역량을 십분 활용해야 한다.

삼성전자는 차세대 HBM 초격차 달성을 위해 메모리뿐만 아니라 파운드리, 시스템LSI, AVP의 차별화된 사업부 역량과 리소스를 총 집결해 경계를 뛰어넘는 차세대 혁신을 주도해 나갈 계획이다.

이를 위해 삼성전자는 올 초부터 각 사업부의 우수 엔지니어들을 한데 모아 차세대 HBM 전담팀을 구성해 맞춤형 HBM 최적화를 위한 연구 및 개발에 박차를 가하고 있다.

삼성전자는 업계에서 단시간에 따라올 수 없는 종합 반도체 역량을 바탕으로 AI 시대에 걸맞은 최적의 솔루션을 지속적으로 선보일 예정이다.

The post [기고문] 종합 반도체 역량으로 AI 시대에 걸맞은 최적 솔루션 선보일 것 first appeared on 삼성전자 반도체 뉴스룸.

삼성전자는 2024년 2월, 업계 최초로 36GB HBM3E(5세대 HBM) 12H D램 개발에 성공했다. 36GB HBM3E 12H D램은 24Gb D램 칩을 TSV(Through-silicon Via, 실리콘 관통 전극) 기술로 12단까지 적층한 메모리다. 해당 제품은 지난달 엔비디아의 연례 개발자 콘퍼런스 ‘GTC(GPU Technology Conference) 2024’에서 공개되어 고객들로부터 뜨거운 반응을 받기도 했다.

이에 뉴스룸은 삼성전자 HBM을 담당하는 상품기획실 김경륜 상무와 DRAM개발실 윤재윤 상무를 만나 보았다. 두 담당자의 인터뷰를 통해 기술 혁신을 이끄는 삼성전자의 HBM을 들여다보자.

삼성전자는 2016년 업계 최초로 AI 메모리 시장의 막을 연 이래 독보적인 기술 노하우를 바탕으로 AI 반도체 생태계를 확장해 왔다. 초격차 기술력으로 무한한 가능성을 열어 온 삼성전자가 그려 갈 앞으로의 미래가 기대된다.

The post AI 시대, 삼성전자 HBM이 만들어 내는 완벽한 하모니 first appeared on 삼성전자 반도체 뉴스룸.

삼성전자가 업계 최초로 36GB(기가바이트) HBM3E(5세대 HBM) 12H(High, 12단 적층) D램 개발에 성공하고 고용량 HBM 시장 선점에 나선다.

삼성전자는 24Gb(기가비트) D램 칩을 TSV(Through-Silicon Via, 실리콘 관통 전극) 기술로 12단까지 적층해 업계 최대 용량인 36GB HBM3E 12H를 구현했다.

* 24Gb(기가비트) D램 용량 = 3GB(기가바이트)    
* HBM3E 12H D램 용량 : 36GB (3GB D램 x 12)
* TSV: 수천 개의 미세 구멍을 뚫은 D램 칩을 수직으로 쌓아 적층된 칩 사이를 전극으로 연결하는 기술

HBM3E 12H는 초당 최대 1,280GB의 대역폭과 현존 최대 용량인 36GB을 제공해 성능과 용량 모두 전작인 HBM3(4세대 HBM) 8H(8단 적층) 대비 50% 이상 개선된 제품이다.

* HBM3E 12H는 1,024개의 입출력 통로(I/O)에서 초당 최대 10Gb를 속도를 지원함. 초당 1,280GB를 처리할 수 있어 1초에 30GB 용량의 UHD 영화 40여편을 업(다운)로드 할 수 있는 속도
* 성능은 고객사 모의 환경 기반의 내부 평가 결과이며, 실제 환경에 따라 변동 가능

삼성전자는 ‘Advanced TC NCF'(Thermal Compression Non Conductive Film, 열압착 비전도성 접착 필름) 기술로 12H 제품을 8H 제품과 동일한 높이로 구현해 HBM 패키지 규격을 만족시켰다.

‘Advanced TC NCF’ 기술을 적용하면 HBM 적층수가 증가하고, 칩 두께가 얇아지면서 발생할 수 있는 ‘휘어짐 현상’을 최소화 할 수 있는 장점이 있어 고단 적층 확장에 유리하다.

삼성전자는 NCF 소재 두께도 지속적으로 낮춤으로써, 업계 최소 칩간 간격인 ‘7마이크로미터(μm)’를 구현했다. 이를 통해 HBM3 8H 대비 20% 이상 향상된 수직 집적도를 실현했다.

특히, 칩과 칩사이를 접합하는 공정에서 신호 특성이 필요한 곳은 작은 범프를, 열 방출 특성이 필요한 곳에는 큰 범프를 목적에 맞게 사이즈를 맞춰 적용했다. 크기가 다른 범프 적용을 통해 열 특성을 강화하는 동시에 수율도 극대화했다.

* 범프(Bump): 칩 사이를 전기적으로 연결하기 위해 형성한 전도성 돌기를 통칭

또 삼성전자는 NCF로 코팅하고 칩을 접합해 범프 사이즈를 다양하게 하면서 동시에 공극(Void)없이 적층하는 업계 최고 수준의 기술력도 선보였다.

삼성전자가 개발에 성공한 HBM3E 12H는 AI 서비스의 고도화로 데이터 처리량이 급증하는 상황 속에서 AI 플랫폼을 활용하는 다양한 기업들에게 최고의 솔루션이 될 것으로 기대된다.

특히, 성능과 용량이 증가한 이번 제품을 사용할 경우 GPU 사용량이 줄어 기업들이 총 소유 비용(TCO, Total Cost of Ownership)을 절감할 수 있는 등 리소스 관리를 유연하게 할 수 있는 것도 큰 장점이다.

예를 들어 서버 시스템에 HBM3E 12H를 적용하면 HBM3 8H를 탑재할 때 보다 평균 34% AI 학습 훈련 속도 향상이 가능하며, 추론의 경우에는 최대 11.5배 많은 AI 사용자 서비스가 가능할 것으로 기대된다.

* 동일 GPU 인프라 조건에서 내부 데이터와 시뮬레이션을 기반으로 산출한 값

삼성전자 메모리사업부 상품기획실장 배용철 부사장은 “삼성전자는 AI 서비스를 제공하는 고객사의 고용량 솔루션 니즈에 부합하는 혁신 제품 개발에 힘쓰고 있다”며 “앞으로 HBM 고단 적층을 위한 기술 개발에 주력하는 등 고용량 HBM 시장을 선도하고 개척해 나갈 것”이라고 밝혔다.

삼성전자는 HBM3E 12H의 샘플을 고객사에게 제공하기 시작했으며 상반기 양산할 예정이다.

The post 삼성전자, 업계 최초 36GB HBM3E 12H D램 개발 first appeared on 삼성전자 반도체 뉴스룸.

지난해 엄청난 인기를 끌었던 ‘AI 프로필’과 ‘하이틴 졸업 사진’ 등 몇 장의 사진만으로 완성도 높은 사진이 완성되는 건, 생성형 AI 덕분이다. 이 생성형 AI의 핵심이 되는 HBM(High Bandwidth Memory)에 대해 ‘삼교시 탐구생활’에서 알아보자.

생성형 AI는 파라미터라는 인자를 통해 학습한 데이터를 판별하는데, Chat GPT는 파라미터가 1,750억 개에 달하기 때문에 신속하고 효율적으로 다량의 데이터를 계산해야만 한다는 사실! 이때, 빠른 연산을 가능하게 하는 것이 바로 AI 반도체인 HBM이다.

여드름 패치보다 작지만, 세상을 바꿀 이 제품! 테크 유튜버 주연이 실물을 영접한 삼성전자 반도체의 HBM3E가 궁금하다면, 영상을 통해 확인해 보자.

The post [삼교시 탐구생활 Ep.1] 푸바오도 깜짝 등장?! 66만 IT 유튜버 주연이 실물 영접한 제품의 정체는? first appeared on 삼성전자 반도체 뉴스룸.

어떤 질문이든 척척 답을 내어주는 ‘챗GPT’처럼, 삼성전자 반도체 뉴스룸은 ‘반도Chat’ 시리즈를 통해 어려운 반도체 용어도 단번에 쏙쏙 알기 쉽게 전하고 있다. 반도Chat 시리즈 세 번째 이야기 주제는 초거대 AI 기술 발전의 핵심인 메모리 반도체, ‘HBM’이다.

.

MAP 1. 메모리, 초거대 AI를 마주하다

초거대 AI란 딥러닝으로 대용량 데이터를 스스로 학습해 인간처럼 종합적 추론이 가능한 차세대 AI를 말한다. 챗GPT가 인간과 유사한 수준으로 질문에 적절하게 응답하는 것도 파라미터(parameter, 매개 변수)가 1,750억 개에 달하는 수많은 데이터를 학습한 언어모델이기 때문이다.

‘챗GPT’, ‘DALL·E’, ‘Bard’의 등장과 같이 AI 서비스 종류가 다양해지고 고도화될수록, 메모리 반도체가 수행해야 할 역할도 더욱 확장되고 있다. AI 서비스를 원활하게 구현하려면 대량의 데이터를 기반으로 여러 연산을 동시에 빠르게 수행하는 능력이 필요하기 때문이다.

이러한 상황에서 반도체 업계는 ‘AI 서비스와 함께 폭발적으로 증가하는 데이터를 어떻게 효율적이고, 빠르게 처리할 것인가’에 대한 해답을 찾게 된다. 차원이 다른 고성능 기술을 제공하는 AI 시대의 핵심 반도체, ‘HBM’이 바로 그것이다.

.

MAP 2. HBM이란 무엇인가

HBM(High Bandwidth Memory)은 이름 그대로 넓은 대역폭을 지닌 메모리를 뜻한다. 여기서 ‘대역폭’이란 주어진 시간 내에 데이터를 전송하는 속도나 처리량, 즉 데이터 운반 능력을 의미한다. HBM은 현재 메모리 시장에서 가장 넓은 대역폭을 지닌 메모리 반도체인데, 간단히 이야기하면 메모리 중 데이터를 가장 빠르게 처리하고 전송할 수 있다는 것이다. 이로써 HBM은 응용처의 성능과 전력 효율 향상에 기여할 수 있게 된다.

.

MAP 3. 처리 속도, 전력 효율 모두 잡은 HBM 속 숨은 기술

주로 게임이나 그래픽 작업과 같은 고성능 그래픽 분야에 활용되는 GDDR은 비교적 낮은 비용으로 높은 성능과 용량을 제공할 수 있다. 한편, HBM은 GDDR 대비 상대적으로 제조 과정이 복잡하고 비용이 높을 수 있지만, 더 높은 에너지 효율을 기반으로 HPC·AI 응용 수준의 높은 대역폭을 제공할 수 있다.

이는 HBM에 TSV(Through Silicon Via)라는 기술이 적용됐기 때문이다. TSV는 메모리 칩을 수직으로 쌓고, 적층된 칩 사이에 얇은 금속 터널을 만들어 전기적 신호가 칩 간 직접 전달되게 하는 패키징 기술이다. 이로써 데이터 전송 속도의 지연을 최소화하고, 적은 전력으로 많은 양의 데이터를 처리할 수 있게 된다. 한편, HBM에는 CoW(Chip on Wafer)  기술과 TCB(Thermal Compression Bonding) 기술도 적용되었다. CoW는 이름 그대로 웨이퍼 위에 칩을 붙이는 기술을 의미하며, TCB는 TSV가 적용된 얇은 칩이 전기적으로 연결될 수 있게 정밀하게 쌓아 올리는 패키징 기술을 말한다.

.

MAP 4. 초거대 AI 시대 속, 기술 발전의 씨앗이 될 메모리 반도체

삼성전자 반도체는 2016년에 업계 최초로 HPC 향 HBM 사업화를 시작하며, AI 메모리 시장을 개척해 왔다. 이를 이어, 2017년 업계 최초로 8단 적층 HBM2를 상용화하며, 당시 가장 빠른 메모리인 GDDR5 대비 8배 빠른 속도를 제공했다. 이후 HBM2E, HBM3를 개발했고, 2023년 10월에는 ‘HBM3E 샤인볼트’를 공개하기에 이르렀다.

HBM3E D램 ‘샤인볼트’는 데이터 입출력 핀 1개당 최대 9.8Gbps의 고성능을 제공하는데, 이는 현재 존재하는 메모리 반도체 중 가장 빠른 수준이다. 1초에 최대 1.2TB(테라바이트) 이상의 데이터를 처리할 수 있음을 의미하며, 더 쉽게 예를 들면 30GB 용량의 UHD 영화 40편을 1초 만에 처리하는 것과 같다.

.

MAP 5. 메모리의 무한한 가능성을 위한 차세대 기술

삼성전자 반도체는 웨이퍼를 제조하고 회로를 만드는 전공정뿐 아니라, 완성된 칩에 데이터 이동과 전기 전달을 가능하게 하고, 외부 환경으로부터 보호하는 패키징 공정도 지속 개발 중이다. 현세대 제품에서 칩 적층 시 적용 중인 NCF(Non-conductive Film, 비전도성 접착 필름)와 차세대 제품 적용을 목표로 개발 중인 HCB(Hybrid Copper Bonding, 하이브리드 접합) 기술이 바로 그것이다.

NCF는 적층된 칩 사이를 절연시키고 충격으로부터 연결 부위를 보호하기 위해 사용하는 고분자 물질이다. NCF를 활용하면 열전도를 극대화하고 열 특성을 개선할 수 있다. 한편 HCB 기술은 칩을 접합할 때 ‘범프’라는 매개체를 없애고, 각 칩 표면에 드러난 구리를 직접 연결한다. 이로써 범프를 사용할 때보다 칩 적층 시 안정성을 향상하고, 열성능을 최적화할 수 있을 것으로 기대된다.

머지않은 미래에는 AI에 특화된 기술과 제품이 시장을 주도할 중요한 역할을 할 것이다. 최근 HBM3E D램 ‘샤인볼트’를 공개한 삼성전자 반도체는 앞으로도 최고 성능의 HBM을 제공하고, 고객 맞춤형 HBM 제품까지 확장하여 AI 시대에 최상의 솔루션을 제공할 계획이다.

AI 서비스의 가능성을 확장할 메모리 반도체, ‘HBM’에 대해 보다 자세하게 알고 싶다면 삼반뉴스 ‘AI 반도체’ 편을 참고하길 바란다.

The post [반도Chat Ep.3] 초거대 AI 시대를 이끌 메모리 반도체 ‘HBM’ first appeared on 삼성전자 반도체 뉴스룸.

‘챗GPT’, ‘DALL-E’, ‘Bard’ 등 누구나 한 번쯤은 들어 봤을 인공지능 서비스. 이러한 서비스는 어떻게 방대한 양의 데이터를 처리할 수 있을까? 바로 ‘AI 반도체’에 그 비밀이 숨어 있다.

무려 312편의 영화를 1초 만에 처리할 수 있는 대역폭을 지원하는 AI 특화 반도체, ‘HBM3E’. 이 외에도 그래픽에 최적화된 GDDR과 낮은 비용으로 더 큰 용량을 확보할 수 있는 DDR까지.

인공지능이 안정적으로 서비스를 제공하기 위해서는, 이러한 차세대 AI 반도체 기술의 발전이 함께 이뤄져야만 한다. 영상을 통해 인공지능 시대를 철저히 대비하고 있는 삼성전자 반도체만의 비결을 지금 확인해 보자.

The post 초거대 AI 시대에서 주목해야 할 메모리 반도체는? 삼성전자 개발자들이 직접 알려 드립니다! first appeared on 삼성전자 반도체 뉴스룸.