반도체 성능은 한정된 공간에 얼마나 많은 트랜지스터를 넣을 수 있느냐에 따라 결정된다. 이에 대해 ‘반도체 집적도는 24개월마다 두 배로 늘어날 것이다’라고 예측한, 일명 ‘무어의 법칙(Moore’s Law)’도 존재한다.

그러나 현재 빅데이터 기반 기술, 네트워크 등이 빠르게 성장하면서 컴퓨팅 성능은 점점 증가하는 데에 반해, 반도체의 성능 발전 속도는 이를 따라가지 못하고 있다. 이른바 Beyond Moore를 이끌 새로운 대안이 필요한 상황. 반도Chat 일곱 번째 에피소드의 주제는, 이러한 한계점을 뛰어넘는 첨단 패키지 기술 ‘Advanced Package’다.

.

MAP 1. 반도체 미세화의 한계를 극복할 키

기존의 반도체들은 고유의 성능을 각자 가지고, 세트(완제품)를 통해 결합되어 각종 응용처에서 활용되어 왔다. 그러나 반도체의 핵심인 미세화 기술의 난이도가 급격히 증가하고 있으며, 이에 따른 개발 비용도 기하급수적으로 증가하고 있다.

또한 모바일, 웨어러블, 클라우드, 인공지능, 자동차 등 다양한 응용처에서 각종 반도체 칩들이 고밀도로 실장되어 고성능을 구현하기 위해서는 기존의 미세화 기술로는 요구되는 성능을 만족하기 어렵게 되었다.

이에 따라 서로 다른 종류의 반도체를 미세한 배선으로 수직 또는 수평으로 연결해 하나의 반도체를 만들어 내는 첨단 패키지 기술 ‘Advanced Package’가 핵심 경쟁력이 되고 있다.

.

MAP 2. 서로 다른 기능의 반도체를 효율적으로 연결하는 이종 집적화

첨단 패키지의 핵심은 ‘이종 집적화(Heterogeneous Integration)’ 기술이다. 이종 집적화란 메모리, 시스템 반도체 등 서로 다른 기능을 하는 반도체를 효율적으로 배치해 하나의 칩으로 동작하게 하는 기술이다. 독립된 여러 개의 반도체 칩을 수평 혹은 수직으로 연결함으로써 더 작은 반도체(패키지) 안에 더 많은 트랜지스터를 집적할 수 있고, 각각의 성능을 뛰어넘는 솔루션을 제공할 수 있다.

이종 집적 기술은 메모리 반도체와 시스템 반도체를 인터포저를 활용해 수평으로 배열하는 2.5차원 패키지와 수직으로 적층하는 3차원 패키지 등으로 나뉘는데, 삼성전자는 2.5차원 패키지 ‘I-Cube’, 3차원 패키지 ‘X-Cube’ 등 첨단 솔루션을 제공하고 있다. 해당 솔루션들은 어떤 특성을 지니고 있는지 자세히 알아보자.

.

MAP 3. 무어의 법칙을 넘어서는 혁신 솔루션

우선 2.5차원 패키지는 로직과 메모리 반도체를 수평으로 기판 위에 집적한 패키지를 말하고, 3차원 패키지는 여러 개의 로직과 메모리 반도체를 수직으로 집적한 패키지를 뜻한다.

먼저, 2.5차원 패키지 솔루션으로는 ‘I-Cube’와 ‘H-Cube’가 있는데, ‘I-Cube(Interposer-Cube)’는 로직과 고대역폭 메모리(HBM)를 수평으로 집적해 빠른 속도로 데이터를 주고 받을 수 있도록 하는 솔루션이다. I-Cube의 I는 인터포저(Interposer)를 뜻하는데, 칩과 PCB(인쇄회로 기판)를 인터포저를 통해 물리적으로 연결하고, 인터포저 위에 로직과 HBM을 배치해 하나의 반도체처럼 동작하도록 지원한다.

2021년에는 HBM을 6개 이상 탑재 가능한 패키지 솔루션 ‘H-Cube(Hybrid substrate-Cube)’도 개발했다. H-Cube는 메인 기판 아래에 대면적 구현이 가능한 보조 기판을 추가해 시스템 보드와의 연결성을 확보한 것이 특징이다. 이로써 다수의 로직과 HBM을 적층하면서도 높은 안정성을 지닐 수 있다.

뿐만 아니라, 메인 기판과 보조 기판을 전기적으로 연결하는 솔더볼(Solder ball)의 간격도 기존 대비 35% 좁혀 기판의 크기를 최소화했다. 이는 데이터센터, 인공지능, 네트워크 등의 분야에서 다방면으로 활용될 수 있다.

.

MAP 4. ‘초’연결까지 가능케 한 비법은?

삼성전자는 2020년에 ‘X-Cube(eXtended-Cube)’라는 3차원 적층 패키지 솔루션도 선보였다. ‘X’는 칩 간 연결과 기능의 확장을 의미하며, ‘X-Cube’는 로직 그리고 캐시메모리 역할을 하는 SRAM(Static Random Access Memory) 등의 개별 칩을 수직으로 적층해 연결성을 확장한 제품이다. 이로써 전체 칩 면적을 줄이면서 고용량 메모리를 장착해 속도와 전력 효율을 높였고, 지연 시간을 최소화해 고객의 설계 자유도도 높였다.

올해는 ‘u-Bump(micro Bump)형 X-Cube’의 양산을 앞두고 있다. TSV 공정에서 칩과 칩을 연결할 때 사용하는 범프는, 크기와 간격이 작을수록 작은 공간에서 반도체 패키지의 밀도와 연결성을 높이는 데 기여한다. u-Bump(micro Bump)형 X-Cube는 30마이크로미터보다 작은 범프 간의 간격을 활용해 연결성을 획기적으로 높인 제품으로, 모바일과 웨어러블, 증강현실(AR)·가상현실(VR), 슈퍼컴퓨터와 인공지능 등 초연결이 필수적인 분야에서 높은 활용성을 갖는다.

.

MAP 5. AVP로 강화할 삼성 파운드리 경쟁력

삼성전자 반도체는 이러한 첨단 패키지 기술을 강화하기 위해 2022년 12월, AVP(Advanced Package) 사업팀을 출범해 차세대 기술 개발에 앞장서고 있다. 차세대 접합 기술 ‘HCB(Hybrid Copper Bonding)’가 대표적인 예다. HCB는 칩과 칩을 별도의 범프 없이 연결하는 기술로, 각 칩 표면에 드러난 구리를 직접 연결해 데이터 전송 속도를 더욱 향상할 수 있다. 2026년에는 HCB를 활용한 3차원 패키지, ‘Bump-less형 X-Cube’도 선보일 예정이다.

이외에도 ‘CoW(Chip on Wafer)’ 등 다양한 차세대 패키지 기술의 결합으로 성능과 효율성을 지속 향상함으로써 기술의 한계를 계속해서 뛰어넘고 있다. 최종적으로 패키지의 구조, 성능, 설계에 이르기까지, 응용처별 맞춤형 반도체를 다양한 형태의 패키지 솔루션으로 제공하며 AI 시대에서 파운드리 경쟁력을 강화해 나갈 계획이다.

차세대 패키지 기술의 결합으로, 기존 반도체의 한계를 넘어서는 첨단 패키지 솔루션 ‘Advanced Package’에 대해 보다 자세하게 알고 싶다면 반썰어 ‘AVP’ 편을 참고하길 바란다.

The post [반도Chat Ep.7] 미세 공정의 한계를 뛰어넘는 첨단 패키지 기술 ‘Advanced Package’ first appeared on 삼성전자 반도체 뉴스룸.

어떤 질문이든 척척 답을 내어주는 ‘챗GPT’처럼, 삼성전자 반도체 뉴스룸은 ‘반도Chat’ 시리즈를 통해 어려운 반도체 용어도 단번에 쏙쏙 알기 쉽게 전하고 있다. 반도Chat 시리즈 세 번째 이야기 주제는 초거대 AI 기술 발전의 핵심인 메모리 반도체, ‘HBM’이다.

.

MAP 1. 메모리, 초거대 AI를 마주하다

초거대 AI란 딥러닝으로 대용량 데이터를 스스로 학습해 인간처럼 종합적 추론이 가능한 차세대 AI를 말한다. 챗GPT가 인간과 유사한 수준으로 질문에 적절하게 응답하는 것도 파라미터(parameter, 매개 변수)가 1,750억 개에 달하는 수많은 데이터를 학습한 언어모델이기 때문이다.

‘챗GPT’, ‘DALL·E’, ‘Bard’의 등장과 같이 AI 서비스 종류가 다양해지고 고도화될수록, 메모리 반도체가 수행해야 할 역할도 더욱 확장되고 있다. AI 서비스를 원활하게 구현하려면 대량의 데이터를 기반으로 여러 연산을 동시에 빠르게 수행하는 능력이 필요하기 때문이다.

이러한 상황에서 반도체 업계는 ‘AI 서비스와 함께 폭발적으로 증가하는 데이터를 어떻게 효율적이고, 빠르게 처리할 것인가’에 대한 해답을 찾게 된다. 차원이 다른 고성능 기술을 제공하는 AI 시대의 핵심 반도체, ‘HBM’이 바로 그것이다.

.

MAP 2. HBM이란 무엇인가

HBM(High Bandwidth Memory)은 이름 그대로 넓은 대역폭을 지닌 메모리를 뜻한다. 여기서 ‘대역폭’이란 주어진 시간 내에 데이터를 전송하는 속도나 처리량, 즉 데이터 운반 능력을 의미한다. HBM은 현재 메모리 시장에서 가장 넓은 대역폭을 지닌 메모리 반도체인데, 간단히 이야기하면 메모리 중 데이터를 가장 빠르게 처리하고 전송할 수 있다는 것이다. 이로써 HBM은 응용처의 성능과 전력 효율 향상에 기여할 수 있게 된다.

.

MAP 3. 처리 속도, 전력 효율 모두 잡은 HBM 속 숨은 기술

주로 게임이나 그래픽 작업과 같은 고성능 그래픽 분야에 활용되는 GDDR은 비교적 낮은 비용으로 높은 성능과 용량을 제공할 수 있다. 한편, HBM은 GDDR 대비 상대적으로 제조 과정이 복잡하고 비용이 높을 수 있지만, 더 높은 에너지 효율을 기반으로 HPC·AI 응용 수준의 높은 대역폭을 제공할 수 있다.

이는 HBM에 TSV(Through Silicon Via)라는 기술이 적용됐기 때문이다. TSV는 메모리 칩을 수직으로 쌓고, 적층된 칩 사이에 얇은 금속 터널을 만들어 전기적 신호가 칩 간 직접 전달되게 하는 패키징 기술이다. 이로써 데이터 전송 속도의 지연을 최소화하고, 적은 전력으로 많은 양의 데이터를 처리할 수 있게 된다. 한편, HBM에는 CoW(Chip on Wafer)  기술과 TCB(Thermal Compression Bonding) 기술도 적용되었다. CoW는 이름 그대로 웨이퍼 위에 칩을 붙이는 기술을 의미하며, TCB는 TSV가 적용된 얇은 칩이 전기적으로 연결될 수 있게 정밀하게 쌓아 올리는 패키징 기술을 말한다.

.

MAP 4. 초거대 AI 시대 속, 기술 발전의 씨앗이 될 메모리 반도체

삼성전자 반도체는 2016년에 업계 최초로 HPC 향 HBM 사업화를 시작하며, AI 메모리 시장을 개척해 왔다. 이를 이어, 2017년 업계 최초로 8단 적층 HBM2를 상용화하며, 당시 가장 빠른 메모리인 GDDR5 대비 8배 빠른 속도를 제공했다. 이후 HBM2E, HBM3를 개발했고, 2023년 10월에는 ‘HBM3E 샤인볼트’를 공개하기에 이르렀다.

HBM3E D램 ‘샤인볼트’는 데이터 입출력 핀 1개당 최대 9.8Gbps의 고성능을 제공하는데, 이는 현재 존재하는 메모리 반도체 중 가장 빠른 수준이다. 1초에 최대 1.2TB(테라바이트) 이상의 데이터를 처리할 수 있음을 의미하며, 더 쉽게 예를 들면 30GB 용량의 UHD 영화 40편을 1초 만에 처리하는 것과 같다.

.

MAP 5. 메모리의 무한한 가능성을 위한 차세대 기술

삼성전자 반도체는 웨이퍼를 제조하고 회로를 만드는 전공정뿐 아니라, 완성된 칩에 데이터 이동과 전기 전달을 가능하게 하고, 외부 환경으로부터 보호하는 패키징 공정도 지속 개발 중이다. 현세대 제품에서 칩 적층 시 적용 중인 NCF(Non-conductive Film, 비전도성 접착 필름)와 차세대 제품 적용을 목표로 개발 중인 HCB(Hybrid Copper Bonding, 하이브리드 접합) 기술이 바로 그것이다.

NCF는 적층된 칩 사이를 절연시키고 충격으로부터 연결 부위를 보호하기 위해 사용하는 고분자 물질이다. NCF를 활용하면 열전도를 극대화하고 열 특성을 개선할 수 있다. 한편 HCB 기술은 칩을 접합할 때 ‘범프’라는 매개체를 없애고, 각 칩 표면에 드러난 구리를 직접 연결한다. 이로써 범프를 사용할 때보다 칩 적층 시 안정성을 향상하고, 열성능을 최적화할 수 있을 것으로 기대된다.

머지않은 미래에는 AI에 특화된 기술과 제품이 시장을 주도할 중요한 역할을 할 것이다. 최근 HBM3E D램 ‘샤인볼트’를 공개한 삼성전자 반도체는 앞으로도 최고 성능의 HBM을 제공하고, 고객 맞춤형 HBM 제품까지 확장하여 AI 시대에 최상의 솔루션을 제공할 계획이다.

AI 서비스의 가능성을 확장할 메모리 반도체, ‘HBM’에 대해 보다 자세하게 알고 싶다면 삼반뉴스 ‘AI 반도체’ 편을 참고하길 바란다.

The post [반도Chat Ep.3] 초거대 AI 시대를 이끌 메모리 반도체 ‘HBM’ first appeared on 삼성전자 반도체 뉴스룸.

작년 말 세상을 떠들썩하게 만든, ‘챗GPT’의 등장. 출시한 지 5일 만에 100만 명, 두 달 만에 1억 명의 가입자를 확보하며 애플리케이션 역사상 가장 빠른 가입률을 기록했다. 이토록 많은 사람이 챗GPT에 열광한 이유는 무엇일까? 질의응답부터 창작까지, 다양한 기능을 제공할 뿐 아니라 인간과 구분하기 힘들 정도의 자연스러운 대화로 강력한 성능을 보여주기 때문이다. 생성형 인공지능(AI)은 2016년 알파고의 등장 이후 또 다른 가능성으로 초거대 AI 시대의 새로운 지평을 열었다.

챗GPT는 파라미터(parameter, 매개 변수)가 1,750억 개에 달하는 수많은 데이터를 기반으로 학습된 언어모델이기에, 원활한 서비스 제공을 위해서는 고성능 반도체가 필수적이다. 이렇게 거대한 데이터의 처리를 위해서 메모리 반도체는 데이터를 빠르게 읽고 쓸 수 있도록 고성능, 고대역폭, 저지연 등 성능을 극대화해야 한다.

이처럼 초거대 AI 시대에는 메모리 기술의 발전과 성능 향상이 중요하다. 삼성전자는 지난 40년간 업계를 선도하며 쌓아온 독보적인 기술 노하우를 바탕으로 AI 반도체 생태계를 확장할 다양한 메모리 제품을 준비해 왔다.

..

AI 시대의 필수요소, 고성능 HBM

삼성전자는 2016년 세계 최초로 고성능 컴퓨팅(HPC) 향 HBM 사업화를 시작하며, AI 향 메모리 시장을 본격적으로 개척했다. 2017년 선보인 8단 적층 HBM2는 당시 가장 빠른 속도의 메모리였던 GDDR5 대비 8배 빠른 속도를 구현했다. 이 제품을 통해 AI·HPC 시대에 필수적인 3차원 스택 기술을 선보일 수 있었다.

이후에도 삼성전자는 고객과 밀접히 협업하여 AI·HPC 생태계를 견인하고 있다. HBM2 제품을 거쳐 HBM2E, HBM3를 양산하고 있으며, 9.8Gbps* 속도의 HBM3E 제품을 개발하여 고객사에 샘플 공급을 시작할 예정이다.  HBM4는 2025년을 목표로 개발 중으로 해당 제품에 적용하기 위해 고온 열특성에 최적화된 NCF* 조립 기술과 HCB* 기술도 준비 중이다.

*Gbps(Gigabit per second): 1초당 전송되는 기가비트 단위의 데이터
*NCF(Non-conductive Film, 비전도성접착필름): 적층된 칩 사이에 발생하는 절연과 기계적 충격으로부터 솔더 조인트(Solder joint)를 보호하기 위해 사용하는 폴리머 레이어(Polymer layer)
*HCB(Hybrid Copper Bonding, 하이브리드 본딩): 차세대 본딩 기술로 기존에 솔더(Solder)를 사용한 방식이 아닌 구리(전도체)와 산화막(절연체)을 이용한 접합 방식

또한 올해 초에는 첨단 패키지 기술 강화 및 사업부간 시너지를 극대화하기 위해 AVP(Advanced Package)사업팀을 출범했다. HBM과 함께 2.5차원, 3차원* 첨단 패키지 솔루션을 포함한 첨단 맞춤형 턴키 패키징 서비스도 제공하여 AI·HPC 시대에 최고의 솔루션을 선보일 계획이다.

* 2.5차원 패키지: 단층의 로직 반도체와 다층의 메모리 반도체를 기판 위에 집적한 패키지
* 3차원 패키지: 여러 개의 로직/메모리 반도체를 수직으로 집적한 패키지

.

세계 최고 용량, 최고 성능을 제공할 DDR5 D램

AI 서비스를 위한 하이엔드 급 CPU는 100개가 넘는 코어(Core)와 각 코어를 담당할 충분한 메모리가 필요하다. 또한 제한된 패키지에서 더 많은 용량을 탑재하려면 D램 단일 칩 크기를 최소화하는 공정 기술과 폼팩터 내 구성 요소를 적절히 배치하고 스펙에 맞게 동작하도록 만드는 설계 기술도 필수적이다.

지난달 발표한 32Gb(기가비트) DDR5 D램은 40년 전 개발한 64Kb(킬로비트) D램 대비 용량이 50만 배 크다. 더불어, 동일 패키지 사이즈에서 아키텍처 개선을 통해 16Gb D램 대비 2배 용량을 구현하여, 128GB(기가바이트) 모듈을 TSV* 공정 없이 제작할 수 있게 되었다. 이로써 비용 절감과 생산성 개선이 가능해졌으며, 소비 전력도 10% 개선할 수 있게 됐다.

* TSV(Through Silicon Via, 실리콘 관통 전극): 칩을 얇게 간 다음, 수백 개의 미세한 구멍을 뚫고, 상단 칩과 하단 칩의 구멍을 수직으로 관통하는 전극을 연결한 첨단 패키징 기술

이번 제품으로 최대 1TB(테라바이트) 모듈 구현이 가능해져 고용량을 필요로 하는 데이터센터뿐 아니라 향후 MRDIMM, CXL 등 차세대 메모리 솔루션에서도 사용될 수 있는 기반이 될 것으로 기대한다.

한편, 업계 최선단 기술을 적용한 DDR5 규격의 12나노급 D램은 전 세대 제품 대비 생산성이 약 20% 향상되었다. 차별화된 기술 노하우를 바탕으로 뛰어난 성능과 전력 효율을 구현했고, 최고 동작 속도 7.2Gbps를 지원한다. 이는 1초에 30GB 용량의 UHD 영화 두 편을 처리할 수 있는 속도로, 향후 삼성전자는 고객 수요에 맞춰 데이터센터·AI·HPC 등 다양한 응용처에 공급할 계획이다.

.

메모리의 새로운 패러다임, PIM

폰 노이만 구조에서 기인한 메모리 병목 현상은 챗GPT와 같이 수많은 데이터를 다루는 응용에서 특히 치명적이다. 이러한 한계를 극복하기 위해 삼성전자는 2018년 세계 최초로 메모리 내에서 연산이 가능하고, 높은  에너지 효율을 가진 HBM-PIM(Processing-in-Memory)을 개발했다. 이를 통해 산업계와 학계에서 PIM 플랫폼의 표준화와 에코 시스템 구축을 위한 발판을 마련하였다. HBM-PIM은 D램 내부에 데이터 연산 기능을 탑재해  메모리 대역폭의 병목 현상을 개선하였으며, 음성 인식 등 특정 작업량에서 최대 12배의 성능 향상과 4배의 전력 효율을 달성했다.

이와 관련해 시스템 성능 개선을 목표로 하는 연구도 진행 중이다. 생성형 AI 응용까지의 확장성은 물론, 최근에는 CXL(Compute Express Link) 인터페이스를 사용하는 CXL D램에서 PIM 아키텍처를 구성하는 연구도 함께 진행하고 있다.

.

넥스트 폼팩터로 새로운 시장을 열다

그동안 PC와 노트북에 탑재되는 D램은 일반적으로 So-DIMM*이나 LPDDR*이었다. So-DIMM은 탈부착이 가능하지만 전송 속도와 공간 효율화 측면에서 한계가 있고, LPDDR은 소형화, 저전력 등의 장점이 있지만 온보드(On-board) 방식으로 탑재되어 탈부착이 어려웠다. 두 제품이 갖는 한계를 모두 극복할 수 있는 제품이 바로 LPCAMM(Low Power Compression Attached Memory Module)이다.

* So-DIMM(Small Outline Dual In-line Memory Module): PCB 기판 양면에 D램이 장착되어 있는 모듈로 일반적인 DIMM보다 크기가 작아 노트북 등 소형 시스템에 많이 사용됨
* LPDDR(Low Power Double Data Rate): 스마트폰, 태블릿, 노트북 등 모바일 장치 등에 탑재되는 저소비전력 D램

LPCAMM은 LPDDR D램 기반의 모듈 제품으로, 삼성전자는 최근 업계 최초로 LPCAMM을 개발하여 LPDDR의 새로운 폼팩터 시장을 개척했다. LPDDR이 탑재되어 고성능, 저전력 구현이 가능함과 동시에 모듈 형식이라 탈부착이 가능하여 사용자 필요에 따라 교체와 업그레이드가 가능하다. 또한 So-DIMM 대비 탑재 면적은 최대 60% 이상 줄어 제조사들이 내부 공간을 보다 효율적으로 사용할 수 있다. 더불어 성능은 최대 50%, 전력 효율은 최대 70%까지 개선되어 향후 PC, 노트북 등 모바일 장치에만 국한되지 않고 운영 효율과 저전력을 중요시하는 데이터센터 등 다양한 응용처에서 활용될 것으로 기대된다.

.

반도체 기술로 미래를 그리다

삼성전자는 지난 40여 년간 끊임없는 변화와 혁신을 통해 기술 초격차를 달성해 왔다. 앞으로도 초격차 DNA를 바탕으로 기술적 한계를 극복해 세상에 없는 다양한 메모리 솔루션 제품을 개발해 나갈 것이다. 특히 D램 시장의 큰 변곡점이 될 10나노 이하 공정을 기반으로 AI 시대에 세상이 원하는 초고성능, 초고용량, 초저전력 메모리 제품을 제공할 계획이다.

지금까지 그래왔듯, 앞으로도 세상이 원하는 반도체를 만들기 위한 기술 혁신의 중심에는 언제나 삼성전자가 있을 것이다.

The post [기고문] ‘초고성능, 초고용량, 초저전력’, AI 시대를 확장할 삼성전자 D램의 잠재력 first appeared on 삼성전자 반도체 뉴스룸.