인공지능(AI) 시대의 가속화로 글로벌 반도체 시장의 패권 경쟁이 어느 때보다 치열한 가운데, 삼성전자가 핵심 경쟁력의 원천인 ‘기술 인재’에 주목했다.

최고 수준의 숙련 기술과 노하우를 보유한 ‘삼성 명장’의 끊임없는 도전과 노력의 기록들을 담은 영상 콘텐츠를 통해, 삼성전자가 어떻게 글로벌 시장에서 압도적인 제품·기술 리더십을 유지해 왔는지 그 본질적인 동력을 확인해 보자.

삼성 명장 제도, ‘최고의 기술 자부심’

2019년 처음 도입되어 올해로 8회째를 맞이한 ‘삼성 명장’은 한 분야에서 최소 20년 이상 근무하며 타의 추종을 불허하는 숙련도를 갖춘 전문가만이 누릴 수 있는 최고의 영예이다. 지금까지 총 86명이 배출되었으며, 올해는 역대 가장 많은 17명이 선정되었다.

현장의 기술 경쟁력을 높이고 후배 양성에 기여한 인재를 엄격히 선발하며, 삼성전자의 ‘기술 중시’ 경영 철학을 상징하는 핵심 제도로 자리 잡았다.

HBM 초격차 리더십을 이끈 계측명장 김주우 명장을 만나다

삼성전자 글로벌 제조&인프라총괄 김주우 명장은 계측¹을 통해 HBM 초격차 경쟁력을 견인하는 데 기여했다. 26년간 반도체의 미세 불량을 찾는 데 매진해 온 그는 제품을 분해하거나 훼손하지 않고도 내부의 숨은 결함을 찾아내는 ‘비파괴 검사’² 전문가다.

‘AI의 두뇌’로 불리는 HBM 반도체는 얇은 웨이퍼³ 위에 수백 개의 칩을 층층이 쌓아 자르는 과정에서 눈에 보이지 않는 손상이 발생하기 쉽다. 하지만, 김주우 명장은 수만 번의 시행착오와 밤샘 테스트를 묵묵히 견뎌내며, 미세한 오류를 잡아낸다.

계측의 정확도를 높이기 위해 그는 백색 광을 분리한 Red 광원을 활용해 새로운 모니터링 솔루션을 개발한 것이다. 기존에는 보이지 않던 아주 작은 흠집까지 정밀하게 검출해 내며 생산 수율과 품질 향상에 기여하고 있다.

“계측의 역할은 미세한 것까지 ‘보는 눈’입니다. 그 눈으로 불량을 사전에 포착하면 품질을 높일 수 있습니다. 계측을 활용해 불량을 제로화 시키는 게 저희의 목표입니다”

계측 공정의 혁신으로 패키지 불량률 제로에 도전하며 삼성전자의 HBM 기술 리더십을 이끄는 김주우 명장. 그의 기술 철학과 노하우를 영상에서 만나보자.

1) 계측: 제조 공정에서 품질을 검사∙제어하는 과정으로 오차∙불량을 줄여 성능과 생산성을 높이는 핵심 작업
2) 비파괴 검사: 빛이나 초음파 등을 이용해 내부의 흠집이나 결함을 안전하게 검사하는 기술
3) 웨이퍼(Wafer): 반도체 회로를 새겨 넣는 얇고 둥근 판

The post [2026 삼성 명장 인터뷰] 정확한 계측으로 HBM 불량률 제로에 도전하는 김주우 명장 first appeared on 삼성전자 반도체 뉴스룸.

HBM, GPU, AI 반도체… 뉴스에서 많이 접했지만, 막상 설명하려 하면 쉽지 않은 반도체 용어들. 반도체를 더 깊이 이해하고 싶어도 어려운 용어들 때문에 길을 잃은 독자들을 위해, 삼성전자 반도체가 페퍼톤스 이장원과 함께 새로운 시리즈인 ‘DS 딕셔너리’를 선보였다. 오늘의 첫 번째 주제는 요즘 가장 많은 관심을 받고 있는 반도체 용어 ‘HBM’이다.

HBM은 대역폭, 즉 데이터의 이동 통로를 넓히고 속도를 높인 메모리로, 초고속 데이터 전송이 필요한 AI 시스템의 핵심 부품으로 주목받고 있다. 기존 메모리를 ‘단층 주택’에 비유한다면, HBM은 이를 수직으로 쌓아 올린 ‘아파트’에 가깝다. 그렇다면 최근 삼성전자 반도체가 출시한 HBM4는 기존 세대와 무엇이 달라졌을까? HBM의 개념부터 AI 시장에서의 활용 사례, 그리고 삼성전자 HBM4가 보여주는 기술적 진화까지. DS 딕셔너리의 첫 페이지를 지금 함께 펼쳐보자.

The post [DS 딕셔너리]현직자가 직접 설명하는 ‘HBM’ 개념과 기술 알아보기 first appeared on 삼성전자 반도체 뉴스룸.

HBM이라는 단어가 대중의 관심 단어로 떠오르기 시작한 2023년. 그 후 일년이 지난 지금, 우리는 이 새로운 시대가 만들어내고 있는 시대 변화를 오롯이 체감하고 있다. 예를 들면 헤테로지니어스 컴퓨팅(Heterogeneous Computing, 이종 컴퓨팅) 시대로의 전환이 대표적이다. 앞으로 우리가 목도하게 될 AI반도체 시장의 변화를 메모리반도체의 관점에서 정리해 보자면 ‘가치 변화’와 ‘위상 변화’, 크게 이 두 가지 관점에서 정리해 볼 수 있다. 

제품이 *커머디티화(commoditization)되며 어느덧 주인공 자리에서 내려오고 있던 메모리반도체가 특화되며 더 높은 가격을 부여받게 되는 가치의 변화. 그리고 로직반도체 중심의 시스템 구조를 완성하는 하나의 주변 요소 정도로 인식되어 가던 메모리반도체가 다시 시스템의 중심으로 올라서게 되는 위상의 변화가 각각 그것이다.

*커머디티화(commoditization): 제품의 일반화 또는 평준화, 동일화

이 중 메모리반도체의 가치 변화에 대한 부분은 이미 많은 전문가들 사이에서 다뤄진 부분이기도 하고 기업들의 실적 발표에서 보이는 숫자 변화로도 쉽게 체감할 수 있는 부분이다. 이에 비해 위상 변화에 대한 부분은 그 의미가 가진 중요성에 비해 제대로 조망되지 못하고 있다. 메모리반도체가 다시 시스템의 중심으로 올라서게 되는 이 변화를 정확히 이해하기 위한 첫걸음은 AI 연산을 위한 방법론의 최근 동향을 이해하는 것에서 시작한다.

.

이종접합과 무한반복의 워크로드

AI 연산의 핵심은 무한 반복의 워크로드를 어떻게 효과적으로 처리할 수 있느냐에 있다. 엔비디아의 GPU가 시장의 선택을 받게 된 것은 GPU가 가진 병렬처리 구조가 반복적인 워크로드를 처리하기에 가장 적합한 방법이었기 때문이었고, GPU 기반의 가속기들 중 가장 앞선 성능을 가지고 있었기 때문이다.

다만 최근 시장에서는 새로운 해답들이 계속해서 등장하고 있고, 향후 이 AI반도체들이 GPU 중심에서 CPU와 GPU, 혹은 CPU와 ASIC이 결합된 형태의 새로운 구조로 변화를 앞두고 있다는 점을 주목해 볼 필요가 있다. 이른바, 헤테로지니어스 컴퓨팅(Heterogeneous Computing)이란 단어로 설명되는 AI반도체 시장의 진화 방향이 바로 그것이다.

기본적으로 이와 같은 변화가 일어나는 배경에는 AI시대의 본격적인 개화 이후, 이 AI 워크로드에 양적 확장(Quantitative Expansion)을 넘어, 범위 확장(Scope Expansion)이 일어났기 때문이다. 즉, 단순히 반복 연산 양이 늘어나는 것을 넘어, 다양한 종류와 성격으로 다변화되고 있다는 것이다. 이러한 흐름 속에 GPU와 CPU가 하나의 보드 안에 내장된 형태의 이종접합 솔루션들이 제안되고 있다.

GPU는 ‘전용성’이란 단어로, CPU는 ‘범용성’이란 단어로 설명이 가능하다. 단순 반복 연산에 아주 강력한 전용성을 보여줬던 GPU에 의해 설 곳을 잃었던 CPU가 다변화된 워크로드를 처리하기 위한 용도로 다시 재조명 받고 있는 것이다. 문제는 이 이종의 로직반도체를 활용하는 것이 현재 구조상으로는 비효율을 야기한다는 점이다.

우선 AI플랫폼에서 활용되고 있는 연산 가속기들의 경우, 복잡한 프로세스를 거친다. CPU와 GPU 간의 데이터 통신을 위해서는 CPU에 연결된 메인 메모리(주로 RDIMM, LRDIMM)에서 데이터를 가져와 다시 GPU에 연결된 메모리(주로 HBM)로 읽어 들이고, 이 데이터를 다시 GPU가 처리한 후에, GPU를 통해 메인 메모리로, 다시 메인 메모리에서 CPU로 전달되는 방식이다.

다만 현재는 GPU가 이 AI 연산의 대부분을 처리하고 있고, GPU간에는 별도의 캐싱 없이 데이터를 빠르게 공유할 수 있는 기술이 적용되어 있기 때문에 해당 문제가 크게 대두되고 있지는 않다. 하지만 워크로드의 다변화 현상이 특히 강하게 일어나고 있는 AI 추론 영역을 중심으로 서서히 이 이종 컴퓨팅 도입에 대한 요구가 거세지고 있다.

이를 해결하기 위해 AI 가속기 업계에는 CPU와 GPU 모듈을 하나의 기판에 통합하거나 더 나아가 CPU와 GPU가 다이 수준에서 하나의 메모리를 공유하는 등 다양한 구조의 솔루션을 제안하고 있다.

다만 전체 인프라는 이러한 수천, 수만 개의 액셀러레이터들이 모여 만들어지기 때문에 특정 보드 안에 탑재된 한 쌍의 CPU와 GPU 안에서의 개선만으로는 충분치 않다. 전체 인프라에 연결되어 있는 이 엄청난 수의 CPU와 GPU들을 보다 더 효율적으로 활용할 수 있는 개선 방안이 필요하다. 이 지점에서 다시 주목을 받게 되는 것이 메모리반도체다. 더 정확히는 로직반도체들과 연결되어 있는 계층 구조의 변화이다.

.

메모리의 위상 변화

폰 노이만 구조를 기반으로 발전해 온 현세대 시스템 구조는 대개 로직반도체의 하위계층에 D램과 스토리지로 이어지는 메모리반도체가 자리하게 된다. 연산과 저장, 다시 저장된 데이터를 로드해 연산으로 이어지는 연산 프로세스의 관점에서는 현시점에서 취할 수 있는 최선의 계층 구조이다.

문제는 하나의 단일 시스템이 아닌, 수많은 개별 서버를 모아 만들어지는 데이터센터나, 슈퍼컴퓨터 인프라에서는 이러한 계층 구조가 비효율을 가져온다는 것이다.

개별 워크로드의 관점에서는 당연히 연산 작업을 하는 로직반도체를 중심으로 메모리가 종속되어 있는 현재의 구조가 이상적이지만, 인프라는 이 전체 워크로드를 어떻게 효율적으로 처리할 수 있는지를 두고 설계되어야 한다. 현재 시스템상에서는 메모리가 로직의 하위 구조로 종속되어 있어, 워크로드를 최적의 효율로 배분하기 어렵다.

현재의 시스템은 각 로직이 개별 하부 메모리시스템을 가지고 있는 구조이다. 이러한 구조에는 몇 가지 문제점을 찾을 수 있는데, 하나의 로직에 메모리가 가득 차면 작업이 중단되고, 다른 로직의 여유 메모리는 활용되지 못하는 것이다. 이는 마치 중앙 물류 허브 없이 개별 배송센터들만 있는 물류 체계와 비슷하다. 한 배송센터의 창고가 가득 차면 그 센터는 더 이상 물건을 받을 수 없고 동시에 다른 배송센터들의 공간이 낭비된다. 이처럼 현재의 AI 인프라는 전체 시스템의 효율성을 떨어뜨리고 자원 관리가 어렵다는 문제를 가지고 있다.

구체적으로 현세대 AI 인프라들의 한계로 지적되는 것이 바로 메모리 용량의 한계이다. 공간 구성이나 I/O의 한계, 발열 등의 이유로 하나의 로직반도체와 직접 연결된 메모리의 크기는 한계값을 가진다. 이 때문에 한 번에 처리해야 할 데이터의 크기가 메모리의 크기를 벗어나는 순간 연산을 쪼개고 분할하고 다시 이것을 합치는 불필요한 프로세스가 더해지며 연산의 효율이 떨어진다.

두 번째는 분배의 한계이다. 개별 우체국들이 아무리 많은 창고를 가지고 있다고 한들, 그것이 옆 우체국의 창고 부족을 해소해 주기는 어렵다. 물론 AI 인프라 상에서는 고속의 데이터 이동이 가능하기 때문에 다른 서버의 리소스를 활용하는 것이 가능하지만, 그것이 가능하다는 이야기이지, 효율적이지는 않다는 것이다.

이러한 한계점들을 두고 우리가 꺼내 볼 수 있는 해결책은 물류에서처럼 AI 인프라에도 허브 개념을 도입하는 것이다. 이 개념이 바로 ‘메모리 풀링’이다.

메모리 풀링은 여러 개의 메모리를 하나로 묶어, 하나의 거대한 메모리 풀(Pool)을 만들고, 이 안에서 시스템이 필요한 만큼의 메모리를 가져다 쓰는 개념이다. 이를 통해 기본적으로 현재는 꿈꾸기 어려운 거대한 규모로 메모리 확장이 가능하다. 메모리 풀링의 또 다른 장점은 메모리 활용효율의 증대이다. 여러 개로 연산을 쪼개고 번번이 캐싱 작업을 해야 하는 이전의 수고로움이 사라진다. 하나의 거대한 풀 안에서 데이터가 캐싱되며 메모리가 개별적으로 나뉘어있던 분산 구조에서는 상상하기 어려울 만큼 높은 메모리 활용 효율을 달성할 수 있다.

아울러 이 메모리 풀링은 단순히 인프라 활용효율을 개선하는 것을 넘어, 로직반도체의 하부계층으로 종속되어 있던 메모리반도체가 시스템의 중심에 자리하게 되는 위상 변화를 기대하게 한다. CPU와 GPU 등의 로직반도체를 중심으로 설계되었던 현세대 시스템의 계층 구조가 메모리 중심의 계층 구조로 변화하고 있다는 것이다. 여기서 우리가 관심있게 살펴봐야 하는 것은 이와 같은 변화를 가능하게 하는 기술이다. 서로 다른 제조사들이 만든 CPU, GPU, 그리고 메모리를 상호 연결하기 위한 기술이 필요한데, 여기서 등장하는 단어가 바로 CXL이다.

.

CXL, 완벽한 상호 연결체계로의 진화

CXL(Compute Express Link)은 위에서 약술한 문제들을 포함해 CPU와 GPU, 그리고 그사이에 위치한 메모리시스템 간 데이터흐름의 비효율을 개선하기 위한 방안이다. CXL의 핵심은 이 흐름을 최적화할 수 있도록 하나의 일관된 프로토콜 체계를 갖추는 것에 있다. 현재 활용되고 있는 *인터커넥트(Interconnect) 기술이 PCIe이기 때문에, 흔히 CXL을 PCIe를 대체하는 성격의 기술로 설명하기도 하지만 실제로 CXL은 PCIe를 ‘대체’하는 것보다는, PCIe를 기반으로 만들어진 생태계를 ‘개선’하는 것에 더 가까운 개념이다.

* 인터커넥트(Interconnect): 각 부품 사이의 데이터 전송 속도와 대역폭을 최적화하는 기술

이 개선의 개념은 표준화라는 단어로도 설명이 가능한데, 표준화를 통해 CPU와 GPU는 물론이고, D램과 스토리지가 모두 일관된 프로토콜 안에서 직접적인 소통이 가능해지게 되는 것이다. 그 개념 중 하나가 ‘캐시 일관성’이다. CXL 프로토콜 하에서는 한 프로세서가 데이터를 변경할 때 다른 프로세서의 캐시 데이터가 함께 업데이트되도록 한다. 이를 통해 연결된 CPU 혹은 GPU들이 추가적인 캐싱작업 없이 마치 하나의 캐시를 사용하는 것처럼 작동할 수 있다.

이와 같이 CXL을 통해 동종의 로직반도체는 물론, CPU와 GPU 혹은 CPU와 ASIC등 이종의 로직반도체들도 모두 직접적인 소통이 가능하다. 로직을 넘어 D램과 스토리지 등의 메모리반도체들과도 역시 직접적인 소통이 가능해지는 완벽한 상호 연결 체계가 만들어진다.

CXL은 이처럼 이종접합으로의 진화를 완성하기 위한 핵심 기술이 됨과 동시에 CPU와 GPU를 넘어 D램과 스토리지로 이어지는 전체 계층 구조의 추가적인 변화를 예상케 한다. 앞서 설명한 메모리 풀링(Type 3)은 이 CXL이 가지고 올, 계층 구조의 변화 양태 중 하나이다.

2019년 관련 컨소시엄이 구성된 이후, CXL표준이 꾸준히 업데이트되어 오면서 작년 5월 CXL 3.0까지 표준이 제정되었다.  2019년 제정된 CXL1.1에서는 개별 로직반도체와 내부 메모리 간의 연결에 대한 협소적 표준에 머물렀으나, 2020년 CXL 2.0에서는 다수의 로직반도체들과 메모리풀이 연결되는 형태로 진화하였다. 작년 중순 제정된 CXL 3.0에서는 다수의 프로세서와 다수의 메모리풀을 다중 연결하는 형태로 미래 방향성을 제시하고 있다.

현재 반도체 업계는 해당 로드맵을 따라 상용화를 위한 작업에 한창이다. 특히 한국의 메모리 기업이 CXL 상용화를 최선두에서 이끌고 있다는 점이 인상적이다. 삼성전자는2021년 업계 최초로 CXL기반의 D램 기술을 개발한 데 이어, 2023년 5월에는 CXL2.0 표준 기반의 D램을 개발하였고, 올해는 CXL 2.0을 지원하는 CMM-D(CXL Memory Module DRAM) 제품을 출시하며 상용화에 속도를 높이고 있다.

한편, 로직반도체 분야에서도 이미 인텔과 AMD 양측의 서버용 제품이 모두 이 CXL을 지원하고 있다. 특히 CXL 컨소시엄을 주도해 온 인텔이 올해 6월 CXL2.0을 지원하는 시에라포레스트(제온6)를 내놓으며 CXL의 시대가 임박했음을 알렸다. 작년 기준으로는 이 CXL 표준을 지원하는 서버의 수가 10%에 불과했지만, 올해부터 급격한 보급이 이뤄질 것임을 기대하게 하는 또 하나의 배경이다.

물론 우려스러운 부분도 있다. CXL의 적용은 분명 로직반도체 하위 계층에 종속되어 있던 메모리반도체가 시스템의 중심으로 떠오르는 위상 변화를 기대하게 하지만, 한편으로는 CXL 도입을 통한 메모리 반도체 수요 감소의 문제가 제기되고 있다. 메모리 활용 효율이 증가하면, 그만큼 불용 부분에 대한 수요가 감소하게 된다는 것이 이러한 반론이 제기되는 배경이다.

.

CXL의 도입, 새로운 변화의 시작

과거 HBM 등장 시기에도 비슷한 고민이 있었다. 대개는 시기상조라거나 상용화하기에 어려울 것이란 회의론들이었다. 당시 회의론이 내세운 근거는 나름의 설득력이 있어 보였다. 복잡한 3D 스택 구조, 제조 공정의 난이도, 그로 인한 수율 감소, 추가되는 공정 프로세스들로 인해 잃게 되는 비트 생산량의 감소, 이어지는 매출의 잠식이 당시에는 너무도 치명적으로 느껴졌다.

2024년이 된 지금에 와서 그때의 회의론들은 복기해 보면, 그것이 그저 모두 기우였음을 잘 알 수 있다. 잃어버리는 것들만 보고 반대편에서 얻게 될 것들을 그때는 미처 계산하지 못했던 것이다. 관련해 우리가 복기해 볼 부분은 오늘날 시장이 CXL을 바라보는 관점도 그때 시장이 HBM을 바라보던 관점과 꽤나 닮아 있다는 점이다.

CXL의 도입은 기본적으로 기존에 사용하지 않았던 새로운 형태로 인프라를 재편해야 하는 것을 의미하고, 이것은 구축, 유지, 보수, 확장의 관점에서 새로운 챌린지를 야기한다. 이와 더불어 앞서 언급한 대로 실제 CXL의 보급이 현실화된다 해도 CXL이 인프라의 메모리 활용 효율을 증가시키는 동안 그만큼의 수요는 분명히 사라질 수 있다. 다만 그 위험 요소에 대해서는 이처럼 명확히 조망하되, CXL의 가능성을 조망하면서도 잃어버리게 되는 것들의 반대급부들, 다시 말해 그 반대편에서 만들어지는 기회들 역시 함께 계산해야 한다는 것이다.

또한 CXL의 도입은 기본적으로 수요자들로 하여금 인프라 투자를 두고 고민하게 만들었던 메모리 확장의 문제를 해결해 준다. 메모리가 로직반도체에 종속 된 현재, 인프라 시스템의 확장을 위해서는 로직반도체와 메모리반도체를 함께 업그레이드해야 하지만, CXL 2.0 이상의 플랫폼에서는 메모리 증설을 통해 추가적인 성능향상을 꾀할 수 있다. 90년대 우리가 486, 586 컴퓨터 업그레이드를 위해 가장 먼저 투자했던 것이 메모리였던 것과 같은 개념이다. 이처럼 CXL 도입의 시스템구조가 메모리를 중심으로 재편되는 것뿐만 아니라, 기업들의 인프라 증설과 확장에서 메모리가 최우선 순위가 되는 변화를 불러오게 될 것이다. 

이처럼 새로운 시대는 모두가 익히 아는 것들 속에서 새삼스럽게 찾아온다. 그리고 CXL의 시대도 그렇게 찾아올 것이다. 메모리반도체 시장의 미래를 조망해 보고 싶은 이들이 있다면 CXL을 주목해 보는 것은 어떨까? 확실한 것은 그 이야기들 속에서 AI반도체 시장의 미래 모습 중 아마도 가장 유력한 시나리오의 모습을 엿볼 수 있다는 것이다.

. 비하인드 더 칩

※ 본 칼럼은 외부 필진의 견해로, 삼성전자 DS부문의 공식 입장과 다를 수 있습니다.

The post [Behind the CHIP] AI 반도체 시장의 미래를 엿보다. CXL에 대해 first appeared on 삼성전자 반도체 뉴스룸.

뉴스 속 낯선 반도체 용어들, 꼭 어려운 사전에서만 확인해야 할까?
반도Chat과 함께라면 잠깐의 출퇴근 시간 동안에도 손쉽게 반도체를 이해할 수 있다. 지금 바로 13개의 ‘반도Chat’ 에피소드를 돌아보며, 다시 한번 반도체 세계 속으로 떠나보자!

.

The post [반도Chat 모아보기] 어려운 반도체 용어 완전 정복! 요약 모음.Zip first appeared on 삼성전자 반도체 뉴스룸.

글로벌 반도체 학회 ‘MemCon 2024’는 AI 시대에 걸맞은 미래 메모리 솔루션에 대해 깊이 있게 다루는 장으로 다양한 글로벌 IT 기업들이 참여했다.

삼성전자는 이번 ‘MemCon 2024’에서 미래 컴퓨팅 패러다임의 초석, HBM과 CXL 솔루션에 대해 발표하고 업계 리더로서의 비전을 공유했다. HBM은 AI에 필요한 필수적인 속도와 극한의 대역폭을 제공하며, CXL은 여러 개의 인터페이스를 하나로 통합해 용량과 대역폭을 확장시킨다.

.

☐ 메모리 기술 혁신 없이는 인공지능 발전이 계속될 수 없다

삼성전자는 1992년부터 30년 이상 메모리 제품 기술 분야에서의 리더십을 바탕으로 선제적인 투자를 했으며, 이를 바탕으로 적시에 최고 품질의 제품을 공급해왔다.

최근 몇 년 메모리 시장 침체에도 불구하고 삼성전자는 기술 개발과 시설 투자에 자원을 아끼지 않았으며, 작년 D램 41%, 낸드플래시 32%의 시장 점유율을 기록하는 등 메모리 시장에서 굳건한 리더십을 이어가고 있다.

AI 기술 성장에는 메모리 반도체의 발전이 필수적이다. 시스템 고성능화를 위한 고대역폭, 저전력 메모리는 물론 새로운 인터페이스와 적층 기술도 요구되고 있다.

삼성전자는 D램 기술 초격차 유지를 위해 10nm 이하 D램에 수직 채널 트랜지스터(VCT, Vertical Channel Transistor)를 활용하는 새로운 구조에 대한 선제적인 연구 개발을 진행하고 있으며, 2030년 3D D램 상용화에 나설 계획이다.

.

☐ 삼성전자, AI 시대의 메모리 솔루션 준비 현황

2024년 하반기는 HBM 공급 개선으로 AI 서버 확산이 가속화될 뿐만 아니라, Conventional 서버와 스토리지 수요도 증가하는 선순환이 뚜렷하게 나타날 것으로 예상된다.

삼성전자는 2016년 업계 최초로 고성능 컴퓨팅(HPC)용 HBM 사업화를 시작하며, AI용 메모리 시장을 본격적으로 개척했고, 2016년부터 2024년까지 예상되는 총 HBM 매출은 100억 불이 넘을 것으로 전망된다.

삼성전자는 HBM3E 8단 제품에 대해 지난달부터 양산에 들어갔으며, 업계 내 고용량 제품에 대한 고객 니즈 증가세에 발맞추어 업계 최초로 개발한 12단 제품도 2분기 내 양산할 예정으로 Ramp-up 또한 가속화할 계획이다.

앞으로 삼성전자는 성장하는 생성형 AI용 수요 대응을 위해 HBM 캐파 확대와 함께 공급을 지속 늘려나갈 것이다.

한편 온디바이스 AI(On-Device AI) 관련 제품 또한 확대 중이다. PC·노트북 D램 시장의 판도를 바꿀 LPCAMM2를 2023년 9월 업계 최초로 개발했고, 기존 LPDDR 대비 고대역폭을 가지고 있어 기기에서 생성되는 데이터를 실시간으로 처리할 수 있는 LLW(Low Latency Wide I/O)를 개발 중에 있다.

또한 기존 D램과 공존하며 시스템 내 대역폭과 용량을 확장할 수 있는 CMM-D는 거대 데이터 처리가 요구되는 차세대 컴퓨팅 시장에서 주목받을 것으로 예상되며, 삼성전자는 CXL 메모리 생태계 구축을 위해 제품 개발 및 사업 협력을 선도하고 있다.

이 밖에도 미래 AI 시대를 대비하기 위해 컴퓨테이셔널 메모리(Computational Memory), 첨단 패키지(Advanced Package) 기술 등을 통해 새로운 솔루션 발굴을 추진하고 있다.

.

☐ 고객 맞춤형으로 진화하는 차세대 HBM

최근 HBM에는 맞춤형(Custom) HBM이라는 표현이 붙기 시작했다. 이는 AI 반도체 시장에서 메모리 반도체가 더 이상 범용 제품이 아니라는 것을 의미한다고 볼 수 있다.

삼성전자는 고객별로 최적화된 ‘맞춤형 HBM’ 제품으로 주요 고객사들의 수요를 충족시킬 계획이다. HBM 제품은 D램 셀을 사용하여 만든 코어 다이와 SoC와의 인터페이스를 위한 버퍼 다이로 구성되는데, 고객들은 버퍼 다이 영역에 대해 맞춤형 IP 설계를 요청할 수 있다.

이는 HBM 개발 및 공급을 위한 비즈니스 계획에서부터 D램 셀 개발, 로직 설계, 패키징 및 품질 검증에 이르기까지 모든 분야에서 차별화 및 최적화가 주요 경쟁 요인이 될 것임을 의미한다.

.

☐ 차세대 HBM 초격차를 위해 종합 반도체 역량 활용

변화무쌍한 AI 시대에서 고객들이 원하는 시스템 디자인을 완벽히 이해하고, 미래 기술 환경까지 고려해 시스템의 발전을 예측하고 주도하기 위해서는 종합 반도체 역량을 십분 활용해야 한다.

삼성전자는 차세대 HBM 초격차 달성을 위해 메모리뿐만 아니라 파운드리, 시스템LSI, AVP의 차별화된 사업부 역량과 리소스를 총 집결해 경계를 뛰어넘는 차세대 혁신을 주도해 나갈 계획이다.

이를 위해 삼성전자는 올 초부터 각 사업부의 우수 엔지니어들을 한데 모아 차세대 HBM 전담팀을 구성해 맞춤형 HBM 최적화를 위한 연구 및 개발에 박차를 가하고 있다.

삼성전자는 업계에서 단시간에 따라올 수 없는 종합 반도체 역량을 바탕으로 AI 시대에 걸맞은 최적의 솔루션을 지속적으로 선보일 예정이다.

The post [기고문] 종합 반도체 역량으로 AI 시대에 걸맞은 최적 솔루션 선보일 것 first appeared on 삼성전자 반도체 뉴스룸.

삼성전자는 2024년 2월, 업계 최초로 36GB HBM3E(5세대 HBM) 12H D램 개발에 성공했다. 36GB HBM3E 12H D램은 24Gb D램 칩을 TSV(Through-silicon Via, 실리콘 관통 전극) 기술로 12단까지 적층한 메모리다. 해당 제품은 지난달 엔비디아의 연례 개발자 콘퍼런스 ‘GTC(GPU Technology Conference) 2024’에서 공개되어 고객들로부터 뜨거운 반응을 받기도 했다.

이에 뉴스룸은 삼성전자 HBM을 담당하는 상품기획실 김경륜 상무와 DRAM개발실 윤재윤 상무를 만나 보았다. 두 담당자의 인터뷰를 통해 기술 혁신을 이끄는 삼성전자의 HBM을 들여다보자.

삼성전자는 2016년 업계 최초로 AI 메모리 시장의 막을 연 이래 독보적인 기술 노하우를 바탕으로 AI 반도체 생태계를 확장해 왔다. 초격차 기술력으로 무한한 가능성을 열어 온 삼성전자가 그려 갈 앞으로의 미래가 기대된다.

The post AI 시대, 삼성전자 HBM이 만들어 내는 완벽한 하모니 first appeared on 삼성전자 반도체 뉴스룸.

삼성전자가 업계 최초로 36GB(기가바이트) HBM3E(5세대 HBM) 12H(High, 12단 적층) D램 개발에 성공하고 고용량 HBM 시장 선점에 나선다.

삼성전자는 24Gb(기가비트) D램 칩을 TSV(Through-Silicon Via, 실리콘 관통 전극) 기술로 12단까지 적층해 업계 최대 용량인 36GB HBM3E 12H를 구현했다.

* 24Gb(기가비트) D램 용량 = 3GB(기가바이트)    
* HBM3E 12H D램 용량 : 36GB (3GB D램 x 12)
* TSV: 수천 개의 미세 구멍을 뚫은 D램 칩을 수직으로 쌓아 적층된 칩 사이를 전극으로 연결하는 기술

HBM3E 12H는 초당 최대 1,280GB의 대역폭과 현존 최대 용량인 36GB을 제공해 성능과 용량 모두 전작인 HBM3(4세대 HBM) 8H(8단 적층) 대비 50% 이상 개선된 제품이다.

* HBM3E 12H는 1,024개의 입출력 통로(I/O)에서 초당 최대 10Gb를 속도를 지원함. 초당 1,280GB를 처리할 수 있어 1초에 30GB 용량의 UHD 영화 40여편을 업(다운)로드 할 수 있는 속도
* 성능은 고객사 모의 환경 기반의 내부 평가 결과이며, 실제 환경에 따라 변동 가능

삼성전자는 ‘Advanced TC NCF'(Thermal Compression Non Conductive Film, 열압착 비전도성 접착 필름) 기술로 12H 제품을 8H 제품과 동일한 높이로 구현해 HBM 패키지 규격을 만족시켰다.

‘Advanced TC NCF’ 기술을 적용하면 HBM 적층수가 증가하고, 칩 두께가 얇아지면서 발생할 수 있는 ‘휘어짐 현상’을 최소화 할 수 있는 장점이 있어 고단 적층 확장에 유리하다.

삼성전자는 NCF 소재 두께도 지속적으로 낮춤으로써, 업계 최소 칩간 간격인 ‘7마이크로미터(μm)’를 구현했다. 이를 통해 HBM3 8H 대비 20% 이상 향상된 수직 집적도를 실현했다.

특히, 칩과 칩사이를 접합하는 공정에서 신호 특성이 필요한 곳은 작은 범프를, 열 방출 특성이 필요한 곳에는 큰 범프를 목적에 맞게 사이즈를 맞춰 적용했다. 크기가 다른 범프 적용을 통해 열 특성을 강화하는 동시에 수율도 극대화했다.

* 범프(Bump): 칩 사이를 전기적으로 연결하기 위해 형성한 전도성 돌기를 통칭

또 삼성전자는 NCF로 코팅하고 칩을 접합해 범프 사이즈를 다양하게 하면서 동시에 공극(Void)없이 적층하는 업계 최고 수준의 기술력도 선보였다.

삼성전자가 개발에 성공한 HBM3E 12H는 AI 서비스의 고도화로 데이터 처리량이 급증하는 상황 속에서 AI 플랫폼을 활용하는 다양한 기업들에게 최고의 솔루션이 될 것으로 기대된다.

특히, 성능과 용량이 증가한 이번 제품을 사용할 경우 GPU 사용량이 줄어 기업들이 총 소유 비용(TCO, Total Cost of Ownership)을 절감할 수 있는 등 리소스 관리를 유연하게 할 수 있는 것도 큰 장점이다.

예를 들어 서버 시스템에 HBM3E 12H를 적용하면 HBM3 8H를 탑재할 때 보다 평균 34% AI 학습 훈련 속도 향상이 가능하며, 추론의 경우에는 최대 11.5배 많은 AI 사용자 서비스가 가능할 것으로 기대된다.

* 동일 GPU 인프라 조건에서 내부 데이터와 시뮬레이션을 기반으로 산출한 값

삼성전자 메모리사업부 상품기획실장 배용철 부사장은 “삼성전자는 AI 서비스를 제공하는 고객사의 고용량 솔루션 니즈에 부합하는 혁신 제품 개발에 힘쓰고 있다”며 “앞으로 HBM 고단 적층을 위한 기술 개발에 주력하는 등 고용량 HBM 시장을 선도하고 개척해 나갈 것”이라고 밝혔다.

삼성전자는 HBM3E 12H의 샘플을 고객사에게 제공하기 시작했으며 상반기 양산할 예정이다.

The post 삼성전자, 업계 최초 36GB HBM3E 12H D램 개발 first appeared on 삼성전자 반도체 뉴스룸.

지난해 엄청난 인기를 끌었던 ‘AI 프로필’과 ‘하이틴 졸업 사진’ 등 몇 장의 사진만으로 완성도 높은 사진이 완성되는 건, 생성형 AI 덕분이다. 이 생성형 AI의 핵심이 되는 HBM(High Bandwidth Memory)에 대해 ‘삼교시 탐구생활’에서 알아보자.

생성형 AI는 파라미터라는 인자를 통해 학습한 데이터를 판별하는데, Chat GPT는 파라미터가 1,750억 개에 달하기 때문에 신속하고 효율적으로 다량의 데이터를 계산해야만 한다는 사실! 이때, 빠른 연산을 가능하게 하는 것이 바로 AI 반도체인 HBM이다.

여드름 패치보다 작지만, 세상을 바꿀 이 제품! 테크 유튜버 주연이 실물을 영접한 삼성전자 반도체의 HBM3E가 궁금하다면, 영상을 통해 확인해 보자.

The post [삼교시 탐구생활 Ep.1] 푸바오도 깜짝 등장?! 66만 IT 유튜버 주연이 실물 영접한 제품의 정체는? first appeared on 삼성전자 반도체 뉴스룸.

전 세계적인 AI 열풍 속에서 관련 하드웨어, 소프트웨어 등이 급성장함에 따라 AI가 인간의 지적 수준까지 발전하고 있다. 삼성전자는 초거대 AI 시장을 대응하기 위해 DDR5(Double Data Rate 5), HBM(High Bandwidth Memory), CMM(CXL Memory Module) 등 응용별 요구 사항에 기반한 다양한 메모리 포트폴리오를 시장에 제시하고 공급 중이다.

삼성전자는 다가오는 ‘CES 2024’에서 AI용 최첨단 메모리 솔루션을 대거 공개하고, 업계 리더로서 압도적인 기술력을 선보일 계획이다.

.

AI 기술 진보에 정해진 한계와 영역은 없다

AI는 우리 삶의 모든 영역에서 근본적인 변화를 만들어 내고 있다. 직장에서는 문서 작업, 데이터 분석 등에서 생산성 극대화를 이끌어 내고 있고, 집에서는 다양하고 편리한 서비스를 통해 우리 삶을 윤택하고 즐겁게 만들고 있다. 이제는 ChatGPT 같은 생성형 AI 서비스가 우리 삶에 새로운 패러다임을 가져왔다고 해도 과언이 아니다.

AI는 클라우드에서 처음 시작됐지만, 현재는 다른 응용과 플랫폼으로 급속히 확산되고 있다.  보안과 응답성 등을 고려해 스마트폰, 컴퓨터, 자동차 등 단말단에서의 온디바이스 AI(On-Device AI) 구현이 필요한 상황으로, 충분한 컴퓨팅과 메모리를 탑재하기 위한 기술적 검토가 적극 진행되고 있다.

현재 가장 핵심이 되고 있는 클라우드(Cloud), 온디바이스(PC/Client/Mobile) AI, 차량(Automotive) 세 가지 영역의 기술 동향과 메모리 요구 사항을 살펴보고, 삼성전자의 핵심 포트폴리오를 소개하고자 한다.

……………………..

AI 기술 혁신을 이끌 클라우드용 솔루션 ‘HBM3E, DDR5, MRDIMM, PCIe Gen5 SSD’

데이터센터는 AI 관련 연산 처리와 원활한 서비스를 위한 핵심 인프라로 ChatGPT, Bard, Bing Chat 등이 데이터센터를 통해 제공되는 대표적인 서비스이다.

단시간에 수십억 개의 파라미터와 수많은 데이터가 오고 가는 상황에서 메모리 대역폭과 용량이 충분하지 않다면 전체 시스템에서 병목 현상을 일으킬 수 있고, GPU를 충분히 활용할 수 없는 상황이 생길 수 있다.

이러한 AI 응용을 서비스하는 데이터센터를 운영하는데 있어 가장 큰 고민은 결국 ‘총 소유 비용(TCO, Total Cost of Ownership)’이다. TCO를 줄이기 위한 업계의 노력은 지속되고 있으며, 특히 메모리 성능, 용량 요구도 다양해지고 있다. 이에 삼성전자는 모든 업체들이 선택 가능한 클라우드용 최적 솔루션을 제시하고 있다.

HBM3E 샤인볼트(Shinebolt)

현재 AI용 메모리로 주목받고 있는 ‘HBM3E’는 12단(적층) 기술을 활용해 최대 1,280GB/s의 대역폭과 최대 36GB(기가바이트)의 고용량을 제공한다.

기존 HBM3 제품 대비 성능과 용량이 50% 이상 개선됐으며, 초거대 AI 모델이 요구하는 메모리 성능과 용량을 만족시킬 것으로 기대된다.

32Gb DDR5 D램

삼성전자는 작년 9월 업계 최초로 12나노급 공정을 활용해 32Gb(기가비트) DDR5 고용량 제품을 개발했으며, 현재 주요 칩셋 업체와 고객에게 샘플을 공급 중이다.

동일 패키지 사이즈에서 TSV(Through Silicon Via) 공정 없이 128GB의 고용량 모듈 구현이 가능하며, TSV 적용 시 최대 1TB(테라바이트)의 모듈까지 지원한다.

또한 기존 16Gb 기반 128GB 모듈 대비 약 40%의 소비 전력을 개선했으며, 최대 7.2Gbps의 속도를 지원해 생성형 AI용 고용량 서버의 핵심 솔루션이 될 것으로 기대된다.

MRDIMM

삼성전자는 기존 RDIMM 대비 데이터 전송 채널을 2배로 늘려 성능을 2배 높인 MRDIMM(Multiplexed Rank DIMM)을 개발하고, 작년 하반기 주요 칩셋 업체와 검증을 완료했다. 이 제품은 8.8Gbps의 속도를 지원하며, HPC 등 고사양 메모리를 요구하는 AI 응용처에 적극 채용될 것으로 예상된다. 삼성전자는 향후 32Gb DDR5를 활용해 고성능, 고용량, 저전력에 차별화된 MRDIMM 제품을 제공할 예정이다.

PCIe Gen5 SSD ‘PM9D3a’

PM9D3a는 PCIe Gen5를 지원하는 8채널 컨트롤러 기반 제품으로, 기존 제품 대비 연속 읽기속도는 최대 2.3배 향상됐고, 소비 전력은 60% 개선된 업계 최고의 전력 효율을 제공한다.

삼성전자는 뛰어난 확장성을 바탕으로 작년 7.68TB와 15.36TB 2.5인치 규격 제품을 개발한데 이어, 올해 상반기에는 3.84TB 이하의 저용량부터 최대 30.72TB 제품까지 다양한 라인업과 폼팩터를 제공할 계획이다. 이 제품은 다양한 신규 서버 시스템에 장착되어 고성능 스토리지 서비스 구현을 가능하게 할 것이다.

고성능·저전력 온디바이스 AI용 솔루션 ‘LPDDR5X, LPDDR5X CAMM2, LLW, PCIe Gen5 SSD’

단말단에서 AI 특정 서비스 구현을 위해서는 단말 자체에 다수의 AI 모델을 저장하고 처리해야 되며, 이를 위해서는 스토리지에 저장되어 있던 AI 모델이 1초 이내로 메모리에 로딩되어야 한다.

또한 AI 모델 사이즈가 커질수록 결과의 정확도는 높아지기 때문에, 원활한 AI 서비스를 제공하기 위해서는 단말 자체에서도 고성능, 고용량 메모리가 필수적이다.

LPDDR5X D램

삼성전자는 LPDDR 표준 기반 최고 속도 9.6Gbps를 지원하는 LPDDR5X 제품을 개발 중이다. 하이케이 메탈 게이트(High-K Metal Gate, HKMG) 기술을 활용해 이전 세대 대비 전력 효율을 30% 개선하고, 표준 패키지 솔루션을 지원해 응용처별 최적 포트폴리오를 제공한다.

LPDDR5X CAMM2

작년 9월 삼성전자는 LPDDR D램 기반 7.5Gbps LPDDR5X CAMM2(Compression Attached Memory Module)를 업계 최초로 개발했으며, 현재 주요 파트너들에게 샘플을 제공하고 검증을 진행 중이다. 이 제품은 PC·노트북 D램 시장의 판도를 바꿀 제품으로, 삼성전자는 AI, HPC, 서버, 데이터센터 등 응용처 확대를 위해 주요 고객과 논의 중에 있다.

LLW D램

LLW(Low latency Wide I/O) D램은 128GB/s의 초고성능, 저지연 특성에 최적화된 제품이다. 1.2pJ/b의 매우 낮은 전력으로 구동하며, 즉각적인 대응이 필요한 AI 모델을 단말단에서 구동하는데 적합한 솔루션이다.

* pJ/b: 비트당 소비되는 에너지

PCIe Gen5 SSD ‘PM9E1’

PM9E1은 PCIe 5.0을 지원하는 8채널 컨트롤러 기반 PC/Client OEM용 SSD제품으로, 올해 6월 개발될 예정이다. 이전 세대 대비 연속 읽기속도는 2배 향상되고, 33%의 개선된 전력 효율을 제공한다. 초거대 언어 모델(LLM)을 1초내 D램에 전송할 수 있어 온디바이스 AI 시대를 열어가는데 최적화된 제품이 될 전망이다.

2025년 전장 메모리 시장 1위 달성을 위한 차량용 솔루션 ‘Detachable Auto SSD’

자율주행이 고도화됨에 따라 차량 시스템 구조는 여러 개의 차량 전자제어장치(Electronic Control Unit, ECU)를 가진 ‘분산형 구조’에서 각 영역의 제어 기능이 통합된 ‘중앙 집중형 구조’로 변화하고 있다. 이에 따라 고성능, 고용량뿐 아니라, 여러 개의 SoC와 데이터를 공유할 수 있는 Shared SSD에 대한 요구가 점차 증가하고 있다.

삼성전자는 다양한 차량용 신제품과 신기술을 선보이며, 2025년 전장 메모리 1위 달성을 위해 박차를 가하고 있다.

Detachable AutoSSD

세계 최초 탈부착이 가능한 차량용 SSD로, 스토리지 가상화를 통해 하나의 SSD를 분할해 여러 개의 SoC가 사용할 수 있는 제품이다. 기존 제품 대비 용량은 4배(1TB→ 4TB), 임의 쓰기속도는 약 4배(240K IOPS→ 940K IOPS) 향상됐으며, 교체가 가능한 E1.S 기반의 폼팩터를 제공한다.

삼성전자는 현재 유럽 주요 완성차, 티어1 고객들과 세부 사양 협의를 진행하고 있으며, 올해 1분기내 기술적 검증(PoC)을 완료할 계획이다.

.

삼성전자 메모리 상품기획실 신설, 새로운 도약을 준비하다

삼성전자는 급변하는 기술과 시장 환경에 민첩하게 대응하기 위해 작년 12월 메모리 상품기획실을 신설하고, 본격적인 미래 준비에 박차를 가하고 있다.

……………………..

메모리 컨트롤 타워 역할로 미래 제시

상품기획실은 ‘Business Coordinator 전문가 조직’을 표방하고, 제품 기획부터 사업화 단계까지 전 영역을 담당하며 고객 기술 대응 부서들을 하나로 통합해 만든 조직이다.

그동안 분산되어 있던 센싱, 동향 분석, 상품 기획, 표준화, 사업화, 기술 지원 등 모든 기능이 상품기획실로 흡수되어 ▲기술 동향 분석을 통한 ‘초격차’를 지향하는 경쟁력 있는 제품 기획 ▲’급변하는 대내외 변화’를 고려한 제품 개발 관리 ▲’개별화된 고객 요구’에 대한 적극 대응을 통해 메모리 시장에서의 기술 리더십을 확고히 할 계획이며, 대내외 컨트롤 타워 역할을 수행할 예정이다.

또한 중장기 로드맵 기반으로 연구소, 개발실과 요소 기술 선행 준비 등 새로운 도약을 위한 미래 준비에 더욱 집중할 계획이다.

고객사 요구를 반영한 미래 솔루션, 신사업 발굴

AI의 폭발적인 성장은 급진적인 메모리 발전도 요구하고 있다. DDR6, HBM4, GDDR7, PCIe Gen6, LPDDR6, UFS 5.0 등 시스템의 고성능화를 지원할 수 있는 고대역폭, 저전력 메모리는 물론 CMM, 첨단 패키지 등 새로운 인터페이스와 적층 기술도 요구되고 있다.

삼성전자는 맞춤형 HBM(Custom HBM), 컴퓨테이셔널 메모리(Computational Memory) 등 새로운 솔루션과 사업 발굴을 통해 메모리 패러다임의 변화를 선도해 나갈 것이다.

메모리 기술 혁신의 열쇠 ‘맞춤형 HBM D램(Custom HBM)’

AI 플랫폼의 성장으로 고객 맞춤형(용량, 성능, 특화 기능 등) HBM에 대한 요구가 증가하고 있으며, 이에 삼성전자는 주요 데이터센터, CPU/GPU 선두 업체들과 긴밀한 협업을 진행 중이다. 맞춤형 HBM D램은 향후 메모리 반도체 기술 한계 극복을 위한 돌파구 역할을 할 것이다.

삼성전자는 고객들의 개별화된 요구에 대응하기 위해 차세대 HBM4부터 버퍼 다이(Buffer Die)에 선단 로직 공정을 활용할 예정이다.

삼성전자만이 보유하고 있는 메모리, 파운드리, 시스템 LSI 등 종합 역량과 차세대 D램 공정, 최첨단 패키지 기술로 향후 새로운 시장 변화에 맞춰 최적의 솔루션을 제공해 나간다는 전략이다.

AI 시대를 이끌 ‘CMM’

CMM-D(CXL Memory Module DRAM)는 기존 메인 D램과 공존하면서 대역폭과 용량을 확장할 수 있어 AI, 머신러닝 등 고속의 데이터 처리가 요구되는 차세대 컴퓨팅 시장에서 주목받고 있다.

삼성전자는 2021년 5월 세계 최초 CMM-D 기술 개발을 시작으로, 업계 최고 용량의 512GB CMM-D 개발, CMM-D 2.0 개발 등에 성공하며 업계를 선도하고 있다. 또한, 현재 256GB CMM-D 샘플 공급이 가능한 유일한 업체로서 다양한 파트너사와의 긴밀한 협력을 통해 CXL 메모리 생태계를 구축하고 있다.

메모리의 새로운 패러다임 ‘PIM’

PIM(Processing-in-Memory)은 메모리 내부에 연산 작업에 필요한 프로세서 기능을 더한 차세대 융합 기술로, CPU와 메모리 간 데이터 이동이 줄어들어 AI 가속기 시스템의 에너지 효율을 높일 수 있다.

삼성전자는 2021년 세계 최초로 HBM-PIM을 개발했으며, 주요 칩셋 업체와 협력을 통해 기존 GPU 가속기 대비, 평균적으로 성능은 약 2배 증가, 에너지 소모는 약 50% 감소했음을 확인했다. 삼성전자는 PIM 응용을 확대하기 위해 AI 가속기용 HBM-PIM과 온디바이스 AI용 LPDDR-PIM 상용화에 박차를 가하고 있다.

용량의 한계를 뛰어 넘은 대용량 SSD 구독 서비스, PBSSD as a Service

PBSSD as a Service는 고객이 초고용량 SSD 솔루션을 구매하는 대신 서비스를 사용하는 사업 모델이다. 고객에게 PB(페타바이트) 규모의 대용량 SSD 솔루션을 구독 서비스로 제공해 고객의 스토리지 인프라 초기 투자 비용을 낮추고, 유지 보수 비용을 절감하는데 기여할 것으로 기대된다.

전 세계 고객과 강력한 파트너십 구축

메모리는 또 한 번의 기술 변곡점을 맞이하고 있고, AI 시대에서 반도체 성장 가능성은 크고 무궁무진하다. 새로운 제품과 시장을 개척하기 위해서는 전 세계 파트너, 고객들과의 강력한 협력이 필수다.

고객과의 협력 인프라를 제공하는 ‘삼성 메모리 리서치 센터’

삼성전자는 ‘삼성 메모리 리서치 센터(SMRC)’를 기반으로 파트너와의 긴밀한 협력을 통해 차세대 메모리를 준비하고 있다.

SMRC는 삼성전자의 메모리 제품을 탑재한 고객사에 자사 서버의 하드웨어와 소프트웨어의 최적 조합을 분석하고 성능을 평가할 수 있도록 제공하는 플랫폼으로, 고객과의 차별화된 협력을 가능하게 한다.

작년 삼성전자는 VMware와 가상화 시스템 구현을 위한 기술 협력을 추진해 업계 최초로 PCIe Gen5 SSD(PM1743)가 VMware 솔루션에서 최적의 성능을 구현함을 확인했고, Red Hat의 최신 서버용 운영체제에서 CXL 메모리 동작 검증을 마치는 등 SMRC를 통해 소프트웨어 업체와의 파트너십을 공고히 했다.

현장 근접 기술 지원을 위한 ‘TECx’

삼성전자는 글로벌 고객사에 원활한 기술 서비스를 제공하고, 긴밀한 협업을 진행하기 위해 주요 국가별로 TEC(Technology Enabling Center)를 운영하고 있으며, 점차 지역을 확대해 작년부터 대만에도 기술 지원 조직(TECx, TEC extension)을 구축했다.

대내적으로는 DDR5, LPDDR5X, CMM, PCIe Gen5 SSD 등의 신규 제품과 기술을 선단에서부터 검증하는 등 시스템 인증을 지원하고, 대외적으로는 현지에서의 즉각적인 기술 대응이 가능해 고객 CRM(Customer Relationship Management)을 높이고 있다. 향후 TECx는 지속적인 기술 협업을 주도하며 고객의 No.1 협업 파트너 역할을 수행할 것으로 기대된다.

2024년 반도체 시장과 기술의 판도 변화가 급속히 진행 중인 가운데 삼성전자는 미래 기술 리더십과 고객과의 동반 성장을 이어가기 위해 담대한 도전을 지속해 나갈 것이다.

The post [기고문] AI 시대, 최적 메모리 솔루션으로 미래 기술을 그리다 first appeared on 삼성전자 반도체 뉴스룸.

어떤 질문이든 척척 답을 내어주는 ‘챗GPT’처럼, 삼성전자 반도체 뉴스룸은 ‘반도Chat’ 시리즈를 통해 어려운 반도체 용어도 단번에 쏙쏙 알기 쉽게 전하고 있다. 반도Chat 시리즈 세 번째 이야기 주제는 초거대 AI 기술 발전의 핵심인 메모리 반도체, ‘HBM’이다.

.

MAP 1. 메모리, 초거대 AI를 마주하다

초거대 AI란 딥러닝으로 대용량 데이터를 스스로 학습해 인간처럼 종합적 추론이 가능한 차세대 AI를 말한다. 챗GPT가 인간과 유사한 수준으로 질문에 적절하게 응답하는 것도 파라미터(parameter, 매개 변수)가 1,750억 개에 달하는 수많은 데이터를 학습한 언어모델이기 때문이다.

‘챗GPT’, ‘DALL·E’, ‘Bard’의 등장과 같이 AI 서비스 종류가 다양해지고 고도화될수록, 메모리 반도체가 수행해야 할 역할도 더욱 확장되고 있다. AI 서비스를 원활하게 구현하려면 대량의 데이터를 기반으로 여러 연산을 동시에 빠르게 수행하는 능력이 필요하기 때문이다.

이러한 상황에서 반도체 업계는 ‘AI 서비스와 함께 폭발적으로 증가하는 데이터를 어떻게 효율적이고, 빠르게 처리할 것인가’에 대한 해답을 찾게 된다. 차원이 다른 고성능 기술을 제공하는 AI 시대의 핵심 반도체, ‘HBM’이 바로 그것이다.

.

MAP 2. HBM이란 무엇인가

HBM(High Bandwidth Memory)은 이름 그대로 넓은 대역폭을 지닌 메모리를 뜻한다. 여기서 ‘대역폭’이란 주어진 시간 내에 데이터를 전송하는 속도나 처리량, 즉 데이터 운반 능력을 의미한다. HBM은 현재 메모리 시장에서 가장 넓은 대역폭을 지닌 메모리 반도체인데, 간단히 이야기하면 메모리 중 데이터를 가장 빠르게 처리하고 전송할 수 있다는 것이다. 이로써 HBM은 응용처의 성능과 전력 효율 향상에 기여할 수 있게 된다.

.

MAP 3. 처리 속도, 전력 효율 모두 잡은 HBM 속 숨은 기술

주로 게임이나 그래픽 작업과 같은 고성능 그래픽 분야에 활용되는 GDDR은 비교적 낮은 비용으로 높은 성능과 용량을 제공할 수 있다. 한편, HBM은 GDDR 대비 상대적으로 제조 과정이 복잡하고 비용이 높을 수 있지만, 더 높은 에너지 효율을 기반으로 HPC·AI 응용 수준의 높은 대역폭을 제공할 수 있다.

이는 HBM에 TSV(Through Silicon Via)라는 기술이 적용됐기 때문이다. TSV는 메모리 칩을 수직으로 쌓고, 적층된 칩 사이에 얇은 금속 터널을 만들어 전기적 신호가 칩 간 직접 전달되게 하는 패키징 기술이다. 이로써 데이터 전송 속도의 지연을 최소화하고, 적은 전력으로 많은 양의 데이터를 처리할 수 있게 된다. 한편, HBM에는 CoW(Chip on Wafer)  기술과 TCB(Thermal Compression Bonding) 기술도 적용되었다. CoW는 이름 그대로 웨이퍼 위에 칩을 붙이는 기술을 의미하며, TCB는 TSV가 적용된 얇은 칩이 전기적으로 연결될 수 있게 정밀하게 쌓아 올리는 패키징 기술을 말한다.

.

MAP 4. 초거대 AI 시대 속, 기술 발전의 씨앗이 될 메모리 반도체

삼성전자 반도체는 2016년에 업계 최초로 HPC 향 HBM 사업화를 시작하며, AI 메모리 시장을 개척해 왔다. 이를 이어, 2017년 업계 최초로 8단 적층 HBM2를 상용화하며, 당시 가장 빠른 메모리인 GDDR5 대비 8배 빠른 속도를 제공했다. 이후 HBM2E, HBM3를 개발했고, 2023년 10월에는 ‘HBM3E 샤인볼트’를 공개하기에 이르렀다.

HBM3E D램 ‘샤인볼트’는 데이터 입출력 핀 1개당 최대 9.8Gbps의 고성능을 제공하는데, 이는 현재 존재하는 메모리 반도체 중 가장 빠른 수준이다. 1초에 최대 1.2TB(테라바이트) 이상의 데이터를 처리할 수 있음을 의미하며, 더 쉽게 예를 들면 30GB 용량의 UHD 영화 40편을 1초 만에 처리하는 것과 같다.

.

MAP 5. 메모리의 무한한 가능성을 위한 차세대 기술

삼성전자 반도체는 웨이퍼를 제조하고 회로를 만드는 전공정뿐 아니라, 완성된 칩에 데이터 이동과 전기 전달을 가능하게 하고, 외부 환경으로부터 보호하는 패키징 공정도 지속 개발 중이다. 현세대 제품에서 칩 적층 시 적용 중인 NCF(Non-conductive Film, 비전도성 접착 필름)와 차세대 제품 적용을 목표로 개발 중인 HCB(Hybrid Copper Bonding, 하이브리드 접합) 기술이 바로 그것이다.

NCF는 적층된 칩 사이를 절연시키고 충격으로부터 연결 부위를 보호하기 위해 사용하는 고분자 물질이다. NCF를 활용하면 열전도를 극대화하고 열 특성을 개선할 수 있다. 한편 HCB 기술은 칩을 접합할 때 ‘범프’라는 매개체를 없애고, 각 칩 표면에 드러난 구리를 직접 연결한다. 이로써 범프를 사용할 때보다 칩 적층 시 안정성을 향상하고, 열성능을 최적화할 수 있을 것으로 기대된다.

머지않은 미래에는 AI에 특화된 기술과 제품이 시장을 주도할 중요한 역할을 할 것이다. 최근 HBM3E D램 ‘샤인볼트’를 공개한 삼성전자 반도체는 앞으로도 최고 성능의 HBM을 제공하고, 고객 맞춤형 HBM 제품까지 확장하여 AI 시대에 최상의 솔루션을 제공할 계획이다.

AI 서비스의 가능성을 확장할 메모리 반도체, ‘HBM’에 대해 보다 자세하게 알고 싶다면 삼반뉴스 ‘AI 반도체’ 편을 참고하길 바란다.

The post [반도Chat Ep.3] 초거대 AI 시대를 이끌 메모리 반도체 ‘HBM’ first appeared on 삼성전자 반도체 뉴스룸.

.

지속가능한 미래를 향한 삼성전자의 차세대 반도체 기술

삼성전자 반도체 부스는 크게 최첨단 반도체 기술의 정수를 보여 주는 Tech Zone, 경영 및 인재 운영 철학을 소개하는 People Zone, 지속가능경영 활동의 성과를 확인할 수 있는 Sustainability Zone 그리고 반도체 전문가와 업계 기술 트렌드에 대해 소통할 수 있는 Live Zone의 네 공간으로 이루어졌다.

Tech Zone 입구에 들어서자 실물 크기의 자동차 모형이 관람객의 시선을 사로잡았다. 차량 내부에는 LPDDR5X, Auto Processor V920, ADAS SoC 등 다양한 차량용 반도체 솔루션이 배치되어 있었는데, 이를 통해 삼성전자 반도체의 폭넓은 전장향 포트폴리오를 확인할 수 있었다.

이어 내부로 들어가자 ‘삼성 메모리 테크 데이 2023’에서 최초 공개된 HBM3E(High Bandwidth Memory) D램 ‘샤인볼트(Shinebolt)’를 직접 확인할 수 있었다. ‘샤인볼트’는 AI 기술 혁신을 이끌 초고성능 HBM으로 데이터 입출력 핀 1개당 최대 9.8Gbps의 성능을 제공하는데, 이를 통해 30GB 용량의 UHD 영화 40편을 1초 만에 처리할 수 있다.

이 외에도 업계 최대 용량의 DDR5 32Gb, 고성능 컴퓨팅 플랫폼용 신규 인터페이스 제품군인 CMM(CXL Memory Module)도 함께 만날 수 있었다. AI 시대를 겨냥한 제품들이 준비된 해당 부스에서는, ‘선행적 AI’로 더 나은 미래를 창조하겠다는 삼성전자 반도체의 목표 의식과 차세대 기술력이 돋보여 많은 관람객들의 흥미를 일으켰다.

메모리 제품 외에도 고성능 게임 유저를 위한 차세대 모바일 프로세서, 업계 최선단 3나노 GAA 구조 기술을 선보인 Foundry/AVP 부스 등 시스템LSI와 파운드리의 최첨단 기술과 반도체 제품들도 전시되어 각양각색의 솔루션을 확인할 수 있었다.

SSD Station 부스에서는 관람객이 메모리 제품을 직접 만져 보고, 구매까지 가능한 자리가 마련되었다. 이달 초 신규 출시된 초고속 포터블 SSD ‘T9’을 포함해 삼성전자의 브랜드 메모리 제품을 특별한 가격에 만나 볼 수 있어 현장의 열기가 뜨거웠다.

각 전시존에는 제품의 세부 정보를 확인하고, 이벤트 참여 스탬프를 적립할 수 있게 만든 QR 코드가 있어 사람들의 발길을 사로잡았다. 해당 QR코드를 스캔하면 전시된 제품과 기술에 대한 정보를 손쉽게 접할 수 있었다. 또한 경품 참여의 기회까지 얻을 수 있어 관람객의 참여와 흥미를 유발했다.

.

반도체 생태계를 견인하여 새로운 미래로 연결하다

부스 중심부에 위치한 Sustainability Zone에서는 패턴 웨이퍼 지원, 소부장 컨설팅 등 반도체 공급망 생태계 강화를 위한 삼성전자 반도체의 활동과, 프로그램의 수혜자가 직접 들려주는 생생한 이야기도 들어 볼 수 있었다. 또한, 지속가능한 미래를 위한 삼성전자의 여정을 압도적인 스케일의 영상으로 만나 볼 수 있는 코너에 관람객들의 발걸음이 이어졌다.

.

‘인간형 반도체’, 인류를 위한 삼성전자 반도체의 미래 기술

26일에는 시스템LSI사업부 박용인 사장의 ‘AI 시대, 인간을 이롭게 하는 반도체’를 주제로 한 키노트 스피치를 만나 볼 수 있었다. 박용인 사장은 “현재 AI는 클라우드 서버 형태로 주로 구현되고 있으며, 클라우드의 TCO(Total Cost of Ownership) 요구와 개인 맞춤 서비스 요구로 최근 온디바이스 AI(On-device AI)가 최적화된 솔루션으로 제시되고 있다. 향후에는 스스로 의사결정할 수 있는 선행적 AI(Proactive AI)로 그 모습과 활용이 확장될 것이다”라고 말하며 “삼성전자 반도체는 최고 성능의 SoC, 지역 간 경계를 허물 UWB 기술 및 비지상 네트워크(NTN)와 같은 통신기술 그리고 인간의 오감을 모방한 ‘인간형 반도체’ 구현과 플랫폼 제공을 통해 인간의 삶을 이롭게 만들 것”이란 비전을 제시했다.

.

‘세상을 변화시킬 반도체 기술과 열정’을 공유한 Live Talk

이 외에도 3일 동안 삼성전자 반도체 임직원과 외부 인사가 진행하는 다양한 주제의 강연이 진행되어 반도체 업계에 취업을 희망하는 학생과 업계 관계자들의 발걸음이 이어졌다.

행사 첫날(25일)에는 메모리사업부 상품기획팀 조현덕 상무가 ‘The Leap into the Future’라는 주제로 라이브 토크의 문을 열었다. 해당 강연에서는 메모리 반도체의 주요 응용처인 클라우드, 에지 디바이스(Edge Devices), 오토모티브 영역에서 메모리 솔루션 트렌드의 변화와 관련 전략이 소개됐다.

이후 SAIT 김동욱 프로의 ‘혁신 기술과 협력을 통한 삼성 반도체의 탄소 저감 노력’ 세션이 진행되었다. 김동욱 프로는 공정 가스 처리 효율 극대화, 재생 에너지 사용, 저전력 반도체 제품 개발 등 삼성전자의 넷제로(Net Zero) 달성 전략에 대해 알기 쉽게 소개했다.

마지막 라이브 토크 세션을 담당한 메모리사업부 D램설계팀 손교민 마스터는 ‘Near Memory Tech Trends’를 주제로 생성형 AI, XR과 같은 새로운 애플리케이션 등장과 함께 Computing Trend가 변화하는 이유를 설명했다. 생성형 AI에 대한 관심이 뜨거운 만큼, 세 번째 강연은 특히 관람객의 높은 주목을 받았다.

이번 ‘SEDEX 2023’에서 삼성전자 반도체는 AI 시대에 필요한 차세대 반도체 기술과 함께 업계 동반 성장을 추구하는 지속가능경영 활동을 선보이며 많은 관람객의 관심을 모았다. 업계를 주도하며 새로운 혁신을 만들어 가는 삼성전자 반도체. 10월 27일까지 진행되는 이번 행사에서는 삼성전자 반도체의 다양한 프로그램들이 예정되어 있으니 많은 관심을 부탁드린다.

The post [SEDEX 2023] 삼성전자 반도체가 연결하는 새로운 미래! AI 반도체 기술로 혁신을 더 가까이 first appeared on 삼성전자 반도체 뉴스룸.

기술의 발전은 세상의 변화 속에서 기회를 포착하고, 성공을 향한 의지와 끈기를 가진 사람들이 만들어 낸 혁신의 산물이라 할 수 있습니다.

삼성전자 메모리의 지난 시간 역시 집념을 담은 기술 혁신의 여정이었으며, 그 가운데 1993년부터 30년간 ‘Global No.1 메모리 솔루션 Provider’ 자리를 지켜오고 있습니다.

.

패러다임의 전환, 새롭게 펼쳐질 메모리의 미래

메모리의 주요 응용처는 PC와 모바일에서 데이터센터로 이동했습니다. 그리고 최근 초거대 AI는 메모리의 새로운 응용처로 급부상하고 있습니다. 특히 PC와 스마트폰과 같이 사용자의 기기에서 AI를 구현할 수 있는 온디바이스 AI(On-device AI)가 확산되면서, 메모리 응용처는 더욱 확대될 것입니다.

이러한 흐름 속에서 메모리 반도체에 대한 요구사항도 변화하고 있습니다. 하이퍼스케일러^*가 제공하는 AI 서비스 종류가 다양해지고 그에 걸맞은 서비스를 제공하기 위해, 방대한 데이터를 빠르게 처리하면서 총소유 비용(Total Cost of Ownership)도 절감할 수 있는 고성능·고용량·저전력 메모리가 요구되고 있습니다. 동시에 하이퍼스케일러의 요구에 맞춘 차별화된 메모리가 필요해졌습니다.

*하이퍼스케일러(Hyperscaler): 대규모 데이터센터를 운영하는 기업

또한 데이터가 급격히 증가함에 따라, 메모리 본연의 기능인 데이터 저장뿐 아니라 연산 기능까지 추가로 요구되면서 메모리의 역할이 확장되고 있습니다. 즉, CPU와 GPU의 데이터 처리를 분담하는 새로운 메모리 솔루션이 필요한 시점입니다.

.

내일을 향한 혁신, 한계를 뛰어넘는 메모리

메모리 사업은 같은 면적의 웨이퍼 내에서 더 큰 용량의 칩을 더 많이 만들 수 있도록 집적도를 향상하고, 첨단 생산 시설을 통해 규모의 경제를 달성하여 원가경쟁력을 확보하는 것이 굉장히 중요합니다. 과거 PC와 모바일 시대에서의 메모리 수요는 세트 제품의 ‘부품 비용(BOM Cost)’에 많은 영향을 받았고, 이러한 ‘부품 비용’ 중심의 수요 결정 구조가 지금까지 이어져 왔기 때문입니다.

변화하는 환경 속에서 삼성전자는 고부가 제품 공급과 원가경쟁력 확보라는 상반된 두 요구사항을 모두 만족시키기 위한 메모리 사업의 방향성을 꾸준히 모색했습니다.

답은 의외로 간단합니다. 삼성전자는 지난 30년간 고객이 원하는 제품을 공급해야 한다는 책임감으로 업계를 리드해 왔고, 이 원칙은 지금도 유효합니다. 즉 우선순위의 차이는 있지만, 고객은 기본적으로 고성능, 고용량, 저전력, 고객 맞춤형 그리고 원가경쟁력을 갖춘 제품을 원하기에, 우리는 이 요소를 모두 충족시킬 수 있는 제품을 개발해야 합니다.

물론, 쉽지만은 않습니다. 하지만 삼성전자는 ▲한계에 도전하는 기술 혁신 ▲선단 공정 및 고부가 제품 생산 비중 확대와 R&D 투자 강화 ▲고객, 파트너와의 강력한 협력 관계라는 세 가지 축을 기반으로 사업을 지속해 왔고, 앞으로도 이를 더욱 강화하여 업계를 선도해 나갈 것입니다.

.

.

첫째, D램과 낸드플래시의 집적도를 극한의 수준으로 높여 나가고, 고객 맞춤형 제품을 포함한 차별화된 솔루션을 제안해 새로운 시장을 열어 갈 것입니다.

압도적 기술력으로 최고 수준의 집적도 구현

앞으로 다가올 10나노 이하 D램과 1,000단 V낸드 시대에는 새로운 구조와 소재의 혁신이 매우 중요합니다. D램은 3D 적층 구조와 신물질을 연구개발하고 있으며, V낸드는 단수를 지속 늘리면서도 높이는 줄이고, 셀 간 간섭을 최소화해 업계에서 가장 작은 셀 크기를 구현하는 당사의 강점을 지속 고도화해 나갈 것입니다. 또한, V낸드의 입출력(I/O) 스피드를 극대화하기 위해 신구조 도입을 준비하는 등 새로운 가치 창출을 위한 차세대 혁신 기술을 착실히 개발 중입니다.

이와 더불어, 현재 개발 중인 11나노급 D램은 업계 최대 수준의 집적도를 달성할 것입니다. 9세대 V낸드는 더블 스택(Double Stack) 구조로 구현할 수 있는 최고 단수를 개발 중으로, 내년 초 양산을 위한 동작 칩을 성공적으로 확보하였습니다.

차원이 다른 고성능, 고용량, 저전력 기술을 모두 담은 주력 제품군

최근 삼성전자는 업계 최고 용량인 32Gb DDR5 D램 개발에 성공했습니다. 향후 고용량 D램 라인업을 지속 확대하여 1TB 용량의 모듈까지 구현할 수 있는 솔루션으로 확장해 나갈 것입니다. 여기에 한 걸음 더 나아가, CMM(CXL Memory Module) 등의 새로운 인터페이스를 적극 활용해, 메모리 대역폭과 용량을 원하는 만큼 확장하는 미래를 꿈꾸고 있습니다.

HBM은 AI 시대에 고객에게 새로운 가치를 제공할 수 있는 핵심 제품 중 하나입니다. 2016년 삼성전자는 HPC 향 HBM2를 업계 최초로 상용화하며 HBM 시장을 본격적으로 개척했고, 이는 오늘날 AI 향 HBM 시장의 초석이 되었습니다. 그리고 현재는 HBM3을 양산 중이고, 차세대 제품인 HBM3E도 정상 개발하고 있습니다. 삼성전자는 앞으로도 다년간의 양산 경험을 통해 검증된 기술력과 다양한 고객과의 파트너십을 적극 활용하여, 최고 성능의 HBM을 제공하고 향후 고객 맞춤형 HBM 제품까지 확장하는 등 최상의 솔루션을 공급할 것입니다.

저전력 특화 제품인 LPDDR D램은 하이케이 메탈 게이트(High-K Metal Gate)^* 공정을 적용하여 고성능을 구현하는 동시에, 모듈 형태로 구현한 LPDDR5X CAMM^*2 솔루션으로 PC 시장은 물론 향후 데이터센터로 응용처를 확대할 계획입니다.

*하이케이 메탈 게이트: 누설전류를 최소화하기 위해 금속 소재 신물질을 게이트단에 적용하는 기술
*CAMM(Compression Attached Memory Module): LPDDR 패키지 기반 모듈 제품

신규 솔루션 발굴을 통한 메모리의 무한한 가능성 확장

메모리 병목현상 개선을 위해 데이터 연산 기능을 메모리 칩 내부 혹은 모듈 레벨에서 구현하는 PIM(Processing-in-Memory), PNM(Processing-near-Memory) 기술을 HBM, CMM 등의 제품에 적용하여, 데이터 연산 능력을 획기적으로 개선하는 동시에 전력 효율을 높이는 데 집중할 것입니다.

서버 스토리지 역시 응용처에 따라 용량을 변화시키고, 페타바이트급으로 확장할 수 있는 PB(Petabyte) SSD를 곧 선보일 예정입니다.

둘째, 미래 준비를 위해 고부가 제품과 선단 공정 생산 비중을 확대하고, R&D 투자를 강화하겠습니다.

삼성전자는 고부가 제품과 선단 공정의 생산 비중을 높이고, 초거대 AI 등 신규 응용처에 대한 메모리 수요에 적기 대응해 사업의 가치를 높이는 데 집중하고 있습니다. 이와 동시에 투자는 지속하면서, 수요 변동성과 메모리 제품의 긴 생산 리드 타임(Lead time)을 극복하기 위해 메모리 라인 운영을 고도화해 나갈 것입니다.

또한, 삼성전자 메모리 사업을 시작한 기흥캠퍼스에 첨단 반도체 R&D 라인을 구축하는 등 미래를 위한 투자를 이어 가도록 하겠습니다.

셋째, 고객과 파트너사와의 강력한 협력 관계를 구축할 것입니다.

고객, 파트너사와의 협력을 확대해 상품기획, 기술개발, 품질 전반에 걸쳐 새로운 제품과 시장을 개척할 것입니다. 예를 들어, 클라우드 서비스 및 세트, 칩셋, 소프트웨어 업체와 함께 제품 사양 정의 단계부터 시작해 데이터 전송 속도 지연 최소화, 대역폭 극대화 구현과 획기적인 전력 효율 향상 등 차세대 시스템과 응용에 최적화된 메모리 솔루션의 공동 개발을 확대해 나갈 것입니다.

동시에 D램과 낸드플래시의 혁신적(Disruptive) 기술 준비를 위해 소재, 장비 등 전 세계 파트너사와의 협력도 강화할 것입니다.

.

다가올 미래를 위한 삼성전자 메모리의 도전

그간 삼성전자가 만들어 왔던 성과와 업적들은 실패를 두려워하지 않는 담대함과 반드시 이루고자 하는 간절함, 그리고 과감한 도전이 있었기에 가능했다고 생각합니다.

앞으로의 미래 사회는 더욱 복잡해질 것이며, IT 산업 발전에 따라 보다 다양한 제품과 새로운 서비스가 등장할 것입니다. 이에 삼성전자는 초일류 기술을 기반으로 지속적인 도전과 혁신을 통해 고객들과 함께 성장하며 더 나은 미래를 열어 갈 것입니다.

오는 10월 20일, 미국 실리콘밸리에서 개최되는 ‘삼성 메모리 테크 데이(Samsung Memory Tech Day) 2023’에서 삼성전자는 최신 메모리 반도체 기술과 제품, 그리고 미래 전략을 소개할 예정입니다. 삼성전자 메모리의 기술력으로 펼쳐질 우리 미래는 어떤 모습일지, 이번 행사를 통해 지켜봐 주시길 바랍니다.

.

The post [기고문] 삼성 메모리의 혁신, 무한한 가능성을 열다 first appeared on 삼성전자 반도체 뉴스룸.

인생맛칩이 새로운 시리즈로 돌아왔습니다. 어렵고 익숙하지 않은 반도체 용어를 쉽고 재미있게 소개하는 ‘반도체어 썰어드립니다(반썰어)’ 시리즈인데요. 오늘 처음으로 파헤쳐 볼 용어는 무엇일까요? 바로 AI의 성능을 획기적으로 높여 줄 지능형 반도체, ‘PIM(Processing In Memory)’입니다.

요즘 어떤 질문에도 척척 대답하는 챗GPT가 연일 화제죠. 질문에 대한 간단한 대답은 물론, 생각을 요하는 광고 문구나 소설까지 작성할 수 있어 4차 산업혁명 시대가 왔다는 것을 실감할 수 있습니다. 그런데, 이 챗GPT에 대해 알아가다 보면, PIM이라는 용어가 종종 함께 등장한다는 사실을 아시나요?

PIM은 메모리 안에 연산장치를 포함한 지능형 반도체로, 메모리와 CPU 간의 데이터 이동을 줄여주는 장치인데요. 지연 현상으로 대답이 단어 단위로 뚝뚝 끊기는 AI에 HBM-PIM*을 더하면 끊김이 없는 대답을 엿볼 수 있다고 합니다. 미래 AI 반도체 산업의 핵심, PIM의 놀라운 잠재력을 더 알고 싶다면, 지금 바로 영상을 시청해보세요.

*HBM-PIM: 삼성전자가 세계 최초로 개발한 기술로 메모리 영역에서 연산 처리가 가능해 CPU와 메모리 간 데이터 이동을 줄여 시스템 성능은 올리고, 에너지 소비는 감소시키는 것이 특징

The post [반썰어 Ep.1] 핵심만 쏙쏙! 어려운 반도체 용어 알기 쉽게 썰어드립니다 – PIM 편 first appeared on 삼성전자 반도체 뉴스룸.

어느새 우리의 일상에 깊이 들어와 있는 인공지능 (Artificial Intelligence, 이하 AI). 우리가 사용하고 있는 많은 서비스들은 음성 인식, 기계 번역과 같은 AI 응용을 활용하고 있으며, 앞으로 더욱 성장할 자율주행, 메타버스 이미지 분류 등의 분야도 AI의 발전에 기반하고 있습니다. 이와 같은 AI 기술을 구현하는 숨은 공신이 바로 메모리 반도체 기술입니다.

현재 AI 응용은 이미지 분류, 음성 인식, 기계 번역 분야에서 널리 활용되고 있는데, 이들 인공지능 시스템의 성능과 에너지 효율을 끌어올리기 위해서는 메모리 솔루션 기술의 발전과 성능 향상이 필수적입니다.

왜 그럴까요? 이 배경을 이해하기 위해서는 폰 노이만 구조에 대한 이해가 필요합니다. 폰 노이만 구조는 오늘날 대부분의 컴퓨팅 시스템에서 사용하는 방식으로, CPU가 주 기억장치인 메모리로부터 명령어를 불러오고 실행하며 그 결과를 다시 기억장치에 저장하는 작업을 순차적으로 진행합니다. 이 과정에서 CPU와 메모리 간 주고받는 데이터가 많아지면 작업 처리가 지연되는 현상이 생깁니다. 이를 ‘폰 노이만 병목현상’이라고 합니다. 따라서 이러한 구조 하에서는 성능 향상에 한계가 있기 때문에, IT 업계에서는 이를 획기적으로 극복할 수 있는 다양한 방안이 논의되고 있습니다.

삼성전자는 이러한 시장의 요구에 부응하고, 메모리 산업이 지속적으로 발전할 수 있도록 하기 위해, 메모리 관점에서 이를 해결할 수 있는 솔루션을 활발하게 개발하고 있습니다. 그러한 노력을 바탕으로 개발된 솔루션 중 하나는, 앞으로 메모리 패러다임을 바꿔나갈 것으로 기대되는 PIM(Processing in memory) 기술입니다.

PIM은 Processing in memory라는 말 그대로 메모리 내에 데이터의 연산 처리를 할 수 있는 logic unit을 탑재한 것입니다. 메모리 내부의 각 뱅크에 인공지능 엔진을 장착하고 데이터의 병렬 처리를 극대화하는 것인데요. 이를 통해 CPU와 메모리 간의 데이터 이동을 줄일 수 있기 때문에 컴퓨팅 시스템, AI 가속기 시스템 등의 전체 성능을 높이고 에너지 효율도 함께 제고할 수 있습니다.

차세대 메모리의 혁신을 이끄는 삼성전자 반도체

이렇게 PIM을 필두로, 삼성전자 반도체는 AI 응용처에 쓰일 다양한 차세대 메모리 솔루션을 활발히 개발하고 상용화하고 있는데요. 이렇게 인류의 미래를 더욱 편리하게 열어나가는 일을 하고 있는 전문가들은 어떤 분들일까요?

삼성전자 반도체 뉴스룸이 차세대 메모리 PIM의 개발과 상용화를 담당하고 있는 전문가들을 직접 만나보았는데요. D램 설계를 담당한 이석한 님, 소프트웨어와 응용 분야를 담당한 노유환 님, 그리고 PIM 제품의 사업화를 담당한 김진현 님과 함께 차세대 메모리의 동향에 대해 이야기를 나눠보았습니다.

Q. 폰 노이만 구조의 한계를 극복하기 위해 반도체 업계가 수십 년간 노력해온 것으로 알고 있습니다. PIM 솔루션이 중장기적으로 폰 노이만 병목현상을 해결하는 데 어떻게 기여할 수 있을까요?

A. PIM은 70년대 이미 컴퓨팅 구조 학계에서 제안되었을 정도로 필요성과 목적이 명확했습니다. 데이터 연산을 위해 메모리 데이터를 CPU에 자주 이동해야만 하는 기존의 폰 노이만 구조에서 CPU와 메모리의 성능 차이에 의한 병목현상은 이미 예견되어 있었기 때문이죠. 다만 이제까지는 메모리의 괄목할 만한 속도 증가와 CPU/GPU들의 병렬 연결을 이용하여 이를 극복해왔지만, 최근에는 인공지능 서비스를 위해 구축한 전체 시스템에서 전력 소모가 감당할 수 없을 정도로 증가하게 됨에 따라 다른 솔루션이 필요했던 상황입니다. PIM은 이러한 문제를 해결할 수 있는 혁신적인 기술인데요, 중장기적인 관점에서는 기하급수적으로 규모가 증가하고 있는 초거대 AI 응용에서 에너지 효율을 높이는데 크게 기여할 것으로 기대하고 있습니다.

Q. 말씀해 주신대로 AI, 빅데이터 처리를 위한 반도체 기술들이 주목을 받고 있는데요. 삼성전자 반도체는 고성능 컴퓨팅에 최적화된 HBM-PIM, LPDDR-PIM, GDDR-PIM 등 PIM(Processing in memory) 기술을 활용한 다양한 솔루션들을 선보이고 있습니다. 삼성전자의 PIM 기술이 기존에 다른 업체들이 해왔던 PIM 기술과 비교해 갖는 차별화 포인트가 있을까요?

A. 삼성전자는 2021년에 업계 최초로 HBM-PIM을 개발했습니다. 이후에도 부품 수준의 성능에 머무르지 않고, 가속기 카드 수준, 그 다음은 가속 서버 레벨, 더 나아가서는 데이터센터를 구성하는 클러스터 레벨까지 기술을 확장하여 왔습니다. 또한 PIM과 같은 새로운 기술 적용에 다소 보수적이었던 데이터센터 및 슈퍼컴퓨팅 업체를 위해, 고객이 바로 사용할 수 있는 실제 인공지능 응용에 PIM 기술을 적용하여 최종 고객 레벨에서 어떠한 성능을 기대할 수 있는지를 시현했습니다.

그동안 반도체 업계에서 제시되어 온 PIM 기술은 CPU 또는 GPU의 기능을 단순히 메모리로 옮겨서 데이터의 이동을 최소화한 것이 대부분이었는데요. 이는 시스템 수준의 비약적인 성능 향상을 가져오거나, 컴퓨팅 구조를 변경시킬 정도의 영향을 끼치지는 못했었습니다. 삼성전자 PIM 기술만이 가진 차별성은 △ 메모리 병렬처리 극대화 △ 인공지능 전용 가속 △ PIM을 지원하는 소프트웨어 제공 △ 현재 업계에서 상용되고 있는 CPU/GPU와 함께 바로 적용 가능한 호환성 (CPU나 GPU의 변경이 필요하지 않음) △ 메모리 셀에 가장 가까운 연산기 배치에 따른 에너지 효율 극대화로 요약할 수 있습니다.

Q. 삼성전자는 2021년 ISSCC 학회에서 PIM을 적용한 HBM을 처음 발표한 바 있는데요. PIM을 본격적으로 개발하기 시작한 시기와 개발 과정에서의 에피소드가 궁금합니다.

A. 우리 회사가 처음 PIM을 개발할 당시에는 어떤 응용을 타겟으로 어떻게 개발할 지에 대한 논의를 위해 상품기획, 개발자들이 모여 많은 시간을 할애하여 치열한 논쟁을 펼쳤습니다. 당시 논의했던 인공지능, 네트워크, 모바일, HPC(High-performance computing) 등의 응용 분야는 아직도 많은 고객들의 요청사항이 접수되고 그들과의 협력이 진행되고 있습니다.

PIM을 처음 개발하던 당시에 저희가 절대 타협하지 않은 부분은, 초기 PIM 제품은 기존 CPU/GPU를 변경하지 않고도 적용이 가능하도록 해야 한다는 것이었고 성능을 위해 D램 셀 가장 근처에 가속 엔진을 병렬로 위치시켜야 한다는 것이었습니다. 또한 외부적인 요인보다도 사업화 측면에서, 이런 중장기적인 기술을 제품에 적용하는 것이 맞는지에 대한 논의가 지속되어 왔지만, 삼성전자만이 할 수 있다는 의지와 함께 PIM 기술이 메모리 기술의 미래가 될 것이라는 신념에는 변함이 없었습니다.

Q. 삼성전자가 PIM을 개발하는 과정에서 학계와의 협력을 비롯해 다른 기업, 연구 기관들과도 적극적인 교류를 해 온 것으로 알고 있습니다. 기술 개발 과정에서 다양한 주체들과 협력한 것이 어떠한 효과를 가져왔는지 설명해주실 수 있으실지요?

A. PIM은 단순히 메모리에 가속 엔진을 넣는 것으로 완성되는 기술이 아닙니다. 메모리에 연산기가 들어가는 순간, 기존에 생각하지 못했던 많은 일들이 일어나기 때문이죠. 또한 PIM을 효과적으로 사용하기 위해서는 가장 적합한 응용을 중심으로 성능 향상과 응용 서비스 생태계가 구축되어야 합니다. 삼성전자는 차세대 IT 시스템들에 PIM의 적용과 확산을 앞당기고 PIM 생태계를 구축하기 위해, 이미 개발된 HBM-PIM로부터 얻은 결과와 PIM 개발 환경을 모두 개방하고, 외부 기업, 국책연구소 등과 다양하게 교류하고 있습니다. PIM의 성공은 훌륭한 제품뿐만 아니라 잘 구축된 생태계에 달려 있기 때문입니다.

Q. 현재까지 PIM 기술은 주로 데이터센터를 운영하는 플랫폼 기업들과 고성능 컴퓨팅이 필요한 슈퍼컴퓨터 등에 활용되고 있습니다. 한편, 삼성전자는 PIM 기술을 HBM뿐 아니라 LPDDR, GDDR 등의 제품으로도 확장하고 있는데요, 이와 같은 기술들이 활용될 수 있는 또 다른 영역은 어떤 것들이 있다고 보시는지요?

A. PIM은 단순한 메모리 제품이 아니라, 컴퓨팅 구조 차원의 메모리 기술이자 솔루션입니다. 사업화 초기에는 응용처를 HPC와 데이터센터로 타겟했기 때문에 HBM에 우선 적용했지만 추후 모바일, 그래픽 영역에도 적용하는 것이 당연한 순서라 볼 수 있습니다.

데이터를 이용하는 응용은 성능 측면에서 컴퓨팅 성능이 중요한 응용과, 메모리 성능을 더 요구하는 응용으로 크게 나눠볼 수 있는데요. PIM이 주목하는 응용은 메모리 성능을 필요로 하는 응용이고, 이런 응용은 빅데이터와 인공지능 시대에는 대부분을 차지하게 될 것입니다. 논리적으로 계산하는 응용보다는 모든 데이터를 모아놓고 답을 얻는 방법이 더 정확하고 빠르다는 것에 주목하고 있기도 하고요. 이러한 메모리 중심의 PIM 응용 사례로는, 인간의 뇌와 같은 저전력 초거대 AI 모델을 활용한 챗봇과 각종 추천 서비스, 실시간 번역 및 음성 인식, 기후나 생명 등 과학 연구를 위한 슈퍼컴퓨팅, 저전력 On-device AI mobile 응용 등 많은 데이터를 저전력으로 활용하여 빠른 연산 처리가 필요한 모든 영역이 될 것으로 예측됩니다.

가까운 미래에 우리의 일상이 될 인공지능 서비스들. AI가 만들어나갈 좀 더 편리하고 스마트한 세상의 핵심에는 메모리 반도체가 있습니다. 상상을 현실로 만들기 위해 오늘도 노력하고 있는 삼성전자 반도체에 많은 응원 부탁드립니다.

The post 삼성전자 전문가에게 직접 듣다! 차세대 메모리 반도체가 본격적으로 열어갈 AI 시대 first appeared on 삼성전자 반도체 뉴스룸.

삼성전자가 반도체 패키징 기술 혁신을 통해 고성능 반도체용 2.5D 패키징 솔루션 ‘H-Cube(Hybrid-Substrate Cube)’를 개발하고, 고성능 반도체공급을 확대합니다.

이종 기판 사용해 고성능·대면적의 효율적 패키징 기술 구현

삼성전자는 기존 2.5D 패키징 솔루션 I-Cube에 이어 이번에 HBM 6개 이상 탑재 가능한 업계 최고 사양의 ‘H-Cube’를 확보하며, 데이터센터·AI·네트워크 등 응용처별 시장에 맞는 맞춤형 반도체를 고객의 니즈에 맞춰 다양한 형태의 패키지로 제공할 수 있게 됐습니다.

삼성전자 ‘H-Cube’는 실리콘 인터포저 위에 CPU, GPU 등의 로직(Logic)과 고대역폭 메모리(HBM)를 배치한 2.5D 패키징 솔루션으로, HPC, 데이터센터, 네트워크 등에 사용되는 고사양 반도체에 사용됩니다.

‘H-Cube’는 고사양 특성 구현이 용이한 메인 기판 아래, 대면적 구현이 가능한 보조 기판을 추가로 사용하는 2단 하이브리드 패키징 구조로, 로직과 함께 HBM 6개 이상을 효율적으로 탑재 가능한 장점이 있습니다.

삼성전자는 메인 기판과 보조 기판을 전기적으로 연결하는 솔더볼(Solder ball)의 간격을 기존 대비 35% 좁혀 기판의 크기를 최소화하며, 다수의 HBM 탑재로 인하여 증가하는 대면적 기판 제작 어려움을 극복했습니다.

또한, 기판 아래 보조 기판을 추가해 시스템 보드와의 연결성을 확보했습니다.

삼성전자는 다수의 로직과 HBM을 적층하면서도 칩에 안정적인 전원을 공급하고 신호의 손실이나 왜곡을 최소화 할 수 있도록 칩 분석 기술도 적용하여 이번 솔루션의 신뢰도를 높였습니다.

파운드리 파트너와 밀접한 협력으로 시스템 반도체 생태계 지속 강화

삼성전자 파운드리사업부 마켓전략팀 강문수 전무는 “‘H-Cube’ 솔루션은 삼성전자와 앰코테크놀로지, 삼성전기가 오랫동안 협력해온 결과로 많은 수의 칩을 집적해야하는 고사양 반도체를 위한 최적의 솔루션”라며, “삼성전자는 앞으로도 파운드리 파트너와의 긴밀한 협력을 통해 기술적 한계를 넘어서는 다양한 패키징 솔루션을 제공해 나갈 것”이라고 밝혔습니다.

앰코테크놀로지 기술연구소 김진영 상무는 “삼성전자와 앰코테크놀로지가 H-Cube 솔루션을 성공적으로 개발하며 HPC, AI 시장에서 요구되는 반도체 시스템 집적 기술 구현의 난관을 극복했다”며, “파운드리와 OSAT(반도체 패키징, 테스트 전문업체)의 협업 관계를 성공적으로 이루어 낸 것에 큰 의미가 있다”고 말했습니다.

한편, 삼성전자는 미국 서부시간 11월 17일(한국시간 11월 18일) 파운드리 생태계 강화를 위한 ‘제 3회 SAFE(Samsung Advanced Foundry Ecosystem) 포럼’을 온라인으로 개최합니다.

이번 행사는 사전 등록(www.samsungfoundry.com)을 통하여 참여 가능합니다.

[참고자료]

□ 2.5D 패키징 기술

 – TSV(Through Silicon Via, 실리콘 관통전극)을 통해 칩과 칩을 수직으로 연결하는 기술로, Si Interposer(실리콘 인터포저)를 통해 수평으로 배치된 여러 칩을 연결

 – 기존 PCB(인쇄 회로 기판)를 통해 칩을 연결하는 것보다 훨씬 높은 밀도의 connectivity를 구현할 수 있고 고성능 AI반도체나 HPC용 반도체에 사용됨

□ 인터포저

 – IC 칩과 PCB(인쇄회로 기판) 상호 간의 회로 폭 차이를 완충시키는 역할을 함. 로직, HBM 등의 칩은 입출력 단자(bump)가 촘촘히 배치되어 있으나, PCB는 고성능 칩과 입출력 단자의 밀도가 약 20배 차이 남.

 – 인터포저는 IC 칩과 PCB 사이에 추가적으로 삽입하는 미세회로 기판을 의미하며, 중간 수준의 배선을 구현해 칩과 기판을 물리적으로 연결해주는 역할을 함

□ 삼성전자 최첨단 2.5D 패키징 솔루션 라인업

 – 2018년, HBM 2개 탑재한 I-Cube 2 개발

 – 2021년, HBM 4개 탑재한 I-Cube 4 개발

 – 2021년, HBM 6개 이상 탑재 가능한 H-Cube 개발

□ HBM(고대역폭 메모리, High Bandwidth Memory)

 – 고대역폭 메모리 규격으로, 데이터를 읽고 쓰는 속도에 따라 세대별로 HBM, HBM2, HBM2E, HBM3 등으로 구분됨

The post 삼성전자, 차세대 2.5D 패키징 솔루션 ‘H-Cube’ 개발 first appeared on 삼성전자 반도체 뉴스룸.

■ 최대 용량, 최저 소비전력 ‘128기가바이트 TSV D램 모듈’ 본격 양산

삼성전자는 지난해 8월 TSV 기술로 ’64기가바이트 DDR4(Double Data Rate 4) D램 모듈’ 양산에 성공해 3차원 D램 시장을 창출한 데 이어, ‘128기가바이트 TSV D램 모듈’ 양산으로 D램 용량 한계를 돌파했습니다.

이번 128기가바이트 TSV D램 모듈은 최고 용량뿐만 아니라 초고속, 초절전, 고신뢰성 등 그린 IT의 요구 사항을 모두 만족해, 차세대 엔터프라이즈 서버와 데이터센터를 위한 최고의 솔루션을 제공합니다.

128기가바이트 D램 모듈에는 삼성전자의 최신 20나노 공정을 적용한 8기가비트(Gb) DDR4 D램 칩 총 144개로 이루어져 있으며, 외관상으로는 각 칩을 TSV적층 기술로 4개씩 쌓은 패키지 36개가 탑재된 모습인데요.

TSV 기술은 기존 와이어(금선)을 이용한 패키지보다 신호 전송 특성이 우수할 뿐만 아니라 최적화된 칩 동작회로를 구성할 수 있어 더욱 빠른 동작속도와 낮은 소비전력을 동시에 구현할 수 있습니다.

특히 이번 128기가바이트 TSV D램 모듈은 기존 와이어(금선)을 이용한 64기가바이트 D램 모듈에 비해 용량뿐만 아니라 속도도 2배 정도 빠른 2,400Mbps를 구현하면서도(최대 3,200Mbps까지 가능) 소비전력량을 50%나 줄일 수 있습니다.

또한 삼성전자는 올해 중에 TSV 기술을 적용해 ‘128기가바이트 DDR4 LRDIMM’ 제품도 연이어 양산해 ‘TSV 풀라인업’을 제공하고, 초고용량 D램 수요 증가세에 맞춰 20나노 8기가비트 D램의 생산 비중을 빠르게 늘려 제조 경쟁력을 한 단계 높일 전략입니다.

삼성전자 메모리사업부 전략마케팅팀 최주선 부사장은 ” 128기가 D램 모듈 양산으로 글로벌 IT 고객들이 투자 효율성을 더욱 높인 차세대 서버 시스템을 적기에 출시할 수 있게 되었다”며, “향후 다양한 분야의 시장 선도 고객들과 기술 협력을 확대하고 글로벌 IT 시장 변화를 가속화해 소비자의 사용편리성을 높이는데 기여해 나갈 것”이라고 강조했습니다.

한편 삼성전자는 TSV 기술을 활용해 대역폭을 크게 끌어올린 차세대 초고속 컴퓨팅용 HBM(High Bandwidth Memory) 제품에 이어 컨슈머 시장용 제품도 적기에 양산해 새로운 프리미엄 메모리 시장 확대를 주도하고 차별화된 사업 위상을 더욱 강화시켜 나갈 예정입니다.

The post 삼성전자, 세계 최초 ‘128기가바이트 D램 모듈’ 양산 first appeared on 삼성전자 반도체 뉴스룸.