삼성전자가 AI시대 초고용량 서버SSD를 위한 ‘1Tb(테라비트) QLC(Quad Level Cell) 9세대 V낸드’를 업계 최초로 양산했다.

* 1Tb(Terabit) V낸드: 1조 비트의 셀을 단일 칩 안에서 구현한 제품
* QLC(Quad Level Cell): 하나의 셀에 4bit 데이터를 기록할 수 있는 구조

삼성전자는 지난 4월 ‘TLC 9세대 V낸드’를 최초 양산한데 이어 QLC 제품까지 선보이며 고용량∙고성능 낸드플래시 시장 리더십을 굳건히 했다.

* TLC(Triple Level Cell): 하나의 셀에 3bit 데이터를 기록할 수 있는 구조

삼성 9세대 V낸드는 독보적인 ‘채널 홀 에칭(Channel Hole Etching)’ 기술을 활용해 더블 스택(Double Stack) 구조로 업계 최고 단수를 구현해냈다.

* 채널 홀 에칭(Channel Hole Etching): 몰드층을 순차적으로 적층한 다음 한번에 전자가 이동하는 홀(채널 홀)을 만드는 기술
* 더블 스택(Double Stack): ‘채널 홀’ 공정을 두 번 진행해 만든 구조

특히 이번 QLC 9세대 V낸드는 셀(Cell)과 페리(Peripheral)의 면적을 최소화해 이전 세대 QLC V낸드 대비 약 86% 증가한 업계 최고 수준의 비트 밀도(Bit Density)를 자랑한다.

* 페리(Peripheral): 셀의 동작을 관장하는 각종 회로들로 구성
* 비트 밀도(Bit Density): 단위 면적당 저장되는 비트(Bit)의 수

V낸드의 적층 단수가 높아질수록 층간, 층별 셀 특성을 균일하게 유지하는 것이 더욱 중요해졌으며, 삼성전자는 이를 위해 ‘디자인드 몰드(Designed Mold)’ 기술을 활용했다.

‘디자인드 몰드’란 셀 특성 균일화, 최적화를 위해 셀을 동작시키는 WL(Word Line)의 간격을 조절하여 적층하는 기술로, 데이터 보존 성능을 이전 제품보다 약 20% 높여 제품 신뢰성을 향상시켰다.

* 몰드(Mold): 셀을 동작시키는 Word Line의 층
* WL(Word Line): 트랜지스터의 on/off를 담당하는 배선

이번 9세대 QLC는 셀의 상태 변화를 예측하여 불필요한 동작을 최소화하는 ‘예측 프로그램(Predictive Program) 기술’ 혁신을 통해 이전 세대 QLC 제품 대비 쓰기 성능은 100%, 데이터 입출력 속도는 60% 개선했다.

또한 낸드 셀을 구동하는 전압을 낮추고 필요한 BL(Bit Line)만 센싱해 전력 소모를 최소화한 ‘저전력 설계 기술’을 통해 데이터 읽기, 쓰기 소비 전력도 각각 약 30%, 50% 감소했다.

* BL(Bit Line): 데이터 쓰기, 읽기 역할을 담당하는 배선. WL(Word Line)과 함께 Cell Array를 이룸

삼성전자 메모리사업부 Flash개발실 허성회 부사장은 “9세대 TLC 양산 4개월 만에 9세대 QLC V낸드 또한 양산에 성공함으로써 AI용 고성능, 고용량 SSD 시장이 요구하는 최신 라인업을 모두 갖췄다”며, “최근 AI향으로 수요가 급증하고 있는 기업용 SSD 시장에서의 리더십이 더욱 부각될 것”이라고 밝혔다.

삼성전자는 브랜드 제품을 시작으로 향후 모바일 UFS, PC 및 서버SSD 등 QLC 9세대 V낸드 기반 제품 응용처를 점차 확대할 계획이다.

* UFS: Universal Flash Storage

The post 삼성전자, 업계 최초 ‘QLC 9세대 V낸드’ 양산 first appeared on 삼성전자 반도체 뉴스룸.

글로벌 반도체 학회 ‘MemCon 2024’는 AI 시대에 걸맞은 미래 메모리 솔루션에 대해 깊이 있게 다루는 장으로 다양한 글로벌 IT 기업들이 참여했다.

삼성전자는 이번 ‘MemCon 2024’에서 미래 컴퓨팅 패러다임의 초석, HBM과 CXL 솔루션에 대해 발표하고 업계 리더로서의 비전을 공유했다. HBM은 AI에 필요한 필수적인 속도와 극한의 대역폭을 제공하며, CXL은 여러 개의 인터페이스를 하나로 통합해 용량과 대역폭을 확장시킨다.

.

☐ 메모리 기술 혁신 없이는 인공지능 발전이 계속될 수 없다

삼성전자는 1992년부터 30년 이상 메모리 제품 기술 분야에서의 리더십을 바탕으로 선제적인 투자를 했으며, 이를 바탕으로 적시에 최고 품질의 제품을 공급해왔다.

최근 몇 년 메모리 시장 침체에도 불구하고 삼성전자는 기술 개발과 시설 투자에 자원을 아끼지 않았으며, 작년 D램 41%, 낸드플래시 32%의 시장 점유율을 기록하는 등 메모리 시장에서 굳건한 리더십을 이어가고 있다.

AI 기술 성장에는 메모리 반도체의 발전이 필수적이다. 시스템 고성능화를 위한 고대역폭, 저전력 메모리는 물론 새로운 인터페이스와 적층 기술도 요구되고 있다.

삼성전자는 D램 기술 초격차 유지를 위해 10nm 이하 D램에 수직 채널 트랜지스터(VCT, Vertical Channel Transistor)를 활용하는 새로운 구조에 대한 선제적인 연구 개발을 진행하고 있으며, 2030년 3D D램 상용화에 나설 계획이다.

.

☐ 삼성전자, AI 시대의 메모리 솔루션 준비 현황

2024년 하반기는 HBM 공급 개선으로 AI 서버 확산이 가속화될 뿐만 아니라, Conventional 서버와 스토리지 수요도 증가하는 선순환이 뚜렷하게 나타날 것으로 예상된다.

삼성전자는 2016년 업계 최초로 고성능 컴퓨팅(HPC)용 HBM 사업화를 시작하며, AI용 메모리 시장을 본격적으로 개척했고, 2016년부터 2024년까지 예상되는 총 HBM 매출은 100억 불이 넘을 것으로 전망된다.

삼성전자는 HBM3E 8단 제품에 대해 지난달부터 양산에 들어갔으며, 업계 내 고용량 제품에 대한 고객 니즈 증가세에 발맞추어 업계 최초로 개발한 12단 제품도 2분기 내 양산할 예정으로 Ramp-up 또한 가속화할 계획이다.

앞으로 삼성전자는 성장하는 생성형 AI용 수요 대응을 위해 HBM 캐파 확대와 함께 공급을 지속 늘려나갈 것이다.

한편 온디바이스 AI(On-Device AI) 관련 제품 또한 확대 중이다. PC·노트북 D램 시장의 판도를 바꿀 LPCAMM2를 2023년 9월 업계 최초로 개발했고, 기존 LPDDR 대비 고대역폭을 가지고 있어 기기에서 생성되는 데이터를 실시간으로 처리할 수 있는 LLW(Low Latency Wide I/O)를 개발 중에 있다.

또한 기존 D램과 공존하며 시스템 내 대역폭과 용량을 확장할 수 있는 CMM-D는 거대 데이터 처리가 요구되는 차세대 컴퓨팅 시장에서 주목받을 것으로 예상되며, 삼성전자는 CXL 메모리 생태계 구축을 위해 제품 개발 및 사업 협력을 선도하고 있다.

이 밖에도 미래 AI 시대를 대비하기 위해 컴퓨테이셔널 메모리(Computational Memory), 첨단 패키지(Advanced Package) 기술 등을 통해 새로운 솔루션 발굴을 추진하고 있다.

.

☐ 고객 맞춤형으로 진화하는 차세대 HBM

최근 HBM에는 맞춤형(Custom) HBM이라는 표현이 붙기 시작했다. 이는 AI 반도체 시장에서 메모리 반도체가 더 이상 범용 제품이 아니라는 것을 의미한다고 볼 수 있다.

삼성전자는 고객별로 최적화된 ‘맞춤형 HBM’ 제품으로 주요 고객사들의 수요를 충족시킬 계획이다. HBM 제품은 D램 셀을 사용하여 만든 코어 다이와 SoC와의 인터페이스를 위한 버퍼 다이로 구성되는데, 고객들은 버퍼 다이 영역에 대해 맞춤형 IP 설계를 요청할 수 있다.

이는 HBM 개발 및 공급을 위한 비즈니스 계획에서부터 D램 셀 개발, 로직 설계, 패키징 및 품질 검증에 이르기까지 모든 분야에서 차별화 및 최적화가 주요 경쟁 요인이 될 것임을 의미한다.

.

☐ 차세대 HBM 초격차를 위해 종합 반도체 역량 활용

변화무쌍한 AI 시대에서 고객들이 원하는 시스템 디자인을 완벽히 이해하고, 미래 기술 환경까지 고려해 시스템의 발전을 예측하고 주도하기 위해서는 종합 반도체 역량을 십분 활용해야 한다.

삼성전자는 차세대 HBM 초격차 달성을 위해 메모리뿐만 아니라 파운드리, 시스템LSI, AVP의 차별화된 사업부 역량과 리소스를 총 집결해 경계를 뛰어넘는 차세대 혁신을 주도해 나갈 계획이다.

이를 위해 삼성전자는 올 초부터 각 사업부의 우수 엔지니어들을 한데 모아 차세대 HBM 전담팀을 구성해 맞춤형 HBM 최적화를 위한 연구 및 개발에 박차를 가하고 있다.

삼성전자는 업계에서 단시간에 따라올 수 없는 종합 반도체 역량을 바탕으로 AI 시대에 걸맞은 최적의 솔루션을 지속적으로 선보일 예정이다.

The post [기고문] 종합 반도체 역량으로 AI 시대에 걸맞은 최적 솔루션 선보일 것 first appeared on 삼성전자 반도체 뉴스룸.

전 세계적인 AI 열풍 속에서 관련 하드웨어, 소프트웨어 등이 급성장함에 따라 AI가 인간의 지적 수준까지 발전하고 있다. 삼성전자는 초거대 AI 시장을 대응하기 위해 DDR5(Double Data Rate 5), HBM(High Bandwidth Memory), CMM(CXL Memory Module) 등 응용별 요구 사항에 기반한 다양한 메모리 포트폴리오를 시장에 제시하고 공급 중이다.

삼성전자는 다가오는 ‘CES 2024’에서 AI용 최첨단 메모리 솔루션을 대거 공개하고, 업계 리더로서 압도적인 기술력을 선보일 계획이다.

.

AI 기술 진보에 정해진 한계와 영역은 없다

AI는 우리 삶의 모든 영역에서 근본적인 변화를 만들어 내고 있다. 직장에서는 문서 작업, 데이터 분석 등에서 생산성 극대화를 이끌어 내고 있고, 집에서는 다양하고 편리한 서비스를 통해 우리 삶을 윤택하고 즐겁게 만들고 있다. 이제는 ChatGPT 같은 생성형 AI 서비스가 우리 삶에 새로운 패러다임을 가져왔다고 해도 과언이 아니다.

AI는 클라우드에서 처음 시작됐지만, 현재는 다른 응용과 플랫폼으로 급속히 확산되고 있다.  보안과 응답성 등을 고려해 스마트폰, 컴퓨터, 자동차 등 단말단에서의 온디바이스 AI(On-Device AI) 구현이 필요한 상황으로, 충분한 컴퓨팅과 메모리를 탑재하기 위한 기술적 검토가 적극 진행되고 있다.

현재 가장 핵심이 되고 있는 클라우드(Cloud), 온디바이스(PC/Client/Mobile) AI, 차량(Automotive) 세 가지 영역의 기술 동향과 메모리 요구 사항을 살펴보고, 삼성전자의 핵심 포트폴리오를 소개하고자 한다.

……………………..

AI 기술 혁신을 이끌 클라우드용 솔루션 ‘HBM3E, DDR5, MRDIMM, PCIe Gen5 SSD’

데이터센터는 AI 관련 연산 처리와 원활한 서비스를 위한 핵심 인프라로 ChatGPT, Bard, Bing Chat 등이 데이터센터를 통해 제공되는 대표적인 서비스이다.

단시간에 수십억 개의 파라미터와 수많은 데이터가 오고 가는 상황에서 메모리 대역폭과 용량이 충분하지 않다면 전체 시스템에서 병목 현상을 일으킬 수 있고, GPU를 충분히 활용할 수 없는 상황이 생길 수 있다.

이러한 AI 응용을 서비스하는 데이터센터를 운영하는데 있어 가장 큰 고민은 결국 ‘총 소유 비용(TCO, Total Cost of Ownership)’이다. TCO를 줄이기 위한 업계의 노력은 지속되고 있으며, 특히 메모리 성능, 용량 요구도 다양해지고 있다. 이에 삼성전자는 모든 업체들이 선택 가능한 클라우드용 최적 솔루션을 제시하고 있다.

HBM3E 샤인볼트(Shinebolt)

현재 AI용 메모리로 주목받고 있는 ‘HBM3E’는 12단(적층) 기술을 활용해 최대 1,280GB/s의 대역폭과 최대 36GB(기가바이트)의 고용량을 제공한다.

기존 HBM3 제품 대비 성능과 용량이 50% 이상 개선됐으며, 초거대 AI 모델이 요구하는 메모리 성능과 용량을 만족시킬 것으로 기대된다.

32Gb DDR5 D램

삼성전자는 작년 9월 업계 최초로 12나노급 공정을 활용해 32Gb(기가비트) DDR5 고용량 제품을 개발했으며, 현재 주요 칩셋 업체와 고객에게 샘플을 공급 중이다.

동일 패키지 사이즈에서 TSV(Through Silicon Via) 공정 없이 128GB의 고용량 모듈 구현이 가능하며, TSV 적용 시 최대 1TB(테라바이트)의 모듈까지 지원한다.

또한 기존 16Gb 기반 128GB 모듈 대비 약 40%의 소비 전력을 개선했으며, 최대 7.2Gbps의 속도를 지원해 생성형 AI용 고용량 서버의 핵심 솔루션이 될 것으로 기대된다.

MRDIMM

삼성전자는 기존 RDIMM 대비 데이터 전송 채널을 2배로 늘려 성능을 2배 높인 MRDIMM(Multiplexed Rank DIMM)을 개발하고, 작년 하반기 주요 칩셋 업체와 검증을 완료했다. 이 제품은 8.8Gbps의 속도를 지원하며, HPC 등 고사양 메모리를 요구하는 AI 응용처에 적극 채용될 것으로 예상된다. 삼성전자는 향후 32Gb DDR5를 활용해 고성능, 고용량, 저전력에 차별화된 MRDIMM 제품을 제공할 예정이다.

PCIe Gen5 SSD ‘PM9D3a’

PM9D3a는 PCIe Gen5를 지원하는 8채널 컨트롤러 기반 제품으로, 기존 제품 대비 연속 읽기속도는 최대 2.3배 향상됐고, 소비 전력은 60% 개선된 업계 최고의 전력 효율을 제공한다.

삼성전자는 뛰어난 확장성을 바탕으로 작년 7.68TB와 15.36TB 2.5인치 규격 제품을 개발한데 이어, 올해 상반기에는 3.84TB 이하의 저용량부터 최대 30.72TB 제품까지 다양한 라인업과 폼팩터를 제공할 계획이다. 이 제품은 다양한 신규 서버 시스템에 장착되어 고성능 스토리지 서비스 구현을 가능하게 할 것이다.

고성능·저전력 온디바이스 AI용 솔루션 ‘LPDDR5X, LPDDR5X CAMM2, LLW, PCIe Gen5 SSD’

단말단에서 AI 특정 서비스 구현을 위해서는 단말 자체에 다수의 AI 모델을 저장하고 처리해야 되며, 이를 위해서는 스토리지에 저장되어 있던 AI 모델이 1초 이내로 메모리에 로딩되어야 한다.

또한 AI 모델 사이즈가 커질수록 결과의 정확도는 높아지기 때문에, 원활한 AI 서비스를 제공하기 위해서는 단말 자체에서도 고성능, 고용량 메모리가 필수적이다.

LPDDR5X D램

삼성전자는 LPDDR 표준 기반 최고 속도 9.6Gbps를 지원하는 LPDDR5X 제품을 개발 중이다. 하이케이 메탈 게이트(High-K Metal Gate, HKMG) 기술을 활용해 이전 세대 대비 전력 효율을 30% 개선하고, 표준 패키지 솔루션을 지원해 응용처별 최적 포트폴리오를 제공한다.

LPDDR5X CAMM2

작년 9월 삼성전자는 LPDDR D램 기반 7.5Gbps LPDDR5X CAMM2(Compression Attached Memory Module)를 업계 최초로 개발했으며, 현재 주요 파트너들에게 샘플을 제공하고 검증을 진행 중이다. 이 제품은 PC·노트북 D램 시장의 판도를 바꿀 제품으로, 삼성전자는 AI, HPC, 서버, 데이터센터 등 응용처 확대를 위해 주요 고객과 논의 중에 있다.

LLW D램

LLW(Low latency Wide I/O) D램은 128GB/s의 초고성능, 저지연 특성에 최적화된 제품이다. 1.2pJ/b의 매우 낮은 전력으로 구동하며, 즉각적인 대응이 필요한 AI 모델을 단말단에서 구동하는데 적합한 솔루션이다.

* pJ/b: 비트당 소비되는 에너지

PCIe Gen5 SSD ‘PM9E1’

PM9E1은 PCIe 5.0을 지원하는 8채널 컨트롤러 기반 PC/Client OEM용 SSD제품으로, 올해 6월 개발될 예정이다. 이전 세대 대비 연속 읽기속도는 2배 향상되고, 33%의 개선된 전력 효율을 제공한다. 초거대 언어 모델(LLM)을 1초내 D램에 전송할 수 있어 온디바이스 AI 시대를 열어가는데 최적화된 제품이 될 전망이다.

2025년 전장 메모리 시장 1위 달성을 위한 차량용 솔루션 ‘Detachable Auto SSD’

자율주행이 고도화됨에 따라 차량 시스템 구조는 여러 개의 차량 전자제어장치(Electronic Control Unit, ECU)를 가진 ‘분산형 구조’에서 각 영역의 제어 기능이 통합된 ‘중앙 집중형 구조’로 변화하고 있다. 이에 따라 고성능, 고용량뿐 아니라, 여러 개의 SoC와 데이터를 공유할 수 있는 Shared SSD에 대한 요구가 점차 증가하고 있다.

삼성전자는 다양한 차량용 신제품과 신기술을 선보이며, 2025년 전장 메모리 1위 달성을 위해 박차를 가하고 있다.

Detachable AutoSSD

세계 최초 탈부착이 가능한 차량용 SSD로, 스토리지 가상화를 통해 하나의 SSD를 분할해 여러 개의 SoC가 사용할 수 있는 제품이다. 기존 제품 대비 용량은 4배(1TB→ 4TB), 임의 쓰기속도는 약 4배(240K IOPS→ 940K IOPS) 향상됐으며, 교체가 가능한 E1.S 기반의 폼팩터를 제공한다.

삼성전자는 현재 유럽 주요 완성차, 티어1 고객들과 세부 사양 협의를 진행하고 있으며, 올해 1분기내 기술적 검증(PoC)을 완료할 계획이다.

.

삼성전자 메모리 상품기획실 신설, 새로운 도약을 준비하다

삼성전자는 급변하는 기술과 시장 환경에 민첩하게 대응하기 위해 작년 12월 메모리 상품기획실을 신설하고, 본격적인 미래 준비에 박차를 가하고 있다.

……………………..

메모리 컨트롤 타워 역할로 미래 제시

상품기획실은 ‘Business Coordinator 전문가 조직’을 표방하고, 제품 기획부터 사업화 단계까지 전 영역을 담당하며 고객 기술 대응 부서들을 하나로 통합해 만든 조직이다.

그동안 분산되어 있던 센싱, 동향 분석, 상품 기획, 표준화, 사업화, 기술 지원 등 모든 기능이 상품기획실로 흡수되어 ▲기술 동향 분석을 통한 ‘초격차’를 지향하는 경쟁력 있는 제품 기획 ▲’급변하는 대내외 변화’를 고려한 제품 개발 관리 ▲’개별화된 고객 요구’에 대한 적극 대응을 통해 메모리 시장에서의 기술 리더십을 확고히 할 계획이며, 대내외 컨트롤 타워 역할을 수행할 예정이다.

또한 중장기 로드맵 기반으로 연구소, 개발실과 요소 기술 선행 준비 등 새로운 도약을 위한 미래 준비에 더욱 집중할 계획이다.

고객사 요구를 반영한 미래 솔루션, 신사업 발굴

AI의 폭발적인 성장은 급진적인 메모리 발전도 요구하고 있다. DDR6, HBM4, GDDR7, PCIe Gen6, LPDDR6, UFS 5.0 등 시스템의 고성능화를 지원할 수 있는 고대역폭, 저전력 메모리는 물론 CMM, 첨단 패키지 등 새로운 인터페이스와 적층 기술도 요구되고 있다.

삼성전자는 맞춤형 HBM(Custom HBM), 컴퓨테이셔널 메모리(Computational Memory) 등 새로운 솔루션과 사업 발굴을 통해 메모리 패러다임의 변화를 선도해 나갈 것이다.

메모리 기술 혁신의 열쇠 ‘맞춤형 HBM D램(Custom HBM)’

AI 플랫폼의 성장으로 고객 맞춤형(용량, 성능, 특화 기능 등) HBM에 대한 요구가 증가하고 있으며, 이에 삼성전자는 주요 데이터센터, CPU/GPU 선두 업체들과 긴밀한 협업을 진행 중이다. 맞춤형 HBM D램은 향후 메모리 반도체 기술 한계 극복을 위한 돌파구 역할을 할 것이다.

삼성전자는 고객들의 개별화된 요구에 대응하기 위해 차세대 HBM4부터 버퍼 다이(Buffer Die)에 선단 로직 공정을 활용할 예정이다.

삼성전자만이 보유하고 있는 메모리, 파운드리, 시스템 LSI 등 종합 역량과 차세대 D램 공정, 최첨단 패키지 기술로 향후 새로운 시장 변화에 맞춰 최적의 솔루션을 제공해 나간다는 전략이다.

AI 시대를 이끌 ‘CMM’

CMM-D(CXL Memory Module DRAM)는 기존 메인 D램과 공존하면서 대역폭과 용량을 확장할 수 있어 AI, 머신러닝 등 고속의 데이터 처리가 요구되는 차세대 컴퓨팅 시장에서 주목받고 있다.

삼성전자는 2021년 5월 세계 최초 CMM-D 기술 개발을 시작으로, 업계 최고 용량의 512GB CMM-D 개발, CMM-D 2.0 개발 등에 성공하며 업계를 선도하고 있다. 또한, 현재 256GB CMM-D 샘플 공급이 가능한 유일한 업체로서 다양한 파트너사와의 긴밀한 협력을 통해 CXL 메모리 생태계를 구축하고 있다.

메모리의 새로운 패러다임 ‘PIM’

PIM(Processing-in-Memory)은 메모리 내부에 연산 작업에 필요한 프로세서 기능을 더한 차세대 융합 기술로, CPU와 메모리 간 데이터 이동이 줄어들어 AI 가속기 시스템의 에너지 효율을 높일 수 있다.

삼성전자는 2021년 세계 최초로 HBM-PIM을 개발했으며, 주요 칩셋 업체와 협력을 통해 기존 GPU 가속기 대비, 평균적으로 성능은 약 2배 증가, 에너지 소모는 약 50% 감소했음을 확인했다. 삼성전자는 PIM 응용을 확대하기 위해 AI 가속기용 HBM-PIM과 온디바이스 AI용 LPDDR-PIM 상용화에 박차를 가하고 있다.

용량의 한계를 뛰어 넘은 대용량 SSD 구독 서비스, PBSSD as a Service

PBSSD as a Service는 고객이 초고용량 SSD 솔루션을 구매하는 대신 서비스를 사용하는 사업 모델이다. 고객에게 PB(페타바이트) 규모의 대용량 SSD 솔루션을 구독 서비스로 제공해 고객의 스토리지 인프라 초기 투자 비용을 낮추고, 유지 보수 비용을 절감하는데 기여할 것으로 기대된다.

전 세계 고객과 강력한 파트너십 구축

메모리는 또 한 번의 기술 변곡점을 맞이하고 있고, AI 시대에서 반도체 성장 가능성은 크고 무궁무진하다. 새로운 제품과 시장을 개척하기 위해서는 전 세계 파트너, 고객들과의 강력한 협력이 필수다.

고객과의 협력 인프라를 제공하는 ‘삼성 메모리 리서치 센터’

삼성전자는 ‘삼성 메모리 리서치 센터(SMRC)’를 기반으로 파트너와의 긴밀한 협력을 통해 차세대 메모리를 준비하고 있다.

SMRC는 삼성전자의 메모리 제품을 탑재한 고객사에 자사 서버의 하드웨어와 소프트웨어의 최적 조합을 분석하고 성능을 평가할 수 있도록 제공하는 플랫폼으로, 고객과의 차별화된 협력을 가능하게 한다.

작년 삼성전자는 VMware와 가상화 시스템 구현을 위한 기술 협력을 추진해 업계 최초로 PCIe Gen5 SSD(PM1743)가 VMware 솔루션에서 최적의 성능을 구현함을 확인했고, Red Hat의 최신 서버용 운영체제에서 CXL 메모리 동작 검증을 마치는 등 SMRC를 통해 소프트웨어 업체와의 파트너십을 공고히 했다.

현장 근접 기술 지원을 위한 ‘TECx’

삼성전자는 글로벌 고객사에 원활한 기술 서비스를 제공하고, 긴밀한 협업을 진행하기 위해 주요 국가별로 TEC(Technology Enabling Center)를 운영하고 있으며, 점차 지역을 확대해 작년부터 대만에도 기술 지원 조직(TECx, TEC extension)을 구축했다.

대내적으로는 DDR5, LPDDR5X, CMM, PCIe Gen5 SSD 등의 신규 제품과 기술을 선단에서부터 검증하는 등 시스템 인증을 지원하고, 대외적으로는 현지에서의 즉각적인 기술 대응이 가능해 고객 CRM(Customer Relationship Management)을 높이고 있다. 향후 TECx는 지속적인 기술 협업을 주도하며 고객의 No.1 협업 파트너 역할을 수행할 것으로 기대된다.

2024년 반도체 시장과 기술의 판도 변화가 급속히 진행 중인 가운데 삼성전자는 미래 기술 리더십과 고객과의 동반 성장을 이어가기 위해 담대한 도전을 지속해 나갈 것이다.

The post [기고문] AI 시대, 최적 메모리 솔루션으로 미래 기술을 그리다 first appeared on 삼성전자 반도체 뉴스룸.

어느새 우리의 일상에 깊이 들어와 있는 인공지능 (Artificial Intelligence, 이하 AI). 우리가 사용하고 있는 많은 서비스들은 음성 인식, 기계 번역과 같은 AI 응용을 활용하고 있으며, 앞으로 더욱 성장할 자율주행, 메타버스 이미지 분류 등의 분야도 AI의 발전에 기반하고 있습니다. 이와 같은 AI 기술을 구현하는 숨은 공신이 바로 메모리 반도체 기술입니다.

현재 AI 응용은 이미지 분류, 음성 인식, 기계 번역 분야에서 널리 활용되고 있는데, 이들 인공지능 시스템의 성능과 에너지 효율을 끌어올리기 위해서는 메모리 솔루션 기술의 발전과 성능 향상이 필수적입니다.

왜 그럴까요? 이 배경을 이해하기 위해서는 폰 노이만 구조에 대한 이해가 필요합니다. 폰 노이만 구조는 오늘날 대부분의 컴퓨팅 시스템에서 사용하는 방식으로, CPU가 주 기억장치인 메모리로부터 명령어를 불러오고 실행하며 그 결과를 다시 기억장치에 저장하는 작업을 순차적으로 진행합니다. 이 과정에서 CPU와 메모리 간 주고받는 데이터가 많아지면 작업 처리가 지연되는 현상이 생깁니다. 이를 ‘폰 노이만 병목현상’이라고 합니다. 따라서 이러한 구조 하에서는 성능 향상에 한계가 있기 때문에, IT 업계에서는 이를 획기적으로 극복할 수 있는 다양한 방안이 논의되고 있습니다.

삼성전자는 이러한 시장의 요구에 부응하고, 메모리 산업이 지속적으로 발전할 수 있도록 하기 위해, 메모리 관점에서 이를 해결할 수 있는 솔루션을 활발하게 개발하고 있습니다. 그러한 노력을 바탕으로 개발된 솔루션 중 하나는, 앞으로 메모리 패러다임을 바꿔나갈 것으로 기대되는 PIM(Processing in memory) 기술입니다.

PIM은 Processing in memory라는 말 그대로 메모리 내에 데이터의 연산 처리를 할 수 있는 logic unit을 탑재한 것입니다. 메모리 내부의 각 뱅크에 인공지능 엔진을 장착하고 데이터의 병렬 처리를 극대화하는 것인데요. 이를 통해 CPU와 메모리 간의 데이터 이동을 줄일 수 있기 때문에 컴퓨팅 시스템, AI 가속기 시스템 등의 전체 성능을 높이고 에너지 효율도 함께 제고할 수 있습니다.

차세대 메모리의 혁신을 이끄는 삼성전자 반도체

이렇게 PIM을 필두로, 삼성전자 반도체는 AI 응용처에 쓰일 다양한 차세대 메모리 솔루션을 활발히 개발하고 상용화하고 있는데요. 이렇게 인류의 미래를 더욱 편리하게 열어나가는 일을 하고 있는 전문가들은 어떤 분들일까요?

삼성전자 반도체 뉴스룸이 차세대 메모리 PIM의 개발과 상용화를 담당하고 있는 전문가들을 직접 만나보았는데요. D램 설계를 담당한 이석한 님, 소프트웨어와 응용 분야를 담당한 노유환 님, 그리고 PIM 제품의 사업화를 담당한 김진현 님과 함께 차세대 메모리의 동향에 대해 이야기를 나눠보았습니다.

Q. 폰 노이만 구조의 한계를 극복하기 위해 반도체 업계가 수십 년간 노력해온 것으로 알고 있습니다. PIM 솔루션이 중장기적으로 폰 노이만 병목현상을 해결하는 데 어떻게 기여할 수 있을까요?

A. PIM은 70년대 이미 컴퓨팅 구조 학계에서 제안되었을 정도로 필요성과 목적이 명확했습니다. 데이터 연산을 위해 메모리 데이터를 CPU에 자주 이동해야만 하는 기존의 폰 노이만 구조에서 CPU와 메모리의 성능 차이에 의한 병목현상은 이미 예견되어 있었기 때문이죠. 다만 이제까지는 메모리의 괄목할 만한 속도 증가와 CPU/GPU들의 병렬 연결을 이용하여 이를 극복해왔지만, 최근에는 인공지능 서비스를 위해 구축한 전체 시스템에서 전력 소모가 감당할 수 없을 정도로 증가하게 됨에 따라 다른 솔루션이 필요했던 상황입니다. PIM은 이러한 문제를 해결할 수 있는 혁신적인 기술인데요, 중장기적인 관점에서는 기하급수적으로 규모가 증가하고 있는 초거대 AI 응용에서 에너지 효율을 높이는데 크게 기여할 것으로 기대하고 있습니다.

Q. 말씀해 주신대로 AI, 빅데이터 처리를 위한 반도체 기술들이 주목을 받고 있는데요. 삼성전자 반도체는 고성능 컴퓨팅에 최적화된 HBM-PIM, LPDDR-PIM, GDDR-PIM 등 PIM(Processing in memory) 기술을 활용한 다양한 솔루션들을 선보이고 있습니다. 삼성전자의 PIM 기술이 기존에 다른 업체들이 해왔던 PIM 기술과 비교해 갖는 차별화 포인트가 있을까요?

A. 삼성전자는 2021년에 업계 최초로 HBM-PIM을 개발했습니다. 이후에도 부품 수준의 성능에 머무르지 않고, 가속기 카드 수준, 그 다음은 가속 서버 레벨, 더 나아가서는 데이터센터를 구성하는 클러스터 레벨까지 기술을 확장하여 왔습니다. 또한 PIM과 같은 새로운 기술 적용에 다소 보수적이었던 데이터센터 및 슈퍼컴퓨팅 업체를 위해, 고객이 바로 사용할 수 있는 실제 인공지능 응용에 PIM 기술을 적용하여 최종 고객 레벨에서 어떠한 성능을 기대할 수 있는지를 시현했습니다.

그동안 반도체 업계에서 제시되어 온 PIM 기술은 CPU 또는 GPU의 기능을 단순히 메모리로 옮겨서 데이터의 이동을 최소화한 것이 대부분이었는데요. 이는 시스템 수준의 비약적인 성능 향상을 가져오거나, 컴퓨팅 구조를 변경시킬 정도의 영향을 끼치지는 못했었습니다. 삼성전자 PIM 기술만이 가진 차별성은 △ 메모리 병렬처리 극대화 △ 인공지능 전용 가속 △ PIM을 지원하는 소프트웨어 제공 △ 현재 업계에서 상용되고 있는 CPU/GPU와 함께 바로 적용 가능한 호환성 (CPU나 GPU의 변경이 필요하지 않음) △ 메모리 셀에 가장 가까운 연산기 배치에 따른 에너지 효율 극대화로 요약할 수 있습니다.

Q. 삼성전자는 2021년 ISSCC 학회에서 PIM을 적용한 HBM을 처음 발표한 바 있는데요. PIM을 본격적으로 개발하기 시작한 시기와 개발 과정에서의 에피소드가 궁금합니다.

A. 우리 회사가 처음 PIM을 개발할 당시에는 어떤 응용을 타겟으로 어떻게 개발할 지에 대한 논의를 위해 상품기획, 개발자들이 모여 많은 시간을 할애하여 치열한 논쟁을 펼쳤습니다. 당시 논의했던 인공지능, 네트워크, 모바일, HPC(High-performance computing) 등의 응용 분야는 아직도 많은 고객들의 요청사항이 접수되고 그들과의 협력이 진행되고 있습니다.

PIM을 처음 개발하던 당시에 저희가 절대 타협하지 않은 부분은, 초기 PIM 제품은 기존 CPU/GPU를 변경하지 않고도 적용이 가능하도록 해야 한다는 것이었고 성능을 위해 D램 셀 가장 근처에 가속 엔진을 병렬로 위치시켜야 한다는 것이었습니다. 또한 외부적인 요인보다도 사업화 측면에서, 이런 중장기적인 기술을 제품에 적용하는 것이 맞는지에 대한 논의가 지속되어 왔지만, 삼성전자만이 할 수 있다는 의지와 함께 PIM 기술이 메모리 기술의 미래가 될 것이라는 신념에는 변함이 없었습니다.

Q. 삼성전자가 PIM을 개발하는 과정에서 학계와의 협력을 비롯해 다른 기업, 연구 기관들과도 적극적인 교류를 해 온 것으로 알고 있습니다. 기술 개발 과정에서 다양한 주체들과 협력한 것이 어떠한 효과를 가져왔는지 설명해주실 수 있으실지요?

A. PIM은 단순히 메모리에 가속 엔진을 넣는 것으로 완성되는 기술이 아닙니다. 메모리에 연산기가 들어가는 순간, 기존에 생각하지 못했던 많은 일들이 일어나기 때문이죠. 또한 PIM을 효과적으로 사용하기 위해서는 가장 적합한 응용을 중심으로 성능 향상과 응용 서비스 생태계가 구축되어야 합니다. 삼성전자는 차세대 IT 시스템들에 PIM의 적용과 확산을 앞당기고 PIM 생태계를 구축하기 위해, 이미 개발된 HBM-PIM로부터 얻은 결과와 PIM 개발 환경을 모두 개방하고, 외부 기업, 국책연구소 등과 다양하게 교류하고 있습니다. PIM의 성공은 훌륭한 제품뿐만 아니라 잘 구축된 생태계에 달려 있기 때문입니다.

Q. 현재까지 PIM 기술은 주로 데이터센터를 운영하는 플랫폼 기업들과 고성능 컴퓨팅이 필요한 슈퍼컴퓨터 등에 활용되고 있습니다. 한편, 삼성전자는 PIM 기술을 HBM뿐 아니라 LPDDR, GDDR 등의 제품으로도 확장하고 있는데요, 이와 같은 기술들이 활용될 수 있는 또 다른 영역은 어떤 것들이 있다고 보시는지요?

A. PIM은 단순한 메모리 제품이 아니라, 컴퓨팅 구조 차원의 메모리 기술이자 솔루션입니다. 사업화 초기에는 응용처를 HPC와 데이터센터로 타겟했기 때문에 HBM에 우선 적용했지만 추후 모바일, 그래픽 영역에도 적용하는 것이 당연한 순서라 볼 수 있습니다.

데이터를 이용하는 응용은 성능 측면에서 컴퓨팅 성능이 중요한 응용과, 메모리 성능을 더 요구하는 응용으로 크게 나눠볼 수 있는데요. PIM이 주목하는 응용은 메모리 성능을 필요로 하는 응용이고, 이런 응용은 빅데이터와 인공지능 시대에는 대부분을 차지하게 될 것입니다. 논리적으로 계산하는 응용보다는 모든 데이터를 모아놓고 답을 얻는 방법이 더 정확하고 빠르다는 것에 주목하고 있기도 하고요. 이러한 메모리 중심의 PIM 응용 사례로는, 인간의 뇌와 같은 저전력 초거대 AI 모델을 활용한 챗봇과 각종 추천 서비스, 실시간 번역 및 음성 인식, 기후나 생명 등 과학 연구를 위한 슈퍼컴퓨팅, 저전력 On-device AI mobile 응용 등 많은 데이터를 저전력으로 활용하여 빠른 연산 처리가 필요한 모든 영역이 될 것으로 예측됩니다.

가까운 미래에 우리의 일상이 될 인공지능 서비스들. AI가 만들어나갈 좀 더 편리하고 스마트한 세상의 핵심에는 메모리 반도체가 있습니다. 상상을 현실로 만들기 위해 오늘도 노력하고 있는 삼성전자 반도체에 많은 응원 부탁드립니다.

The post 삼성전자 전문가에게 직접 듣다! 차세대 메모리 반도체가 본격적으로 열어갈 AI 시대 first appeared on 삼성전자 반도체 뉴스룸.