[기고문] AI 시대, 최적 메모리 솔루션으로 미래 기술을 그리다

전 세계적인 AI 열풍 속에서 관련 하드웨어, 소프트웨어 등이 급성장함에 따라 AI가 인간의 지적 수준까지 발전하고 있다. 삼성전자는 초거대 AI 시장을 대응하기 위해 DDR5(Double Data Rate 5), HBM(High Bandwidth Memory), CMM(CXL Memory Module) 등 응용별 요구 사항에 기반한 다양한 메모리 포트폴리오를 시장에 제시하고 공급 중이다.

삼성전자는 다가오는 ‘CES 2024’에서 AI용 최첨단 메모리 솔루션을 대거 공개하고, 업계 리더로서 압도적인 기술력을 선보일 계획이다.

.

AI 기술 진보에 정해진 한계와 영역은 없다

AI는 우리 삶의 모든 영역에서 근본적인 변화를 만들어 내고 있다. 직장에서는 문서 작업, 데이터 분석 등에서 생산성 극대화를 이끌어 내고 있고, 집에서는 다양하고 편리한 서비스를 통해 우리 삶을 윤택하고 즐겁게 만들고 있다. 이제는 ChatGPT 같은 생성형 AI 서비스가 우리 삶에 새로운 패러다임을 가져왔다고 해도 과언이 아니다.

AI는 클라우드에서 처음 시작됐지만, 현재는 다른 응용과 플랫폼으로 급속히 확산되고 있다.  보안과 응답성 등을 고려해 스마트폰, 컴퓨터, 자동차 등 단말단에서의 온디바이스 AI(On-Device AI) 구현이 필요한 상황으로, 충분한 컴퓨팅과 메모리를 탑재하기 위한 기술적 검토가 적극 진행되고 있다.

현재 가장 핵심이 되고 있는 클라우드(Cloud), 온디바이스(PC/Client/Mobile) AI, 차량(Automotive) 세 가지 영역의 기술 동향과 메모리 요구 사항을 살펴보고, 삼성전자의 핵심 포트폴리오를 소개하고자 한다.

……………………..

AI 기술 혁신을 이끌 클라우드용 솔루션 ‘HBM3E, DDR5, MRDIMM, PCIe Gen5 SSD’

데이터센터는 AI 관련 연산 처리와 원활한 서비스를 위한 핵심 인프라로 ChatGPT, Bard, Bing Chat 등이 데이터센터를 통해 제공되는 대표적인 서비스이다.

단시간에 수십억 개의 파라미터와 수많은 데이터가 오고 가는 상황에서 메모리 대역폭과 용량이 충분하지 않다면 전체 시스템에서 병목 현상을 일으킬 수 있고, GPU를 충분히 활용할 수 없는 상황이 생길 수 있다.

이러한 AI 응용을 서비스하는 데이터센터를 운영하는데 있어 가장 큰 고민은 결국 ‘총 소유 비용(TCO, Total Cost of Ownership)’이다. TCO를 줄이기 위한 업계의 노력은 지속되고 있으며, 특히 메모리 성능, 용량 요구도 다양해지고 있다. 이에 삼성전자는 모든 업체들이 선택 가능한 클라우드용 최적 솔루션을 제시하고 있다.

HBM3E 샤인볼트(Shinebolt)

현재 AI용 메모리로 주목받고 있는 ‘HBM3E’는 12단(적층) 기술을 활용해 최대 1,280GB/s의 대역폭과 최대 36GB(기가바이트)의 고용량을 제공한다.

기존 HBM3 제품 대비 성능과 용량이 50% 이상 개선됐으며, 초거대 AI 모델이 요구하는 메모리 성능과 용량을 만족시킬 것으로 기대된다.

32Gb DDR5 D램

삼성전자는 작년 9월 업계 최초로 12나노급 공정을 활용해 32Gb(기가비트) DDR5 고용량 제품을 개발했으며, 현재 주요 칩셋 업체와 고객에게 샘플을 공급 중이다.

동일 패키지 사이즈에서 TSV(Through Silicon Via) 공정 없이 128GB의 고용량 모듈 구현이 가능하며, TSV 적용 시 최대 1TB(테라바이트)의 모듈까지 지원한다.

또한 기존 16Gb 기반 128GB 모듈 대비 약 40%의 소비 전력을 개선했으며, 최대 7.2Gbps의 속도를 지원해 생성형 AI용 고용량 서버의 핵심 솔루션이 될 것으로 기대된다.

MRDIMM

삼성전자는 기존 RDIMM 대비 데이터 전송 채널을 2배로 늘려 성능을 2배 높인 MRDIMM(Multiplexed Rank DIMM)을 개발하고, 작년 하반기 주요 칩셋 업체와 검증을 완료했다. 이 제품은 8.8Gbps의 속도를 지원하며, HPC 등 고사양 메모리를 요구하는 AI 응용처에 적극 채용될 것으로 예상된다. 삼성전자는 향후 32Gb DDR5를 활용해 고성능, 고용량, 저전력에 차별화된 MRDIMM 제품을 제공할 예정이다.

PCIe Gen5 SSD ‘PM9D3a’

PM9D3a는 PCIe Gen5를 지원하는 8채널 컨트롤러 기반 제품으로, 기존 제품 대비 연속 읽기속도는 최대 2.3배 향상됐고, 소비 전력은 60% 개선된 업계 최고의 전력 효율을 제공한다.

삼성전자는 뛰어난 확장성을 바탕으로 작년 7.68TB와 15.36TB 2.5인치 규격 제품을 개발한데 이어, 올해 상반기에는 3.84TB 이하의 저용량부터 최대 30.72TB 제품까지 다양한 라인업과 폼팩터를 제공할 계획이다. 이 제품은 다양한 신규 서버 시스템에 장착되어 고성능 스토리지 서비스 구현을 가능하게 할 것이다.

고성능·저전력 온디바이스 AI용 솔루션 ‘LPDDR5X, LPDDR5X CAMM2, LLW, PCIe Gen5 SSD’

단말단에서 AI 특정 서비스 구현을 위해서는 단말 자체에 다수의 AI 모델을 저장하고 처리해야 되며, 이를 위해서는 스토리지에 저장되어 있던 AI 모델이 1초 이내로 메모리에 로딩되어야 한다.

또한 AI 모델 사이즈가 커질수록 결과의 정확도는 높아지기 때문에, 원활한 AI 서비스를 제공하기 위해서는 단말 자체에서도 고성능, 고용량 메모리가 필수적이다.

LPDDR5X D램

삼성전자는 LPDDR 표준 기반 최고 속도 9.6Gbps를 지원하는 LPDDR5X 제품을 개발 중이다. 하이케이 메탈 게이트(High-K Metal Gate, HKMG) 기술을 활용해 이전 세대 대비 전력 효율을 30% 개선하고, 표준 패키지 솔루션을 지원해 응용처별 최적 포트폴리오를 제공한다.

LPDDR5X CAMM2

작년 9월 삼성전자는 LPDDR D램 기반 7.5Gbps LPDDR5X CAMM2(Compression Attached Memory Module)를 업계 최초로 개발했으며, 현재 주요 파트너들에게 샘플을 제공하고 검증을 진행 중이다. 이 제품은 PC·노트북 D램 시장의 판도를 바꿀 제품으로, 삼성전자는 AI, HPC, 서버, 데이터센터 등 응용처 확대를 위해 주요 고객과 논의 중에 있다.

LLW D램

LLW(Low latency Wide I/O) D램은 128GB/s의 초고성능, 저지연 특성에 최적화된 제품이다. 1.2pJ/b의 매우 낮은 전력으로 구동하며, 즉각적인 대응이 필요한 AI 모델을 단말단에서 구동하는데 적합한 솔루션이다.

* pJ/b: 비트당 소비되는 에너지

PCIe Gen5 SSD ‘PM9E1’

PM9E1은 PCIe 5.0을 지원하는 8채널 컨트롤러 기반 PC/Client OEM용 SSD제품으로, 올해 6월 개발될 예정이다. 이전 세대 대비 연속 읽기속도는 2배 향상되고, 33%의 개선된 전력 효율을 제공한다. 초거대 언어 모델(LLM)을 1초내 D램에 전송할 수 있어 온디바이스 AI 시대를 열어가는데 최적화된 제품이 될 전망이다.

2025년 전장 메모리 시장 1위 달성을 위한 차량용 솔루션 ‘Detachable Auto SSD’

자율주행이 고도화됨에 따라 차량 시스템 구조는 여러 개의 차량 전자제어장치(Electronic Control Unit, ECU)를 가진 ‘분산형 구조’에서 각 영역의 제어 기능이 통합된 ‘중앙 집중형 구조’로 변화하고 있다. 이에 따라 고성능, 고용량뿐 아니라, 여러 개의 SoC와 데이터를 공유할 수 있는 Shared SSD에 대한 요구가 점차 증가하고 있다.

삼성전자는 다양한 차량용 신제품과 신기술을 선보이며, 2025년 전장 메모리 1위 달성을 위해 박차를 가하고 있다.

Detachable AutoSSD

세계 최초 탈부착이 가능한 차량용 SSD로, 스토리지 가상화를 통해 하나의 SSD를 분할해 여러 개의 SoC가 사용할 수 있는 제품이다. 기존 제품 대비 용량은 4배(1TB→ 4TB), 임의 쓰기속도는 약 4배(240K IOPS→ 940K IOPS) 향상됐으며, 교체가 가능한 E1.S 기반의 폼팩터를 제공한다.

삼성전자는 현재 유럽 주요 완성차, 티어1 고객들과 세부 사양 협의를 진행하고 있으며, 올해 1분기내 기술적 검증(PoC)을 완료할 계획이다.

.

삼성전자 메모리 상품기획실 신설, 새로운 도약을 준비하다

삼성전자는 급변하는 기술과 시장 환경에 민첩하게 대응하기 위해 작년 12월 메모리 상품기획실을 신설하고, 본격적인 미래 준비에 박차를 가하고 있다.

……………………..

메모리 컨트롤 타워 역할로 미래 제시

상품기획실은 ‘Business Coordinator 전문가 조직’을 표방하고, 제품 기획부터 사업화 단계까지 전 영역을 담당하며 고객 기술 대응 부서들을 하나로 통합해 만든 조직이다.

그동안 분산되어 있던 센싱, 동향 분석, 상품 기획, 표준화, 사업화, 기술 지원 등 모든 기능이 상품기획실로 흡수되어 ▲기술 동향 분석을 통한 ‘초격차’를 지향하는 경쟁력 있는 제품 기획 ▲’급변하는 대내외 변화’를 고려한 제품 개발 관리 ▲’개별화된 고객 요구’에 대한 적극 대응을 통해 메모리 시장에서의 기술 리더십을 확고히 할 계획이며, 대내외 컨트롤 타워 역할을 수행할 예정이다.

또한 중장기 로드맵 기반으로 연구소, 개발실과 요소 기술 선행 준비 등 새로운 도약을 위한 미래 준비에 더욱 집중할 계획이다.

고객사 요구를 반영한 미래 솔루션, 신사업 발굴

AI의 폭발적인 성장은 급진적인 메모리 발전도 요구하고 있다. DDR6, HBM4, GDDR7, PCIe Gen6, LPDDR6, UFS 5.0 등 시스템의 고성능화를 지원할 수 있는 고대역폭, 저전력 메모리는 물론 CMM, 첨단 패키지 등 새로운 인터페이스와 적층 기술도 요구되고 있다.

삼성전자는 맞춤형 HBM(Custom HBM), 컴퓨테이셔널 메모리(Computational Memory) 등 새로운 솔루션과 사업 발굴을 통해 메모리 패러다임의 변화를 선도해 나갈 것이다.

메모리 기술 혁신의 열쇠 ‘맞춤형 HBM D램(Custom HBM)’

AI 플랫폼의 성장으로 고객 맞춤형(용량, 성능, 특화 기능 등) HBM에 대한 요구가 증가하고 있으며, 이에 삼성전자는 주요 데이터센터, CPU/GPU 선두 업체들과 긴밀한 협업을 진행 중이다. 맞춤형 HBM D램은 향후 메모리 반도체 기술 한계 극복을 위한 돌파구 역할을 할 것이다.

삼성전자는 고객들의 개별화된 요구에 대응하기 위해 차세대 HBM4부터 버퍼 다이(Buffer Die)에 선단 로직 공정을 활용할 예정이다.

삼성전자만이 보유하고 있는 메모리, 파운드리, 시스템 LSI 등 종합 역량과 차세대 D램 공정, 최첨단 패키지 기술로 향후 새로운 시장 변화에 맞춰 최적의 솔루션을 제공해 나간다는 전략이다.

AI 시대를 이끌 ‘CMM’

CMM-D(CXL Memory Module DRAM)는 기존 메인 D램과 공존하면서 대역폭과 용량을 확장할 수 있어 AI, 머신러닝 등 고속의 데이터 처리가 요구되는 차세대 컴퓨팅 시장에서 주목받고 있다.

삼성전자는 2021년 5월 세계 최초 CMM-D 기술 개발을 시작으로, 업계 최고 용량의 512GB CMM-D 개발, CMM-D 2.0 개발 등에 성공하며 업계를 선도하고 있다. 또한, 현재 256GB CMM-D 샘플 공급이 가능한 유일한 업체로서 다양한 파트너사와의 긴밀한 협력을 통해 CXL 메모리 생태계를 구축하고 있다.

메모리의 새로운 패러다임 ‘PIM’

PIM(Processing-in-Memory)은 메모리 내부에 연산 작업에 필요한 프로세서 기능을 더한 차세대 융합 기술로, CPU와 메모리 간 데이터 이동이 줄어들어 AI 가속기 시스템의 에너지 효율을 높일 수 있다.

삼성전자는 2021년 세계 최초로 HBM-PIM을 개발했으며, 주요 칩셋 업체와 협력을 통해 기존 GPU 가속기 대비, 평균적으로 성능은 약 2배 증가, 에너지 소모는 약 50% 감소했음을 확인했다. 삼성전자는 PIM 응용을 확대하기 위해 AI 가속기용 HBM-PIM과 온디바이스 AI용 LPDDR-PIM 상용화에 박차를 가하고 있다.

용량의 한계를 뛰어 넘은 대용량 SSD 구독 서비스, PBSSD as a Service

PBSSD as a Service는 고객이 초고용량 SSD 솔루션을 구매하는 대신 서비스를 사용하는 사업 모델이다. 고객에게 PB(페타바이트) 규모의 대용량 SSD 솔루션을 구독 서비스로 제공해 고객의 스토리지 인프라 초기 투자 비용을 낮추고, 유지 보수 비용을 절감하는데 기여할 것으로 기대된다.

전 세계 고객과 강력한 파트너십 구축

메모리는 또 한 번의 기술 변곡점을 맞이하고 있고, AI 시대에서 반도체 성장 가능성은 크고 무궁무진하다. 새로운 제품과 시장을 개척하기 위해서는 전 세계 파트너, 고객들과의 강력한 협력이 필수다.

고객과의 협력 인프라를 제공하는 ‘삼성 메모리 리서치 센터’

삼성전자는 ‘삼성 메모리 리서치 센터(SMRC)’를 기반으로 파트너와의 긴밀한 협력을 통해 차세대 메모리를 준비하고 있다.

SMRC는 삼성전자의 메모리 제품을 탑재한 고객사에 자사 서버의 하드웨어와 소프트웨어의 최적 조합을 분석하고 성능을 평가할 수 있도록 제공하는 플랫폼으로, 고객과의 차별화된 협력을 가능하게 한다.

작년 삼성전자는 VMware와 가상화 시스템 구현을 위한 기술 협력을 추진해 업계 최초로 PCIe Gen5 SSD(PM1743)가 VMware 솔루션에서 최적의 성능을 구현함을 확인했고, Red Hat의 최신 서버용 운영체제에서 CXL 메모리 동작 검증을 마치는 등 SMRC를 통해 소프트웨어 업체와의 파트너십을 공고히 했다.

현장 근접 기술 지원을 위한 ‘TECx’

삼성전자는 글로벌 고객사에 원활한 기술 서비스를 제공하고, 긴밀한 협업을 진행하기 위해 주요 국가별로 TEC(Technology Enabling Center)를 운영하고 있으며, 점차 지역을 확대해 작년부터 대만에도 기술 지원 조직(TECx, TEC extension)을 구축했다.

대내적으로는 DDR5, LPDDR5X, CMM, PCIe Gen5 SSD 등의 신규 제품과 기술을 선단에서부터 검증하는 등 시스템 인증을 지원하고, 대외적으로는 현지에서의 즉각적인 기술 대응이 가능해 고객 CRM(Customer Relationship Management)을 높이고 있다. 향후 TECx는 지속적인 기술 협업을 주도하며 고객의 No.1 협업 파트너 역할을 수행할 것으로 기대된다.

2024년 반도체 시장과 기술의 판도 변화가 급속히 진행 중인 가운데 삼성전자는 미래 기술 리더십과 고객과의 동반 성장을 이어가기 위해 담대한 도전을 지속해 나갈 것이다.