MemCon 2023은 AI 관련 메모리 솔루션을 보다 심층적으로 다루기 위해 올해 처음으로 개최되는 학회로, 글로벌 IT 기업들을 중심으로 메모리, 디바이스 및 서버 업계를 이끄는 다양한 업체들이 참여했습니다. 삼성전자 반도체(DS부문)는 Founding Member이자 메모리 기술의 선도업체로서 최적의 솔루션 개발 성과와 노력을 선보였습니다. 이번 행사는 한진만 미주총괄(DSA)장의 Opening Remark로 시작되었는데요. 개회사에서 한진만 미주총괄장은 메모리 혁신 기술의 필요성 및 이에 부응하지 않을 경우 구시대 기술로 남을 위험성을 감수해야한다고 강조했습니다. 메모리 기술 혁신에는 메모리 중심 아키텍처 및 서비스형 메모리(Memory-as-a-sevice) 등이 포함되며, 앞으로 지속적인 기술의 혁신을 통해 이와 관련된 새로운 비즈니스 모델이 지속 등장할 것이라고 예상하였습니다.

뒤이어 연단에 오른 미주 메모리연구소장(DSRA-Memory) 최진혁 부사장은 “Memory Innovation in the Era of Data-Centric Computing”을 주제로 다양한 범위의 D램과 낸드플래시의 메모리 월(Memory Wall)* 문제를 해결할 혁신적인 솔루션과 함께, 업계를 선도할 삼성전자 반도체 메모리 기술의 비전을 제시했습니다.

또한 삼성전자 반도체는 초거대 AI 모델을 지원하는 HBM-PIM, CXL 기반 PNM을 비롯해 SmartSSD, Memory-Semantic SSD, Memory Expander 등 다양한 메모리 제품들도 공개했습니다.

* 메모리 월(Memory wall): 프로세서 속도와 메모리 접근 시간 사이의 격차 증가로 인해 발생하는 성능 병목 현상. 이 문제로 인해 프로세서가 메모리로부터 데이터를 기다리는 데 더 많은 시간을 소비하여 시스템 효율이 감소

이번 학회에서 발표한 제품 중 HBM-PIM와 CXL-PNM은 AI 응용처에 적용했을 때 기존 솔루션 대비 GPU 가속기의 성능을 획기적으로 향상시킬 수 있습니다. 이와 더불어 The 2nd Gen. SmartSSD(2세대 SmartSSD)는 1세대 대비 크게 향상된 성능을 바탕으로 데이터 연산처리 시간과 에너지 소모량을 줄일 수 있으며, Memory-Semantic SSD는 일반 SSD 대비 20배에 달하는 임의 읽기 속도와 응답속도를 제공해 데이터센터 AI와 머신러닝에 적합한 제품입니다.

그럼, 이번 MemCon 2023에서 공개된 삼성전자 반도체의 최신 메모리 솔루션들을 자세히 알아보겠습니다.

데이터 중심 컴퓨팅 시대로 가는 디딤돌: HBM-PIM, CXL-PNM, 그리고 The 2nd Gen. SmartSSD

최근 화제로 떠오른 ‘챗GPT’는 인공지능을 활용한 대표적인 대화형 챗봇으로 초거대 데이터를 사용하기로도 유명합니다. 이렇게 초거대 데이터에 기반한 서비스가 점차 확대됨에 따라, 처리할 데이터의 양은 폭발적으로 증가하고 있습니다. 이에 따라 삼성전자는 초거대 AI 모델 처리에 적합한 HBM-PIM(Processing in Memory)과 CXL(Compute Express Link) 기반 PNM(Processing near Memory) 등의 메모리 반도체 솔루션을 개발했습니다. 이를 사용하면, AI의 성능과 효율 측면에서 상당한 개선 효과를 거둘 수 있을 것으로 기대됩니다.

일례로 챗GPT와 같은 AI 챗봇에 사용되는 GPT-3 언어 모델의 경우, 전체 연산 기능 가운데 PIM을 적용해 가속할 수 있는 부분이 80% 이상인 것으로 예측되고 있습니다. HBM-PIM을 적용하여 성능 개선 효과를 계산해 본 결과, HBM을 사용 GPU 가속기를 활용했을 때보다 AI 모델의 성능이 약 3.4배 이상 향상됨을 확인하였습니다.

한편, CXL 기반 PNM 솔루션은 메모리 용량 추가가 용이한 CXL 인터페이스를 활용해 기존 GPU 가속기 대비 4배 용량으로 제공 가능합니다. 다양한 고객 니즈에 맞는 AI 모델을 한 번에 처리하는데 적합하며, GPT와 같은 초거대 AI 언어모델에도 활용 가능합니다. 또한 PCIe 인터페이스를 사용한 가속기와 비교했을 때, AI 모델의 로딩 속도도 2배 이상 빨라지는 효과가 있습니다.

삼성전자는 HBM-PIM, CXL-PNM 솔루션을 비롯해 이를 지원하는 소프트웨어와 실행 방법, 성능 평가 환경 등을 오픈 소스로 공개하여 생태계 확장을 위한 노력을 지속해 나가고 있습니다.

The 2nd Gen. SmartSSD는 AI 시스템에 활용되는 스토리지 솔루션입니다. SmartSSD 내부에서 데이터 연산처리를 일부 진행한 후, 중간 결과물을 CPU에 전달하기 때문에 데이터 전송 과정에서 지연 시간을 대폭 줄이고, 방대한 양의 데이터도 동시에 처리할 수 있게 합니다. 특히, 고객이 니즈에 맞추어 소프트웨어를 선택적으로 적용해 효율을 더 증가시킬 수 있습니다. 또한, 1세대 제품과 비교해 연산 성능이 2배 이상 향상됐으며 이를 바탕으로 AI 시스템의 데이터베이스 연산처리 시간을 크게 단축할 수 있고 에너지 소모량과 CPU 사용률도 크게 줄일 수 있습니다.

데이터 중심 시대 메모리 확장의 선두주자
: CXL 기술 기반의 Memory Expander와 Memory-Semantic SSD, PBSSD

Memory Expander(MXP)와 Memory-Semantic SSD 역시도 차세대 인터페이스인 CXL을 활용합니다. Memory Expander는 메모리 대역폭과 용량 확장이 가능해 방대한 양의 데이터를 빠르게 처리할 수 있습니다.

Memory-Semantic SSD는 CXL 인터페이스를 통해 일반 SSD 대비 임의 읽기속도와 응답속도를 최대 20배까지 향상시킬 수 있습니다. 내부에 D램 캐시메모리를 추가해 작은 크기의 데이터 읽기와 쓰기를 보다 효과적으로 처리할 수 있는 제품으로, 성능과 가격경쟁력에 민감한 데이터센터 AI와 머신러닝 데이터베이스에 적합한 솔루션이 될 것으로 예상됩니다.

PBSSD는 스토리지 저장 용량을 페타바이트(PB: Petabyte) 급으로 끌어올린 솔루션으로, 1PB는 6GB짜리 영화를 약 17만4000편 담을 수 있는 용량에 해당합니다. 이렇게 대용량의 스토리지를 바탕으로 최소한의 서버 구축으로도 방대한 양의 데이터 처리가 가능해, 고객들이 효율적으로 시스템을 구축할 수 있습니다.

메모리의 차세대 비전을 제시하는 삼성전자 반도체

미래에 활용될 메모리 제품은 표준화가 진행 중인 상황에서 개발되기 때문에 고객과의 지속적인 교류가 상품화와 생태계 조성에 큰 도움을 줍니다. 이번 MemCon 2023은 다양한 업계와 분야의 이해관계자들이 한 자리에 모여 깊이 토론할 수 있는 자리를 제공했으며, 글로벌 IT 기업들의 니즈를 더 상세하게 파악할 수 있는 좋은 기회가 되었습니다.

앞으로도 메모리 기술 한계를 극복해 나가며 미래 기술을 선도하고자 노력하는 삼성전자 반도체의 끊임없는 노력과 도전에 많은 관심과 기대 부탁드립니다.

The post AI 시스템에 활용될 삼성전자 반도체의 최신 메모리 솔루션, MemCon 2023에서 선보이다 first appeared on 삼성전자 반도체 뉴스룸.

미래를 이끌 글로벌 기술 트렌드를 엿볼 수 있는 ‘CES 2023’이 1월 5일(현지시각 기준) 미국 라스베이거스에서 개최되었습니다. CES(The International Consumer Electronics Show)는 미국소비자기술협회가 1967년부터 매년 진행하고 있는 세계 최대의 가전·IT 박람회로, 수많은 기업들이 참가해 최신 제품과 혁신 기술을 선보이는 자리입니다.

이번 CES 2023에서 삼성전자 반도체는 앙코르 앳 윈 호텔(Encore At Wynn Hotel, 이하 앙코르) 내 ‘Samsung Semiconductor Showcase’라는 별도의 전시 공간을 마련해 초청한 고객들을 대상으로 혁신적인 기술력을 집약한 반도체 제품들을 선보였습니다. 기술이 발달하고, 일상이 편리해질수록 그 기술력을 뒷받침해주는 반도체의 역할은 점점 더 중요해지고 있습니다. 특히 메모리 반도체는 스마트폰, TV, 컴퓨터, 스마트워치 등 우리의 일상 곳곳에 녹아 들어 있는데요. 우리의 일상을 한층 편리하게 해주는 첨단 메모리 제품들을 Samsung Semiconductor Showcase 현장에서 만나보았습니다.

미래를 선도할 메모리 제품들이 한자리에

삼성전자 반도체는 그동안 독보적인 기술력으로 세계 메모리 반도체 시장을 이끌어왔는데요. 앙코르 호텔 내부에 꾸려진 전시 공간에는 업계를 리딩할 차세대 PC, 서버, 모바일용 메모리 제품들로 가득했습니다. 전시 공간은 오전 8시부터 입장이 시작되었는데요. 비교적 이른 시간임에도 많은 고객들의 발걸음이 쉴 새 없이 이어졌습니다. 이번 전시에서 삼성전자 반도체는 고성능은 물론 높은 에너지 효율에 중점을 둔 탁월한 메모리 제품 라인업을 선보였는데요. 과연 어떤 제품들이 비즈니스 파트너들의 눈길을 사로잡았을까요?

성능의 한계는 어디까지? DDR5 모듈 & 모바일용 UFS 4.0 메모리

고속, 대용량의 데이터 처리가 필요한 고성능 컴퓨팅, AI 등에 사용되는 최신 D램인 DDR5. 이번 Samsung Semiconductor Showcase에서는 14나노 공정 기반의 24Gb DDR5 칩으로 만든 모듈인 PC용 ‘UDIMM’과 서버용 ‘RDIMM’을 만나볼 수 있습니다. PC용 DDR5 UDIMM은 현존하는 PC용 DDR5 모듈 중 최고 용량인 48GB를 자랑하는 제품으로 높은 성능을 갖추고 있어, 빠른 데이터 처리, 3D 모델링이나 고해상도의 게이밍을 즐기기 원하는 PC 사용자들에게 적합한 D램 모듈입니다. 또한 워크스테이션이나 entry level의 서버에도 사용할 수 있습니다.

업계 최초의 512GB 용량 서버용 모듈인 DDR5 RDIMM은 이전 모듈 대비 성능과 용량은 2배로 늘어나고 전력 효율은 30% 향상된 제품인데요. 성능은 물론, 전력 효율의 향상을 통해 서버와 데이터센터의 에너지 소비를 줄임으로써, 환경을 위한 지속 가능한 발전에도 기여할 것으로 많은 기대감을 모으고 있습니다.

모바일용 차세대 규격인 UFS 4.0에 맞춰 플래시 메모리를 더욱 콤팩트한 패키지로 구현한 고성능 임베디드 칩인 삼성전자 ‘UFS 4.0’. 연속 읽기 4200MB/s, 연속 쓰기 2800MB/s를 제공하며, 데이터 전송 대역폭(bandwidth)이 기존 UFS 3.1 규격의 2배인 23.3Gbps에 달해, 더욱 빠르게 데이터를 저장하고 읽을 수 있는 것이 특징인 제품입니다. 최신 스마트폰을 비롯한 모바일 기기에 탑재될 예정이며, 앞으로는 차량용 반도체와 메타버스 기기 등에도 광범위하게 확산될 것으로 기대됩니다.

빠른 데이터 처리 성능을 자랑하는 최신 SSD 제품들

메모리 반도체 전시에 SSD가 빠질 수 없죠? 지난 해 ‘삼성 테크 데이 2022’에서 공개됐던 삼성전자 반도체의 최신 고성능 SSD 제품들을 이번 현장에서도 엿볼 수 있었습니다.

메타버스나 인공지능 등 데이터 처리량이 많은 분야에 사용되는 서버용 ‘PM1743’ 제품이 그중 하나였는데요. 기존 PCIe 4.0 대비 대역폭이 2배로 커진 최신 PCIe 5.0 규격을 기반으로 최대 15.36TB의 큰 저장 용량과 14000MB/s의 빠른 연속 읽기 속도를 자랑합니다. 이전 세대에 비해 약 40% 향상된 전력 효율을 바탕으로 서버와 데이터센터에서 운영 효율을 크게 높일 수 있어 탄소 배출과 에너지 사용을 줄이는데 큰 기여를 하는 제품이기도 합니다.

폭증하는 데이터 처리를 위한 최첨단 메모리 솔루션

초거대 AI 모델을 지원하기 위한 최첨단 솔루션, PIM(Processing-in-Memory)과 PNM(Processing-near-Memory) 기술도 이번 CES에서 만날 수 있었습니다. PIM(Processing-in-Memory)은 프로세서가 수행하는 데이터 연산 기능을 메모리 내부에 구현한 기술로, PIM 기술을 활용한 ‘HBM-PIM’ 솔루션을 활용한다면, 기존의 PIM 기술을 적용하지 않은 GPU 가속기와 비교해, 평균적으로 약 2배 증가한 성능과 약 50%의 에너지 소모를 아낄 수 있을 걸로 기대됩니다.

PNM(Processing-near-Memory) 역시 PIM처럼 메모리를 데이터 연산 기능에 활용해 CPU와 메모리 간 데이터 이동을 줄여주는 기술인데요. 삼성전자 반도체가 최근 개발한 ‘CXL-PNM’ 기술은 메모리의 효율적인 사용과 용량 확장을 용이하게 해주는 CXL 인터페이스를 활용합니다. 높은 메모리 대역폭을 요구하는 추천 시스템이나 인-메모리 데이터베이스 등의 응용에서 약 2배 이상의 성능 향상을 기대할 수 있습니다.

한편, CXL 인터페이스를 활용한 ‘512GB Memory Expander’ 제품도 많은 관심을 모았는데요. 이 솔루션을 활용하면, 서버 시스템에서 별도의 CPU를 추가하지 않고도 메모리 용량을 테라바이트(TB) 레벨까지 손쉽게 늘릴 수 있고 대역폭도 획기적으로 증가시킬 수 있어, 데이터 처리량이 날로 폭증하고 있는 가운데 고객들에게 이상적인 해결방안을 제시하는 제품입니다.

제품을 담당하고 있는 메모리사업부 신사업기획팀 김준 님은 “Memory Expander는 최근의 트렌드인 AI나 빅데이터와 같은 응용처에서 폭증하는 데이터 처리 수요를 충족할 수 있는 제품이다”는 설명과 함께 “전세계 최초로 512GB의 용량을 제공하고 있으면서도 하드웨어와 소프트웨어 솔루션까지 제공하는 통합 솔루션 프로바이더로서 차세대 메모리 생태계를 구축하고 있다”며 제품에 대한 자부심을 드러냈습니다.

미래 기술과 지속 가능한 환경을 위한 노력

한편, 이번 CES에는 처음으로 Sustainability zone도 마련되어 방문한 고객들에게 삼성전자 반도체의 친환경 비전도 선보였습니다. 이 공간에서는 “기술을 지속가능하게 하는 기술”이라는 친환경 비전에 따라 삼성전자 반도체의 4대 환경 목표를 소개하고, 이를 실현하기 위한 주요 기술인 업계 유일의 온실가스 통합 처리 시설 ‘RCS (Regenerative Catalytic System)’도 소개하였습니다. RCS는 처리 효율이 95%로 내구성이 뛰어난 촉매를 활용하여 온실가스 처리율을 더욱 높인 삼성전자 반도체만의 독자적인 기술로서, 이러한 혁신적인 기술을 바탕으로 삼성전자 반도체가 꿈꾸는 지속가능한 미래를 CES를 방문한 고객들과 공유했습니다.

또한 원료 추출부터 제품 개발, 생산 및 폐기에 이르는 전 과정에서 자연에 미치는 영향을 최소화하고자 진행하고 있는 ’LCA (Life Cycle Assessment’ 프로세스를 소개했으며, 이러한 노력을 인정받아 업계 최초로 받은 탄소 발자국 인증과 “탄소 저감 인증 등의 성과도 함께 전시했습니다.

미래 메모리 반도체 기술의 혁신 방향을 제시하고, 반도체 업계의 지속가능한 발전 청사진까지도 제시한 ‘Samsung Semiconductor Showcase’ 현장! 내일은 시스템 반도체 전시 제품 소식을 들고 다시 찾아올 테니 지켜봐 주세요!

영상으로 만나보는 ‘Samsung Semiconductor Showcase 속 주요 전시 제품’

The post 4차 산업혁명은 내게 맡겨! CES 2023에서 선보인 삼성전자의 첨단 메모리 반도체 솔루션 first appeared on 삼성전자 반도체 뉴스룸.