AI 시스템에 활용될 삼성전자 반도체의 최신 메모리 솔루션, MemCon 2023에서 선보이다

인간과 대화를 주고 받을 수 있는 인공지능(Artificial Intelligence, 이하 AI) 시스템의 등장으로, 관련 소식들이 연일 세간의 주목을 받고 있습니다. 이러한 가운데 AI 시스템에 활용되는 첨단 메모리 기술 트렌드를 만나볼 수 있는 ‘MemCon 2023’이 미국 캘리포니아 마운틴뷰에서 3월 28일(현지시각 기준)에 개최되었습니다.

MemCon 2023은 AI 관련 메모리 솔루션을 보다 심층적으로 다루기 위해 올해 처음으로 개최되는 학회로, 글로벌 IT 기업들을 중심으로 메모리, 디바이스 및 서버 업계를 이끄는 다양한 업체들이 참여했습니다. 삼성전자 반도체(DS부문)는 Founding Member이자 메모리 기술의 선도업체로서 최적의 솔루션 개발 성과와 노력을 선보였습니다. 이번 행사는 한진만 미주총괄(DSA)장의 Opening Remark로 시작되었는데요. 개회사에서 한진만 미주총괄장은 메모리 혁신 기술의 필요성 및 이에 부응하지 않을 경우 구시대 기술로 남을 위험성을 감수해야한다고 강조했습니다. 메모리 기술 혁신에는 메모리 중심 아키텍처 및 서비스형 메모리(Memory-as-a-sevice) 등이 포함되며, 앞으로 지속적인 기술의 혁신을 통해 이와 관련된 새로운 비즈니스 모델이 지속 등장할 것이라고 예상하였습니다.

뒤이어 연단에 오른 미주 메모리연구소장(DSRA-Memory) 최진혁 부사장은 “Memory Innovation in the Era of Data-Centric Computing”을 주제로 다양한 범위의 D램과 낸드플래시의 메모리 월(Memory Wall)* 문제를 해결할 혁신적인 솔루션과 함께, 업계를 선도할 삼성전자 반도체 메모리 기술의 비전을 제시했습니다.

또한 삼성전자 반도체는 초거대 AI 모델을 지원하는 HBM-PIM, CXL 기반 PNM을 비롯해 SmartSSD, Memory-Semantic SSD, Memory Expander 등 다양한 메모리 제품들도 공개했습니다.

* 메모리 월(Memory wall): 프로세서 속도와 메모리 접근 시간 사이의 격차 증가로 인해 발생하는 성능 병목 현상. 이 문제로 인해 프로세서가 메모리로부터 데이터를 기다리는 데 더 많은 시간을 소비하여 시스템 효율이 감소

이번 학회에서 발표한 제품 중 HBM-PIM와 CXL-PNM은 AI 응용처에 적용했을 때 기존 솔루션 대비 GPU 가속기의 성능을 획기적으로 향상시킬 수 있습니다. 이와 더불어 The 2nd Gen. SmartSSD(2세대 SmartSSD)는 1세대 대비 크게 향상된 성능을 바탕으로 데이터 연산처리 시간과 에너지 소모량을 줄일 수 있으며, Memory-Semantic SSD는 일반 SSD 대비 20배에 달하는 임의 읽기 속도와 응답속도를 제공해 데이터센터 AI와 머신러닝에 적합한 제품입니다.

그럼, 이번 MemCon 2023에서 공개된 삼성전자 반도체의 최신 메모리 솔루션들을 자세히 알아보겠습니다.

데이터 중심 컴퓨팅 시대로 가는 디딤돌: HBM-PIM, CXL-PNM, 그리고 The 2nd Gen. SmartSSD

최근 화제로 떠오른 ‘챗GPT’는 인공지능을 활용한 대표적인 대화형 챗봇으로 초거대 데이터를 사용하기로도 유명합니다. 이렇게 초거대 데이터에 기반한 서비스가 점차 확대됨에 따라, 처리할 데이터의 양은 폭발적으로 증가하고 있습니다. 이에 따라 삼성전자는 초거대 AI 모델 처리에 적합한 HBM-PIM(Processing in Memory)과 CXL(Compute Express Link) 기반 PNM(Processing near Memory) 등의 메모리 반도체 솔루션을 개발했습니다. 이를 사용하면, AI의 성능과 효율 측면에서 상당한 개선 효과를 거둘 수 있을 것으로 기대됩니다.

일례로 챗GPT와 같은 AI 챗봇에 사용되는 GPT-3 언어 모델의 경우, 전체 연산 기능 가운데 PIM을 적용해 가속할 수 있는 부분이 80% 이상인 것으로 예측되고 있습니다. HBM-PIM을 적용하여 성능 개선 효과를 계산해 본 결과, HBM을 사용 GPU 가속기를 활용했을 때보다 AI 모델의 성능이 약 3.4배 이상 향상됨을 확인하였습니다.

한편, CXL 기반 PNM 솔루션은 메모리 용량 추가가 용이한 CXL 인터페이스를 활용해 기존 GPU 가속기 대비 4배 용량으로 제공 가능합니다. 다양한 고객 니즈에 맞는 AI 모델을 한 번에 처리하는데 적합하며, GPT와 같은 초거대 AI 언어모델에도 활용 가능합니다. 또한 PCIe 인터페이스를 사용한 가속기와 비교했을 때, AI 모델의 로딩 속도도 2배 이상 빨라지는 효과가 있습니다.

삼성전자는 HBM-PIM, CXL-PNM 솔루션을 비롯해 이를 지원하는 소프트웨어와 실행 방법, 성능 평가 환경 등을 오픈 소스로 공개하여 생태계 확장을 위한 노력을 지속해 나가고 있습니다.

The 2nd Gen. SmartSSD는 AI 시스템에 활용되는 스토리지 솔루션입니다. SmartSSD 내부에서 데이터 연산처리를 일부 진행한 후, 중간 결과물을 CPU에 전달하기 때문에 데이터 전송 과정에서 지연 시간을 대폭 줄이고, 방대한 양의 데이터도 동시에 처리할 수 있게 합니다. 특히, 고객이 니즈에 맞추어 소프트웨어를 선택적으로 적용해 효율을 더 증가시킬 수 있습니다. 또한, 1세대 제품과 비교해 연산 성능이 2배 이상 향상됐으며 이를 바탕으로 AI 시스템의 데이터베이스 연산처리 시간을 크게 단축할 수 있고 에너지 소모량과 CPU 사용률도 크게 줄일 수 있습니다.

데이터 중심 시대 메모리 확장의 선두주자
: CXL 기술 기반의 Memory Expander와 Memory-Semantic SSD, PBSSD

Memory Expander(MXP)와 Memory-Semantic SSD 역시도 차세대 인터페이스인 CXL을 활용합니다. Memory Expander는 메모리 대역폭과 용량 확장이 가능해 방대한 양의 데이터를 빠르게 처리할 수 있습니다.

Memory-Semantic SSD는 CXL 인터페이스를 통해 일반 SSD 대비 임의 읽기속도와 응답속도를 최대 20배까지 향상시킬 수 있습니다. 내부에 D램 캐시메모리를 추가해 작은 크기의 데이터 읽기와 쓰기를 보다 효과적으로 처리할 수 있는 제품으로, 성능과 가격경쟁력에 민감한 데이터센터 AI와 머신러닝 데이터베이스에 적합한 솔루션이 될 것으로 예상됩니다.

PBSSD는 스토리지 저장 용량을 페타바이트(PB: Petabyte) 급으로 끌어올린 솔루션으로, 1PB는 6GB짜리 영화를 약 17만4000편 담을 수 있는 용량에 해당합니다. 이렇게 대용량의 스토리지를 바탕으로 최소한의 서버 구축으로도 방대한 양의 데이터 처리가 가능해, 고객들이 효율적으로 시스템을 구축할 수 있습니다.

메모리의 차세대 비전을 제시하는 삼성전자 반도체

미래에 활용될 메모리 제품은 표준화가 진행 중인 상황에서 개발되기 때문에 고객과의 지속적인 교류가 상품화와 생태계 조성에 큰 도움을 줍니다. 이번 MemCon 2023은 다양한 업계와 분야의 이해관계자들이 한 자리에 모여 깊이 토론할 수 있는 자리를 제공했으며, 글로벌 IT 기업들의 니즈를 더 상세하게 파악할 수 있는 좋은 기회가 되었습니다.

앞으로도 메모리 기술 한계를 극복해 나가며 미래 기술을 선도하고자 노력하는 삼성전자 반도체의 끊임없는 노력과 도전에 많은 관심과 기대 부탁드립니다.