삼성전자 반도체, 차세대 AI를 위한 첨단 메모리 기술 공개

초 거대 AI(Hyperscale AI)를 지원하는
HBM-PIM과 CXL 기반의 PNM 기술로 업계를 선도하다!

최근 인공지능(AI) 분야에서 화두가 되고 있는 중요한 트렌드 중 하나는 ‘초거대 AI(Hyperscale Artificial Intelligence, 이하 초거대 AI)’입니다. 초거대 AI는 기존 AI에서 한 단계 진화한 AI로, 인간의 뇌처럼 여러 상황에 대해 스스로 학습하여 사고하고 판단할 수 있습니다. 예컨대, 인공지능의 활용 사례로 많이 알려진 이미지 분석과 같은 작업에서 한발 더 나아가 사람의 언어를 이해하고 이를 바탕으로 이미지를 만들어낼 수도 있습니다. 이러한 수준의 AI를 구현하기 위해서는 훨씬 더 대용량의 데이터에 대한 학습과 연산이 필요하며, 이를 수행할 수 있는 컴퓨팅 인프라가 갖춰져야만 합니다.

최근 활발하게 연구, 도입되고 있는 대용량 추천 시스템과 언어 모델 등을 살펴보면, 모델의 크기가 커질수록 정확도가 증가하는 추세입니다. 그런데 이러한 모델을 구현할 수 있는 충분한 D램 용량과 대역폭이 지원되지 않으면 컴퓨팅 성능이 제한될 수 있습니다. 이에, 삼성전자는 이를 극복할 수 있는 메모리 기술을 선제적으로 개발하고 있습니다.

앞서 설명한 초거대 AI 모델을 지원하기 위해, 삼성전자가 제시하는 솔루션은 PIM(Processing-in-Memory)과 PNM(Processing-near-Memory) 기술입니다. 삼성전자는 이미 해당 기술을 활용한 메모리 솔루션을 확보하였으며, 이를 구현하는데 필요한 소프트웨어에 대한 표준화도 완료했습니다.

HBM-PIM과 GPU를 함께 탑재한 AI용 가속기 구현

PIM(Processing-in-Memory)은 프로세서가 수행하는 데이터 연산 기능을 메모리 내부에 구현한 기술입니다. PIM이 없는 시스템에서는 프로세서가 메모리로부터 명령어를 불러오고 실행하며 그 결과를 다시 메모리(기억장치)에 저장합니다. 이로 인해 다량의 데이터 이동이 필요합니다. PIM을 활용하면, 메모리 내부에서 연산 처리가 가능해 CPU와 메모리 간 데이터 이동이 줄어들기 때문에 AI 가속기 시스템의 성능과 에너지 효율을 높일 수 있습니다. 이 개념을 활용한 솔루션이 바로 HBM-PIM입니다.

*삼성전자 HBM-PIM 기술 설명 바로가기: https://bit.ly/3yHA9SW

삼성전자는 AMD와의 협력을 통해, 이미 상용화된 AMD의 GPU ‘MI-100’ 가속기 카드에 HBM-PIM 메모리를 탑재하였습니다. 이를 바탕으로 HBM-PIM Cluster를 구현한 다음, 각종 대규모 AI 및 HPC(High-Performance Computing) 어플리케이션에 적용했습니다.

그 결과, HBM-PIM을 활용하지 않은 기존 GPU 가속기 대비, 평균적으로 성능은 약 2배 증가하고 에너지 소모는 약 50%가 감소했음을 확인하였습니다. 삼성전자가 8개의 GPU 가속기로 시스템을 구성하고 대용량 AI 언어 모델을 학습시킨 결과, HBM-PIM을 탑재한 GPU 가속기를 사용했을 때 HBM을 탑재한 GPU 가속기보다 1년 동안 사용하는 에너지를 약 2,100GWh 절감할 수 있을 것으로 확인되었습니다. 2,100GWh의 에너지 사용을 절감하면 탄소 배출량을 약 96만 톤 가량 줄일 수 있으며, 이는 약 1억 그루의 소나무가 1년 동안 흡수하는 탄소보다 많은 양입니다.

*환산 기준: 국내 강원·중부 지방의 소나무의 경우, 한 그루당 1년 동안 8.6kg의 온실가스를 흡수 (국립산림과학원이 2019년 7월 발표한 ’19년 주요산림수종의 표준 탄소 흡수량 기준)

이로서 현재 데이터센터들이 초거대 AI와 관련해 직면하고 있는 메모리 용량과 대역폭 한계로 인한 병목현상을 효율적으로 개선하고 전력량 절감에도 기여할 수 있을 것으로 기대됩니다. 특히, 이는 이미 상용화된 GPU와 HBM-PIM을 이용해 구현할 수 있는 솔루션입니다.

또한, 삼성전자는 이를 지원할 수 있는 소프트웨어에 대한 준비도 병행하고 있습니다. 개방형 소프트웨어 표준인 SYCL을 활용해 금번에 구현한 GPU 가속기를 사용할 수 있는 소프트웨어 사양을 정의하였으며, 이를 바탕으로 한 소프트웨어도 11월 공개할 예정입니다. 이에 따라 향후 고객들은 통합된 소프트웨어 환경에서 PIM 메모리 솔루션을 사용할 수 있을 것으로 기대됩니다.

해당 소프트웨어 표준화를 위해 협력 중인 Codeplay Software의 최고사업책임자(Chief Business Officer) Charles Macfarlane는 “Codeplay는 SYCL 표준 정의에 함께 참여하여 HBM-PIM을 활용한 GPU 가속기에 적합한 첫 소프트웨어 솔루션을 구현했다”며, “삼성전자와 함께 소프트웨어 표준화를 지속 진행함으로써 라이브러리와 툴 생태계를 더욱 확장하고 알고리즘 개발에 집중할 수 있는 환경을 제공하겠다”고 밝혔습니다.

고용량 AI 모델을 위한 CXL 기반의 PNM 솔루션 개발

CXL은 컴퓨팅 시스템에서 사용되는 인터페이스로, 프로세서와 함께 사용되는 가속기와 메모리를 보다 효율적으로 사용하고 메모리 용량의 확장을 용이하게 해줍니다.

*삼성전자 CXL 메모리 기술 설명 바로가기: https://bit.ly/34pYiQj

PNM(Processing-near-Memory)도 PIM처럼 메모리를 데이터 연산 기능에 활용해 CPU와 메모리 간 데이터 이동을 줄여주는 기술입니다. 연산 기능을 메모리 옆에 위치시켜 CPU-메모리 간 발생하는 병목현상을 줄이고 시스템 성능을 개선할 수 있습니다.

삼성전자가 금번에 개발한 CXL 인터페이스 기반의 PNM 기술은 고용량 AI 모델의 처리에 적합한 솔루션입니다. 높은 메모리 대역폭을 요구하는 추천 시스템이나 인-메모리 데이터베이스 등의 응용에서 약 2배 이상 성능이 향상되는 것을 확인하였습니다. 삼성전자는 해당 기술을 최근 미국에서 개최된 ‘삼성 테크 데이’행사에서 업계 최초로 공개한 바 있습니다.

AI 모델별 특성에 적합한 메모리 솔루션 제공

AI 모델에 활용되는 데이터는 특성에 따라 밀집데이터와 희소데이터로 분류됩니다. 밀집데이터는 전체 데이터 군집 안에서 유효한 데이터의 비율이 높아 밀집되고 연결된 경우이며, 희소데이터는 유효한 데이터의 비율이 낮게 존재합니다.

자율주행, 음성인식 등의 AI 응용은 밀집데이터에 해당되며, 사용자 기반 추천 알고리즘(페이스북 친구 추천)등은 희소데이터에 해당됩니다. 삼성전자는 밀집데이터를 기반으로 하는 AI 모델에는 PIM 기술을 적용하고, 희소데이터 기반 AI 모델은 PNM 기술을 적용하여 고객의 다양한 요구에 대응할 예정입니다.

삼성전자 메모리사업부 신사업기획팀장 박철민 상무는 “HBM-PIM Cluster 기술은 업계 최초의 거대 규모 인공지능 분야 맞춤형 메모리 솔루션”이라며, “통합 소프트웨어 표준화 과정을 거쳐 CXL-PNM 솔루션과 도 접목하여, 에너지 절감 및 탄소 배출 저감 효과를 극대화함으로써 친환경 경영에 기여할 것이다”라고 밝혔습니다.

AMD의 Accelerated Data Center Business 담당 Josh Friedrich 부사장(Corporate Vice President)은 “AMD는 업계와의 협력을 바탕으로 고객을 위한 새롭고 혁신적인 기술을 지속적으로 찾아나가고 있다”며, “컴퓨팅 집약적 시스템 성능을 향상시킬 수 있는 PIM과 같은 혁신적인 메모리 기술을 연구하고 제시하는 삼성전자의 노력에 박수를 보낸다”고 밝혔습니다.

미국 에너지부(U.S. Department of Energy) 산하 연구소인 Oak Ridge National Laboratory의 Corporate Fellow이자 Computer Science와 Math Division을 이끌고 있는 Jeffrey Vetter는 “고성능 컴퓨팅과 AI 어플리케이션에서 흔히 발생하는 메모리 대역폭과 전력 효율 문제를 해결하는 데에 있어 PIM과 같은 컴퓨팅 메모리 기술의 구현이 필요하다”며, “삼성전자와의 협력을 통해 이러한 메모리 기술의 적용 가능성과 효율성을 연구할 수 있을 것으로 기대한다”고 밝혔습니다.

삼성전자는 향후 HBM-PIM과 CXL 기반 PNM 기술의 확산을 위해 IT 업계 및 학계와 적극적으로 소통할 계획입니다. HBM-PIM과 CXL 기반의 PNM 솔루션을 지원하는 통합 소프트웨어를 공개할 예정이며, 업계 최대 슈퍼 컴퓨팅 학회인 SC22에도 참가하여 해당 솔루션을 전시하고 시연할 예정입니다.