작년 말 세상을 떠들썩하게 만든, ‘챗GPT’의 등장. 출시한 지 5일 만에 100만 명, 두 달 만에 1억 명의 가입자를 확보하며 애플리케이션 역사상 가장 빠른 가입률을 기록했다. 이토록 많은 사람이 챗GPT에 열광한 이유는 무엇일까? 질의응답부터 창작까지, 다양한 기능을 제공할 뿐 아니라 인간과 구분하기 힘들 정도의 자연스러운 대화로 강력한 성능을 보여주기 때문이다. 생성형 인공지능(AI)은 2016년 알파고의 등장 이후 또 다른 가능성으로 초거대 AI 시대의 새로운 지평을 열었다.

챗GPT는 파라미터(parameter, 매개 변수)가 1,750억 개에 달하는 수많은 데이터를 기반으로 학습된 언어모델이기에, 원활한 서비스 제공을 위해서는 고성능 반도체가 필수적이다. 이렇게 거대한 데이터의 처리를 위해서 메모리 반도체는 데이터를 빠르게 읽고 쓸 수 있도록 고성능, 고대역폭, 저지연 등 성능을 극대화해야 한다.

이처럼 초거대 AI 시대에는 메모리 기술의 발전과 성능 향상이 중요하다. 삼성전자는 지난 40년간 업계를 선도하며 쌓아온 독보적인 기술 노하우를 바탕으로 AI 반도체 생태계를 확장할 다양한 메모리 제품을 준비해 왔다.

..

AI 시대의 필수요소, 고성능 HBM

삼성전자는 2016년 세계 최초로 고성능 컴퓨팅(HPC) 향 HBM 사업화를 시작하며, AI 향 메모리 시장을 본격적으로 개척했다. 2017년 선보인 8단 적층 HBM2는 당시 가장 빠른 속도의 메모리였던 GDDR5 대비 8배 빠른 속도를 구현했다. 이 제품을 통해 AI·HPC 시대에 필수적인 3차원 스택 기술을 선보일 수 있었다.

이후에도 삼성전자는 고객과 밀접히 협업하여 AI·HPC 생태계를 견인하고 있다. HBM2 제품을 거쳐 HBM2E, HBM3를 양산하고 있으며, 9.8Gbps* 속도의 HBM3E 제품을 개발하여 고객사에 샘플 공급을 시작할 예정이다.  HBM4는 2025년을 목표로 개발 중으로 해당 제품에 적용하기 위해 고온 열특성에 최적화된 NCF* 조립 기술과 HCB* 기술도 준비 중이다.

*Gbps(Gigabit per second): 1초당 전송되는 기가비트 단위의 데이터
*NCF(Non-conductive Film, 비전도성접착필름): 적층된 칩 사이에 발생하는 절연과 기계적 충격으로부터 솔더 조인트(Solder joint)를 보호하기 위해 사용하는 폴리머 레이어(Polymer layer)
*HCB(Hybrid Copper Bonding, 하이브리드 본딩): 차세대 본딩 기술로 기존에 솔더(Solder)를 사용한 방식이 아닌 구리(전도체)와 산화막(절연체)을 이용한 접합 방식

또한 올해 초에는 첨단 패키지 기술 강화 및 사업부간 시너지를 극대화하기 위해 AVP(Advanced Package)사업팀을 출범했다. HBM과 함께 2.5차원, 3차원* 첨단 패키지 솔루션을 포함한 첨단 맞춤형 턴키 패키징 서비스도 제공하여 AI·HPC 시대에 최고의 솔루션을 선보일 계획이다.

* 2.5차원 패키지: 단층의 로직 반도체와 다층의 메모리 반도체를 기판 위에 집적한 패키지
* 3차원 패키지: 여러 개의 로직/메모리 반도체를 수직으로 집적한 패키지

.

세계 최고 용량, 최고 성능을 제공할 DDR5 D램

AI 서비스를 위한 하이엔드 급 CPU는 100개가 넘는 코어(Core)와 각 코어를 담당할 충분한 메모리가 필요하다. 또한 제한된 패키지에서 더 많은 용량을 탑재하려면 D램 단일 칩 크기를 최소화하는 공정 기술과 폼팩터 내 구성 요소를 적절히 배치하고 스펙에 맞게 동작하도록 만드는 설계 기술도 필수적이다.

지난달 발표한 32Gb(기가비트) DDR5 D램은 40년 전 개발한 64Kb(킬로비트) D램 대비 용량이 50만 배 크다. 더불어, 동일 패키지 사이즈에서 아키텍처 개선을 통해 16Gb D램 대비 2배 용량을 구현하여, 128GB(기가바이트) 모듈을 TSV* 공정 없이 제작할 수 있게 되었다. 이로써 비용 절감과 생산성 개선이 가능해졌으며, 소비 전력도 10% 개선할 수 있게 됐다.

* TSV(Through Silicon Via, 실리콘 관통 전극): 칩을 얇게 간 다음, 수백 개의 미세한 구멍을 뚫고, 상단 칩과 하단 칩의 구멍을 수직으로 관통하는 전극을 연결한 첨단 패키징 기술

이번 제품으로 최대 1TB(테라바이트) 모듈 구현이 가능해져 고용량을 필요로 하는 데이터센터뿐 아니라 향후 MRDIMM, CXL 등 차세대 메모리 솔루션에서도 사용될 수 있는 기반이 될 것으로 기대한다.

한편, 업계 최선단 기술을 적용한 DDR5 규격의 12나노급 D램은 전 세대 제품 대비 생산성이 약 20% 향상되었다. 차별화된 기술 노하우를 바탕으로 뛰어난 성능과 전력 효율을 구현했고, 최고 동작 속도 7.2Gbps를 지원한다. 이는 1초에 30GB 용량의 UHD 영화 두 편을 처리할 수 있는 속도로, 향후 삼성전자는 고객 수요에 맞춰 데이터센터·AI·HPC 등 다양한 응용처에 공급할 계획이다.

.

메모리의 새로운 패러다임, PIM

폰 노이만 구조에서 기인한 메모리 병목 현상은 챗GPT와 같이 수많은 데이터를 다루는 응용에서 특히 치명적이다. 이러한 한계를 극복하기 위해 삼성전자는 2018년 세계 최초로 메모리 내에서 연산이 가능하고, 높은  에너지 효율을 가진 HBM-PIM(Processing-in-Memory)을 개발했다. 이를 통해 산업계와 학계에서 PIM 플랫폼의 표준화와 에코 시스템 구축을 위한 발판을 마련하였다. HBM-PIM은 D램 내부에 데이터 연산 기능을 탑재해  메모리 대역폭의 병목 현상을 개선하였으며, 음성 인식 등 특정 작업량에서 최대 12배의 성능 향상과 4배의 전력 효율을 달성했다.

이와 관련해 시스템 성능 개선을 목표로 하는 연구도 진행 중이다. 생성형 AI 응용까지의 확장성은 물론, 최근에는 CXL(Compute Express Link) 인터페이스를 사용하는 CXL D램에서 PIM 아키텍처를 구성하는 연구도 함께 진행하고 있다.

.

넥스트 폼팩터로 새로운 시장을 열다

그동안 PC와 노트북에 탑재되는 D램은 일반적으로 So-DIMM*이나 LPDDR*이었다. So-DIMM은 탈부착이 가능하지만 전송 속도와 공간 효율화 측면에서 한계가 있고, LPDDR은 소형화, 저전력 등의 장점이 있지만 온보드(On-board) 방식으로 탑재되어 탈부착이 어려웠다. 두 제품이 갖는 한계를 모두 극복할 수 있는 제품이 바로 LPCAMM(Low Power Compression Attached Memory Module)이다.

* So-DIMM(Small Outline Dual In-line Memory Module): PCB 기판 양면에 D램이 장착되어 있는 모듈로 일반적인 DIMM보다 크기가 작아 노트북 등 소형 시스템에 많이 사용됨
* LPDDR(Low Power Double Data Rate): 스마트폰, 태블릿, 노트북 등 모바일 장치 등에 탑재되는 저소비전력 D램

LPCAMM은 LPDDR D램 기반의 모듈 제품으로, 삼성전자는 최근 업계 최초로 LPCAMM을 개발하여 LPDDR의 새로운 폼팩터 시장을 개척했다. LPDDR이 탑재되어 고성능, 저전력 구현이 가능함과 동시에 모듈 형식이라 탈부착이 가능하여 사용자 필요에 따라 교체와 업그레이드가 가능하다. 또한 So-DIMM 대비 탑재 면적은 최대 60% 이상 줄어 제조사들이 내부 공간을 보다 효율적으로 사용할 수 있다. 더불어 성능은 최대 50%, 전력 효율은 최대 70%까지 개선되어 향후 PC, 노트북 등 모바일 장치에만 국한되지 않고 운영 효율과 저전력을 중요시하는 데이터센터 등 다양한 응용처에서 활용될 것으로 기대된다.

.

반도체 기술로 미래를 그리다

삼성전자는 지난 40여 년간 끊임없는 변화와 혁신을 통해 기술 초격차를 달성해 왔다. 앞으로도 초격차 DNA를 바탕으로 기술적 한계를 극복해 세상에 없는 다양한 메모리 솔루션 제품을 개발해 나갈 것이다. 특히 D램 시장의 큰 변곡점이 될 10나노 이하 공정을 기반으로 AI 시대에 세상이 원하는 초고성능, 초고용량, 초저전력 메모리 제품을 제공할 계획이다.

지금까지 그래왔듯, 앞으로도 세상이 원하는 반도체를 만들기 위한 기술 혁신의 중심에는 언제나 삼성전자가 있을 것이다.

The post [기고문] ‘초고성능, 초고용량, 초저전력’, AI 시대를 확장할 삼성전자 D램의 잠재력 first appeared on 삼성전자 반도체 뉴스룸.

MemCon 2023은 AI 관련 메모리 솔루션을 보다 심층적으로 다루기 위해 올해 처음으로 개최되는 학회로, 글로벌 IT 기업들을 중심으로 메모리, 디바이스 및 서버 업계를 이끄는 다양한 업체들이 참여했습니다. 삼성전자 반도체(DS부문)는 Founding Member이자 메모리 기술의 선도업체로서 최적의 솔루션 개발 성과와 노력을 선보였습니다. 이번 행사는 한진만 미주총괄(DSA)장의 Opening Remark로 시작되었는데요. 개회사에서 한진만 미주총괄장은 메모리 혁신 기술의 필요성 및 이에 부응하지 않을 경우 구시대 기술로 남을 위험성을 감수해야한다고 강조했습니다. 메모리 기술 혁신에는 메모리 중심 아키텍처 및 서비스형 메모리(Memory-as-a-sevice) 등이 포함되며, 앞으로 지속적인 기술의 혁신을 통해 이와 관련된 새로운 비즈니스 모델이 지속 등장할 것이라고 예상하였습니다.

뒤이어 연단에 오른 미주 메모리연구소장(DSRA-Memory) 최진혁 부사장은 “Memory Innovation in the Era of Data-Centric Computing”을 주제로 다양한 범위의 D램과 낸드플래시의 메모리 월(Memory Wall)* 문제를 해결할 혁신적인 솔루션과 함께, 업계를 선도할 삼성전자 반도체 메모리 기술의 비전을 제시했습니다.

또한 삼성전자 반도체는 초거대 AI 모델을 지원하는 HBM-PIM, CXL 기반 PNM을 비롯해 SmartSSD, Memory-Semantic SSD, Memory Expander 등 다양한 메모리 제품들도 공개했습니다.

* 메모리 월(Memory wall): 프로세서 속도와 메모리 접근 시간 사이의 격차 증가로 인해 발생하는 성능 병목 현상. 이 문제로 인해 프로세서가 메모리로부터 데이터를 기다리는 데 더 많은 시간을 소비하여 시스템 효율이 감소

이번 학회에서 발표한 제품 중 HBM-PIM와 CXL-PNM은 AI 응용처에 적용했을 때 기존 솔루션 대비 GPU 가속기의 성능을 획기적으로 향상시킬 수 있습니다. 이와 더불어 The 2nd Gen. SmartSSD(2세대 SmartSSD)는 1세대 대비 크게 향상된 성능을 바탕으로 데이터 연산처리 시간과 에너지 소모량을 줄일 수 있으며, Memory-Semantic SSD는 일반 SSD 대비 20배에 달하는 임의 읽기 속도와 응답속도를 제공해 데이터센터 AI와 머신러닝에 적합한 제품입니다.

그럼, 이번 MemCon 2023에서 공개된 삼성전자 반도체의 최신 메모리 솔루션들을 자세히 알아보겠습니다.

데이터 중심 컴퓨팅 시대로 가는 디딤돌: HBM-PIM, CXL-PNM, 그리고 The 2nd Gen. SmartSSD

최근 화제로 떠오른 ‘챗GPT’는 인공지능을 활용한 대표적인 대화형 챗봇으로 초거대 데이터를 사용하기로도 유명합니다. 이렇게 초거대 데이터에 기반한 서비스가 점차 확대됨에 따라, 처리할 데이터의 양은 폭발적으로 증가하고 있습니다. 이에 따라 삼성전자는 초거대 AI 모델 처리에 적합한 HBM-PIM(Processing in Memory)과 CXL(Compute Express Link) 기반 PNM(Processing near Memory) 등의 메모리 반도체 솔루션을 개발했습니다. 이를 사용하면, AI의 성능과 효율 측면에서 상당한 개선 효과를 거둘 수 있을 것으로 기대됩니다.

일례로 챗GPT와 같은 AI 챗봇에 사용되는 GPT-3 언어 모델의 경우, 전체 연산 기능 가운데 PIM을 적용해 가속할 수 있는 부분이 80% 이상인 것으로 예측되고 있습니다. HBM-PIM을 적용하여 성능 개선 효과를 계산해 본 결과, HBM을 사용 GPU 가속기를 활용했을 때보다 AI 모델의 성능이 약 3.4배 이상 향상됨을 확인하였습니다.

한편, CXL 기반 PNM 솔루션은 메모리 용량 추가가 용이한 CXL 인터페이스를 활용해 기존 GPU 가속기 대비 4배 용량으로 제공 가능합니다. 다양한 고객 니즈에 맞는 AI 모델을 한 번에 처리하는데 적합하며, GPT와 같은 초거대 AI 언어모델에도 활용 가능합니다. 또한 PCIe 인터페이스를 사용한 가속기와 비교했을 때, AI 모델의 로딩 속도도 2배 이상 빨라지는 효과가 있습니다.

삼성전자는 HBM-PIM, CXL-PNM 솔루션을 비롯해 이를 지원하는 소프트웨어와 실행 방법, 성능 평가 환경 등을 오픈 소스로 공개하여 생태계 확장을 위한 노력을 지속해 나가고 있습니다.

The 2nd Gen. SmartSSD는 AI 시스템에 활용되는 스토리지 솔루션입니다. SmartSSD 내부에서 데이터 연산처리를 일부 진행한 후, 중간 결과물을 CPU에 전달하기 때문에 데이터 전송 과정에서 지연 시간을 대폭 줄이고, 방대한 양의 데이터도 동시에 처리할 수 있게 합니다. 특히, 고객이 니즈에 맞추어 소프트웨어를 선택적으로 적용해 효율을 더 증가시킬 수 있습니다. 또한, 1세대 제품과 비교해 연산 성능이 2배 이상 향상됐으며 이를 바탕으로 AI 시스템의 데이터베이스 연산처리 시간을 크게 단축할 수 있고 에너지 소모량과 CPU 사용률도 크게 줄일 수 있습니다.

데이터 중심 시대 메모리 확장의 선두주자
: CXL 기술 기반의 Memory Expander와 Memory-Semantic SSD, PBSSD

Memory Expander(MXP)와 Memory-Semantic SSD 역시도 차세대 인터페이스인 CXL을 활용합니다. Memory Expander는 메모리 대역폭과 용량 확장이 가능해 방대한 양의 데이터를 빠르게 처리할 수 있습니다.

Memory-Semantic SSD는 CXL 인터페이스를 통해 일반 SSD 대비 임의 읽기속도와 응답속도를 최대 20배까지 향상시킬 수 있습니다. 내부에 D램 캐시메모리를 추가해 작은 크기의 데이터 읽기와 쓰기를 보다 효과적으로 처리할 수 있는 제품으로, 성능과 가격경쟁력에 민감한 데이터센터 AI와 머신러닝 데이터베이스에 적합한 솔루션이 될 것으로 예상됩니다.

PBSSD는 스토리지 저장 용량을 페타바이트(PB: Petabyte) 급으로 끌어올린 솔루션으로, 1PB는 6GB짜리 영화를 약 17만4000편 담을 수 있는 용량에 해당합니다. 이렇게 대용량의 스토리지를 바탕으로 최소한의 서버 구축으로도 방대한 양의 데이터 처리가 가능해, 고객들이 효율적으로 시스템을 구축할 수 있습니다.

메모리의 차세대 비전을 제시하는 삼성전자 반도체

미래에 활용될 메모리 제품은 표준화가 진행 중인 상황에서 개발되기 때문에 고객과의 지속적인 교류가 상품화와 생태계 조성에 큰 도움을 줍니다. 이번 MemCon 2023은 다양한 업계와 분야의 이해관계자들이 한 자리에 모여 깊이 토론할 수 있는 자리를 제공했으며, 글로벌 IT 기업들의 니즈를 더 상세하게 파악할 수 있는 좋은 기회가 되었습니다.

앞으로도 메모리 기술 한계를 극복해 나가며 미래 기술을 선도하고자 노력하는 삼성전자 반도체의 끊임없는 노력과 도전에 많은 관심과 기대 부탁드립니다.

The post AI 시스템에 활용될 삼성전자 반도체의 최신 메모리 솔루션, MemCon 2023에서 선보이다 first appeared on 삼성전자 반도체 뉴스룸.

인생맛칩이 새로운 시리즈로 돌아왔습니다. 어렵고 익숙하지 않은 반도체 용어를 쉽고 재미있게 소개하는 ‘반도체어 썰어드립니다(반썰어)’ 시리즈인데요. 오늘 처음으로 파헤쳐 볼 용어는 무엇일까요? 바로 AI의 성능을 획기적으로 높여 줄 지능형 반도체, ‘PIM(Processing In Memory)’입니다.

요즘 어떤 질문에도 척척 대답하는 챗GPT가 연일 화제죠. 질문에 대한 간단한 대답은 물론, 생각을 요하는 광고 문구나 소설까지 작성할 수 있어 4차 산업혁명 시대가 왔다는 것을 실감할 수 있습니다. 그런데, 이 챗GPT에 대해 알아가다 보면, PIM이라는 용어가 종종 함께 등장한다는 사실을 아시나요?

PIM은 메모리 안에 연산장치를 포함한 지능형 반도체로, 메모리와 CPU 간의 데이터 이동을 줄여주는 장치인데요. 지연 현상으로 대답이 단어 단위로 뚝뚝 끊기는 AI에 HBM-PIM*을 더하면 끊김이 없는 대답을 엿볼 수 있다고 합니다. 미래 AI 반도체 산업의 핵심, PIM의 놀라운 잠재력을 더 알고 싶다면, 지금 바로 영상을 시청해보세요.

*HBM-PIM: 삼성전자가 세계 최초로 개발한 기술로 메모리 영역에서 연산 처리가 가능해 CPU와 메모리 간 데이터 이동을 줄여 시스템 성능은 올리고, 에너지 소비는 감소시키는 것이 특징

The post [반썰어 Ep.1] 핵심만 쏙쏙! 어려운 반도체 용어 알기 쉽게 썰어드립니다 – PIM 편 first appeared on 삼성전자 반도체 뉴스룸.

미래를 이끌 글로벌 기술 트렌드를 엿볼 수 있는 ‘CES 2023’이 1월 5일(현지시각 기준) 미국 라스베이거스에서 개최되었습니다. CES(The International Consumer Electronics Show)는 미국소비자기술협회가 1967년부터 매년 진행하고 있는 세계 최대의 가전·IT 박람회로, 수많은 기업들이 참가해 최신 제품과 혁신 기술을 선보이는 자리입니다.

이번 CES 2023에서 삼성전자 반도체는 앙코르 앳 윈 호텔(Encore At Wynn Hotel, 이하 앙코르) 내 ‘Samsung Semiconductor Showcase’라는 별도의 전시 공간을 마련해 초청한 고객들을 대상으로 혁신적인 기술력을 집약한 반도체 제품들을 선보였습니다. 기술이 발달하고, 일상이 편리해질수록 그 기술력을 뒷받침해주는 반도체의 역할은 점점 더 중요해지고 있습니다. 특히 메모리 반도체는 스마트폰, TV, 컴퓨터, 스마트워치 등 우리의 일상 곳곳에 녹아 들어 있는데요. 우리의 일상을 한층 편리하게 해주는 첨단 메모리 제품들을 Samsung Semiconductor Showcase 현장에서 만나보았습니다.

미래를 선도할 메모리 제품들이 한자리에

삼성전자 반도체는 그동안 독보적인 기술력으로 세계 메모리 반도체 시장을 이끌어왔는데요. 앙코르 호텔 내부에 꾸려진 전시 공간에는 업계를 리딩할 차세대 PC, 서버, 모바일용 메모리 제품들로 가득했습니다. 전시 공간은 오전 8시부터 입장이 시작되었는데요. 비교적 이른 시간임에도 많은 고객들의 발걸음이 쉴 새 없이 이어졌습니다. 이번 전시에서 삼성전자 반도체는 고성능은 물론 높은 에너지 효율에 중점을 둔 탁월한 메모리 제품 라인업을 선보였는데요. 과연 어떤 제품들이 비즈니스 파트너들의 눈길을 사로잡았을까요?

성능의 한계는 어디까지? DDR5 모듈 & 모바일용 UFS 4.0 메모리

고속, 대용량의 데이터 처리가 필요한 고성능 컴퓨팅, AI 등에 사용되는 최신 D램인 DDR5. 이번 Samsung Semiconductor Showcase에서는 14나노 공정 기반의 24Gb DDR5 칩으로 만든 모듈인 PC용 ‘UDIMM’과 서버용 ‘RDIMM’을 만나볼 수 있습니다. PC용 DDR5 UDIMM은 현존하는 PC용 DDR5 모듈 중 최고 용량인 48GB를 자랑하는 제품으로 높은 성능을 갖추고 있어, 빠른 데이터 처리, 3D 모델링이나 고해상도의 게이밍을 즐기기 원하는 PC 사용자들에게 적합한 D램 모듈입니다. 또한 워크스테이션이나 entry level의 서버에도 사용할 수 있습니다.

업계 최초의 512GB 용량 서버용 모듈인 DDR5 RDIMM은 이전 모듈 대비 성능과 용량은 2배로 늘어나고 전력 효율은 30% 향상된 제품인데요. 성능은 물론, 전력 효율의 향상을 통해 서버와 데이터센터의 에너지 소비를 줄임으로써, 환경을 위한 지속 가능한 발전에도 기여할 것으로 많은 기대감을 모으고 있습니다.

모바일용 차세대 규격인 UFS 4.0에 맞춰 플래시 메모리를 더욱 콤팩트한 패키지로 구현한 고성능 임베디드 칩인 삼성전자 ‘UFS 4.0’. 연속 읽기 4200MB/s, 연속 쓰기 2800MB/s를 제공하며, 데이터 전송 대역폭(bandwidth)이 기존 UFS 3.1 규격의 2배인 23.3Gbps에 달해, 더욱 빠르게 데이터를 저장하고 읽을 수 있는 것이 특징인 제품입니다. 최신 스마트폰을 비롯한 모바일 기기에 탑재될 예정이며, 앞으로는 차량용 반도체와 메타버스 기기 등에도 광범위하게 확산될 것으로 기대됩니다.

빠른 데이터 처리 성능을 자랑하는 최신 SSD 제품들

메모리 반도체 전시에 SSD가 빠질 수 없죠? 지난 해 ‘삼성 테크 데이 2022’에서 공개됐던 삼성전자 반도체의 최신 고성능 SSD 제품들을 이번 현장에서도 엿볼 수 있었습니다.

메타버스나 인공지능 등 데이터 처리량이 많은 분야에 사용되는 서버용 ‘PM1743’ 제품이 그중 하나였는데요. 기존 PCIe 4.0 대비 대역폭이 2배로 커진 최신 PCIe 5.0 규격을 기반으로 최대 15.36TB의 큰 저장 용량과 14000MB/s의 빠른 연속 읽기 속도를 자랑합니다. 이전 세대에 비해 약 40% 향상된 전력 효율을 바탕으로 서버와 데이터센터에서 운영 효율을 크게 높일 수 있어 탄소 배출과 에너지 사용을 줄이는데 큰 기여를 하는 제품이기도 합니다.

폭증하는 데이터 처리를 위한 최첨단 메모리 솔루션

초거대 AI 모델을 지원하기 위한 최첨단 솔루션, PIM(Processing-in-Memory)과 PNM(Processing-near-Memory) 기술도 이번 CES에서 만날 수 있었습니다. PIM(Processing-in-Memory)은 프로세서가 수행하는 데이터 연산 기능을 메모리 내부에 구현한 기술로, PIM 기술을 활용한 ‘HBM-PIM’ 솔루션을 활용한다면, 기존의 PIM 기술을 적용하지 않은 GPU 가속기와 비교해, 평균적으로 약 2배 증가한 성능과 약 50%의 에너지 소모를 아낄 수 있을 걸로 기대됩니다.

PNM(Processing-near-Memory) 역시 PIM처럼 메모리를 데이터 연산 기능에 활용해 CPU와 메모리 간 데이터 이동을 줄여주는 기술인데요. 삼성전자 반도체가 최근 개발한 ‘CXL-PNM’ 기술은 메모리의 효율적인 사용과 용량 확장을 용이하게 해주는 CXL 인터페이스를 활용합니다. 높은 메모리 대역폭을 요구하는 추천 시스템이나 인-메모리 데이터베이스 등의 응용에서 약 2배 이상의 성능 향상을 기대할 수 있습니다.

한편, CXL 인터페이스를 활용한 ‘512GB Memory Expander’ 제품도 많은 관심을 모았는데요. 이 솔루션을 활용하면, 서버 시스템에서 별도의 CPU를 추가하지 않고도 메모리 용량을 테라바이트(TB) 레벨까지 손쉽게 늘릴 수 있고 대역폭도 획기적으로 증가시킬 수 있어, 데이터 처리량이 날로 폭증하고 있는 가운데 고객들에게 이상적인 해결방안을 제시하는 제품입니다.

제품을 담당하고 있는 메모리사업부 신사업기획팀 김준 님은 “Memory Expander는 최근의 트렌드인 AI나 빅데이터와 같은 응용처에서 폭증하는 데이터 처리 수요를 충족할 수 있는 제품이다”는 설명과 함께 “전세계 최초로 512GB의 용량을 제공하고 있으면서도 하드웨어와 소프트웨어 솔루션까지 제공하는 통합 솔루션 프로바이더로서 차세대 메모리 생태계를 구축하고 있다”며 제품에 대한 자부심을 드러냈습니다.

미래 기술과 지속 가능한 환경을 위한 노력

한편, 이번 CES에는 처음으로 Sustainability zone도 마련되어 방문한 고객들에게 삼성전자 반도체의 친환경 비전도 선보였습니다. 이 공간에서는 “기술을 지속가능하게 하는 기술”이라는 친환경 비전에 따라 삼성전자 반도체의 4대 환경 목표를 소개하고, 이를 실현하기 위한 주요 기술인 업계 유일의 온실가스 통합 처리 시설 ‘RCS (Regenerative Catalytic System)’도 소개하였습니다. RCS는 처리 효율이 95%로 내구성이 뛰어난 촉매를 활용하여 온실가스 처리율을 더욱 높인 삼성전자 반도체만의 독자적인 기술로서, 이러한 혁신적인 기술을 바탕으로 삼성전자 반도체가 꿈꾸는 지속가능한 미래를 CES를 방문한 고객들과 공유했습니다.

또한 원료 추출부터 제품 개발, 생산 및 폐기에 이르는 전 과정에서 자연에 미치는 영향을 최소화하고자 진행하고 있는 ’LCA (Life Cycle Assessment’ 프로세스를 소개했으며, 이러한 노력을 인정받아 업계 최초로 받은 탄소 발자국 인증과 “탄소 저감 인증 등의 성과도 함께 전시했습니다.

미래 메모리 반도체 기술의 혁신 방향을 제시하고, 반도체 업계의 지속가능한 발전 청사진까지도 제시한 ‘Samsung Semiconductor Showcase’ 현장! 내일은 시스템 반도체 전시 제품 소식을 들고 다시 찾아올 테니 지켜봐 주세요!

영상으로 만나보는 ‘Samsung Semiconductor Showcase 속 주요 전시 제품’

The post 4차 산업혁명은 내게 맡겨! CES 2023에서 선보인 삼성전자의 첨단 메모리 반도체 솔루션 first appeared on 삼성전자 반도체 뉴스룸.

어느새 우리의 일상에 깊이 들어와 있는 인공지능 (Artificial Intelligence, 이하 AI). 우리가 사용하고 있는 많은 서비스들은 음성 인식, 기계 번역과 같은 AI 응용을 활용하고 있으며, 앞으로 더욱 성장할 자율주행, 메타버스 이미지 분류 등의 분야도 AI의 발전에 기반하고 있습니다. 이와 같은 AI 기술을 구현하는 숨은 공신이 바로 메모리 반도체 기술입니다.

현재 AI 응용은 이미지 분류, 음성 인식, 기계 번역 분야에서 널리 활용되고 있는데, 이들 인공지능 시스템의 성능과 에너지 효율을 끌어올리기 위해서는 메모리 솔루션 기술의 발전과 성능 향상이 필수적입니다.

왜 그럴까요? 이 배경을 이해하기 위해서는 폰 노이만 구조에 대한 이해가 필요합니다. 폰 노이만 구조는 오늘날 대부분의 컴퓨팅 시스템에서 사용하는 방식으로, CPU가 주 기억장치인 메모리로부터 명령어를 불러오고 실행하며 그 결과를 다시 기억장치에 저장하는 작업을 순차적으로 진행합니다. 이 과정에서 CPU와 메모리 간 주고받는 데이터가 많아지면 작업 처리가 지연되는 현상이 생깁니다. 이를 ‘폰 노이만 병목현상’이라고 합니다. 따라서 이러한 구조 하에서는 성능 향상에 한계가 있기 때문에, IT 업계에서는 이를 획기적으로 극복할 수 있는 다양한 방안이 논의되고 있습니다.

삼성전자는 이러한 시장의 요구에 부응하고, 메모리 산업이 지속적으로 발전할 수 있도록 하기 위해, 메모리 관점에서 이를 해결할 수 있는 솔루션을 활발하게 개발하고 있습니다. 그러한 노력을 바탕으로 개발된 솔루션 중 하나는, 앞으로 메모리 패러다임을 바꿔나갈 것으로 기대되는 PIM(Processing in memory) 기술입니다.

PIM은 Processing in memory라는 말 그대로 메모리 내에 데이터의 연산 처리를 할 수 있는 logic unit을 탑재한 것입니다. 메모리 내부의 각 뱅크에 인공지능 엔진을 장착하고 데이터의 병렬 처리를 극대화하는 것인데요. 이를 통해 CPU와 메모리 간의 데이터 이동을 줄일 수 있기 때문에 컴퓨팅 시스템, AI 가속기 시스템 등의 전체 성능을 높이고 에너지 효율도 함께 제고할 수 있습니다.

차세대 메모리의 혁신을 이끄는 삼성전자 반도체

이렇게 PIM을 필두로, 삼성전자 반도체는 AI 응용처에 쓰일 다양한 차세대 메모리 솔루션을 활발히 개발하고 상용화하고 있는데요. 이렇게 인류의 미래를 더욱 편리하게 열어나가는 일을 하고 있는 전문가들은 어떤 분들일까요?

삼성전자 반도체 뉴스룸이 차세대 메모리 PIM의 개발과 상용화를 담당하고 있는 전문가들을 직접 만나보았는데요. D램 설계를 담당한 이석한 님, 소프트웨어와 응용 분야를 담당한 노유환 님, 그리고 PIM 제품의 사업화를 담당한 김진현 님과 함께 차세대 메모리의 동향에 대해 이야기를 나눠보았습니다.

Q. 폰 노이만 구조의 한계를 극복하기 위해 반도체 업계가 수십 년간 노력해온 것으로 알고 있습니다. PIM 솔루션이 중장기적으로 폰 노이만 병목현상을 해결하는 데 어떻게 기여할 수 있을까요?

A. PIM은 70년대 이미 컴퓨팅 구조 학계에서 제안되었을 정도로 필요성과 목적이 명확했습니다. 데이터 연산을 위해 메모리 데이터를 CPU에 자주 이동해야만 하는 기존의 폰 노이만 구조에서 CPU와 메모리의 성능 차이에 의한 병목현상은 이미 예견되어 있었기 때문이죠. 다만 이제까지는 메모리의 괄목할 만한 속도 증가와 CPU/GPU들의 병렬 연결을 이용하여 이를 극복해왔지만, 최근에는 인공지능 서비스를 위해 구축한 전체 시스템에서 전력 소모가 감당할 수 없을 정도로 증가하게 됨에 따라 다른 솔루션이 필요했던 상황입니다. PIM은 이러한 문제를 해결할 수 있는 혁신적인 기술인데요, 중장기적인 관점에서는 기하급수적으로 규모가 증가하고 있는 초거대 AI 응용에서 에너지 효율을 높이는데 크게 기여할 것으로 기대하고 있습니다.

Q. 말씀해 주신대로 AI, 빅데이터 처리를 위한 반도체 기술들이 주목을 받고 있는데요. 삼성전자 반도체는 고성능 컴퓨팅에 최적화된 HBM-PIM, LPDDR-PIM, GDDR-PIM 등 PIM(Processing in memory) 기술을 활용한 다양한 솔루션들을 선보이고 있습니다. 삼성전자의 PIM 기술이 기존에 다른 업체들이 해왔던 PIM 기술과 비교해 갖는 차별화 포인트가 있을까요?

A. 삼성전자는 2021년에 업계 최초로 HBM-PIM을 개발했습니다. 이후에도 부품 수준의 성능에 머무르지 않고, 가속기 카드 수준, 그 다음은 가속 서버 레벨, 더 나아가서는 데이터센터를 구성하는 클러스터 레벨까지 기술을 확장하여 왔습니다. 또한 PIM과 같은 새로운 기술 적용에 다소 보수적이었던 데이터센터 및 슈퍼컴퓨팅 업체를 위해, 고객이 바로 사용할 수 있는 실제 인공지능 응용에 PIM 기술을 적용하여 최종 고객 레벨에서 어떠한 성능을 기대할 수 있는지를 시현했습니다.

그동안 반도체 업계에서 제시되어 온 PIM 기술은 CPU 또는 GPU의 기능을 단순히 메모리로 옮겨서 데이터의 이동을 최소화한 것이 대부분이었는데요. 이는 시스템 수준의 비약적인 성능 향상을 가져오거나, 컴퓨팅 구조를 변경시킬 정도의 영향을 끼치지는 못했었습니다. 삼성전자 PIM 기술만이 가진 차별성은 △ 메모리 병렬처리 극대화 △ 인공지능 전용 가속 △ PIM을 지원하는 소프트웨어 제공 △ 현재 업계에서 상용되고 있는 CPU/GPU와 함께 바로 적용 가능한 호환성 (CPU나 GPU의 변경이 필요하지 않음) △ 메모리 셀에 가장 가까운 연산기 배치에 따른 에너지 효율 극대화로 요약할 수 있습니다.

Q. 삼성전자는 2021년 ISSCC 학회에서 PIM을 적용한 HBM을 처음 발표한 바 있는데요. PIM을 본격적으로 개발하기 시작한 시기와 개발 과정에서의 에피소드가 궁금합니다.

A. 우리 회사가 처음 PIM을 개발할 당시에는 어떤 응용을 타겟으로 어떻게 개발할 지에 대한 논의를 위해 상품기획, 개발자들이 모여 많은 시간을 할애하여 치열한 논쟁을 펼쳤습니다. 당시 논의했던 인공지능, 네트워크, 모바일, HPC(High-performance computing) 등의 응용 분야는 아직도 많은 고객들의 요청사항이 접수되고 그들과의 협력이 진행되고 있습니다.

PIM을 처음 개발하던 당시에 저희가 절대 타협하지 않은 부분은, 초기 PIM 제품은 기존 CPU/GPU를 변경하지 않고도 적용이 가능하도록 해야 한다는 것이었고 성능을 위해 D램 셀 가장 근처에 가속 엔진을 병렬로 위치시켜야 한다는 것이었습니다. 또한 외부적인 요인보다도 사업화 측면에서, 이런 중장기적인 기술을 제품에 적용하는 것이 맞는지에 대한 논의가 지속되어 왔지만, 삼성전자만이 할 수 있다는 의지와 함께 PIM 기술이 메모리 기술의 미래가 될 것이라는 신념에는 변함이 없었습니다.

Q. 삼성전자가 PIM을 개발하는 과정에서 학계와의 협력을 비롯해 다른 기업, 연구 기관들과도 적극적인 교류를 해 온 것으로 알고 있습니다. 기술 개발 과정에서 다양한 주체들과 협력한 것이 어떠한 효과를 가져왔는지 설명해주실 수 있으실지요?

A. PIM은 단순히 메모리에 가속 엔진을 넣는 것으로 완성되는 기술이 아닙니다. 메모리에 연산기가 들어가는 순간, 기존에 생각하지 못했던 많은 일들이 일어나기 때문이죠. 또한 PIM을 효과적으로 사용하기 위해서는 가장 적합한 응용을 중심으로 성능 향상과 응용 서비스 생태계가 구축되어야 합니다. 삼성전자는 차세대 IT 시스템들에 PIM의 적용과 확산을 앞당기고 PIM 생태계를 구축하기 위해, 이미 개발된 HBM-PIM로부터 얻은 결과와 PIM 개발 환경을 모두 개방하고, 외부 기업, 국책연구소 등과 다양하게 교류하고 있습니다. PIM의 성공은 훌륭한 제품뿐만 아니라 잘 구축된 생태계에 달려 있기 때문입니다.

Q. 현재까지 PIM 기술은 주로 데이터센터를 운영하는 플랫폼 기업들과 고성능 컴퓨팅이 필요한 슈퍼컴퓨터 등에 활용되고 있습니다. 한편, 삼성전자는 PIM 기술을 HBM뿐 아니라 LPDDR, GDDR 등의 제품으로도 확장하고 있는데요, 이와 같은 기술들이 활용될 수 있는 또 다른 영역은 어떤 것들이 있다고 보시는지요?

A. PIM은 단순한 메모리 제품이 아니라, 컴퓨팅 구조 차원의 메모리 기술이자 솔루션입니다. 사업화 초기에는 응용처를 HPC와 데이터센터로 타겟했기 때문에 HBM에 우선 적용했지만 추후 모바일, 그래픽 영역에도 적용하는 것이 당연한 순서라 볼 수 있습니다.

데이터를 이용하는 응용은 성능 측면에서 컴퓨팅 성능이 중요한 응용과, 메모리 성능을 더 요구하는 응용으로 크게 나눠볼 수 있는데요. PIM이 주목하는 응용은 메모리 성능을 필요로 하는 응용이고, 이런 응용은 빅데이터와 인공지능 시대에는 대부분을 차지하게 될 것입니다. 논리적으로 계산하는 응용보다는 모든 데이터를 모아놓고 답을 얻는 방법이 더 정확하고 빠르다는 것에 주목하고 있기도 하고요. 이러한 메모리 중심의 PIM 응용 사례로는, 인간의 뇌와 같은 저전력 초거대 AI 모델을 활용한 챗봇과 각종 추천 서비스, 실시간 번역 및 음성 인식, 기후나 생명 등 과학 연구를 위한 슈퍼컴퓨팅, 저전력 On-device AI mobile 응용 등 많은 데이터를 저전력으로 활용하여 빠른 연산 처리가 필요한 모든 영역이 될 것으로 예측됩니다.

가까운 미래에 우리의 일상이 될 인공지능 서비스들. AI가 만들어나갈 좀 더 편리하고 스마트한 세상의 핵심에는 메모리 반도체가 있습니다. 상상을 현실로 만들기 위해 오늘도 노력하고 있는 삼성전자 반도체에 많은 응원 부탁드립니다.

The post 삼성전자 전문가에게 직접 듣다! 차세대 메모리 반도체가 본격적으로 열어갈 AI 시대 first appeared on 삼성전자 반도체 뉴스룸.

삼성전자와 네이버가 차세대 AI 반도체 솔루션 개발에 협력하기로 했습니다.

AI 전용 반도체 솔루션 개발은 고도의 반도체 설계/제조 기술과 함께 AI 알고리즘 개발/검증, AI 서비스 경험과 기술의 융합이 필수적입니다.

삼성전자와 네이버는 각 분야 기술의 선두주자로서 이번 협력을 통해 AI 시스템에 최적화된 반도체 솔루션을 개발할 수 있을 것으로 기대됩니다.

‘초대규모(하이퍼스케일, Hyperscale) AI’의 성능 향상은 처리할 데이터와 연산량의 기하급수적인 증가로 이어지나, 기존 컴퓨팅 시스템으로는 성능과 효율 향상에 한계가 있어 새로운 AI 전용 반도체 솔루션의 필요성이 급증하고 있습니다.

두 회사는 AI 시스템의 데이터 병목을 해결하고 전력 효율을 극대화할 수 있는 새로운 반도체 솔루션을 개발해 AI 기술 경쟁력을 한층 더 강화할 계획입니다.

삼성전자는 컴퓨테이셔널 스토리지(Computational Storage) 기술인 스마트 SSD와 고성능 메모리에 연산 기능을 내장한 HBM-PIM(Processing-in-memory), PNM(Processing-near-memory), 대용량의 데이터를 효율적으로 처리할 수 있는 차세대 인터페이스 기반의 CXL(Compute Express Link) 등을 업계 최초로 개발하는 등 메모리 패러다임의 변화를 선도해 나가고 있습니다.

삼성전자는 이러한 차세대 메모리 솔루션의 융복합을 통해 메모리 병목현상을 극복하고, 초대규모 AI 시스템에 최적화된 반도체 솔루션을 제공해 나갈 예정입니다.

네이버는 ‘하이퍼클로바(HyperCLOVA)’를 운용하면서 학습이 완료된 초대규모 AI 모델에서 불필요한 파라미터를 제거하거나, 파라미터 간 가중치를 단순하게 조정하는 경량화 알고리즘을 차세대 반도체 솔루션에 최적화해 초대규모 AI의 성능과 효율을 극대화한다는 계획입니다.

삼성전자와 네이버는 이번 협력을 시작으로 컴퓨테이셔널 스토리지, HBM-PIM, CXL 등 고성능 컴퓨팅을 지원하는 차세대 메모리 솔루션의 확산에 대해서도 지속적으로 협력해 나갈 계획입니다.

삼성전자 메모리사업부 전략마케팅실장 한진만 부사장은 “네이버와 협력을 통해 초대규모 AI 시스템에서 메모리 병목현상을 해결할 수 있는 최적의 반도체 솔루션을 개발할 것”이라며, “AI 서비스 기업과 사용자의 니즈를 반영한 반도체 솔루션을 통해 PIM, 컴퓨테이셔널 스토리지 등 시장을 선도하는 차세대 메모리 라인업을 확대해 나가겠다”고 밝혔습니다.

네이버 클로바 CIC 정석근 대표는 “네이버가 하이퍼클로바를 서비스하면서 확보한 지식과 노하우를 삼성전자의 첨단 반도체 제조 기술과 결합하면, 최신의 AI 기술이 당면하고 있는 문제를 해결할 수 있는 기존에 없던 새로운 솔루션을 만들어낼 수 있을 것”이라며, “네이버는 이번 협업을 시작으로 기술의 외연을 더욱 확장하며 국내 AI 기술 경쟁력 강화를 위해 지속적으로 노력해나갈 것”이라고 밝혔습니다.

The post 삼성전자-네이버, AI 반도체 솔루션 개발 협력 first appeared on 삼성전자 반도체 뉴스룸.

최근 인공지능(AI) 분야에서 화두가 되고 있는 중요한 트렌드 중 하나는 ‘초거대 AI(Hyperscale Artificial Intelligence, 이하 초거대 AI)’입니다. 초거대 AI는 기존 AI에서 한 단계 진화한 AI로, 인간의 뇌처럼 여러 상황에 대해 스스로 학습하여 사고하고 판단할 수 있습니다. 예컨대, 인공지능의 활용 사례로 많이 알려진 이미지 분석과 같은 작업에서 한발 더 나아가 사람의 언어를 이해하고 이를 바탕으로 이미지를 만들어낼 수도 있습니다. 이러한 수준의 AI를 구현하기 위해서는 훨씬 더 대용량의 데이터에 대한 학습과 연산이 필요하며, 이를 수행할 수 있는 컴퓨팅 인프라가 갖춰져야만 합니다.

최근 활발하게 연구, 도입되고 있는 대용량 추천 시스템과 언어 모델 등을 살펴보면, 모델의 크기가 커질수록 정확도가 증가하는 추세입니다. 그런데 이러한 모델을 구현할 수 있는 충분한 D램 용량과 대역폭이 지원되지 않으면 컴퓨팅 성능이 제한될 수 있습니다. 이에, 삼성전자는 이를 극복할 수 있는 메모리 기술을 선제적으로 개발하고 있습니다.

앞서 설명한 초거대 AI 모델을 지원하기 위해, 삼성전자가 제시하는 솔루션은 PIM(Processing-in-Memory)과 PNM(Processing-near-Memory) 기술입니다. 삼성전자는 이미 해당 기술을 활용한 메모리 솔루션을 확보하였으며, 이를 구현하는데 필요한 소프트웨어에 대한 표준화도 완료했습니다.

HBM-PIM과 GPU를 함께 탑재한 AI용 가속기 구현

PIM(Processing-in-Memory)은 프로세서가 수행하는 데이터 연산 기능을 메모리 내부에 구현한 기술입니다. PIM이 없는 시스템에서는 프로세서가 메모리로부터 명령어를 불러오고 실행하며 그 결과를 다시 메모리(기억장치)에 저장합니다. 이로 인해 다량의 데이터 이동이 필요합니다. PIM을 활용하면, 메모리 내부에서 연산 처리가 가능해 CPU와 메모리 간 데이터 이동이 줄어들기 때문에 AI 가속기 시스템의 성능과 에너지 효율을 높일 수 있습니다. 이 개념을 활용한 솔루션이 바로 HBM-PIM입니다.

*삼성전자 HBM-PIM 기술 설명 바로가기: https://bit.ly/3yHA9SW

삼성전자는 AMD와의 협력을 통해, 이미 상용화된 AMD의 GPU ‘MI-100’ 가속기 카드에 HBM-PIM 메모리를 탑재하였습니다. 이를 바탕으로 HBM-PIM Cluster를 구현한 다음, 각종 대규모 AI 및 HPC(High-Performance Computing) 어플리케이션에 적용했습니다.

그 결과, HBM-PIM을 활용하지 않은 기존 GPU 가속기 대비, 평균적으로 성능은 약 2배 증가하고 에너지 소모는 약 50%가 감소했음을 확인하였습니다. 삼성전자가 8개의 GPU 가속기로 시스템을 구성하고 대용량 AI 언어 모델을 학습시킨 결과, HBM-PIM을 탑재한 GPU 가속기를 사용했을 때 HBM을 탑재한 GPU 가속기보다 1년 동안 사용하는 에너지를 약 2,100GWh 절감할 수 있을 것으로 확인되었습니다. 2,100GWh의 에너지 사용을 절감하면 탄소 배출량을 약 96만 톤 가량 줄일 수 있으며, 이는 약 1억 그루의 소나무가 1년 동안 흡수하는 탄소보다 많은 양입니다.

*환산 기준: 국내 강원·중부 지방의 소나무의 경우, 한 그루당 1년 동안 8.6kg의 온실가스를 흡수 (국립산림과학원이 2019년 7월 발표한 ’19년 주요산림수종의 표준 탄소 흡수량 기준)

이로서 현재 데이터센터들이 초거대 AI와 관련해 직면하고 있는 메모리 용량과 대역폭 한계로 인한 병목현상을 효율적으로 개선하고 전력량 절감에도 기여할 수 있을 것으로 기대됩니다. 특히, 이는 이미 상용화된 GPU와 HBM-PIM을 이용해 구현할 수 있는 솔루션입니다.

또한, 삼성전자는 이를 지원할 수 있는 소프트웨어에 대한 준비도 병행하고 있습니다. 개방형 소프트웨어 표준인 SYCL을 활용해 금번에 구현한 GPU 가속기를 사용할 수 있는 소프트웨어 사양을 정의하였으며, 이를 바탕으로 한 소프트웨어도 11월 공개할 예정입니다. 이에 따라 향후 고객들은 통합된 소프트웨어 환경에서 PIM 메모리 솔루션을 사용할 수 있을 것으로 기대됩니다.

해당 소프트웨어 표준화를 위해 협력 중인 Codeplay Software의 최고사업책임자(Chief Business Officer) Charles Macfarlane는 “Codeplay는 SYCL 표준 정의에 함께 참여하여 HBM-PIM을 활용한 GPU 가속기에 적합한 첫 소프트웨어 솔루션을 구현했다”며, “삼성전자와 함께 소프트웨어 표준화를 지속 진행함으로써 라이브러리와 툴 생태계를 더욱 확장하고 알고리즘 개발에 집중할 수 있는 환경을 제공하겠다”고 밝혔습니다.

고용량 AI 모델을 위한 CXL 기반의 PNM 솔루션 개발

CXL은 컴퓨팅 시스템에서 사용되는 인터페이스로, 프로세서와 함께 사용되는 가속기와 메모리를 보다 효율적으로 사용하고 메모리 용량의 확장을 용이하게 해줍니다.

*삼성전자 CXL 메모리 기술 설명 바로가기: https://bit.ly/34pYiQj

PNM(Processing-near-Memory)도 PIM처럼 메모리를 데이터 연산 기능에 활용해 CPU와 메모리 간 데이터 이동을 줄여주는 기술입니다. 연산 기능을 메모리 옆에 위치시켜 CPU-메모리 간 발생하는 병목현상을 줄이고 시스템 성능을 개선할 수 있습니다.

삼성전자가 금번에 개발한 CXL 인터페이스 기반의 PNM 기술은 고용량 AI 모델의 처리에 적합한 솔루션입니다. 높은 메모리 대역폭을 요구하는 추천 시스템이나 인-메모리 데이터베이스 등의 응용에서 약 2배 이상 성능이 향상되는 것을 확인하였습니다. 삼성전자는 해당 기술을 최근 미국에서 개최된 ‘삼성 테크 데이’행사에서 업계 최초로 공개한 바 있습니다.

AI 모델별 특성에 적합한 메모리 솔루션 제공

AI 모델에 활용되는 데이터는 특성에 따라 밀집데이터와 희소데이터로 분류됩니다. 밀집데이터는 전체 데이터 군집 안에서 유효한 데이터의 비율이 높아 밀집되고 연결된 경우이며, 희소데이터는 유효한 데이터의 비율이 낮게 존재합니다.

자율주행, 음성인식 등의 AI 응용은 밀집데이터에 해당되며, 사용자 기반 추천 알고리즘(페이스북 친구 추천)등은 희소데이터에 해당됩니다. 삼성전자는 밀집데이터를 기반으로 하는 AI 모델에는 PIM 기술을 적용하고, 희소데이터 기반 AI 모델은 PNM 기술을 적용하여 고객의 다양한 요구에 대응할 예정입니다.

삼성전자 메모리사업부 신사업기획팀장 박철민 상무는 “HBM-PIM Cluster 기술은 업계 최초의 거대 규모 인공지능 분야 맞춤형 메모리 솔루션”이라며, “통합 소프트웨어 표준화 과정을 거쳐 CXL-PNM 솔루션과 도 접목하여, 에너지 절감 및 탄소 배출 저감 효과를 극대화함으로써 친환경 경영에 기여할 것이다”라고 밝혔습니다.

AMD의 Accelerated Data Center Business 담당 Josh Friedrich 부사장(Corporate Vice President)은 “AMD는 업계와의 협력을 바탕으로 고객을 위한 새롭고 혁신적인 기술을 지속적으로 찾아나가고 있다”며, “컴퓨팅 집약적 시스템 성능을 향상시킬 수 있는 PIM과 같은 혁신적인 메모리 기술을 연구하고 제시하는 삼성전자의 노력에 박수를 보낸다”고 밝혔습니다.

미국 에너지부(U.S. Department of Energy) 산하 연구소인 Oak Ridge National Laboratory의 Corporate Fellow이자 Computer Science와 Math Division을 이끌고 있는 Jeffrey Vetter는 “고성능 컴퓨팅과 AI 어플리케이션에서 흔히 발생하는 메모리 대역폭과 전력 효율 문제를 해결하는 데에 있어 PIM과 같은 컴퓨팅 메모리 기술의 구현이 필요하다”며, “삼성전자와의 협력을 통해 이러한 메모리 기술의 적용 가능성과 효율성을 연구할 수 있을 것으로 기대한다”고 밝혔습니다.

삼성전자는 향후 HBM-PIM과 CXL 기반 PNM 기술의 확산을 위해 IT 업계 및 학계와 적극적으로 소통할 계획입니다. HBM-PIM과 CXL 기반의 PNM 솔루션을 지원하는 통합 소프트웨어를 공개할 예정이며, 업계 최대 슈퍼 컴퓨팅 학회인 SC22에도 참가하여 해당 솔루션을 전시하고 시연할 예정입니다.

The post 삼성전자 반도체, 차세대 AI를 위한 첨단 메모리 기술 공개 first appeared on 삼성전자 반도체 뉴스룸.

삼성전자가 AI엔진을 탑재한 메모리 반도체 제품군을 확대합니다.

삼성전자는 메모리와 시스템반도체의 융복합화를 주도하며, 다양한 글로벌 기업들과 협력을 통해 차세대 메모리 반도체 생태계를 빠르게 확대해 나갈 계획입니다.

PIM 기술 적용한 새로운 메모리 제품군 학회서 공개

삼성전자는 24일 온라인으로 개최된 Hot Chips 학회에서 지난 2월 업계 최초로 개발한 HBM-PIM 뿐만 아니라 PIM 기술을 적용한 다양한 제품군과 응용사례를 소개했습니다.

 * Hot chips : 업계에서 가장 주목하는 차세대 반도체 기술이 공개되는 학회로 주요 반도체 업체 중심으로 1989년부터 매년 개최되고 있음

삼성전자는 이날 학회에서 D램 모듈에 AI엔진을 탑재한 ‘AXDIMM(Acceleration DIMM)’, 모바일 D램과 PIM을 결합한 ‘LPDDR5-PIM’ 기술, HBM-PIM의 실제 시스템 적용 사례를 각각 소개했습니다.

AXDIMM은 PIM 기술을 칩단위에서 모듈단위로 확장한 것으로 D램 모듈에 인공지능 엔진을 장착한 제품입니다.

D램 모듈의 동작 단위인 각 Rank에 AI엔진을 탑재하고 병렬 처리를 극대화해 성능을 높이고, AI엔진을 통해 D램 모듈내부에서 연산이 가능해져 CPU와 D램 모듈간의 데이터 이동이 줄어들어 AI 가속기 시스템의 에너지 효율을 높일 수 있습니다.

* Rank : DRAM 모듈에서 메모리 칩의 일부 또는 전체를 사용하여 생성되는 데이터의 한 블록

또한 기존 D램 모듈에 탑재된 버퍼칩에 AI 엔진을 탑재하는 방식으로 기존 시스템 변경 없이 적용이 가능합니다.

현재 AXDIMM은 글로벌 고객사들의 서버 환경에서 성능 평가가 진행되고 있으며, 성능은 약 2배 향상, 시스템 에너지는 40% 이상 감소가 확인됐습니다.

* AI 가속기 : 인공지능을 실행하기 위한 전용 하드웨어

삼성전자는 초고속 데이터 분석 영역뿐만 아니라 모바일 분야까지 PIM을 확대 적용한 ‘LPDDR5-PIM’ 기술을 공개했습니다.

PIM 기술이 모바일 D램과 결합할 경우 데이터센터와 연결 없이 휴대폰 독자적으로 AI 기능을 수행할 수 있는 On-Device AI의 성능과 에너지 문제를 효과적으로 해결할 수 있을 것으로 예상되며, 시뮬레이션 결과, 음성인식, 번역, 챗봇 등에서 2배 이상의 성능 향상과 60% 이상의 에너지 감소가 확인됐습니다.

* On-Device AI : 멀리 떨어진 클라우드 서버를 거치지 않고 스마트기기 자체적으로 정보를 수집하고 연산

지난 2월 개발한 HBM-PIM 실제 시스템 적용 사례 공개

또한 삼성전자는 지난 2월 공개한 HBM-PIM을 실제 시스템에 탑재한 검증 결과도 Hot Chips 학회에서 발표했습니다.

FPGA 개발 업체인 미국 자일링스(Xilinx)에서 이미 상용화 중인 *AI 가속기 시스템에 HBM-PIM을 탑재했을 경우 기존 HBM2를 이용한 시스템 대비 성능은 약 2.5배 높아지고, 시스템 에너지는 60% 이상 감소됨을 공개하며 참석자들로부터 큰 관심을 받았습니다.

* 버텍스 울트라스케일+(Virtex UltraScale+) 알베오(Alveo)

삼성전자는 이와 같이 PIM 이라는 혁신 기술을 D램 공정에 접목시켜 다양한 응용처에서 실제 성능과 에너지 효율이 대폭 향상됐음을 강조하며 PIM기술이 빅데이터 시대의 새로운 메모리 패러다임이 될 것임을 강조했습니다.

인공지능과 메모리 융복합화 주도로 차세대 메모리 생태계 확장

삼성전자 메모리 사업부 DRAM 개발실 김남승 전무는 “HBM-PIM은 업계 최초의 인공지능 분야 맞춤형 메모리 솔루션으로, 이미 고객사들의 AI 가속기에 탑재되어 평가되고 있어 상업적 성공의 가능성을 보였으며, 향후 표준화 과정을 거쳐 차세대 슈퍼컴퓨터 및 인공지능용 HBM3, On-Device AI용 모바일 메모리 및 데이터센터용 D램 모듈로 확장할 예정”이라고 밝혔습니다.

자일링스의 상품기획 시니어 디렉터 아룬 바라다라잔 라자고팔(Arun Varadarajan Rajagopal)은 “자일링스는 Virtex UltraScale+ HBM 제품군을 시작으로 데이터센터, 네트워킹, 실시간 신호처리 애플리케이션을 위한 고성능 솔루션을 지원하기 위해 삼성전자와 협력하고 있으며, 최근 새롭고 흥미로운 Versal HBM 시리즈 제품을 선보였다”고 하며, “인공지능 응용 분야에서 HBM-PIM의 성능과 에너지 효율 향상을 위한 시스템 평가를 위해 삼성전자와 지속 협력할 것”이라고 밝혔습니다.

기업용 소프트웨어 업체인 SAP의 HANA core research & innovation 총괄 올리버 레볼츠(Oliver Rebholz)는 “AXDIMM을 활용한 시스템의 성능 예측 평가에서 성능 향상과 높은 에너지 효율이 기대된다”며, “SAP는 인메모리 데이터베이스 플랫폼 ‘SAP-HANA’ 의 성능 향상을 위해 삼성전자와 협력을 지속해 나갈 것”이라고 밝혔습니다.

삼성전자는 내년 상반기내 다양한 고객사들의 AI 가속기를 위한 PIM 기술 플랫폼의 표준화와 에코 시스템 구축을 완료하여 인공지능 메모리 시장을 확대해 나갈 예정입니다.

The post 삼성전자, 인공지능 탑재 메모리 제품군 확대 first appeared on 삼성전자 반도체 뉴스룸.

삼성전자가 세계 최초로 메모리 반도체와 인공지능 프로세서를 하나로 결합한 HBM-PIM(Processing-in-Memory)을 개발했습니다.

PIM(Processing-in-Memory)은 메모리 내부에 연산 작업에 필요한 프로세서 기능을 더한 차세대 신개념 융합기술입니다.

삼성전자는 PIM 기술을 활용해, 슈퍼컴퓨터(HPC)와 AI 등 초고속 데이터 분석에 활용되는 HBM2 Aquabolt에 인공지능 엔진을 탑재한 HBM-PIM을 개발했습니다.

AI 시스템에 HBM-PIM을 탑재할 경우 기존 HBM2를 이용한 시스템 대비 성능은 약 2배 이상 높아지고, 시스템 에너지는 70% 이상 감소됩니다.

또한 기존 HBM 인터페이스를 그대로 지원해 HBM을 이용하는 고객들은 하드웨어나 소프트웨어의 변경 없이 HBM-PIM을 통해 강력한 AI 가속기 시스템을 구축할 수 있게 됐습니다.

.

데이터센터, AI 고객들과 PIM 표준화…에코 시스템 구축 협력

최근 인공지능의 응용 영역이 확대되고 기술이 고도화됨에 따라 고성능 메모리에 대한 요구가 지속적으로 커져왔으나 기존의 메모리로는 폰 노이만 구조의 한계를 극복하기 어려웠습니다.

폰 노이만 구조는 오늘날 대부분의 컴퓨터에서 사용하는 방식으로 CPU가 메모리로부터 명령어를 불러오고 실행하며 그 결과를 다시 기억장치에 저장하는 작업을 순차적으로 진행합니다. 이 과정에서 CPU와 메모리간 주고받는 데이터가 많아지면 작업처리가 지연되는 현상이 생깁니다.

삼성전자는 이를 극복하기 위해 메모리 내부의 각 뱅크에 인공지능 엔진을 장착하고 병렬처리를 극대화해 성능을 높였습니다. 또한 HBM-PIM은 메모리 내부에서 연산처리가 가능해 CPU와 메모리간 데이터 이동이 줄어들어 AI 가속기 시스템의 에너지 효율을 높일 수 있습니다.

삼성전자는 이러한 혁신기술을 D램 공정에 접목시켜 HBM-PIM을 제품화 하는데 성공하고 반도체 분야 세계 최고권위 학회인 ISSCC에서 논문을 공개했습니다.

삼성전자 메모리 사업부 상품기획팀장 박광일 전무는 “HBM-PIM은 AI 가속기의 성능을 극대화 시킬 수 있는 업계최초의 인공지능 맞춤형 PIM 솔루션으로 삼성전자는 고객사들과 지속적으로 협력을 강화해 PIM 에코 시스템을 구축해 나갈 것”이라고 밝혔습니다.

미국 아르곤 국립 연구소 CELS(컴퓨팅, 환경 및 생명과학) 연구실장 릭 스티븐스는 “HBM-PIM은 AI 응용을 위한 성능 및 에너지 효율 측면에서 놀라운 성과로 HBM-PIM 시스템 평가를 위해 향후에도 삼성전자와 지속적인 협력을 기대한다”고 밝혔습니다.

삼성전자는 상반기내 다양한 고객사들의 AI 가속기에서 HBM-PIM을 탑재해 테스트 검증을 완료할 예정이며 향후 고객사들과 PIM 플랫폼의 표준화와 에코 시스템 구축을 위해 협력을 강화해 나갈 계획입니다.

[인포그래픽]

[삼성전자의 ‘읽어주는 보도자료’]

HBM-PIM 읽어주는 보도자료(국문)

HBM-PIM 읽어주는 보도자료(영문)

The post 삼성전자, 세계 최초 인공지능 HBM-PIM 개발 first appeared on 삼성전자 반도체 뉴스룸.