HBM이라는 단어가 대중의 관심 단어로 떠오르기 시작한 2023년. 그 후 일년이 지난 지금, 우리는 이 새로운 시대가 만들어내고 있는 시대 변화를 오롯이 체감하고 있다. 예를 들면 헤테로지니어스 컴퓨팅(Heterogeneous Computing, 이종 컴퓨팅) 시대로의 전환이 대표적이다. 앞으로 우리가 목도하게 될 AI반도체 시장의 변화를 메모리반도체의 관점에서 정리해 보자면 ‘가치 변화’와 ‘위상 변화’, 크게 이 두 가지 관점에서 정리해 볼 수 있다. 

제품이 *커머디티화(commoditization)되며 어느덧 주인공 자리에서 내려오고 있던 메모리반도체가 특화되며 더 높은 가격을 부여받게 되는 가치의 변화. 그리고 로직반도체 중심의 시스템 구조를 완성하는 하나의 주변 요소 정도로 인식되어 가던 메모리반도체가 다시 시스템의 중심으로 올라서게 되는 위상의 변화가 각각 그것이다.

*커머디티화(commoditization): 제품의 일반화 또는 평준화, 동일화

이 중 메모리반도체의 가치 변화에 대한 부분은 이미 많은 전문가들 사이에서 다뤄진 부분이기도 하고 기업들의 실적 발표에서 보이는 숫자 변화로도 쉽게 체감할 수 있는 부분이다. 이에 비해 위상 변화에 대한 부분은 그 의미가 가진 중요성에 비해 제대로 조망되지 못하고 있다. 메모리반도체가 다시 시스템의 중심으로 올라서게 되는 이 변화를 정확히 이해하기 위한 첫걸음은 AI 연산을 위한 방법론의 최근 동향을 이해하는 것에서 시작한다.

.

이종접합과 무한반복의 워크로드

AI 연산의 핵심은 무한 반복의 워크로드를 어떻게 효과적으로 처리할 수 있느냐에 있다. 엔비디아의 GPU가 시장의 선택을 받게 된 것은 GPU가 가진 병렬처리 구조가 반복적인 워크로드를 처리하기에 가장 적합한 방법이었기 때문이었고, GPU 기반의 가속기들 중 가장 앞선 성능을 가지고 있었기 때문이다.

다만 최근 시장에서는 새로운 해답들이 계속해서 등장하고 있고, 향후 이 AI반도체들이 GPU 중심에서 CPU와 GPU, 혹은 CPU와 ASIC이 결합된 형태의 새로운 구조로 변화를 앞두고 있다는 점을 주목해 볼 필요가 있다. 이른바, 헤테로지니어스 컴퓨팅(Heterogeneous Computing)이란 단어로 설명되는 AI반도체 시장의 진화 방향이 바로 그것이다.

기본적으로 이와 같은 변화가 일어나는 배경에는 AI시대의 본격적인 개화 이후, 이 AI 워크로드에 양적 확장(Quantitative Expansion)을 넘어, 범위 확장(Scope Expansion)이 일어났기 때문이다. 즉, 단순히 반복 연산 양이 늘어나는 것을 넘어, 다양한 종류와 성격으로 다변화되고 있다는 것이다. 이러한 흐름 속에 GPU와 CPU가 하나의 보드 안에 내장된 형태의 이종접합 솔루션들이 제안되고 있다.

GPU는 ‘전용성’이란 단어로, CPU는 ‘범용성’이란 단어로 설명이 가능하다. 단순 반복 연산에 아주 강력한 전용성을 보여줬던 GPU에 의해 설 곳을 잃었던 CPU가 다변화된 워크로드를 처리하기 위한 용도로 다시 재조명 받고 있는 것이다. 문제는 이 이종의 로직반도체를 활용하는 것이 현재 구조상으로는 비효율을 야기한다는 점이다.

우선 AI플랫폼에서 활용되고 있는 연산 가속기들의 경우, 복잡한 프로세스를 거친다. CPU와 GPU 간의 데이터 통신을 위해서는 CPU에 연결된 메인 메모리(주로 RDIMM, LRDIMM)에서 데이터를 가져와 다시 GPU에 연결된 메모리(주로 HBM)로 읽어 들이고, 이 데이터를 다시 GPU가 처리한 후에, GPU를 통해 메인 메모리로, 다시 메인 메모리에서 CPU로 전달되는 방식이다.

다만 현재는 GPU가 이 AI 연산의 대부분을 처리하고 있고, GPU간에는 별도의 캐싱 없이 데이터를 빠르게 공유할 수 있는 기술이 적용되어 있기 때문에 해당 문제가 크게 대두되고 있지는 않다. 하지만 워크로드의 다변화 현상이 특히 강하게 일어나고 있는 AI 추론 영역을 중심으로 서서히 이 이종 컴퓨팅 도입에 대한 요구가 거세지고 있다.

이를 해결하기 위해 AI 가속기 업계에는 CPU와 GPU 모듈을 하나의 기판에 통합하거나 더 나아가 CPU와 GPU가 다이 수준에서 하나의 메모리를 공유하는 등 다양한 구조의 솔루션을 제안하고 있다.

다만 전체 인프라는 이러한 수천, 수만 개의 액셀러레이터들이 모여 만들어지기 때문에 특정 보드 안에 탑재된 한 쌍의 CPU와 GPU 안에서의 개선만으로는 충분치 않다. 전체 인프라에 연결되어 있는 이 엄청난 수의 CPU와 GPU들을 보다 더 효율적으로 활용할 수 있는 개선 방안이 필요하다. 이 지점에서 다시 주목을 받게 되는 것이 메모리반도체다. 더 정확히는 로직반도체들과 연결되어 있는 계층 구조의 변화이다.

.

메모리의 위상 변화

폰 노이만 구조를 기반으로 발전해 온 현세대 시스템 구조는 대개 로직반도체의 하위계층에 D램과 스토리지로 이어지는 메모리반도체가 자리하게 된다. 연산과 저장, 다시 저장된 데이터를 로드해 연산으로 이어지는 연산 프로세스의 관점에서는 현시점에서 취할 수 있는 최선의 계층 구조이다.

문제는 하나의 단일 시스템이 아닌, 수많은 개별 서버를 모아 만들어지는 데이터센터나, 슈퍼컴퓨터 인프라에서는 이러한 계층 구조가 비효율을 가져온다는 것이다.

개별 워크로드의 관점에서는 당연히 연산 작업을 하는 로직반도체를 중심으로 메모리가 종속되어 있는 현재의 구조가 이상적이지만, 인프라는 이 전체 워크로드를 어떻게 효율적으로 처리할 수 있는지를 두고 설계되어야 한다. 현재 시스템상에서는 메모리가 로직의 하위 구조로 종속되어 있어, 워크로드를 최적의 효율로 배분하기 어렵다.

현재의 시스템은 각 로직이 개별 하부 메모리시스템을 가지고 있는 구조이다. 이러한 구조에는 몇 가지 문제점을 찾을 수 있는데, 하나의 로직에 메모리가 가득 차면 작업이 중단되고, 다른 로직의 여유 메모리는 활용되지 못하는 것이다. 이는 마치 중앙 물류 허브 없이 개별 배송센터들만 있는 물류 체계와 비슷하다. 한 배송센터의 창고가 가득 차면 그 센터는 더 이상 물건을 받을 수 없고 동시에 다른 배송센터들의 공간이 낭비된다. 이처럼 현재의 AI 인프라는 전체 시스템의 효율성을 떨어뜨리고 자원 관리가 어렵다는 문제를 가지고 있다.

구체적으로 현세대 AI 인프라들의 한계로 지적되는 것이 바로 메모리 용량의 한계이다. 공간 구성이나 I/O의 한계, 발열 등의 이유로 하나의 로직반도체와 직접 연결된 메모리의 크기는 한계값을 가진다. 이 때문에 한 번에 처리해야 할 데이터의 크기가 메모리의 크기를 벗어나는 순간 연산을 쪼개고 분할하고 다시 이것을 합치는 불필요한 프로세스가 더해지며 연산의 효율이 떨어진다.

두 번째는 분배의 한계이다. 개별 우체국들이 아무리 많은 창고를 가지고 있다고 한들, 그것이 옆 우체국의 창고 부족을 해소해 주기는 어렵다. 물론 AI 인프라 상에서는 고속의 데이터 이동이 가능하기 때문에 다른 서버의 리소스를 활용하는 것이 가능하지만, 그것이 가능하다는 이야기이지, 효율적이지는 않다는 것이다.

이러한 한계점들을 두고 우리가 꺼내 볼 수 있는 해결책은 물류에서처럼 AI 인프라에도 허브 개념을 도입하는 것이다. 이 개념이 바로 ‘메모리 풀링’이다.

메모리 풀링은 여러 개의 메모리를 하나로 묶어, 하나의 거대한 메모리 풀(Pool)을 만들고, 이 안에서 시스템이 필요한 만큼의 메모리를 가져다 쓰는 개념이다. 이를 통해 기본적으로 현재는 꿈꾸기 어려운 거대한 규모로 메모리 확장이 가능하다. 메모리 풀링의 또 다른 장점은 메모리 활용효율의 증대이다. 여러 개로 연산을 쪼개고 번번이 캐싱 작업을 해야 하는 이전의 수고로움이 사라진다. 하나의 거대한 풀 안에서 데이터가 캐싱되며 메모리가 개별적으로 나뉘어있던 분산 구조에서는 상상하기 어려울 만큼 높은 메모리 활용 효율을 달성할 수 있다.

아울러 이 메모리 풀링은 단순히 인프라 활용효율을 개선하는 것을 넘어, 로직반도체의 하부계층으로 종속되어 있던 메모리반도체가 시스템의 중심에 자리하게 되는 위상 변화를 기대하게 한다. CPU와 GPU 등의 로직반도체를 중심으로 설계되었던 현세대 시스템의 계층 구조가 메모리 중심의 계층 구조로 변화하고 있다는 것이다. 여기서 우리가 관심있게 살펴봐야 하는 것은 이와 같은 변화를 가능하게 하는 기술이다. 서로 다른 제조사들이 만든 CPU, GPU, 그리고 메모리를 상호 연결하기 위한 기술이 필요한데, 여기서 등장하는 단어가 바로 CXL이다.

.

CXL, 완벽한 상호 연결체계로의 진화

CXL(Compute Express Link)은 위에서 약술한 문제들을 포함해 CPU와 GPU, 그리고 그사이에 위치한 메모리시스템 간 데이터흐름의 비효율을 개선하기 위한 방안이다. CXL의 핵심은 이 흐름을 최적화할 수 있도록 하나의 일관된 프로토콜 체계를 갖추는 것에 있다. 현재 활용되고 있는 *인터커넥트(Interconnect) 기술이 PCIe이기 때문에, 흔히 CXL을 PCIe를 대체하는 성격의 기술로 설명하기도 하지만 실제로 CXL은 PCIe를 ‘대체’하는 것보다는, PCIe를 기반으로 만들어진 생태계를 ‘개선’하는 것에 더 가까운 개념이다.

* 인터커넥트(Interconnect): 각 부품 사이의 데이터 전송 속도와 대역폭을 최적화하는 기술

이 개선의 개념은 표준화라는 단어로도 설명이 가능한데, 표준화를 통해 CPU와 GPU는 물론이고, D램과 스토리지가 모두 일관된 프로토콜 안에서 직접적인 소통이 가능해지게 되는 것이다. 그 개념 중 하나가 ‘캐시 일관성’이다. CXL 프로토콜 하에서는 한 프로세서가 데이터를 변경할 때 다른 프로세서의 캐시 데이터가 함께 업데이트되도록 한다. 이를 통해 연결된 CPU 혹은 GPU들이 추가적인 캐싱작업 없이 마치 하나의 캐시를 사용하는 것처럼 작동할 수 있다.

이와 같이 CXL을 통해 동종의 로직반도체는 물론, CPU와 GPU 혹은 CPU와 ASIC등 이종의 로직반도체들도 모두 직접적인 소통이 가능하다. 로직을 넘어 D램과 스토리지 등의 메모리반도체들과도 역시 직접적인 소통이 가능해지는 완벽한 상호 연결 체계가 만들어진다.

CXL은 이처럼 이종접합으로의 진화를 완성하기 위한 핵심 기술이 됨과 동시에 CPU와 GPU를 넘어 D램과 스토리지로 이어지는 전체 계층 구조의 추가적인 변화를 예상케 한다. 앞서 설명한 메모리 풀링(Type 3)은 이 CXL이 가지고 올, 계층 구조의 변화 양태 중 하나이다.

2019년 관련 컨소시엄이 구성된 이후, CXL표준이 꾸준히 업데이트되어 오면서 작년 5월 CXL 3.0까지 표준이 제정되었다.  2019년 제정된 CXL1.1에서는 개별 로직반도체와 내부 메모리 간의 연결에 대한 협소적 표준에 머물렀으나, 2020년 CXL 2.0에서는 다수의 로직반도체들과 메모리풀이 연결되는 형태로 진화하였다. 작년 중순 제정된 CXL 3.0에서는 다수의 프로세서와 다수의 메모리풀을 다중 연결하는 형태로 미래 방향성을 제시하고 있다.

현재 반도체 업계는 해당 로드맵을 따라 상용화를 위한 작업에 한창이다. 특히 한국의 메모리 기업이 CXL 상용화를 최선두에서 이끌고 있다는 점이 인상적이다. 삼성전자는2021년 업계 최초로 CXL기반의 D램 기술을 개발한 데 이어, 2023년 5월에는 CXL2.0 표준 기반의 D램을 개발하였고, 올해는 CXL 2.0을 지원하는 CMM-D(CXL Memory Module DRAM) 제품을 출시하며 상용화에 속도를 높이고 있다.

한편, 로직반도체 분야에서도 이미 인텔과 AMD 양측의 서버용 제품이 모두 이 CXL을 지원하고 있다. 특히 CXL 컨소시엄을 주도해 온 인텔이 올해 6월 CXL2.0을 지원하는 시에라포레스트(제온6)를 내놓으며 CXL의 시대가 임박했음을 알렸다. 작년 기준으로는 이 CXL 표준을 지원하는 서버의 수가 10%에 불과했지만, 올해부터 급격한 보급이 이뤄질 것임을 기대하게 하는 또 하나의 배경이다.

물론 우려스러운 부분도 있다. CXL의 적용은 분명 로직반도체 하위 계층에 종속되어 있던 메모리반도체가 시스템의 중심으로 떠오르는 위상 변화를 기대하게 하지만, 한편으로는 CXL 도입을 통한 메모리 반도체 수요 감소의 문제가 제기되고 있다. 메모리 활용 효율이 증가하면, 그만큼 불용 부분에 대한 수요가 감소하게 된다는 것이 이러한 반론이 제기되는 배경이다.

.

CXL의 도입, 새로운 변화의 시작

과거 HBM 등장 시기에도 비슷한 고민이 있었다. 대개는 시기상조라거나 상용화하기에 어려울 것이란 회의론들이었다. 당시 회의론이 내세운 근거는 나름의 설득력이 있어 보였다. 복잡한 3D 스택 구조, 제조 공정의 난이도, 그로 인한 수율 감소, 추가되는 공정 프로세스들로 인해 잃게 되는 비트 생산량의 감소, 이어지는 매출의 잠식이 당시에는 너무도 치명적으로 느껴졌다.

2024년이 된 지금에 와서 그때의 회의론들은 복기해 보면, 그것이 그저 모두 기우였음을 잘 알 수 있다. 잃어버리는 것들만 보고 반대편에서 얻게 될 것들을 그때는 미처 계산하지 못했던 것이다. 관련해 우리가 복기해 볼 부분은 오늘날 시장이 CXL을 바라보는 관점도 그때 시장이 HBM을 바라보던 관점과 꽤나 닮아 있다는 점이다.

CXL의 도입은 기본적으로 기존에 사용하지 않았던 새로운 형태로 인프라를 재편해야 하는 것을 의미하고, 이것은 구축, 유지, 보수, 확장의 관점에서 새로운 챌린지를 야기한다. 이와 더불어 앞서 언급한 대로 실제 CXL의 보급이 현실화된다 해도 CXL이 인프라의 메모리 활용 효율을 증가시키는 동안 그만큼의 수요는 분명히 사라질 수 있다. 다만 그 위험 요소에 대해서는 이처럼 명확히 조망하되, CXL의 가능성을 조망하면서도 잃어버리게 되는 것들의 반대급부들, 다시 말해 그 반대편에서 만들어지는 기회들 역시 함께 계산해야 한다는 것이다.

또한 CXL의 도입은 기본적으로 수요자들로 하여금 인프라 투자를 두고 고민하게 만들었던 메모리 확장의 문제를 해결해 준다. 메모리가 로직반도체에 종속 된 현재, 인프라 시스템의 확장을 위해서는 로직반도체와 메모리반도체를 함께 업그레이드해야 하지만, CXL 2.0 이상의 플랫폼에서는 메모리 증설을 통해 추가적인 성능향상을 꾀할 수 있다. 90년대 우리가 486, 586 컴퓨터 업그레이드를 위해 가장 먼저 투자했던 것이 메모리였던 것과 같은 개념이다. 이처럼 CXL 도입의 시스템구조가 메모리를 중심으로 재편되는 것뿐만 아니라, 기업들의 인프라 증설과 확장에서 메모리가 최우선 순위가 되는 변화를 불러오게 될 것이다. 

이처럼 새로운 시대는 모두가 익히 아는 것들 속에서 새삼스럽게 찾아온다. 그리고 CXL의 시대도 그렇게 찾아올 것이다. 메모리반도체 시장의 미래를 조망해 보고 싶은 이들이 있다면 CXL을 주목해 보는 것은 어떨까? 확실한 것은 그 이야기들 속에서 AI반도체 시장의 미래 모습 중 아마도 가장 유력한 시나리오의 모습을 엿볼 수 있다는 것이다.

. 비하인드 더 칩

※ 본 칼럼은 외부 필진의 견해로, 삼성전자 DS부문의 공식 입장과 다를 수 있습니다.

The post [Behind the CHIP] AI 반도체 시장의 미래를 엿보다. CXL에 대해 first appeared on 삼성전자 반도체 뉴스룸.

뉴스 속 낯선 반도체 용어들, 꼭 어려운 사전에서만 확인해야 할까?
반도Chat과 함께라면 잠깐의 출퇴근 시간 동안에도 손쉽게 반도체를 이해할 수 있다. 지금 바로 13개의 ‘반도Chat’ 에피소드를 돌아보며, 다시 한번 반도체 세계 속으로 떠나보자!

.

The post [반도Chat 모아보기] 어려운 반도체 용어 완전 정복! 요약 모음.Zip first appeared on 삼성전자 반도체 뉴스룸.

삼성전자가 업계 최초로 글로벌 오픈소스 솔루션 선도기업 레드햇(Red Hat)이 공식 인증한 CXL(Compute Express Link) 인프라를 구축했다.

* CXL(Compute Express Link): 고성능 서버 시스템에서 CPU와 함께 사용되는 ▲가속기 ▲D램 ▲저장장치 등을 보다 효율적으로 활용하기 위한 차세대 인터페이스

삼성전자는 이를 통해 CXL 관련 제품부터 소프트웨어까지 서버 전 구성 요소를 화성캠퍼스에 위치한 삼성 메모리 리서치 센터(SMRC)에서 검증할 수 있게 됐다.

* SMRC(Samsung Memory Research Center): 삼성전자의 메모리 제품을 탑재한 고객사가 자사 서버의 하드웨어와 소프트웨어의 최적 조합을 분석하고 성능을 평가할 수 있는 리서치 센터

삼성전자는 이달 업계 최초로 CMM-D 제품 레드햇 인증에 성공했으며, 이는 이번 인프라 확보로 이뤄낸 첫 성과이다.

* CMM-D(CXL Memory Module – DRAM): 삼성전자의 최신 CXL 확장 메모리 디바이스

CXL 제품 인증을 내부에서 자체 완료한 후 레드햇 등록 절차를 즉시 진행할 수 있어 신속한 제품 개발이 가능해졌으며, 고객들과 개발단계부터 제품 최적화를 진행해 맞춤 솔루션을 제공할 수 있게 됐다.

인증 제품을 사용하는 고객들은 레드햇으로부터 유지·보수 서비스를 받을 수 있어 신뢰성 높은 시스템을 더욱 편리하게 구축 가능하다.

이외에도 고객들은 ▲하드웨어 안정성 보장 ▲리눅스 호환성 보증 ▲전문적인 지원 등을 제공받을 수 있다.

삼성전자와 레드햇은 하드웨어에 이어 소프트웨어 기술까지 협력하며 CXL 생태계를 선도하고 있다.

삼성전자는 지난 5월 미국 덴버에서 진행된 ‘레드햇 서밋 2024’에서 기업용 리눅스 OS인 ‘레드햇 엔터프라이즈 리눅스 9.3 (Red Hat Enterprise Linux 9.3)’ 기반 서버에 CMM-D를 탑재해 딥러닝 기반 추천 모델(DLRM) 성능을 향상시키는 시연을 진행했다.

* Red Hat Enterprise Linux 9.3: 레드햇의 최신 서버용 운영체제(OS)
* DLRM(Deep Learning Recommendation Models): 영화, 외식 등 빅데이터 기반 추천을 위한 AI 소프트웨어

해당 시연에는 SMDK의 메모리 인터리빙 기술로 차세대 솔루션인 CXL 메모리 동작을 최적화해 메모리 용량과 성능을 모두 높였다.

* SMDK(Scalable Memory Development Kit): 차세대 이종 메모리 시스템 환경에서 기존에 탑재된 메인 메모리와 CXL 메모리가 최적으로 동작하도록 도와주는 오픈소스 소프트웨어 개발 도구로 API, 라이브러리 등으로 구성됨
* 메모리 인터리빙(Memory Interleaving): 복수의 메모리 모듈에 동시에 접근해 데이터 전송속도를 향상하는 기술

이를 바탕으로 빠른 데이터 처리와 AI 학습·추론 가속화가 가능해 고객은 추가 시설 투자 없이 더욱 뛰어난 성능의 AI 모델을 구현할 수 있다.

삼성전자와 레드햇은 CXL 메모리 생태계 확장과 새로운 기술 표준 제시를 목표로 파트너십을 강화해 다양한 사용자 시스템에 적합한 고객 솔루션을 제공할 계획이다.

삼성전자 메모리사업부 DRAM 솔루션팀 송택상 상무는 “이번 레드햇과의 협업으로 고객들에게 더욱 신뢰성 높은 CXL 메모리 제품을 제공할 수 있게 되어 매우 기쁘다”며, “하드웨어와 소프트웨어를 아우르는 양사 간의 지속적인 협업을 통해 혁신적인 메모리 솔루션 개발과 CXL 생태계 발전에 앞장설 것”이라고 전했다.

레드햇 코리아 김경상 대표는 “삼성전자와 레드햇의 협력은 CMM-D와 같은 차세대 메모리 솔루션 확장에 오픈소스 기술이 중요함을 보여준다”며 “양사는 CXL 솔루션의 시장 확대를 위해 지속 협력할 것”이라 밝혔다.

향후 삼성전자는 이번 인프라 확보를 바탕으로 AI 시대에 걸맞은 다양한 제품을 선보이며 기술 리더십을 공고히 할 계획이다.

The post 삼성전자, 업계 최초 ‘레드햇 인증 CXL 인프라’ 구축 first appeared on 삼성전자 반도체 뉴스룸.

전 세계적인 AI 열풍 속에서 관련 하드웨어, 소프트웨어 등이 급성장함에 따라 AI가 인간의 지적 수준까지 발전하고 있다. 삼성전자는 초거대 AI 시장을 대응하기 위해 DDR5(Double Data Rate 5), HBM(High Bandwidth Memory), CMM(CXL Memory Module) 등 응용별 요구 사항에 기반한 다양한 메모리 포트폴리오를 시장에 제시하고 공급 중이다.

삼성전자는 다가오는 ‘CES 2024’에서 AI용 최첨단 메모리 솔루션을 대거 공개하고, 업계 리더로서 압도적인 기술력을 선보일 계획이다.

.

AI 기술 진보에 정해진 한계와 영역은 없다

AI는 우리 삶의 모든 영역에서 근본적인 변화를 만들어 내고 있다. 직장에서는 문서 작업, 데이터 분석 등에서 생산성 극대화를 이끌어 내고 있고, 집에서는 다양하고 편리한 서비스를 통해 우리 삶을 윤택하고 즐겁게 만들고 있다. 이제는 ChatGPT 같은 생성형 AI 서비스가 우리 삶에 새로운 패러다임을 가져왔다고 해도 과언이 아니다.

AI는 클라우드에서 처음 시작됐지만, 현재는 다른 응용과 플랫폼으로 급속히 확산되고 있다.  보안과 응답성 등을 고려해 스마트폰, 컴퓨터, 자동차 등 단말단에서의 온디바이스 AI(On-Device AI) 구현이 필요한 상황으로, 충분한 컴퓨팅과 메모리를 탑재하기 위한 기술적 검토가 적극 진행되고 있다.

현재 가장 핵심이 되고 있는 클라우드(Cloud), 온디바이스(PC/Client/Mobile) AI, 차량(Automotive) 세 가지 영역의 기술 동향과 메모리 요구 사항을 살펴보고, 삼성전자의 핵심 포트폴리오를 소개하고자 한다.

……………………..

AI 기술 혁신을 이끌 클라우드용 솔루션 ‘HBM3E, DDR5, MRDIMM, PCIe Gen5 SSD’

데이터센터는 AI 관련 연산 처리와 원활한 서비스를 위한 핵심 인프라로 ChatGPT, Bard, Bing Chat 등이 데이터센터를 통해 제공되는 대표적인 서비스이다.

단시간에 수십억 개의 파라미터와 수많은 데이터가 오고 가는 상황에서 메모리 대역폭과 용량이 충분하지 않다면 전체 시스템에서 병목 현상을 일으킬 수 있고, GPU를 충분히 활용할 수 없는 상황이 생길 수 있다.

이러한 AI 응용을 서비스하는 데이터센터를 운영하는데 있어 가장 큰 고민은 결국 ‘총 소유 비용(TCO, Total Cost of Ownership)’이다. TCO를 줄이기 위한 업계의 노력은 지속되고 있으며, 특히 메모리 성능, 용량 요구도 다양해지고 있다. 이에 삼성전자는 모든 업체들이 선택 가능한 클라우드용 최적 솔루션을 제시하고 있다.

HBM3E 샤인볼트(Shinebolt)

현재 AI용 메모리로 주목받고 있는 ‘HBM3E’는 12단(적층) 기술을 활용해 최대 1,280GB/s의 대역폭과 최대 36GB(기가바이트)의 고용량을 제공한다.

기존 HBM3 제품 대비 성능과 용량이 50% 이상 개선됐으며, 초거대 AI 모델이 요구하는 메모리 성능과 용량을 만족시킬 것으로 기대된다.

32Gb DDR5 D램

삼성전자는 작년 9월 업계 최초로 12나노급 공정을 활용해 32Gb(기가비트) DDR5 고용량 제품을 개발했으며, 현재 주요 칩셋 업체와 고객에게 샘플을 공급 중이다.

동일 패키지 사이즈에서 TSV(Through Silicon Via) 공정 없이 128GB의 고용량 모듈 구현이 가능하며, TSV 적용 시 최대 1TB(테라바이트)의 모듈까지 지원한다.

또한 기존 16Gb 기반 128GB 모듈 대비 약 40%의 소비 전력을 개선했으며, 최대 7.2Gbps의 속도를 지원해 생성형 AI용 고용량 서버의 핵심 솔루션이 될 것으로 기대된다.

MRDIMM

삼성전자는 기존 RDIMM 대비 데이터 전송 채널을 2배로 늘려 성능을 2배 높인 MRDIMM(Multiplexed Rank DIMM)을 개발하고, 작년 하반기 주요 칩셋 업체와 검증을 완료했다. 이 제품은 8.8Gbps의 속도를 지원하며, HPC 등 고사양 메모리를 요구하는 AI 응용처에 적극 채용될 것으로 예상된다. 삼성전자는 향후 32Gb DDR5를 활용해 고성능, 고용량, 저전력에 차별화된 MRDIMM 제품을 제공할 예정이다.

PCIe Gen5 SSD ‘PM9D3a’

PM9D3a는 PCIe Gen5를 지원하는 8채널 컨트롤러 기반 제품으로, 기존 제품 대비 연속 읽기속도는 최대 2.3배 향상됐고, 소비 전력은 60% 개선된 업계 최고의 전력 효율을 제공한다.

삼성전자는 뛰어난 확장성을 바탕으로 작년 7.68TB와 15.36TB 2.5인치 규격 제품을 개발한데 이어, 올해 상반기에는 3.84TB 이하의 저용량부터 최대 30.72TB 제품까지 다양한 라인업과 폼팩터를 제공할 계획이다. 이 제품은 다양한 신규 서버 시스템에 장착되어 고성능 스토리지 서비스 구현을 가능하게 할 것이다.

고성능·저전력 온디바이스 AI용 솔루션 ‘LPDDR5X, LPDDR5X CAMM2, LLW, PCIe Gen5 SSD’

단말단에서 AI 특정 서비스 구현을 위해서는 단말 자체에 다수의 AI 모델을 저장하고 처리해야 되며, 이를 위해서는 스토리지에 저장되어 있던 AI 모델이 1초 이내로 메모리에 로딩되어야 한다.

또한 AI 모델 사이즈가 커질수록 결과의 정확도는 높아지기 때문에, 원활한 AI 서비스를 제공하기 위해서는 단말 자체에서도 고성능, 고용량 메모리가 필수적이다.

LPDDR5X D램

삼성전자는 LPDDR 표준 기반 최고 속도 9.6Gbps를 지원하는 LPDDR5X 제품을 개발 중이다. 하이케이 메탈 게이트(High-K Metal Gate, HKMG) 기술을 활용해 이전 세대 대비 전력 효율을 30% 개선하고, 표준 패키지 솔루션을 지원해 응용처별 최적 포트폴리오를 제공한다.

LPDDR5X CAMM2

작년 9월 삼성전자는 LPDDR D램 기반 7.5Gbps LPDDR5X CAMM2(Compression Attached Memory Module)를 업계 최초로 개발했으며, 현재 주요 파트너들에게 샘플을 제공하고 검증을 진행 중이다. 이 제품은 PC·노트북 D램 시장의 판도를 바꿀 제품으로, 삼성전자는 AI, HPC, 서버, 데이터센터 등 응용처 확대를 위해 주요 고객과 논의 중에 있다.

LLW D램

LLW(Low latency Wide I/O) D램은 128GB/s의 초고성능, 저지연 특성에 최적화된 제품이다. 1.2pJ/b의 매우 낮은 전력으로 구동하며, 즉각적인 대응이 필요한 AI 모델을 단말단에서 구동하는데 적합한 솔루션이다.

* pJ/b: 비트당 소비되는 에너지

PCIe Gen5 SSD ‘PM9E1’

PM9E1은 PCIe 5.0을 지원하는 8채널 컨트롤러 기반 PC/Client OEM용 SSD제품으로, 올해 6월 개발될 예정이다. 이전 세대 대비 연속 읽기속도는 2배 향상되고, 33%의 개선된 전력 효율을 제공한다. 초거대 언어 모델(LLM)을 1초내 D램에 전송할 수 있어 온디바이스 AI 시대를 열어가는데 최적화된 제품이 될 전망이다.

2025년 전장 메모리 시장 1위 달성을 위한 차량용 솔루션 ‘Detachable Auto SSD’

자율주행이 고도화됨에 따라 차량 시스템 구조는 여러 개의 차량 전자제어장치(Electronic Control Unit, ECU)를 가진 ‘분산형 구조’에서 각 영역의 제어 기능이 통합된 ‘중앙 집중형 구조’로 변화하고 있다. 이에 따라 고성능, 고용량뿐 아니라, 여러 개의 SoC와 데이터를 공유할 수 있는 Shared SSD에 대한 요구가 점차 증가하고 있다.

삼성전자는 다양한 차량용 신제품과 신기술을 선보이며, 2025년 전장 메모리 1위 달성을 위해 박차를 가하고 있다.

Detachable AutoSSD

세계 최초 탈부착이 가능한 차량용 SSD로, 스토리지 가상화를 통해 하나의 SSD를 분할해 여러 개의 SoC가 사용할 수 있는 제품이다. 기존 제품 대비 용량은 4배(1TB→ 4TB), 임의 쓰기속도는 약 4배(240K IOPS→ 940K IOPS) 향상됐으며, 교체가 가능한 E1.S 기반의 폼팩터를 제공한다.

삼성전자는 현재 유럽 주요 완성차, 티어1 고객들과 세부 사양 협의를 진행하고 있으며, 올해 1분기내 기술적 검증(PoC)을 완료할 계획이다.

.

삼성전자 메모리 상품기획실 신설, 새로운 도약을 준비하다

삼성전자는 급변하는 기술과 시장 환경에 민첩하게 대응하기 위해 작년 12월 메모리 상품기획실을 신설하고, 본격적인 미래 준비에 박차를 가하고 있다.

……………………..

메모리 컨트롤 타워 역할로 미래 제시

상품기획실은 ‘Business Coordinator 전문가 조직’을 표방하고, 제품 기획부터 사업화 단계까지 전 영역을 담당하며 고객 기술 대응 부서들을 하나로 통합해 만든 조직이다.

그동안 분산되어 있던 센싱, 동향 분석, 상품 기획, 표준화, 사업화, 기술 지원 등 모든 기능이 상품기획실로 흡수되어 ▲기술 동향 분석을 통한 ‘초격차’를 지향하는 경쟁력 있는 제품 기획 ▲’급변하는 대내외 변화’를 고려한 제품 개발 관리 ▲’개별화된 고객 요구’에 대한 적극 대응을 통해 메모리 시장에서의 기술 리더십을 확고히 할 계획이며, 대내외 컨트롤 타워 역할을 수행할 예정이다.

또한 중장기 로드맵 기반으로 연구소, 개발실과 요소 기술 선행 준비 등 새로운 도약을 위한 미래 준비에 더욱 집중할 계획이다.

고객사 요구를 반영한 미래 솔루션, 신사업 발굴

AI의 폭발적인 성장은 급진적인 메모리 발전도 요구하고 있다. DDR6, HBM4, GDDR7, PCIe Gen6, LPDDR6, UFS 5.0 등 시스템의 고성능화를 지원할 수 있는 고대역폭, 저전력 메모리는 물론 CMM, 첨단 패키지 등 새로운 인터페이스와 적층 기술도 요구되고 있다.

삼성전자는 맞춤형 HBM(Custom HBM), 컴퓨테이셔널 메모리(Computational Memory) 등 새로운 솔루션과 사업 발굴을 통해 메모리 패러다임의 변화를 선도해 나갈 것이다.

메모리 기술 혁신의 열쇠 ‘맞춤형 HBM D램(Custom HBM)’

AI 플랫폼의 성장으로 고객 맞춤형(용량, 성능, 특화 기능 등) HBM에 대한 요구가 증가하고 있으며, 이에 삼성전자는 주요 데이터센터, CPU/GPU 선두 업체들과 긴밀한 협업을 진행 중이다. 맞춤형 HBM D램은 향후 메모리 반도체 기술 한계 극복을 위한 돌파구 역할을 할 것이다.

삼성전자는 고객들의 개별화된 요구에 대응하기 위해 차세대 HBM4부터 버퍼 다이(Buffer Die)에 선단 로직 공정을 활용할 예정이다.

삼성전자만이 보유하고 있는 메모리, 파운드리, 시스템 LSI 등 종합 역량과 차세대 D램 공정, 최첨단 패키지 기술로 향후 새로운 시장 변화에 맞춰 최적의 솔루션을 제공해 나간다는 전략이다.

AI 시대를 이끌 ‘CMM’

CMM-D(CXL Memory Module DRAM)는 기존 메인 D램과 공존하면서 대역폭과 용량을 확장할 수 있어 AI, 머신러닝 등 고속의 데이터 처리가 요구되는 차세대 컴퓨팅 시장에서 주목받고 있다.

삼성전자는 2021년 5월 세계 최초 CMM-D 기술 개발을 시작으로, 업계 최고 용량의 512GB CMM-D 개발, CMM-D 2.0 개발 등에 성공하며 업계를 선도하고 있다. 또한, 현재 256GB CMM-D 샘플 공급이 가능한 유일한 업체로서 다양한 파트너사와의 긴밀한 협력을 통해 CXL 메모리 생태계를 구축하고 있다.

메모리의 새로운 패러다임 ‘PIM’

PIM(Processing-in-Memory)은 메모리 내부에 연산 작업에 필요한 프로세서 기능을 더한 차세대 융합 기술로, CPU와 메모리 간 데이터 이동이 줄어들어 AI 가속기 시스템의 에너지 효율을 높일 수 있다.

삼성전자는 2021년 세계 최초로 HBM-PIM을 개발했으며, 주요 칩셋 업체와 협력을 통해 기존 GPU 가속기 대비, 평균적으로 성능은 약 2배 증가, 에너지 소모는 약 50% 감소했음을 확인했다. 삼성전자는 PIM 응용을 확대하기 위해 AI 가속기용 HBM-PIM과 온디바이스 AI용 LPDDR-PIM 상용화에 박차를 가하고 있다.

용량의 한계를 뛰어 넘은 대용량 SSD 구독 서비스, PBSSD as a Service

PBSSD as a Service는 고객이 초고용량 SSD 솔루션을 구매하는 대신 서비스를 사용하는 사업 모델이다. 고객에게 PB(페타바이트) 규모의 대용량 SSD 솔루션을 구독 서비스로 제공해 고객의 스토리지 인프라 초기 투자 비용을 낮추고, 유지 보수 비용을 절감하는데 기여할 것으로 기대된다.

전 세계 고객과 강력한 파트너십 구축

메모리는 또 한 번의 기술 변곡점을 맞이하고 있고, AI 시대에서 반도체 성장 가능성은 크고 무궁무진하다. 새로운 제품과 시장을 개척하기 위해서는 전 세계 파트너, 고객들과의 강력한 협력이 필수다.

고객과의 협력 인프라를 제공하는 ‘삼성 메모리 리서치 센터’

삼성전자는 ‘삼성 메모리 리서치 센터(SMRC)’를 기반으로 파트너와의 긴밀한 협력을 통해 차세대 메모리를 준비하고 있다.

SMRC는 삼성전자의 메모리 제품을 탑재한 고객사에 자사 서버의 하드웨어와 소프트웨어의 최적 조합을 분석하고 성능을 평가할 수 있도록 제공하는 플랫폼으로, 고객과의 차별화된 협력을 가능하게 한다.

작년 삼성전자는 VMware와 가상화 시스템 구현을 위한 기술 협력을 추진해 업계 최초로 PCIe Gen5 SSD(PM1743)가 VMware 솔루션에서 최적의 성능을 구현함을 확인했고, Red Hat의 최신 서버용 운영체제에서 CXL 메모리 동작 검증을 마치는 등 SMRC를 통해 소프트웨어 업체와의 파트너십을 공고히 했다.

현장 근접 기술 지원을 위한 ‘TECx’

삼성전자는 글로벌 고객사에 원활한 기술 서비스를 제공하고, 긴밀한 협업을 진행하기 위해 주요 국가별로 TEC(Technology Enabling Center)를 운영하고 있으며, 점차 지역을 확대해 작년부터 대만에도 기술 지원 조직(TECx, TEC extension)을 구축했다.

대내적으로는 DDR5, LPDDR5X, CMM, PCIe Gen5 SSD 등의 신규 제품과 기술을 선단에서부터 검증하는 등 시스템 인증을 지원하고, 대외적으로는 현지에서의 즉각적인 기술 대응이 가능해 고객 CRM(Customer Relationship Management)을 높이고 있다. 향후 TECx는 지속적인 기술 협업을 주도하며 고객의 No.1 협업 파트너 역할을 수행할 것으로 기대된다.

2024년 반도체 시장과 기술의 판도 변화가 급속히 진행 중인 가운데 삼성전자는 미래 기술 리더십과 고객과의 동반 성장을 이어가기 위해 담대한 도전을 지속해 나갈 것이다.

The post [기고문] AI 시대, 최적 메모리 솔루션으로 미래 기술을 그리다 first appeared on 삼성전자 반도체 뉴스룸.

삼성전자가 업계 최초로 엔터프라이즈 리눅스 글로벌 1위 기업 레드햇(Red Hat)과 CXL(Compute Express Link) 메모리 동작 검증에 성공했다.

* CXL(Compute Express Link, 컴퓨트 익스프레스 링크): 고성능 서버 시스템에서 CPU와 함께 사용되는 ▲가속기 ▲D램 ▲저장장치 등을 보다 효율적으로 활용하기 위한 차세대 인터페이스

CXL은 ▲생성형 AI ▲자율주행 ▲인메모리 데이터베이스 플랫폼 등 처리해야 할 데이터 양이 기하급수적으로 증가하면서 주목 받고 있는 차세대 기술로, 빠르고 효율적인 데이터 처리에 유용하다.

또한, CXL은 ▲CPU ▲GPU 등 다양한 프로세서와 메모리를 연결하는 PCIe 기반의 통합 인터페이스 표준으로, 데이터 처리 지연과 속도 저하, 메모리 확장 제한 등 여러 난제를 해결할 수 있는 차세대 기술이다.

* PCIe(Peripheral Component Interconnect Express): 기존 SATA(Serial Advanced Technology Attachment) 전송 속도의 성능 한계를 극복한 고속 인터페이스 규격

삼성전자는 기업용 리눅스 OS인 ‘레드햇 엔터프라이즈 리눅스(Red Hat Enterprise Linux 9.3,이하 RHEL 9.3)’에 CXL 메모리를 최적화하고 ▲가상 머신(Red Hat KVM) ▲컨테이너 환경(Red Hat Podman)에서 메모리 인식, 읽기, 쓰기 등의 동작 검증을 완료했다.

* Red Hat Enterprise Linux 9.3: 레드햇의 최신 서버용 운영체제(OS)
* 가상 머신(Virtual Machine, VM): 컴퓨팅 환경을 소프트웨어로 구현한 것으로, 컴퓨터 시스템을 에뮬레이션(가상현실화)하는 소프트웨어
* 컨테이너(Container): 어플리케이션을 인프라 환경에 구애 받지 않고 구동시킬 수 있는 가상화 기술

CXL 메모리 동작이 검증되면서 데이터센터 고객들은 별도의 소프트웨어 변경 없이 손쉽게 삼성 CXL 메모리를 사용할 수 있게 됐다.

양사는 ‘RHEL 9.3 CXL 메모리 활성화 가이드(RHEL 9.3 CXL Memory Enabling Guide)’도 발행 예정이다. 고객들은 가이드를 이용해 레드햇 엔터프라이즈 리눅스에서 삼성전자의 CXL 메모리를 사용하고, 다양한 환경에서 고성능 컴퓨팅 시스템을 구축할 수 있다.

이번 검증은 지난해 5월 삼성전자와 레드햇 양사가 공동으로 추진한 차세대 메모리 분야 소프트웨어 기술 관련 협력의 결실로, 삼성전자는 주요 소프트웨어, 데이터센터, 서버, 칩셋 업체들과 협력을 확대해 차세대 메모리 상용화에 박차를 가하고 있다.

삼성전자 메모리사업부 상품기획실 배용철 부사장은 “삼성전자는 소프트웨어, 데이터센터, 서버 등 다양한 파트너사와 긴밀한 협력을 통해 CXL 메모리 생태계 구축에 앞장서 왔다”며, “레드햇과의 협력은 최첨단 하드웨어와 소프트웨어 기술의 결합으로, CXL 생태계가 한 단계 더 발전하는데 기여할 것”이라고 밝혔다.

레드햇 아시아태평양총괄 마리옛 안드리아스(Marjet Andriesse) 부사장은 “양사 간 이번 협력은 차세대 메모리 개발을 위한 오픈소스 생태계 구축 측면에서 하드웨어와 소프트웨어를 통합한 중요한 이정표가 될 것”이라며, “레드햇의 IaaS, PaaS 기반 소프트웨어에 CXL 메모리의 적용 가능성을 열었다는 점에서 의미가 크다”고 밝혔다.

* IaaS(Infrastructure as a Service): 서비스형 인프라
* PaaS(Platform as a Service): 서비스형 플랫폼

앞으로도 양사는 삼성 메모리 리서치 센터(SMRC)를 통해 CXL 오픈소스와 레퍼런스 모델 개발 등 CXL 메모리 생태계 확장을 위한 다양한 분야의 협력을 이어나갈 계획이다.

* SMRC(Samsung Memory Research Center) : 삼성전자의 메모리 제품을 탑재한 고객사에 자사 서버의 하드웨어와 소프트웨어의 최적 조합을 분석하고 성능을 평가할 수 있도록 제공하는 플랫폼
* 레퍼런스 모델 : 시스템을 구성하는 하드웨어, 소프트웨어 간 정합성 등 사전 확인된 최적의 시스템 조합

The post 삼성전자, 레드햇과 업계 최초 CXL 메모리 동작 검증 first appeared on 삼성전자 반도체 뉴스룸.

최근 빅데이터 기반의 서비스가 확장되면서 메모리 성능에 대한 요구가 끝없이 늘어나고 있다. ‘반도Chat’ 시리즈 다섯 번째 이야기의 주제는 기존 메모리의 한계를 극복하고, 미래 메모리 기술 개발에 핵심이 될 새로운 인터페이스, ‘CXL’이다.

.

MAP 1. 빅데이터 시대 속 데이터 처리의 새로운 길

인공 지능, 머신 러닝 등의 기술 발전으로 처리해야 할 데이터양이 폭증하면서, 고성능 CPU는 빠른 데이터 처리를 위해 단일 칩에 점점 더 많은 코어(Core)를 통합하고 있다. 특히 AI 서비스를 위한 고성능 CPU에는 100개가 넘는 코어가 존재한다. 코어 수가 증가할수록 각 코어를 담당할 충분한 메모리가 필요한데, 현재 위와 같은 상황으로 인해 고속 인터페이스를 사용하고 용량 확장이 용이한 메모리 제품에 대한 수요가 급증하고 있다.

그러나 기존에 사용되어 온 DDR 인터페이스 기반의 D램은 한정된 범위 내에서만 용량을 확장할 수 있어 AI 서비스에 필요한 성능을 충족시키지 못했다.

이로 인해 기존 메모리 성능과 고성능 CPU 간에 격차가 생기면서 병목 현상이 발생하게 되었고, 이 한계를 넘어서기 위해서는 완전히 새로운 인터페이스가 필요했다. 그렇게 삼성전자 반도체는 ‘CXL’이라는 차세대 인터페이스를 메모리 설계에 도입하기 시작했다.

.

MAP 2. CXL이란 무엇인가?

빠르게 연결해서 연산한다’는 의미를 지닌 CXL(Compute Express Link)은 CPU, GPU, 스토리지 등의 다양한 장치를 효율적으로 묶어, 보다 빠른 연산 처리를 가능하게 하는 차세대 인터페이스다.

기존에는 각 장치마다 별도의 인터페이스가 존재해 서로 다른 인터페이스 간의 효율적인 연결이 어려웠으며, 각 장치 간 통신 시 다수의 인터페이스를 통과하는 과정에서 지연 현상이 발생했다.

반면 CXL은 다수의 장치를 하나의 인터페이스로 통합해 여러 장치가 한 번에 연결되게 함으로써 데이터 처리 속도를 높이고, 시스템 용량과 대역폭을 확장할 수 있는 기반을 제공한다. 이러한 획기적인 기술은 무수히 많은 양의 데이터가 막힘없이 효율적으로 오갈 수 있는 고속도로가 되어주고 있다.

.

MAP 3. CXL 기반 D램의 탄생

2021년, 삼성전자 반도체는 업계 최초로 CXL 기반 D램인 CMM-D를 개발했다. CMM-D에는 여러 가지 특성이 있는데, 가장 괄목할 특징 중 하나는 유연한 확장성이다. 기존의 데이터센터나 서버에서 외장형 저장 장치인 SSD(Solid State Drive)를 꽂던 자리에 그대로 꽂아 사용 가능하며, 이때 시스템 내 D램 용량을 TB급까지 확장할 수 있다. 서버를 교체하거나 서버 구조를 변경하지 않고도 용량을 손쉽게 확장할 수 있는 것이다.

또한, CMM-D는 다양한 대역폭에 대응할 수 있어 고속 데이터 처리가 가능하다. 이는 CXL이 PCIe(Peripheral Component Interconnect Express)를 기반으로 하는 인터페이스이기 때문이다. PCIe는 주로 컴퓨터의 다양한 하드웨어와 디바이스 간에 데이터를 전송하기 위한 연결 표준으로, 여러 개의 데이터 비트를 한 번에 전송하는 병렬 통신(Parallel Communication) 대신 한 번에 하나의 비트씩 데이터를 순차적으로 전송하는 직렬 통신(Serial Communication)을 사용한다.

한 번에 하나의 데이터 비트만 전송하지만, 높은 주파수의 신호를 사용하기 때문에 빠른 전송 속도를 자랑하며, 다양한 대역폭에도 효율적으로 대응한다. 또한 적은 수의 선으로 데이터를 전송하므로 신호 간 간섭이 적어 비교적 데이터 처리 과정이 매끄러우며 이로써 지연 현상도 최소화할 수 있다. 새로운 장치를 추가할 때 하나의 선만 연결하면 되기에 상대적으로 시스템을 확장하거나 변경하기에도 용이하다. CMM-D는 이러한 특성을 통해 메모리 관리의 유연성을 제공한다.

.

MAP 4. 유연성을 한층 더 높인 차세대 메모리 CMM-D

삼성전자 반도체는 CXL 기반 메모리 기술 개발의 첫 결과물인 CXL 1.1에 이어 2023년 5월에는 CXL 2.0을 지원하는 CMM-D를 선보였다. CXL 2.0은 이전 버전인 CXL 1.1에서 메모리 관리의 유연성을 획기적으로 향상한 것으로, 필요에 따라 메모리를 효과적으로 공유하고 확장할 수 있는 기능을 제공한다. 더불어 강력한 보안 기능까지 갖춘 D램으로, 이를 데이터센터에 적용하면 보다 효율적인 메모리 사용이 가능해져 결과적으로 서버 운영비 절감에도 기여할 수 있다.

.

MAP 5. 메모리 용량 확장에 숨은 기술

CXL 2.0만의 특성 구현에는 여러 기술이 기반이 되었는데, 특히 두 가지 기술이 용량 확장의 직접적인 토대가 되었다. 바로 메모리 풀링과 스위칭이다. CXL 2.0은 특히 메모리 풀링 기능을 세계 최초로 지원한다.

‘메모리 풀링(Pooling)’은 서버 플랫폼에서 여러 개의 CXL 메모리를 묶어 풀(Pool)을 만들고, 여러 호스트가 풀(Pool)을 공유하며 필요에 따라 메모리를 효과적으로 할당하고 해제하는 기술이다. 이를 통해 프로그램이나 작업에 필요한 메모리양에 따라 리소스를 효율적으로 관리할 수 있다.

예를 들면, 5명의 인원이 각각 1L의 물을 갖는 대신, 5명의 인원이 5L의 물을 공유함으로써 누군가 1L 이상의 물이 필요하더라도 옆 사람에게 별도로 요청하지 않고 바로 물을 사용할 수 있게 되는 것이다. 이로써 CXL 메모리의 전 용량을 유휴 영역 없이 사용할 수 있게 한다. 더불어 CXL 2.0은 스위칭 기능을 통해 프로세서, 가속기, 스토리지 등의 다양한 디바이스 간에 데이터를 효율적으로 전송하고 공유함으로써 메모리 리소스를 확장할 수 있다.

또한, CXL 2.0은 메모리 풀링과 스위칭 기능 외에도, 전원이 켜진 상태에서 장치를 연결하거나 분리할 수 있는 핫플러그 기능을 지원한다. 해당 기술 적용으로, 시스템을 재부팅 하지 않아도 디바이스를 추가하거나 교체할 수 있게 함으로써 편리성을 더했다.

.

MAP 6. CXL과 함께 만들어 갈 메모리의 미래

삼성전자 반도체는 CMM-D, CMM-DC, CMM-H, CMM-HC 등 CXL 인터페이스를 기반으로 한 다양한 메모리 제품군을 연이어 공개하며 CXL 기반 메모리 제품의 범용성을 높여가고 있다. 여기에서 한 걸음 더 나아가 고성능 컴퓨팅 플랫폼용 신규 인터페이스인 CXL을 적극 활용해, 메모리 대역폭과 용량을 원하는 만큼 확장하는 미래를 꿈꾸고 있다.

이러한 꿈을 실현하기 위해 CXL 기반 메모리 기술의 생태계 구축에도 앞장서 왔다. CXL 기반 메모리 개발 초기 단계부터 글로벌 주요 데이터센터, 서버, 칩셋(Chipset) 업체들과의 개발 협력을 진행해 왔으며, CXL 소프트웨어 도구인 SMDK(Scalable Memory Development Kit)를 오픈 소스로 공개했다. 이로써 메모리 업계뿐 아니라 대학교, 연구기관 등을 대상으로 차세대 메모리 기술 연구·개발에 대한 관심도를 높임으로써 차세대 메모리 기술의 탄생을 가속화하고 있다.

빅데이터 시대에서, 메모리의 한계점을 없앨 새로운 인터페이스 ‘CXL’에 대해 보다 자세하게 알고 싶다면 반썰어 ‘CXL’편을 참고하길 바란다.

The post [반도Chat Ep.5] 메모리 사용성을 유연하게 확장하는 새로운 인터페이스 ‘CXL’ first appeared on 삼성전자 반도체 뉴스룸.

AI, 챗봇, 메타버스, 클라우드 컴퓨팅 등 빅데이터를 활용한 기술이 연이어 등장하면서, 기하급수적으로 폭발하는 데이터를 효율적으로 처리할 수 있는 기능이 그 어느때보다 중요해지고 있습니다. 이렇게 많은 양의 데이터를 매끄럽게 처리하기 위해서는 더욱 효율적인 인터페이스가 필요한데요. 이를 해결해 줄 새로운 솔루션이 바로 ‘CXL(Compute Express Link)’입니다.

CXL은 각각의 인터페이스로 나누어져 있던 CPU, GPU, 메모리 스토리지 등의 컴퓨팅 시스템들을 효율적으로 묶어, 보다 빠른 연산 처리가 가능한 차세대 인터페이스입니다. 시스템 연산과 데이터 처리 속도를 높일 뿐 아니라 시스템 용량 확장까지 가능하다고 하니, ‘Compute Express Link’ 즉, ‘빠르게 연결해서 연산한다’는 이름에 걸맞지 않나요?

현재 삼성전자 반도체는 이 CXL 기술을 기반으로 한 DRAM을 선도적으로 만들어 가고 있는데요. 차세대 컴퓨팅 시장의 생태계를 구축하는 CXL에 대해 더 알아보고 싶다고요? 그렇다면 지금 바로 영상을 통해 확인해 보세요!

The post [반썰어 Ep.5] 범람하는 데이터 홍수 속, 데이터 처리의 길을 확장시켜 줄 차세대 인터페이스 ‘CXL’! first appeared on 삼성전자 반도체 뉴스룸.

삼성전자가 업계 최초로 CXL 2.0을 지원하는 128GB CXL D램을 개발했습니다.

*CXL(Compute Express Link, 컴퓨트 익스프레스 링크): 고성능 서버 시스템에서 CPU와 함께 사용되는 가속기, D램, 저장장치 등을 보다 효율적으로 활용하기 위한 차세대 인터페이스

삼성전자는 지난해 5월 세계 최초로 CXL 1.1 기반 CXL D램을 개발한데 이어, 1년 만에 CXL 2.0을 지원하는 128GB D램을 개발해 차세대 메모리의 상용화 시대를 앞당겼습니다.

이번 제품은 PCIe 5.0(x 8레인)을 지원하며, 최대 35GB/s의 대역폭을 제공합니다.

*PCIe(Peripheral Component Interconnect Express): 기존 SATA 전송 속도의 성능 한계를 극복한 고속 인터페이스 규격

삼성전자는 ‘CXL 2.0 D램’을 연내 양산할 계획이며, 차세대 컴퓨팅 시장 수요에 따라 다양한 용량의 제품도 적기에 선보여 CXL 생태계 확장을 가속화할 예정입니다.

CXL D램은 메인 D램과 공존하면서 대역폭과 용량을 확장할 수 있어 인공지능, 머신러닝 등 고속의 데이터 처리가 요구되는 차세대 컴퓨팅 시장에서 주목받고 있습니다.

삼성전자의 ‘CXL 2.0 D램’은 업계 최초로 ‘메모리 풀링(Pooling)’ 기능을 지원합니다.

‘메모리 풀링(Pooling)’은 서버 플랫폼에서 여러 개의 CXL 메모리를 묶어 풀(Pool)을 만들고, 여러 호스트가 풀(Pool)에서 메모리를 필요한 만큼 나누어 사용할 수 있는 기술입니다.

이 기술은 CXL 메모리의 전 용량을 유휴 영역 없이 사용할 수 있게 해줍니다.

고객이 이 기술을 데이터센터에 적용하면 보다 효율적인 메모리 사용이 가능해 서버 운영비를 절감할 수 있습니다.

또한 절감한 운영비를 서버의 메모리에 재투자하는 등 선순환 구조가 이어질 것으로 기대됩니다.

삼성전자 메모리사업부 신사업기획팀장 최장석 상무는 “삼성전자는 CXL 컨소시엄의 이사회(Board of Director, BoD) 멤버로서 CXL 기술을 선도하고 있다”라며, “데이터센터/서버/칩셋 등 글로벌 기업들과의 협력으로 CXL 생태계를 더욱 확장해 나갈 것”이라고 밝혔습니다.

인텔의 기술 이니셔티브 부문 책임자인 짐 파파스(Jim Pappas)는 “CXL 생태계 확대를 위해 삼성과 협력하게 되어 기쁘다”라며, “삼성과 지속 협력해 업계 전반에 걸쳐 혁신적인 CXL 제품의 성장과 채용이 확대될 수 있도록 힘쓸 것”이라고 밝혔습니다.

몬타지 테크놀로지(Montage Technology) 스테판 타이(Stephen Tai) 사장은 “몬타지는 CXL 2.0을 지원하는 컨트롤러를 업계 최초로 양산할 계획”이라며, “CXL 기술 발전과 생태계 확산을 위해 삼성전자와 적극적으로 협력해 나갈 것”이라고 말했습니다.

The post 삼성전자, 업계 최초 ‘CXL 2.0 D램’ 개발 first appeared on 삼성전자 반도체 뉴스룸.

메모리가 직접 연산까지 한다면? 삼성전자 반도체가 입이 떡 벌어지는 차세대 메모리 기술을 공개했습니다. 3월 28일(현지시각 기준) 미국 캘리포니아에서 열린 ‘MemCon 2023’에서 말이죠.

더 빠르고 강력한 효율을 자랑하는 메모리 제품, ‘PIM(Processing In Memory)’과 ‘CXL(Compute Express Link)’ 인터페이스 기반의 ‘PNM(Processing near Memory)’이 그 주인공들이었는데요. 추후 이 제품들을 활용한 기술들이 대중화되면, 초거대 AI의 맞춤형 솔루션으로 자리잡을 수 있다는 사실! 앞으로 어떤 놀라운 활약을 보여줄지 기대되지 않나요?

삼성전자 반도체가 메모리에 진심일 수밖에 없는 이유, 삼반뉴스를 통해 들어보세요.

*MemCon: AI 관련 메모리 솔루션을 보다 심층적으로 다루기 위해 올해 처음으로 개최되는 학회

The post 메모리가 연산까지 하게 된 사연은? ‘MemCon 2023’ 학회에서 공개한 차세대 메모리 솔루션 first appeared on 삼성전자 반도체 뉴스룸.

삼성전자와 네이버가 차세대 AI 반도체 솔루션 개발에 협력하기로 했습니다.

AI 전용 반도체 솔루션 개발은 고도의 반도체 설계/제조 기술과 함께 AI 알고리즘 개발/검증, AI 서비스 경험과 기술의 융합이 필수적입니다.

삼성전자와 네이버는 각 분야 기술의 선두주자로서 이번 협력을 통해 AI 시스템에 최적화된 반도체 솔루션을 개발할 수 있을 것으로 기대됩니다.

‘초대규모(하이퍼스케일, Hyperscale) AI’의 성능 향상은 처리할 데이터와 연산량의 기하급수적인 증가로 이어지나, 기존 컴퓨팅 시스템으로는 성능과 효율 향상에 한계가 있어 새로운 AI 전용 반도체 솔루션의 필요성이 급증하고 있습니다.

두 회사는 AI 시스템의 데이터 병목을 해결하고 전력 효율을 극대화할 수 있는 새로운 반도체 솔루션을 개발해 AI 기술 경쟁력을 한층 더 강화할 계획입니다.

삼성전자는 컴퓨테이셔널 스토리지(Computational Storage) 기술인 스마트 SSD와 고성능 메모리에 연산 기능을 내장한 HBM-PIM(Processing-in-memory), PNM(Processing-near-memory), 대용량의 데이터를 효율적으로 처리할 수 있는 차세대 인터페이스 기반의 CXL(Compute Express Link) 등을 업계 최초로 개발하는 등 메모리 패러다임의 변화를 선도해 나가고 있습니다.

삼성전자는 이러한 차세대 메모리 솔루션의 융복합을 통해 메모리 병목현상을 극복하고, 초대규모 AI 시스템에 최적화된 반도체 솔루션을 제공해 나갈 예정입니다.

네이버는 ‘하이퍼클로바(HyperCLOVA)’를 운용하면서 학습이 완료된 초대규모 AI 모델에서 불필요한 파라미터를 제거하거나, 파라미터 간 가중치를 단순하게 조정하는 경량화 알고리즘을 차세대 반도체 솔루션에 최적화해 초대규모 AI의 성능과 효율을 극대화한다는 계획입니다.

삼성전자와 네이버는 이번 협력을 시작으로 컴퓨테이셔널 스토리지, HBM-PIM, CXL 등 고성능 컴퓨팅을 지원하는 차세대 메모리 솔루션의 확산에 대해서도 지속적으로 협력해 나갈 계획입니다.

삼성전자 메모리사업부 전략마케팅실장 한진만 부사장은 “네이버와 협력을 통해 초대규모 AI 시스템에서 메모리 병목현상을 해결할 수 있는 최적의 반도체 솔루션을 개발할 것”이라며, “AI 서비스 기업과 사용자의 니즈를 반영한 반도체 솔루션을 통해 PIM, 컴퓨테이셔널 스토리지 등 시장을 선도하는 차세대 메모리 라인업을 확대해 나가겠다”고 밝혔습니다.

네이버 클로바 CIC 정석근 대표는 “네이버가 하이퍼클로바를 서비스하면서 확보한 지식과 노하우를 삼성전자의 첨단 반도체 제조 기술과 결합하면, 최신의 AI 기술이 당면하고 있는 문제를 해결할 수 있는 기존에 없던 새로운 솔루션을 만들어낼 수 있을 것”이라며, “네이버는 이번 협업을 시작으로 기술의 외연을 더욱 확장하며 국내 AI 기술 경쟁력 강화를 위해 지속적으로 노력해나갈 것”이라고 밝혔습니다.

The post 삼성전자-네이버, AI 반도체 솔루션 개발 협력 first appeared on 삼성전자 반도체 뉴스룸.

최근 인공지능(AI) 분야에서 화두가 되고 있는 중요한 트렌드 중 하나는 ‘초거대 AI(Hyperscale Artificial Intelligence, 이하 초거대 AI)’입니다. 초거대 AI는 기존 AI에서 한 단계 진화한 AI로, 인간의 뇌처럼 여러 상황에 대해 스스로 학습하여 사고하고 판단할 수 있습니다. 예컨대, 인공지능의 활용 사례로 많이 알려진 이미지 분석과 같은 작업에서 한발 더 나아가 사람의 언어를 이해하고 이를 바탕으로 이미지를 만들어낼 수도 있습니다. 이러한 수준의 AI를 구현하기 위해서는 훨씬 더 대용량의 데이터에 대한 학습과 연산이 필요하며, 이를 수행할 수 있는 컴퓨팅 인프라가 갖춰져야만 합니다.

최근 활발하게 연구, 도입되고 있는 대용량 추천 시스템과 언어 모델 등을 살펴보면, 모델의 크기가 커질수록 정확도가 증가하는 추세입니다. 그런데 이러한 모델을 구현할 수 있는 충분한 D램 용량과 대역폭이 지원되지 않으면 컴퓨팅 성능이 제한될 수 있습니다. 이에, 삼성전자는 이를 극복할 수 있는 메모리 기술을 선제적으로 개발하고 있습니다.

앞서 설명한 초거대 AI 모델을 지원하기 위해, 삼성전자가 제시하는 솔루션은 PIM(Processing-in-Memory)과 PNM(Processing-near-Memory) 기술입니다. 삼성전자는 이미 해당 기술을 활용한 메모리 솔루션을 확보하였으며, 이를 구현하는데 필요한 소프트웨어에 대한 표준화도 완료했습니다.

HBM-PIM과 GPU를 함께 탑재한 AI용 가속기 구현

PIM(Processing-in-Memory)은 프로세서가 수행하는 데이터 연산 기능을 메모리 내부에 구현한 기술입니다. PIM이 없는 시스템에서는 프로세서가 메모리로부터 명령어를 불러오고 실행하며 그 결과를 다시 메모리(기억장치)에 저장합니다. 이로 인해 다량의 데이터 이동이 필요합니다. PIM을 활용하면, 메모리 내부에서 연산 처리가 가능해 CPU와 메모리 간 데이터 이동이 줄어들기 때문에 AI 가속기 시스템의 성능과 에너지 효율을 높일 수 있습니다. 이 개념을 활용한 솔루션이 바로 HBM-PIM입니다.

*삼성전자 HBM-PIM 기술 설명 바로가기: https://bit.ly/3yHA9SW

삼성전자는 AMD와의 협력을 통해, 이미 상용화된 AMD의 GPU ‘MI-100’ 가속기 카드에 HBM-PIM 메모리를 탑재하였습니다. 이를 바탕으로 HBM-PIM Cluster를 구현한 다음, 각종 대규모 AI 및 HPC(High-Performance Computing) 어플리케이션에 적용했습니다.

그 결과, HBM-PIM을 활용하지 않은 기존 GPU 가속기 대비, 평균적으로 성능은 약 2배 증가하고 에너지 소모는 약 50%가 감소했음을 확인하였습니다. 삼성전자가 8개의 GPU 가속기로 시스템을 구성하고 대용량 AI 언어 모델을 학습시킨 결과, HBM-PIM을 탑재한 GPU 가속기를 사용했을 때 HBM을 탑재한 GPU 가속기보다 1년 동안 사용하는 에너지를 약 2,100GWh 절감할 수 있을 것으로 확인되었습니다. 2,100GWh의 에너지 사용을 절감하면 탄소 배출량을 약 96만 톤 가량 줄일 수 있으며, 이는 약 1억 그루의 소나무가 1년 동안 흡수하는 탄소보다 많은 양입니다.

*환산 기준: 국내 강원·중부 지방의 소나무의 경우, 한 그루당 1년 동안 8.6kg의 온실가스를 흡수 (국립산림과학원이 2019년 7월 발표한 ’19년 주요산림수종의 표준 탄소 흡수량 기준)

이로서 현재 데이터센터들이 초거대 AI와 관련해 직면하고 있는 메모리 용량과 대역폭 한계로 인한 병목현상을 효율적으로 개선하고 전력량 절감에도 기여할 수 있을 것으로 기대됩니다. 특히, 이는 이미 상용화된 GPU와 HBM-PIM을 이용해 구현할 수 있는 솔루션입니다.

또한, 삼성전자는 이를 지원할 수 있는 소프트웨어에 대한 준비도 병행하고 있습니다. 개방형 소프트웨어 표준인 SYCL을 활용해 금번에 구현한 GPU 가속기를 사용할 수 있는 소프트웨어 사양을 정의하였으며, 이를 바탕으로 한 소프트웨어도 11월 공개할 예정입니다. 이에 따라 향후 고객들은 통합된 소프트웨어 환경에서 PIM 메모리 솔루션을 사용할 수 있을 것으로 기대됩니다.

해당 소프트웨어 표준화를 위해 협력 중인 Codeplay Software의 최고사업책임자(Chief Business Officer) Charles Macfarlane는 “Codeplay는 SYCL 표준 정의에 함께 참여하여 HBM-PIM을 활용한 GPU 가속기에 적합한 첫 소프트웨어 솔루션을 구현했다”며, “삼성전자와 함께 소프트웨어 표준화를 지속 진행함으로써 라이브러리와 툴 생태계를 더욱 확장하고 알고리즘 개발에 집중할 수 있는 환경을 제공하겠다”고 밝혔습니다.

고용량 AI 모델을 위한 CXL 기반의 PNM 솔루션 개발

CXL은 컴퓨팅 시스템에서 사용되는 인터페이스로, 프로세서와 함께 사용되는 가속기와 메모리를 보다 효율적으로 사용하고 메모리 용량의 확장을 용이하게 해줍니다.

*삼성전자 CXL 메모리 기술 설명 바로가기: https://bit.ly/34pYiQj

PNM(Processing-near-Memory)도 PIM처럼 메모리를 데이터 연산 기능에 활용해 CPU와 메모리 간 데이터 이동을 줄여주는 기술입니다. 연산 기능을 메모리 옆에 위치시켜 CPU-메모리 간 발생하는 병목현상을 줄이고 시스템 성능을 개선할 수 있습니다.

삼성전자가 금번에 개발한 CXL 인터페이스 기반의 PNM 기술은 고용량 AI 모델의 처리에 적합한 솔루션입니다. 높은 메모리 대역폭을 요구하는 추천 시스템이나 인-메모리 데이터베이스 등의 응용에서 약 2배 이상 성능이 향상되는 것을 확인하였습니다. 삼성전자는 해당 기술을 최근 미국에서 개최된 ‘삼성 테크 데이’행사에서 업계 최초로 공개한 바 있습니다.

AI 모델별 특성에 적합한 메모리 솔루션 제공

AI 모델에 활용되는 데이터는 특성에 따라 밀집데이터와 희소데이터로 분류됩니다. 밀집데이터는 전체 데이터 군집 안에서 유효한 데이터의 비율이 높아 밀집되고 연결된 경우이며, 희소데이터는 유효한 데이터의 비율이 낮게 존재합니다.

자율주행, 음성인식 등의 AI 응용은 밀집데이터에 해당되며, 사용자 기반 추천 알고리즘(페이스북 친구 추천)등은 희소데이터에 해당됩니다. 삼성전자는 밀집데이터를 기반으로 하는 AI 모델에는 PIM 기술을 적용하고, 희소데이터 기반 AI 모델은 PNM 기술을 적용하여 고객의 다양한 요구에 대응할 예정입니다.

삼성전자 메모리사업부 신사업기획팀장 박철민 상무는 “HBM-PIM Cluster 기술은 업계 최초의 거대 규모 인공지능 분야 맞춤형 메모리 솔루션”이라며, “통합 소프트웨어 표준화 과정을 거쳐 CXL-PNM 솔루션과 도 접목하여, 에너지 절감 및 탄소 배출 저감 효과를 극대화함으로써 친환경 경영에 기여할 것이다”라고 밝혔습니다.

AMD의 Accelerated Data Center Business 담당 Josh Friedrich 부사장(Corporate Vice President)은 “AMD는 업계와의 협력을 바탕으로 고객을 위한 새롭고 혁신적인 기술을 지속적으로 찾아나가고 있다”며, “컴퓨팅 집약적 시스템 성능을 향상시킬 수 있는 PIM과 같은 혁신적인 메모리 기술을 연구하고 제시하는 삼성전자의 노력에 박수를 보낸다”고 밝혔습니다.

미국 에너지부(U.S. Department of Energy) 산하 연구소인 Oak Ridge National Laboratory의 Corporate Fellow이자 Computer Science와 Math Division을 이끌고 있는 Jeffrey Vetter는 “고성능 컴퓨팅과 AI 어플리케이션에서 흔히 발생하는 메모리 대역폭과 전력 효율 문제를 해결하는 데에 있어 PIM과 같은 컴퓨팅 메모리 기술의 구현이 필요하다”며, “삼성전자와의 협력을 통해 이러한 메모리 기술의 적용 가능성과 효율성을 연구할 수 있을 것으로 기대한다”고 밝혔습니다.

삼성전자는 향후 HBM-PIM과 CXL 기반 PNM 기술의 확산을 위해 IT 업계 및 학계와 적극적으로 소통할 계획입니다. HBM-PIM과 CXL 기반의 PNM 솔루션을 지원하는 통합 소프트웨어를 공개할 예정이며, 업계 최대 슈퍼 컴퓨팅 학회인 SC22에도 참가하여 해당 솔루션을 전시하고 시연할 예정입니다.

The post 삼성전자 반도체, 차세대 AI를 위한 첨단 메모리 기술 공개 first appeared on 삼성전자 반도체 뉴스룸.

삼성전자가 업계 최초로 고용량 512GB CXL D램을 개발하고, 차세대 메모리 상용화를 앞당겼습니다.

* CXL(Compute Express Link) : 고성능 컴퓨팅 시스템에서 CPU와 함께 사용되는 가속기, 메모리, 저장장치 등을 보다 효율적으로 활용하기 위해 새롭게 제안된 인터페이스

삼성전자는 지난해 5월 세계 최초로 CXL 기반 D램 기술을 개발하고 데이터센터, 서버, 칩셋 업체들과 평가를 해왔으며, 이번에 기존 대비 메모리 용량을 4배 향상시킨 512GB CXL D램을 개발했습니다. 또한 ASIC(주문형 반도체) 기반의 컨트롤러를 탑재해 데이터 지연 시간을 기존 제품 대비 1/5로 줄였습니다.

이번 제품은 PCIe 5.0을 지원하며, 대용량 SSD에 적용되는 EDSFF(Enterprise & Data Center Standard Form Factor) 폼팩터가 적용되어, 기존 컴퓨팅 시스템의 D램 용량을 획기적으로 확장할 수 있습니다.

최근 메타버스, 인공지능, 빅데이터 등 폭발적으로 증가하는 데이터 양에 비해 기존의 DDR 인터페이스는 시스템에 탑재할 수 있는 D램 용량에 한계가 있어, CXL D램과 같은 차세대 메모리 솔루션에 대한 요구가 지속되고 있습니다.

삼성전자가 이번에 고용량 CXL D램을 개발함에 따라 메인 D램과 더불어 서버 한 대당 메모리 용량을 수십 테라바이트 이상으로 확장할 수 있게 됐습니다.

삼성전자는 이달 중 ‘스케일러블 메모리 개발 키트(Scalable Memory Development Kit, SMDK)’의 업데이트 버전을 오픈소스로 추가 공개해, 개발자들이 다양한 응용 환경에서 CXL D램 기술을 활용하는 프로그램을 빠르고 쉽게 개발할 수 있게 할 계획입니다.

* SMDK: 차세대 이종 메모리 시스템 환경에서 기존에 탑재된 메인 메모리와 CXL 메모리가 최적으로 동작하도록 도와주는 소프트웨어 개발 도구로 API, 라이브러리 등으로 구성됨

삼성전자 메모리사업부 신사업기획팀 박철민 상무는 “CXL D램은 인공지능, 빅데이터 등의 서비스를 혁신적으로 향상시키고, 향후 소프트웨어 정의 메모리(Software-Defined Memory)를 포함한 차세대 메모리로 확장될 것”이라며, “삼성전자는 CXL 메모리 생태계가 빠르게 확장해 갈 수 있도록 고객, 파트너들과 함께 기술 표준화를 적극 추진하고, CXL 메모리 솔루션을 확대해 차세대 메모리 시장을 주도해 나가겠다”라고 밝혔습니다.

레노버 인프라스트럭쳐 솔루션그룹(Lenovo Infrastructure Solutions Group) 최고기술책임자(CTO) 그렉 허프(Greg Huff)는 “CXL 컨소시엄의 멤버인 레노버는 기술 표준 개발과 함께 CXL 중심의 생태계 구축에 기여하고 있다”라며, “혁신적인 CXL 제품들을 레노버 시스템에 적용을 확대하는 데 삼성전자와 협력해 나가겠다”라고 말했습니다.

몬타지 테크놀로지(Montage Technology) 전략기술 담당 부사장 크리스토퍼 콕스(Christopher Cox)는 “CXL은 메모리 확장과 공유를 최적화하는 핵심 기술이며, 차세대 서버 플랫폼에서 중요한 역할을 할 것”이라며, “몬타지는 삼성과 함께 CXL 메모리 생태계가 빠르게 확장될 수 있도록 협력해 나갈 것”이라고 말했습니다.

삼성전자는 CXL 컨소시엄 이사회에 참여해 글로벌 주요 데이터센터, 서버, 칩셋 업체들과 차세대 인터페이스 기술 개발을 위한 협력을 확대해 가고 있으며, 3분기부터 주요 고객과 파트너들에게 512GB CXL D램 샘플을 제공할 예정입니다.

삼성전자는 테라바이트급 이상의 차세대 메모리 인터페이스 제품을 지속 개발하며 대용량 메모리가 요구되는 컴퓨팅 시장에 맞춰 적기에 상용화할 계획입니다.

The post 삼성전자, 업계 최초 고용량 512GB CXL D램 개발 first appeared on 삼성전자 반도체 뉴스룸.

삼성전자가 업계 최초로 개발한 CXL 메모리의 생태계 확대를 위해 오픈소스 기반 소프트웨어 솔루션을 공개했습니다.

CXL 메모리 접근성 높이는 오픈소스 소프트웨어 개발 도구 모음

CXL(Compute Express Link, CXL)은 AI, 머신러닝, 빅데이터 등 고성능 컴퓨팅 시스템에서 서로 다른 종류의 장치들을 보다 효율적으로 활용하기 위해 제안된 차세대 인터페이스로 CXL 기반 D램을 적용하면 시스템의 메모리 용량을 획기적으로 확장할 수 있습니다.

삼성전자는 지난 5월 CXL 기반의 D램을 선보인데 이어, CXL D램에 대한 시스템 개발자들의 기술 접근성을 높이기 위해 ‘스케일러블 메모리 개발 키트(Scalable Memory Development Kit, SMDK)’를 개발했습니다.

SMDK는 차세대 이종 메모리 시스템 환경에서 기존에 탑재된 메인 메모리와 CXL 메모리가 최적으로 동작하도록 도와주는 소프트웨어 개발 도구로 API, 라이브러리 등으로 구성됐습니다.

라이브러리는 개발자들이 프로그램을 개발할때 사용하는 함수들의 집합으로 API는 라이브러리에 접근하기 위한 통로와 같은 역할을 합니다. 즉 개발자들은 프로그램 개발에 필요한 기능을 다시 만들 필요없이, API를 통해 원하는 프로그램을 빠르고 쉽게 만들 수 있습니다.

차세대 메모리 플랫폼 도입 장벽 낮추고 오픈소스화를 통해 생태계 확장

또한 소프트웨어 개발자들은 오픈소스 기반의 SMDK를 통해 개발자들이 다양한 시스템 환경에 맞춰 기존 메모리와 CXL 메모리의 사용 우선순위, 사용량, 대역폭, 보안 기능 등을 조정할 수 있게 했습니다.

삼성전자 메모리사업부 상품기획팀 박철민 상무는 “차세대 메모리가 탑재된 고성능 컴퓨팅 시스템에서 소프트웨어의 중요성이 강조되고 있다”며, “삼성전자는 고객들이 적기에 신규 시스템을 개발하고 생태계가 빠르게 확장될 수 있도록 하드웨어와 소프트웨어를 아우르는 토탈 메모리 솔루션을 제공해 나갈 것”이라고 밝혔습니다.

삼성전자는 주요 고객들과 AI, 엣지 클라우드 등 다양한 응용환경에서 평가 검증을 통해 SMDK를 최적화하고, 내년 상반기에는 모든 개발자들이 이용할 수 있도록 공개할 계획입니다.

The post 삼성전자, 업계 최초 CXL 메모리 소프트웨어 개발 솔루션 공개 first appeared on 삼성전자 반도체 뉴스룸.

삼성전자가 업계 최초로 차세대 인터페이스 ‘컴퓨트 익스프레스 링크 (Compute Express Link, 이하 CXL)’ 기반의 D램 메모리 기술을 개발했습니다.

대용량 데이터센터가 요구하는 차세대 메모리 솔루션

삼성전자는 인공지능, 머신러닝, 빅데이터 등 데이터센터의 성능을 획기적으로 개선할 수 있는 대용량ㆍ고대역 D램 기술 개발을 통해 차세대 반도체 기술리더십을 확보했습니다.

삼성전자는 이번에 개발한 CXL 기반 D램 메모리를 인텔의 플랫폼에서 검증을 마쳐 차세대 데이터 센터가 요구하는 대용량 D램 솔루션의 기반 기술을 확보했으며, 글로벌 주요 데이터센터, 클라우드 업체들과 협력을 확대해 나가고 있습니다.

최근 인공지능 및 빅데이터를 활용하는 응용분야가 늘어나면서 처리해야 되는 데이터의 양이 폭발적으로 증가하고 있습니다.

그러나 현재의 데이터센터, 서버 플랫폼에서 사용되는 기존의 DDR 인터페이스로는 시스템에 탑재할 수 있는 D램 용량에 한계가 있어 이를 극복할 수 있는 새로운 대안이 지속적으로 요구되어왔습니다.

CXL은 고성능 컴퓨팅 시스템에서 CPU와 함께 사용되는 가속기, 메모리, 저장장치 등을 보다 효율적으로 활용하기 위해 새롭게 제안된 인터페이스로 기존 컴퓨팅 시스템의 메모리 용량의 물리적 한계를 극복하고 D램의 용량을 획기적으로 확장할 수 있습니다.

삼성전자는 업계 최초로 대용량 SSD에 적용되는 EDSFF(Enterprise & Data Center SSD Form Factor) 폼팩터를 CXL D램에 적용했습니다. CXL D램은 기존 시스템의 메인 D램과 공존이 가능하면서 시스템의 메모리 용량을 테라바이트급까지 확장할 수 있습니다.

기존 D램의 컨트롤러는 데이터를 임시로 저장하는 단순 버퍼 역할만 수행했지만 삼성전자는 CXL D램에 최첨단 컨트롤러 기술을 접목해 고객들이 인공지능, 머신러닝, 인메모리 데이터베이스 등 빅데이터를 활용하는 분야에 적극적으로 CXL D램을 활용할 수 있도록 했습니다.

이번에 개발한 CXL D램의 컨트롤러는 컴퓨팅 시스템이 인터페이스가 다른 메인메모리 DDR D램과 CXL D램을 함께 사용할 수 있도록 ‘메모리 맵핑(Memory Mapping)’과 ‘인터페이스 컨버팅(Interface Converting)’ 기술, 시스템의 에러를 최소화하고 데이터의 신뢰성을 향상 시킬 수 있는 ‘에러 관리(Error Management)’ 등을 지원합니다.

주요 데이터센터, 칩셋, 메모리, 서버 업체가 CXL 표준화로 집결

삼성전자는 2019년 CXL 컨소시엄 발족 초기부터 참여해, 글로벌 주요 데이터센터, 서버, 칩셋 업체들과 차세대 인터페이스 기술 개발을 위해 협력하고 있습니다.

삼성전자 메모리사업부 상품기획팀 박철민 상무는 “삼성전자의 CXL D램 기술은 차세대 컴퓨팅, 대용량 데이터센터, 인공지능 등 미래 첨단분야에서 핵심 메모리 솔루션 역할을 할 것”이라며, “스마트 데이터센터가 요구하는 차세대 기술을 선도하고 CXL 생태계가 빠르게 확장될 수 있도록 글로벌 기업들과 협력을 강화해 나가겠다”고 밝혔습니다.

인텔 I/O 기술과 표준 총괄인 데벤드라 다스 샤르마(Debendra Das Sharma) 펠로우는 “인공지능과 머신러닝에 대한 수요와 워크로드 증가를 지원하기 위해 데이터센터 시스템은 빠르게 진화하고 있으며, CXL 메모리를 통해 데이터센터 등에서 메모리의 사용이 한 단계 확장될 것으로 기대된다”며, “CXL을 중심으로 강력한 메모리 생태계를 구축하기 위해 삼성전자와 지속적으로 협력할 것”이라고 말했습니다.

AMD 서버 사업부 댄 맥나마라(Dan McNamara) 수석 부사장은 “AMD는 클라우드와 엔터프라이즈 컴퓨팅 분야의 성능 향상을 주도하기 위해 노력하고 있다”며, “CXL과 같은 차세대 메모리 개발은 이러한 성능 향상을 실현하는 데 있어 매우 중요한 요소로, 삼성전자와 협력을 통해 데이터센터 고객에게 첨단 인터커넥트 기술을 제공할 수 있을 것으로 기대하고 있다”고 밝혔습니다.

삼성전자는 대용량 메모리가 요구되는 차세대 컴퓨팅 시장에 맞춰 CXL 기반 메모리를 적기에 상용화할 계획입니다.

[인포그래픽]

[용어설명]

□ CXL 컨소시움
중앙처리장치(CPU) 및 특수 용도의 가속기 (Accelerator)의 성능 개선하기 위한 개방형 인터커넥트 기술을 연구하는 컨소시움으로 2019년 인텔이 발족하고 글로벌 주요 데이터센터, 서버, 칩셋 업체들이 참여함

□ EDSFF ( Enterprise & Data Center SSD Form Factor)
The Storage Networking Industry Association에서 정한 규격의 엔터프라이즈 서버용 SSD 폼팩터

The post 삼성전자, 업계 최초 CXL 기반 D램 메모리 기술 개발 first appeared on 삼성전자 반도체 뉴스룸.