AI 시스템의 병목을 해결하는 핵심 기술, 메모리

과거 메모리가 연산에 필요한 데이터를 저장하고 전달하는 역할에 집중했다면, AI 시대의 메모리는 시스템 성능과 에너지 효율을 결정하는 핵심 기술로 진화하고 있다.

엣지 AI에서는 특히 고용량, 고대역폭, 저전력을 동시에 구현하는 메모리 기술이 중요하다. 제한된 공간에 더 많은 데이터를 담고, xPU가 기다리지 않도록 빠르게 전달하며, 데이터 이동에 소비되는 에너지를 줄여야 하기 때문이다.

클라우드와 엣지의 동반 성장 역시 메모리 시장에 새로운 기회를 만들고 있다. 클라우드의 대규모 모델 학습과 고성능 추론을 지원하기 위해 서버용 고대역폭, 고용량의 메모리 수요가 확대되고 있다. 엣지는 실시간 추론과 개인화된 데이터 처리를 위해 새로운 디바이스와 전력 조건에 최적화된 메모리 수요를 창출하고 있다.

엣지 AI에서 생성되고 축적된 데이터는 클라우드에서 모델을 고도화하는 데 활용될 수 있고, 클라우드에서 발전한 모델은 다시 엣지 환경에 맞게 최적화되어 배포된다. 이러한 선순환 구조에서 엣지 AI는 기존 클라우드 메모리 시장을 대체하는 것이 아니라 AI의 활용 영역을 넓혀 전체 메모리 반도체 시장의 성장을 이끄는 새로운 축이 된다.

입체적인 차세대 기술로 병목을 넘어서는 삼성전자 메모리 솔루션

삼성전자는 엣지 AI가 직면한 용량, 대역폭, 전력 효율의 한계를 극복하기 위해 다양한 차세대 메모리 솔루션을 제시하고 있다. 연산 장치와 메모리 사이의 물리적 거리를 줄이는 3D 메모리 아키텍처 기반의 zHBM, 엣지 AI에 최적화된 3D NAND 솔루션 zNAND-O, 메모리 내부에 연산 기능을 통합한 LPDDR-PIM 등을 통해 데이터 이동의 병목을 완화하고 시스템 전반의 성능과 에너지 효율을 높일 수 있는 솔루션을 제시한다.

데이터 이동 거리를 줄이는 차세대 아키텍처, zHBM

기존 HBM은 실리콘 인터포저 위에 HBM과 xPU를 나란히 배치하는 2.5D 아키텍처를 사용한다. 실리콘 인터포저를 통한 고밀도 연결과 메모리 다이의 수직 적층을 통해 기존 2D 구조 대비 데이터 이동 경로를 크게 단축했지만, 여전히 메모리와 연산 장치 사이에 존재하는 물리적 거리는 대역폭과 에너지 효율을 더욱 높이는 데 한계로 작용한다.

zHBM은 이러한 한계를 넘어 xPU와 HBM을 수직으로 직접 통합하는 차세대 3D 메모리 아키텍처다. 웨이퍼 온 웨이퍼 방식과 HCB(Hybrid Copper Bonding) 기술로 구리 간 직접 연결을 구현함으로써, 기존 HBM 대비 훨씬 높은 수직 연결 밀도와 병렬성을 확보할 수 있다. 또한 데이터 입출력 경로를 분산하는 구조(Distributed I/O)를 적용하여, 핀 당 속도를 과도하게 높이지 않고도 더 높은 대역폭과 에너지 효율을 추구하도록 설계되었다.

이러한 구조를 통해 데이터 이동 거리가 짧아지면 더 많은 데이터를 빠르게 전달하면서도 데이터 이동에 필요한 에너지를 크게 줄일 수 있다. 또한 복잡한 고속 인터페이스 회로에 대한 의존도를 낮추고, 제한된 시스템 면적 안에서 높은 집적도와 대역폭을 구현할 수 있다.

그러나 이 경우 xPU의 열이 메모리 스택을 통과해야 하므로 열 관리가 중요한 과제가 된다. zHBM은 스택 높이와 적층 구조를 최적화하고 HCB를 적용함으로써 열 저항을 낮추고 보다 효율적인 열 관리 구조를 구현하는 것을 목표로 한다.

이러한 아키텍처 혁신을 통해 zHBM은 기존 HBM의 세대별 성능 개선을 넘어, 시스템 성능과 전성비를 크게 높이고 열 저항을 낮추는 새로운 가능성을 제시한다. 이는 단순한 대역폭 향상이 아니라 메모리와 연산 장치의 배치와 연결 구조 자체를 바꾸는 근본적인 변화다.

다만 각 xPU는 성능과 전력, 열 특성, 물리적 크기에 대한 요구가 서로 다르기 때문에 zHBM은 단독 메모리 제품으로 최적화되기 어렵다. xPU와 zHBM을 초기 설계 단계부터 함께 개발하고 최적화하는 공동 설계가 필수적이며, 로직과 메모리의 정밀 최적화가 더 중요해진다.

이러한 구조는 대규모 클라우드 AI 시스템은 물론, 장기적으로는 공간과 전력 제약이 큰 고성능 엣지 AI 시스템에서도 대역폭과 에너지 효율의 한계를 확장할 수 있는 가능성을 제시한다.

메모리 안에서 연산하는 LPDDR-PIM

PIM(Processing-In-Memory)은 메모리 내부에 연산 기능을 결합해 데이터 이동을 줄이는 기술이다. LPDDR-PIM은 저전력 특성을 갖춘 LPDDR에 PIM 기술을 적용해, 데이터를 xPU로 반복적으로 이동시키는 대신 일부 연산을 메모리 내에서 처리할 수 있도록 한다.

이를 통해 데이터 이동에서 발생하는 병목과 전력 소모를 줄이고 AI 추론 성능과 에너지 효율을 높일 수 있다. 반복적인 데이터 처리가 많은 AI 워크로드나 제한된 전력 안에서 높은 성능을 구현해야 하는 엣지 AI 환경에서 활용 가능성이 크다.

대규모 AI 데이터를 빠르게 공급하는 zNAND-O

zNAND-O는 고성능·고용량 NAND와 3D 패키징 기술을 결합해 DRAM과 기존 NAND 스토리지 사이에 새로운 데이터 계층을 제공하는 차세대 메모리 솔루션이다. 여러 NAND 다이를 수직으로 통합함으로써 제한된 면적에서 용량과 입출력 성능을 높이고, 기존 NAND보다 빠른 데이터 접근과 높은 전력 효율을 구현하는 것을 목표로 한다.

zNAND-O는 DRAM 대비 높은 용량을 제공하며, 기존 NAND 플래시와 비교해 읽기 성능과 전력 효율을 크게 향상시킨다. 또한 마이크로초 단위의 짧은 지연 시간과 높은 대역폭을 지향하며, 저전력으로 동작하면서도 고성능 데이터 처리를 지원한다. 이를 통해 제한된 공간에서도 확장성과 유연성을 확보할 수 있다.

삼성전자는 zNAND-O를 활용해 AI 시스템 내 데이터 배치 구조를 최적화하는 새로운 NPU 중심 메모리 아키텍처를 제안한다. 운영체제와 KV 캐시는 DRAM에 배치하고, 대용량이면서 읽기 작업이 집중되는 모델 가중치는 zNAND-O에 저장함으로써 DRAM 의존도를 줄이는 방식이다. 이를 통해 성능 저하를 최소화하면서 메모리 비용과 용량 문제를 동시에 해결할 수 있다.

또한 zNAND-O는 기존 UMA 기반 DRAM 시스템과 유사한 수준의 성능을 유지하면서도 메모리 구조의 효율성을 크게 개선할 수 있는 가능성을 보여준다. 이를 통해 더 큰 규모의 AI 모델을 온디바이스 환경에서도 안정적으로 구동할 수 있는 기반을 제공할 것으로 기대된다.

zNAND-O는 AI 워크스테이션과 AI PC 등 실시간 대용량 데이터 처리가 중요한 엣지 AI 환경에서 기존 DRAM의 용량·비용 한계와 NAND 스토리지의 성능 한계를 보완하는 새로운 메모리 계층으로 발전할 수 있다.

클라우드 와 엣지를 연결하는 삼성전자의 통합 역량

AI는 클라우드에서 엣지로 단순히 이동하는 것이 아니다. 클라우드의 대규모 컴퓨팅과 엣지의 실시간·개인화된 AI가 서로의 역할을 확장하며 새로운 인프라 생태계를 만들어가고 있다.

이 과정에서 메모리는 데이터를 저장하는 부품을 넘어 AI 시스템의 실제 성능과 에너지 효율을 좌우하는 핵심 기술로 자리 잡고 있다. AI가 더 많은 기기와 산업 현장으로 확산될수록 제한된 공간과 전력 안에서 대용량과 고대역폭을 구현하는 기술은 더욱 중요해질 것이다.

AI 시스템 전체를 최적화하려면 개별 반도체칩의 성능만 높이는 접근으로는 충분하지 않다. 메모리와 로직, 인터페이스, 패키징을 제품 설계 초기부터 함께 고려해야 용량과 대역폭, 전력 효율, 발열, 폼팩터 사이의 복합적인 상충 관계를 해결할 수 있다.

삼성전자는 메모리와 로직, 파운드리, 첨단 패키징 역량을 폭넓게 보유하고 있다. 이러한 통합 역량을 바탕으로 설계와 공정 기술을 함께 최적화하는 DTCO(Design-Technology Co-Optimization)를 추진하고, 메모리와 로직, 패키징을 시스템 관점에서 연결할 수 있다.

특히 3D 적층 기반의 차세대 메모리는 기존 DRAM이나 NAND와 같은 단품 중심의 기술만으로는 완성하기 어렵다. 고성능 로직 다이와 미세 공정부터 다이 간 연결, 전력 공급, 열 관리, 첨단 패키징에 이르기까지 다양한 기술 요소를 유기적으로 연계해 설계해야 한다. 삼성전자의 엔드 투 엔드(End-to-End) 반도체 역량은 이러한 복합적인 과제를 통합적으로 해결하고, 차세대 제품의 성능과 전력 효율은 물론 시스템 차원의 완성도까지 높이는 차별화된 기반이 된다.

삼성전자는 앞으로도 메모리와 로직, 패키징의 경계를 넘어서는 혁신을 통해 클라우드부터 엣지까지 AI 인프라 전반의 성능과 효율을 높이고, 새로운 AI 시대를 위한 기술 리더십을 더욱 강화해 나갈 것이다.

※ 본 기사는 삼성전자 반도체 공식 웹사이트 테크블로그 콘텐츠를 전재하였습니다.

* 본 페이지의 내용은 정보 제공만을 목적으로 한다. 삼성 및 그 임원, 자문인, 대리인 또는 직원은 본 페이지에 포함된 정보, 진술, 의견 또는 기타 내용의 정확성, 합리성 또는 완전성에 대하여 명시적 또는 묵시적으로 어떠한 진술이나 보증도 하지 않으며, 해당 내용은 “있는 그대로(AS IS)” 제공된다.
* 삼성은 본 기사 내용의 사용으로 인해 발생하거나 이와 관련하여 발생하는 어떠한 손해에 대해서도 책임을 지지 않는다. 본 기사의 어떠한 내용도 본 문서에 제공된 정보, 자료 또는 콘텐츠나 기타 지식재산에 대한 라이선스 또는 권리를 부여하는 것으로 해석되지 않는다.

The post 새로운 AI 인프라 사이클을 여는 메모리 혁신 2편: 엣지 AI 혁신을 연결하는 삼성전자 메모리 솔루션 first appeared on 삼성전자 반도체 뉴스룸.

이러한 변화 속에서 메모리는 단순히 데이터를 저장하는 부품을 넘어 AI 시스템의 성능과 에너지 효율을 결정하는 핵심 기술로 진화하고 있다.

클라우드 생태계의 확장과 새로운 AI 인프라 사이클

생성형 AI와 추론형 AI를 기반으로 한 다양한 서비스가 등장하면서 AI는 빠르게 일상에 자리 잡고 있다. 최근까지 AI 인프라 투자는 하이퍼스케일러가 운영하는 대규모 클라우드 데이터센터를 중심으로 이루어졌다. 그러나 이제 AI는 중소기업과 산업 현장, 개인 사용자 영역으로 본격적으로 확산되고 있다.

고성능 AI 워크스테이션과 기업·산업 현장에 직접 설치되는 자체 AI 서버, AI PC와 스마트폰 등이 대표적이다. 데스크톱 크기의 개인용 AI 슈퍼컴퓨터의 등장 역시 이러한 흐름을 보여준다.

AI가 데이터가 생성되는 현장 가까이로 이동하는 이러한 흐름의 중심에 엣지 AI가 있다. 엣지 AI는 데이터를 중앙 클라우드로 보내 처리하는 대신, 스마트폰이나 PC와 같은 기기나 차량, 공장, 매장 등에 설치된 로컬 시스템에서 AI 연산의 전부 또는 일부를 수행하는 방식을 의미한다. 기기 자체에서 AI 모델을 실행하는 온디바이스 AI는 엣지 AI의 대표적인 형태다.

스마트폰의 실시간 통번역과 이미지 편집, AI PC의 개인 비서 기능, 차량의 주변 환경 인식, 스마트팩토리의 설비 이상 감지 등은 이미 엣지 AI가 일상과 산업 현장에 적용되고 있음을 보여준다.

이는 엣지 AI가 기존 클라우드 AI를 대체한다는 의미는 아니다. 대규모 모델 학습과 높은 확장성이 필요한 연산은 클라우드가 주로 담당하고, 빠른 반응과 데이터 통제, 현장 대응이 중요한 작업은 엣지에서 처리하는 역할 분담이 확대되고 있다. 필요에 따라 클라우드와 엣지가 하나의 워크로드를 나누어 처리하는 하이브리드 구조도 함께 발전하고 있다.

결국 AI 인프라는 클라우드에서 엣지로 단순히 이동하는 것이 아니라, 클라우드와 엣지가 상호 보완적으로 확장되는 방향으로 진화하고 있다.

엣지 AI가 제공하는 세 가지 핵심 가치

엣지 AI의 가장 큰 특징은 AI가 사용자와 데이터가 있는 곳에 더 가까이 위치한다는 점이다. 이를 통해 크게 세 가지 가치를 제공할 수 있다.

① 초저지연 기반의 실시간 처리

엣지 AI는 데이터를 원격 서버로 전송하고 결과를 다시 받아오는 과정을 줄여 응답 지연을 낮출 수 있다. 자율주행차의 위험 감지, 실시간 통번역, 몰입형 게이밍, 로봇 제어, 산업 설비의 이상 탐지처럼 즉각적인 판단과 반응이 필요한 분야에서 특히 중요하다.

② 데이터 보안과 개인정보 보호

개인의 음성이나 사진, 기업의 생산 데이터와 기밀 정보등 보안에 민감한 데이터를 외부 서버로 전송하지 않고 기기 또는 현장 시스템 안에서 처리할 수 있다. 사용자는 자신의 데이터를 보다 안전하게 관리하면서 AI 서비스를 활용할 수 있고, 기업은 데이터 통제권을 유지하며 AI를 업무에 적용할 수 있다.

실제 보안 수준은 하드웨어와 소프트웨어, 네트워크 및 데이터 관리 체계 전반에 의해 결정되지만, 로컬 처리는 민감한 원천 데이터의 외부 전송을 최소화할 수 있다는 장점이 있다.

③ 클라우드 비용과 네트워크 부담 절감

모든 데이터를 중앙 서버로 전송하면 네트워크 트래픽과 클라우드 인프라 운영 비용이 증가할 수 있다. 반면 반복적이거나 시간에 민감한 작업을 엣지에서 처리하면 클라우드의 연산 부담과 데이터 전송량을 줄이며 네트워크 부담을 절감할 수 있다.

또한 네트워크 연결이 원활하지 않은 환경에서도 중앙 클라우드를 거치지 않고 장치 자체(엣지)에서 데이터를 직접 처리하므로, 핵심 AI 기능을 지속적으로 제공할 수 있어 시스템의 안정성과 활용 범위를 높일 수 있다.

Agentic AI로 확장되는 엣지 AI

엣지 AI는 단순히 사용자의 명령에 반응하는 수준에서 한 단계 더 나아가고 있다. 사용자의 의도와 주변 상황을 이해하고, 여러 작업을 스스로 계획하고 실행하는 Agentic AI로 진화하고 있기 때문이다.

Agentic AI 환경에서는 하나의 AI 모델만 실행되는 것이 아니라 여러 에이전트가 동시에 정보를 분석하고, 도구를 선택하며, 작업 순서를 조율할 수 있다. 이에 따라 AI 가속기뿐 아니라 전체 시스템과 다수의 워크로드를 관리하는 CPU의 역할도 중요해지고 있다.

그러나 CPU, GPU, NPU와 같은 xPU의 연산 성능만 높인다고 시스템 전체의 AI 성능이 동일한 수준으로 향상되는 것은 아니다. 연산 장치가 아무리 빠르더라도 메모리가 필요한 데이터를 적시에 공급하지 못하면 xPU는 데이터를 기다리게 된다.

AI 시스템의 실제 성능은 연산력과 함께 데이터를 저장하는 용량(Capacity), 전달하는 대역폭(Bandwidth), 제한된 전력 안에서 이를 구현하는 에너지 효율(Energy Efficiency)에 의해 좌우된다.

특히 엣지 AI는 대규모 데이터센터에 비해 공간과 전력, 냉각 자원이 제한된 환경에서 작동한다. 데이터센터급 AI 시스템에서 요구되던 고대역폭과 대용량, 높은 에너지 효율이 이제 AI PC, 워크스테이션, 차량, 로봇과 같은 상대적으로 작은 디바이스에도 요구되기 시작했다.

엣지 AI 시대에 마주한 세 가지 과제

① 더 큰 AI 모델을 담기 위한 용량

AI 모델이 고도화될수록(AI의 성능이 점점 좋아질수록) 모델을 구성하는 파라미터와 실행 과정에서 생성되는 데이터의 양도 증가한다. 클라우드에 지속적으로 의존하지 않고 로컬 환경에서 고성능 AI를 구현하려면 더 많은 모델 가중치와 컨텍스트 데이터를 메모리에 담을 수 있어야 한다.

메모리 용량이 충분하지 않으면 시스템은 필요한 데이터를 스토리지와 메모리 사이에서 반복적으로 이동시키거나 모델의 일부만 나누어 불러와야 한다. 이 과정은 응답 시간을 늘리고 추가적인 전력을 소비할 수 있다.

따라서 고용량 메모리는 엣지 AI가 더 크고 정교한 모델을 로컬에서 안정적으로 실행하기 위한 핵심 조건이다.

② xPU의 성능을 온전히 활용하기 위한 대역폭

대역폭은 메모리가 xPU에 데이터를 얼마나 빠르게 공급할 수 있는지를 나타낸다. 생성형 AI와 Agentic AI는 사용자와 상호작용하는 동안 대규모 모델 가중치와 컨텍스트 데이터를 지속적으로 읽고 처리한다.

이때 메모리 대역폭이 충분하지 않으면 xPU의 연산 자원을 온전히 활용하기 어렵다. 빠르고 끊김 없는 AI 응답을 구현하려면 워크로드에 맞는 높은 메모리 대역폭과 효율적인 데이터 이동 구조가 필요하다.

요구되는 대역폭은 모델 구조와 정밀도, 배치 크기, 목표 응답 속도에 따라 달라지지만, AI 시스템의 주요 병목이 연산 성능뿐 아니라 xPU와 메모리 사이의 데이터 이동으로 확대되고 있다는 점은 분명하다.

③ 제한된 전력과 공간 안에서의 효율

엣지 AI 시스템은 데이터센터와 달리 활용할 수 있는 전력과 냉각 자원이 제한적이다. 스마트폰과 AI PC는 배터리 사용 시간을 고려해야 하며, 차량과 로봇은 정해진 전력 예산 안에서 여러 기능을 동시에 수행해야 한다. 현장에 설치되는 소규모 AI 서버 역시 설치 공간과 발열, 냉각 비용을 함께 고려해야 한다.

특히 데이터를 저장장치와 메모리, 연산 장치 사이에서 반복적으로 이동시키는 과정은 상당한 전력을 소비한다. 따라서 단순히 처리 속도만 높이는 것을 넘어 데이터가 이동하는 거리와 횟수를 줄이고, 와트당 더 많은 데이터를 처리하도록 시스템을 설계해야 한다.

높은 에너지 효율은 배터리 기반 기기의 사용 시간을 늘리는 동시에 발열과 냉각 부담, 전체 시스템 운영 비용을 낮추는 핵심 요소다.

더 가까워진 엣지 AI를 위한 새로운 메모리 해법

엣지 AI가 더 크고 정교한 모델을 빠르고 효율적으로 실행하려면 용량과 대역폭, 에너지 효율을 함께 높여야 한다. 이는 기존 메모리의 성능을 개별적으로 개선하는 것만으로는 해결하기 어려운 복합적인 과제다.

연산 장치와 메모리 사이의 물리적 거리를 줄이고, 데이터 이동 자체를 최소화하며, DRAM과 NAND, 로직과 패키징을 시스템 관점에서 연결하는 새로운 메모리 아키텍처가 필요한 이유다.

이어지는 2편 “엣지 AI 혁신을 연결하는 삼성전자 메모리 솔루션” 에서는 zHBM, LPDDR-PIM, zNAND-O 등 차세대 메모리 솔루션과 삼성전자의 통합 역량이 이러한 과제를 어떻게 해결하는지 살펴볼 예정이다.

※ 본 기사는 삼성전자 반도체 공식 웹사이트 테크블로그 콘텐츠를 전재하였습니다.

* 본 페이지의 내용은 정보 제공만을 목적으로 한다. 삼성 및 그 임원, 자문인, 대리인 또는 직원은 본 페이지에 포함된 정보, 진술, 의견 또는 기타 내용의 정확성, 합리성 또는 완전성에 대하여 명시적 또는 묵시적으로 어떠한 진술이나 보증도 하지 않으며, 해당 내용은 “있는 그대로(AS IS)” 제공된다.
* 삼성은 본 기사 내용의 사용으로 인해 발생하거나 이와 관련하여 발생하는 어떠한 손해에 대해서도 책임을 지지 않는다. 본 기사의 어떠한 내용도 본 문서에 제공된 정보, 자료 또는 콘텐츠나 기타 지식재산에 대한 라이선스 또는 권리를 부여하는 것으로 해석되지 않는다.

The post 새로운 AI 인프라 사이클을 여는 메모리 혁신 1편: 더 가까워진 엣지 AI, 더 중요해진 메모리 first appeared on 삼성전자 반도체 뉴스룸.

본격적인 AI 시대를 맞아 세계 메모리 업계의 시선이 미국 산타클라라에 모였다. 8월 4일부터 6일까지 열린 ‘FMS(Future of Memory and Storage) 2026’에서 삼성전자는 AI 시대를 위한 새로운 메모리 아키텍처를 선보였다. 기조연설 무대부터 관람객들로 붐빈 전시 부스, 어워드 수상 현장까지 삼성전자 반도체의 FMS 2026의 주요 순간을 소개한다.

AI 시대, 메모리 기술의 미래를 제시한 기조연설

행사 첫날 기조연설에서 이진엽 Flash개발실 부사장과 김경륜 DRAM개발실 상무는 ‘Driving the Wave of AI Revolution: 3D Innovation in Memory & Storage Architecture’를 주제로 AI 시대를 이끌 메모리 기술의 방향성을 소개했다. 발표에서는 zHBM, zNAND-O와 함께 업계 최초의 V10 BV(Bonding Vertical)‑NAND가 공개되며 참석자들의 관심을 모았다.

메모리의 미래가 눈 앞에 펼쳐지다, 이목이 집중된 삼성전자 전시관

삼성전자 부스는 행사 시작과 함께 관람객들의 발길이 이어졌다. 약 20평 규모의 전시 공간은 ▲하이라이트 ▲Cloud AI ▲Edge AI 존으로 구성됐으며, D램부터 낸드, 기업용 스토리지까지 약 30개의 메모리·스토리지 제품을 한자리에 선보였다.

차세대 3D 메모리 전격 공개, zHBM과 zNAND-O

하이라이트 존 에서는 업계 최초로 공개된 zHBM, zNAND-O 목업이 관람객들의 시선을 모았다. 각 전시 존에서 삼성전자 직원들은 제품의 구조와 적용 분야를 설명했고, 관람객과 업계 관계자들은 제품의 구조와 데이터 이동 방식, 향후 적용 가능성 등에 대한 질문을 이어갔다.

AI 데이터센터 핵심 기술, V10 BV-NAND부터 HBM5까지

Cloud AI 존에서는 역시 업계 최초로 공개된 ‘V10 BV-NAND’가 관람객들을 맞았다. BV-NAND의 셀, 주변 회로를 포함해, 400단 이상의 초고적층을 구현한 칩 내 구조를 보여주는 목업과 영상이 함께 마련되어 기술의 특징을 보다 직관적으로 확인할 수 있었다.

또한, HBM4E가 적용된 차세대 AI 플랫폼과 웨이퍼도 전시됐다. 신규 열관리 기술 히트 패스 블록(HPB, Heat Path Block)이 적용된 HBM5 는 웨이퍼와 칩, 제품 구조를 한눈에 비교할 수 있도록 목업과 영상을 함께 구성해 관람객들의 이해를 높였다.

메모리 자체가 AI 엔진이 되다, LPDDR5X-PIM의 등장

Edge AI 존에서 가장 관심을 받은 제품은 LPDDR5X-PIM이었다. 메모리 내부에서 일부 연산을 수행하는 PIM(Processing-In-Memory) 기술을 적용해 AI 연산 효율을 높이는 제품으로, AI 데이터 이동을 줄이는 새로운 접근 방식이라는 점에서 업계 관계자들의 관심이 집중됐다.

한 글로벌 AI 서버 기업 관계자는 “메모리 자체가 데이터를 저장하는 역할을 넘어 연산 효율까지 높이는 방향으로 진화하고 있다는 점이 인상적이었다.”고 말했다.

또 다른 관람객은 “zHBM과 LPDDR5X-PIM은 서로 다른 접근 방식이지만, 모두 AI 시스템의 병목 현상을 줄이기 위한 기술이라는 점이 흥미로웠다”며 전시를 둘러본 소감을 전했다.

FMS Best of Show Award 수상으로 확인한 기술 경쟁력

행사 첫날 저녁에 열린 FMS Award 시상식에서는 삼성전자의 기술력이 다시 한번 주목받았다. 삼성전자는 V10 BV‑NAND와 LPDDR5X‑PIM으로 FMS Best of Show Award를 수상했으며, 이진엽 Flash개발실 부사장과 김경륜 DRAM개발실 상무가 각각 대표로 수상했다. 시상식 이후, 수상 제품 전시 공간에는 관람객들의 발길이 이어졌고, 연구원들과의 질의응답도 활발하게 진행됐다.

AI 시대 메모리 혁신을 향한 삼성전자의 여정

이번 FMS 2026에서 삼성전자는 신제품 공개를 넘어 AI 시대 메모리 기술이 나아갈 방향을 제시했다. 기조연설, 전시, 어워드 수상을 통해 AI 데이터센터 인프라부터 Edge AI까지 아우르는 차세대 메모리 전략을 공유했으며, 행사장은 고객과 업계 관계자가 미래 컴퓨팅 환경을 함께 논의하는 소통의 장이 됐다. 삼성전자는 앞으로도 메모리와 파운드리, 첨단 패키징 역량을 바탕으로 고객과 함께 AI 시대에 필요한 반도체 혁신을 이어나갈 계획이다.

The post 3D 메모리로 그린 AI의 미래…삼성전자 FMS 2026 참가 현장 스케치 first appeared on 삼성전자 반도체 뉴스룸.

AI가 다뤄야 하는 데이터가 급격히 늘어나면서 AI 시스템의 성능을 결정하는 요소도 변화하고 있다. 이제는 프로세서의 연산 성능뿐 아니라 방대한 데이터를 얼마나 효율적으로 저장하고, 필요한 데이터를 AI 가속기에 얼마나 빠르고 안정적으로 전달할 수 있는지가 AI 인프라의 핵심 경쟁력으로 떠오르고 있다.

이러한 변화에 대응하기 위해서는 단순히 메모리의 속도와 용량을 높이는 것만으로는 충분하지 않다. 메모리와 프로세서를 연결하는 구조부터 메모리 칩을 적층하는 방식, 데이터를 저장하는 셀 구조까지 메모리 아키텍처 전반을 새롭게 설계해야 한다.

삼성전자가 FMS 2026에서 공개한 zHBM, zNAND-O, V10 BV-NAND는 이러한 요구에 대응하기 위해 제안한 차세대 3D 메모리 기술이다. 각각의 기술은 AI 데이터센터와 온디바이스 AI 환경에서 발생하는 다양한 병목 현상을 해결하고, 더 높은 성능과 전력 효율을 구현하기 위한 새로운 방향을 제시한다.

AI 성능을 좌우하는 것은 연산만이 아니다… 데이터를 더 가까이 전달하는 ‘zHBM’

AI 반도체의 성능은 연산 능력만으로 결정되지 않는다. 아무리 뛰어난 프로세서라도 필요한 데이터를 제때 공급받지 못하면 전체 시스템의 성능은 제한될 수밖에 없다. AI 모델의 규모가 커질수록 메모리와 프로세서 사이에서 오가는 데이터가 급격히 늘어나면서, 두 장치 간 거리를 줄이는 기술의 중요성도 함께 커지고 있다.

삼성전자가 공개한 zHBM은 이러한 문제를 해결하기 위해 기존 HBM과 다른 구조를 제안했다. 기존에는 메모리를 AI 가속기(xPU) 옆에 배치했다면, zHBM은 메모리를 프로세서 상단에 직접 적층하는 구조를 적용했다. 데이터가 이동하는 거리가 짧아지면서 더 높은 대역폭과 향상된 전력 효율을 구현할 수 있는 것이 특징이다.

이를 위해 칩을 더욱 정밀하게 연결하는 하이브리드 구리 본딩(Hybrid Copper Bonding, HCB) 기술과 여러 장의 웨이퍼를 하나처럼 연결하는 멀티 웨이퍼 본딩(Multi-Wafer Bonding) 기술을 적용했다. 이를 통해 신호 전달 속도를 높이는 동시에 열 저항을 줄여 안정적인 구동 환경을 구현하도록 설계했다.

이러한 기술은 앞으로 초거대 AI 모델의 학습과 추론 성능을 높이고, AI 서비스의 응답성을 향상시키는 기반 기술로 활용될 것으로 기대된다.

AI가 기기 안으로 들어오는 시대… 온디바이스 AI를 위한 ‘zNAND-O’

AI 활용 방식도 변화하고 있다. 과거에는 대부분의 AI 연산을 클라우드 서버에서 처리했지만, 최근에는 스마트폰이나 PC와 같은 기기 안에서 AI 기능을 직접 실행하는 온디바이스 AI가 빠르게 확산되고 있다.

온디바이스 AI 환경에서는 제한된 공간 안에서도 높은 성능과 전력 효율을 구현할 수 있는 저장장치가 필요하다.

삼성전자가 공개한 zNAND-O는 이러한 요구를 반영한 차세대 낸드 솔루션이다. 여러 개의 V-낸드 칩을 TSV를 통해 수직 적층하는 3D 패키징 기술을 적용해 높은 저장 밀도와 데이터 로딩 대역폭을 구현하도록 설계됐다.

이를 통해 사용자는 AI 서비스에 필요한 기능을 클라우드 연결 없이 기기 안에서 모두 구현할 수 있다. 고사양 모델 사용 시에도, 데이터를 외부 서버로 보내지 않고 기기 내부에서 처리할 수 있어 개인 정보 보호 측면에서도 장점을 발휘한다.

더 높이 쌓고 더 많이 저장하다… 400단 시대를 연 ‘V10 BV-NAND’

AI 시대에는 저장해야 하는 데이터의 양도 빠르게 증가하고 있다. 같은 크기의 저장장치에서도 더 많은 데이터를 담기 위해서는 메모리 셀을 더욱 촘촘하게 쌓는 기술이 필요하다.

삼성전자가 공개한 10세대 V-낸드 ‘V10 BV-NAND’는 400단 이상의 초고적층 구조를 구현하며 이러한 방향성을 제시했다. 메모리 셀을 400층 이상 수직으로 쌓아 동일한 면적에서도 더 많은 데이터를 저장할 수 있도록 한 것이다.

이를 가능하게 한 핵심은 Bonding 구조이다. 기존에는 메모리 셀과 주변 회로를 하나의 웨이퍼에서 함께 제조했지만, V10 BV-NAND는 각각 별도의 웨이퍼에서 제작한 뒤 정밀하게 접합하는 방식을 적용했다. 이를 통해 적층 과정에서 발생할 수 있는 구조적 한계를 줄이고, 전 세대(V9) 대비 약 58% 높은 메모리 집적도를 구현했다. 또한, 주변 회로 제작에 적합한 공정 도입을 통해 동작 상에서의 전력 소비를 최소화하고 성능 향상을 꾀했다.

향후 V10 BV-NAND가 SSD 등 다양한 제품에 적용되면 더 얇고 가벼운 기기에서도 대용량 저장 공간을 제공할 수 있을 것으로 기대된다. 특히, 데이터센터에서는 동일한 공간에 더 많은 데이터를 저장하면서도 전력 소비와 발열을 줄여 운영 효율 향상에도 기여할 수 있다.

AI 시대 메모리의 경쟁력은 ‘더 가깝게, 그리고 수직으로’

이번 FMS 2026에서 삼성전자가 공개한 세 가지 기술은 각각 적용 분야는 다르지만 공통된 방향성을 갖고 있다. 메모리와 프로세서의 거리를 줄여 데이터 이동을 최소화하고, 제한된 공간에서도 저장 용량과 성능을 극대화하기위한 3차원의 Z축을 지향한다는 것이다.

AI 기술이 발전할수록 메모리는 단순한 저장장치를 넘어 컴퓨팅 성능을 결정하는 핵심 요소로 자리 잡고 있다. 삼성전자가 제시한 차세대 3D 메모리 기술은 AI 인프라부터 온디바이스 AI까지 다양한 컴퓨팅 환경에서 요구되는 새로운 메모리 아키텍처의 방향을 보여준다.

앞으로도 삼성전자는 메모리, 파운드리, 첨단 패키징 기술을 바탕으로 제품 설계부터 양산까지 아우르는 통합 역량을 지속적으로 고도화하며, AI 시대에 최적화된 차세대 반도체 기술 개발을 이어갈 계획이다.

The post AI 시대 메모리의 진화, 더 빠르게·더 촘촘하게… 삼성전자, FMS 2026에서 차세대 3D 메모리 비전 공개 first appeared on 삼성전자 반도체 뉴스룸.

* 목업: 제품의 형태와 기능을 시각적으로 확인하기 위해 만든 모형

삼성전자는 FMS 2026에서 약 20평의 규모의 최대 전시 공간을 마련하고, AI 클라우드 서버를 형상화한 전시 부스를 선보였다.

전시 공간은 ▲Highlight ▲Cloud AI ▲Edge AI 존으로 구성했으며, D램부터 NAND, 스토리지에 이르는 폭넓은 메모리 포트폴리오를 중심으로 약 30개 제품을 전시해 AI 메모리 핵심 기술과 고객 맞춤형 솔루션을 소개했다.

행사 첫날인 8월 4일 오전 11시 40분(현지시간)에는 이진엽 Flash개발실 부사장과 김경륜 D램개발실 상무가 ‘Driving the wave of AI Revolution: 3D Innovations in Memory & Storage Architecture’을 주제로 기조연설을 진행했다.  

두 연사는 zHBM, zNAND-O 등 차세대 3D 메모리를 기반으로 고성능 컴퓨팅(HPC) 및 AI 인프라 수요 증가에 대응하고, AI 시스템의 성능과 전력효율을 극대화하기 위한 기술 비전을 제시했다.

특히 기조연설에서 400단 이상의 V10 BV-NAND를 업계 최초로 공개하며, 차세대 NAND 기술 경쟁력을 선보였다.

* BV: Bonding Vertical의 약자로, 셀과 회로를 분리 제작한 후 수직으로 접합하는 기술

☐ zHBM, zNAND-O 목업 최초 공개, 차세대 3D 메모리 방향 제시

삼성전자는 FMS 2026에서 업계 최초로 차세대 3D 메모리 아키텍처인 zHBM과 zNAND-O 목업을 공개하고, 미래 AI 시스템을 위한 새로운 메모리 기술 방향을 제시했다.

HPC 및 AI 인프라의 확산으로 고용량·고대역폭 메모리에 대한 요구 수준이 높아지면서, 기존 HBM만으로는 향후 요구되는 수준의 성능을 구현하는 데 한계가 있다.

이에 제시되는 대안이 바로 zHBM이다. zHBM은 기존에 AI 가속기(xPU) 옆에 HBM을 배치하는 방식에서 한 단계 더 나아가 AI 가속기 상단에 HBM을 수직으로 적층하는 차세대 아키텍처다.

AI 가속기와 메모리 간 데이터 이동 거리를 최소화함으로써 대역폭과 전력효율을 높이고, 대규모 AI 모델의 학습과 추론에 필요한 초고속 데이터 처리를 지원한다.

zHBM이 적용된 차세대 인터페이스 시스템은 HBM5 대비 최대 8배 높은 성능을 제공한다. 

또한, 짧아진 데이터 간 이동거리로 인하여 HBM5 대비 전성비를 최대 3배 향상시키고 열 저항을 절반 이상 낮춤으로써 고용량·고대역폭 시스템의 안정성과 전력효율을 극대화한다.

특히 zHBM은 고객 맞춤형 설계가 가능한 3D 메모리 솔루션으로, 메모리와 AI 가속기 사이에 위치한 인터레이어에 맞춤형 IP를 추가해 메모리 용량 확장, 가속기 성능 강화 등 제품 특성을 최적화할 수 있다.

* IP: Intellectual Property의 약자로, 반도체의 특정 기능을 회로로 구현한 설계 블록

고객과의 협업을 바탕으로 AI 프로세서와 메모리 간 최적화를 추진해 zHBM의 성능을 극대화할 계획이다.

삼성전자는 D램뿐 아니라 NAND에서도 3D 메모리 아키텍처 비전을 제시했다.

zNAND-O는 삼성전자가 개발 중인 차세대 고성능 NAND 플래시로, 기존 V-NAND의 수직 적층 기술을 활용하고 TSV 기술을 결합해 4단 또는 8단 반도체 칩을 3D 패키징한 제품이다.

제품명 끝의 ‘-O’는 On-device AI 환경에 최적화된 제품임을 의미한다. 높은 공간 효율성과 데이터 로딩 대역폭, 빠른 응답 속도를 바탕으로 실시간 대규모 데이터 처리가 요구되는 환경에서 고성능을 지원한다.

☐ 400단 이상의 초고적층 ‘V10 BV-NAND’ 업계 최초 공개

삼성전자는 FMS 2026에서 업계 최초로 수직 적층 400단 이상의 10세대 V-NAND ‘V10 BV-NAND’를 공개하며, NAND 기술 리더십을 강화했다. 이는 13년 전 같은 행사에서 세계 최초로 V-NAND 기술을 발표한 이후, 지속해 온 기술 혁신의 성과다.

V10 BV-NAND는 400단 이상의 초고적층 구조를 기반으로 성능과 전력효율을 높인 차세대 NAND 제품이다.

웨이퍼 본딩 기술과 3 Stack 기술을 통해 400단 이상의 초고적층을 구현했으며, 메모리 집적도를 전 세대(V9) 대비 약 58% 향상시켜 동일한 면적에 더 많은 데이터를 저장할 수 있다.

* 웨이퍼 본딩(Bonding): 두 장 이상의 웨이퍼를 3D(수직)로 접합해 고집적 NAND를 구현하는 기술
* 3 Stack 기술: V-NAND 셀을 3개의 Stack으로 나누어 각각 제조한 뒤 수직으로 연결하는 적층 기술

V10 BV-NAND는 단순히 적층 수를 늘리는 데 그치지 않고 데이터 읽기·쓰기 성능과 I/O 속도도 전 세대 대비 향상시켜, 고성능·고용량 NAND 시장에 최적화된 경쟁력을 확보했다.

* I/O 속도: Input/Output의 약자로, 데이터가 입출력되는 속도

☐ HBM부터 PIM·SSD까지…차세대 AI 메모리 로드맵 공개

이번 전시에서 삼성전자는 ▲HBM4E ▲HBM5 ▲LPDDR5X-PIM ▲PM1763 등 고성능 컴퓨팅과 AI 데이터센터에 최적화된 차세대 메모리·스토리지 솔루션도 선보였다.

삼성전자는 지난 2월 업계 최초로 1c D램과 4나노 베이스 다이 기술을 적용한 HBM4를 양산 출하한 데 이어, 5월에는 업계 최대 성능, 최고 용량의 HBM4E 샘플을 세계 최초로 고객사에 공급하는 등 차세대 HBM 시장을 선도하기 위한 기술 경쟁력을 지속 강화하고 있다.

이번 행사에서는 HBM4E가 적용된 차세대 AI 플랫폼과 웨이퍼를 전시했고, 신규 열관리 기술인 HPB(Heat Path Block)를 적용해 더 높은 대역폭과 용량을 제공하는 HBM5 목업을 공개했다.

LPDDR5X-PIM은 삼성전자가 세계 최초로 개발한 제품으로, 메모리 내부에서 연산을 수행해 데이터 이동을 최적화하고, 전력효율을 향상시킨 차세대 메모리 제품이다.

이와 함께 PM1763, BM1773 등 AI 시대의 다양한 데이터 처리 및 저장 수요에 대응하는 차세대 메모리·스토리지 포트폴리오도 공개했다.

* PM1763: 차세대 기업용 SSD로 빠른 읽기속도와 효율적인 데이터처리가 강점
* BM1773: 초고용량 기업용 SSD로 대규모 AI 학습 데이터 저장 수요에 대응하는 제품

☐ ‘원스톱 솔루션’을 통한 AI 반도체 리더십 강화

삼성전자는 세계에서 유일하게 ▲메모리 ▲로직 ▲파운드리 ▲패키징까지 아우르는 ‘원스톱 솔루션’을 제공할 수 있는 종합반도체(IDM) 기업이다.

특히 고객의 제품 설계 단계부터 양산까지 통합 서비스를 제공해 개발 기간을 줄이고, 성능과 전력효율을 최적화함으로써 고객 맞춤형 AI 반도체 구현을 지원한다.

삼성전자는 FMS 2026에서 End-to-End 솔루션 역량을 기반으로 차세대 AI 인프라 혁신을 위한 메모리·스토리지 기술 전략과 로드맵을 제시했다.

앞으로도 차세대 메모리 기술 혁신과 메모리, 파운드리, 첨단 패키징을 아우르는 차별화된 솔루션을 통해 AI시대의 반도체 기술 리더십을 지속 강화해 나갈 계획이다.

The post 삼성전자, FMS 2026서 차세대 3D 메모리 비전 제시 first appeared on 삼성전자 반도체 뉴스룸.