AI 시스템의 병목을 해결하는 핵심 기술, 메모리

과거 메모리가 연산에 필요한 데이터를 저장하고 전달하는 역할에 집중했다면, AI 시대의 메모리는 시스템 성능과 에너지 효율을 결정하는 핵심 기술로 진화하고 있다.

엣지 AI에서는 특히 고용량, 고대역폭, 저전력을 동시에 구현하는 메모리 기술이 중요하다. 제한된 공간에 더 많은 데이터를 담고, xPU가 기다리지 않도록 빠르게 전달하며, 데이터 이동에 소비되는 에너지를 줄여야 하기 때문이다.

클라우드와 엣지의 동반 성장 역시 메모리 시장에 새로운 기회를 만들고 있다. 클라우드의 대규모 모델 학습과 고성능 추론을 지원하기 위해 서버용 고대역폭, 고용량의 메모리 수요가 확대되고 있다. 엣지는 실시간 추론과 개인화된 데이터 처리를 위해 새로운 디바이스와 전력 조건에 최적화된 메모리 수요를 창출하고 있다.

엣지 AI에서 생성되고 축적된 데이터는 클라우드에서 모델을 고도화하는 데 활용될 수 있고, 클라우드에서 발전한 모델은 다시 엣지 환경에 맞게 최적화되어 배포된다. 이러한 선순환 구조에서 엣지 AI는 기존 클라우드 메모리 시장을 대체하는 것이 아니라 AI의 활용 영역을 넓혀 전체 메모리 반도체 시장의 성장을 이끄는 새로운 축이 된다.

입체적인 차세대 기술로 병목을 넘어서는 삼성전자 메모리 솔루션

삼성전자는 엣지 AI가 직면한 용량, 대역폭, 전력 효율의 한계를 극복하기 위해 다양한 차세대 메모리 솔루션을 제시하고 있다. 연산 장치와 메모리 사이의 물리적 거리를 줄이는 3D 메모리 아키텍처 기반의 zHBM, 엣지 AI에 최적화된 3D NAND 솔루션 zNAND-O, 메모리 내부에 연산 기능을 통합한 LPDDR-PIM 등을 통해 데이터 이동의 병목을 완화하고 시스템 전반의 성능과 에너지 효율을 높일 수 있는 솔루션을 제시한다.

데이터 이동 거리를 줄이는 차세대 아키텍처, zHBM

기존 HBM은 실리콘 인터포저 위에 HBM과 xPU를 나란히 배치하는 2.5D 아키텍처를 사용한다. 실리콘 인터포저를 통한 고밀도 연결과 메모리 다이의 수직 적층을 통해 기존 2D 구조 대비 데이터 이동 경로를 크게 단축했지만, 여전히 메모리와 연산 장치 사이에 존재하는 물리적 거리는 대역폭과 에너지 효율을 더욱 높이는 데 한계로 작용한다.

zHBM은 이러한 한계를 넘어 xPU와 HBM을 수직으로 직접 통합하는 차세대 3D 메모리 아키텍처다. 웨이퍼 온 웨이퍼 방식과 HCB(Hybrid Copper Bonding) 기술로 구리 간 직접 연결을 구현함으로써, 기존 HBM 대비 훨씬 높은 수직 연결 밀도와 병렬성을 확보할 수 있다. 또한 데이터 입출력 경로를 분산하는 구조(Distributed I/O)를 적용하여, 핀 당 속도를 과도하게 높이지 않고도 더 높은 대역폭과 에너지 효율을 추구하도록 설계되었다.

이러한 구조를 통해 데이터 이동 거리가 짧아지면 더 많은 데이터를 빠르게 전달하면서도 데이터 이동에 필요한 에너지를 크게 줄일 수 있다. 또한 복잡한 고속 인터페이스 회로에 대한 의존도를 낮추고, 제한된 시스템 면적 안에서 높은 집적도와 대역폭을 구현할 수 있다.

그러나 이 경우 xPU의 열이 메모리 스택을 통과해야 하므로 열 관리가 중요한 과제가 된다. zHBM은 스택 높이와 적층 구조를 최적화하고 HCB를 적용함으로써 열 저항을 낮추고 보다 효율적인 열 관리 구조를 구현하는 것을 목표로 한다.

이러한 아키텍처 혁신을 통해 zHBM은 기존 HBM의 세대별 성능 개선을 넘어, 시스템 성능과 전성비를 크게 높이고 열 저항을 낮추는 새로운 가능성을 제시한다. 이는 단순한 대역폭 향상이 아니라 메모리와 연산 장치의 배치와 연결 구조 자체를 바꾸는 근본적인 변화다.

다만 각 xPU는 성능과 전력, 열 특성, 물리적 크기에 대한 요구가 서로 다르기 때문에 zHBM은 단독 메모리 제품으로 최적화되기 어렵다. xPU와 zHBM을 초기 설계 단계부터 함께 개발하고 최적화하는 공동 설계가 필수적이며, 로직과 메모리의 정밀 최적화가 더 중요해진다.

이러한 구조는 대규모 클라우드 AI 시스템은 물론, 장기적으로는 공간과 전력 제약이 큰 고성능 엣지 AI 시스템에서도 대역폭과 에너지 효율의 한계를 확장할 수 있는 가능성을 제시한다.

메모리 안에서 연산하는 LPDDR-PIM

PIM(Processing-In-Memory)은 메모리 내부에 연산 기능을 결합해 데이터 이동을 줄이는 기술이다. LPDDR-PIM은 저전력 특성을 갖춘 LPDDR에 PIM 기술을 적용해, 데이터를 xPU로 반복적으로 이동시키는 대신 일부 연산을 메모리 내에서 처리할 수 있도록 한다.

이를 통해 데이터 이동에서 발생하는 병목과 전력 소모를 줄이고 AI 추론 성능과 에너지 효율을 높일 수 있다. 반복적인 데이터 처리가 많은 AI 워크로드나 제한된 전력 안에서 높은 성능을 구현해야 하는 엣지 AI 환경에서 활용 가능성이 크다.

대규모 AI 데이터를 빠르게 공급하는 zNAND-O

zNAND-O는 고성능·고용량 NAND와 3D 패키징 기술을 결합해 DRAM과 기존 NAND 스토리지 사이에 새로운 데이터 계층을 제공하는 차세대 메모리 솔루션이다. 여러 NAND 다이를 수직으로 통합함으로써 제한된 면적에서 용량과 입출력 성능을 높이고, 기존 NAND보다 빠른 데이터 접근과 높은 전력 효율을 구현하는 것을 목표로 한다.

zNAND-O는 DRAM 대비 높은 용량을 제공하며, 기존 NAND 플래시와 비교해 읽기 성능과 전력 효율을 크게 향상시킨다. 또한 마이크로초 단위의 짧은 지연 시간과 높은 대역폭을 지향하며, 저전력으로 동작하면서도 고성능 데이터 처리를 지원한다. 이를 통해 제한된 공간에서도 확장성과 유연성을 확보할 수 있다.

삼성전자는 zNAND-O를 활용해 AI 시스템 내 데이터 배치 구조를 최적화하는 새로운 NPU 중심 메모리 아키텍처를 제안한다. 운영체제와 KV 캐시는 DRAM에 배치하고, 대용량이면서 읽기 작업이 집중되는 모델 가중치는 zNAND-O에 저장함으로써 DRAM 의존도를 줄이는 방식이다. 이를 통해 성능 저하를 최소화하면서 메모리 비용과 용량 문제를 동시에 해결할 수 있다.

또한 zNAND-O는 기존 UMA 기반 DRAM 시스템과 유사한 수준의 성능을 유지하면서도 메모리 구조의 효율성을 크게 개선할 수 있는 가능성을 보여준다. 이를 통해 더 큰 규모의 AI 모델을 온디바이스 환경에서도 안정적으로 구동할 수 있는 기반을 제공할 것으로 기대된다.

zNAND-O는 AI 워크스테이션과 AI PC 등 실시간 대용량 데이터 처리가 중요한 엣지 AI 환경에서 기존 DRAM의 용량·비용 한계와 NAND 스토리지의 성능 한계를 보완하는 새로운 메모리 계층으로 발전할 수 있다.

클라우드 와 엣지를 연결하는 삼성전자의 통합 역량

AI는 클라우드에서 엣지로 단순히 이동하는 것이 아니다. 클라우드의 대규모 컴퓨팅과 엣지의 실시간·개인화된 AI가 서로의 역할을 확장하며 새로운 인프라 생태계를 만들어가고 있다.

이 과정에서 메모리는 데이터를 저장하는 부품을 넘어 AI 시스템의 실제 성능과 에너지 효율을 좌우하는 핵심 기술로 자리 잡고 있다. AI가 더 많은 기기와 산업 현장으로 확산될수록 제한된 공간과 전력 안에서 대용량과 고대역폭을 구현하는 기술은 더욱 중요해질 것이다.

AI 시스템 전체를 최적화하려면 개별 반도체칩의 성능만 높이는 접근으로는 충분하지 않다. 메모리와 로직, 인터페이스, 패키징을 제품 설계 초기부터 함께 고려해야 용량과 대역폭, 전력 효율, 발열, 폼팩터 사이의 복합적인 상충 관계를 해결할 수 있다.

삼성전자는 메모리와 로직, 파운드리, 첨단 패키징 역량을 폭넓게 보유하고 있다. 이러한 통합 역량을 바탕으로 설계와 공정 기술을 함께 최적화하는 DTCO(Design-Technology Co-Optimization)를 추진하고, 메모리와 로직, 패키징을 시스템 관점에서 연결할 수 있다.

특히 3D 적층 기반의 차세대 메모리는 기존 DRAM이나 NAND와 같은 단품 중심의 기술만으로는 완성하기 어렵다. 고성능 로직 다이와 미세 공정부터 다이 간 연결, 전력 공급, 열 관리, 첨단 패키징에 이르기까지 다양한 기술 요소를 유기적으로 연계해 설계해야 한다. 삼성전자의 엔드 투 엔드(End-to-End) 반도체 역량은 이러한 복합적인 과제를 통합적으로 해결하고, 차세대 제품의 성능과 전력 효율은 물론 시스템 차원의 완성도까지 높이는 차별화된 기반이 된다.

삼성전자는 앞으로도 메모리와 로직, 패키징의 경계를 넘어서는 혁신을 통해 클라우드부터 엣지까지 AI 인프라 전반의 성능과 효율을 높이고, 새로운 AI 시대를 위한 기술 리더십을 더욱 강화해 나갈 것이다.

※ 본 기사는 삼성전자 반도체 공식 웹사이트 테크블로그 콘텐츠를 전재하였습니다.

* 본 페이지의 내용은 정보 제공만을 목적으로 한다. 삼성 및 그 임원, 자문인, 대리인 또는 직원은 본 페이지에 포함된 정보, 진술, 의견 또는 기타 내용의 정확성, 합리성 또는 완전성에 대하여 명시적 또는 묵시적으로 어떠한 진술이나 보증도 하지 않으며, 해당 내용은 “있는 그대로(AS IS)” 제공된다.
* 삼성은 본 기사 내용의 사용으로 인해 발생하거나 이와 관련하여 발생하는 어떠한 손해에 대해서도 책임을 지지 않는다. 본 기사의 어떠한 내용도 본 문서에 제공된 정보, 자료 또는 콘텐츠나 기타 지식재산에 대한 라이선스 또는 권리를 부여하는 것으로 해석되지 않는다.

The post 새로운 AI 인프라 사이클을 여는 메모리 혁신 2편: 엣지 AI 혁신을 연결하는 삼성전자 메모리 솔루션 first appeared on 삼성전자 반도체 뉴스룸.

이러한 변화 속에서 메모리는 단순히 데이터를 저장하는 부품을 넘어 AI 시스템의 성능과 에너지 효율을 결정하는 핵심 기술로 진화하고 있다.

클라우드 생태계의 확장과 새로운 AI 인프라 사이클

생성형 AI와 추론형 AI를 기반으로 한 다양한 서비스가 등장하면서 AI는 빠르게 일상에 자리 잡고 있다. 최근까지 AI 인프라 투자는 하이퍼스케일러가 운영하는 대규모 클라우드 데이터센터를 중심으로 이루어졌다. 그러나 이제 AI는 중소기업과 산업 현장, 개인 사용자 영역으로 본격적으로 확산되고 있다.

고성능 AI 워크스테이션과 기업·산업 현장에 직접 설치되는 자체 AI 서버, AI PC와 스마트폰 등이 대표적이다. 데스크톱 크기의 개인용 AI 슈퍼컴퓨터의 등장 역시 이러한 흐름을 보여준다.

AI가 데이터가 생성되는 현장 가까이로 이동하는 이러한 흐름의 중심에 엣지 AI가 있다. 엣지 AI는 데이터를 중앙 클라우드로 보내 처리하는 대신, 스마트폰이나 PC와 같은 기기나 차량, 공장, 매장 등에 설치된 로컬 시스템에서 AI 연산의 전부 또는 일부를 수행하는 방식을 의미한다. 기기 자체에서 AI 모델을 실행하는 온디바이스 AI는 엣지 AI의 대표적인 형태다.

스마트폰의 실시간 통번역과 이미지 편집, AI PC의 개인 비서 기능, 차량의 주변 환경 인식, 스마트팩토리의 설비 이상 감지 등은 이미 엣지 AI가 일상과 산업 현장에 적용되고 있음을 보여준다.

이는 엣지 AI가 기존 클라우드 AI를 대체한다는 의미는 아니다. 대규모 모델 학습과 높은 확장성이 필요한 연산은 클라우드가 주로 담당하고, 빠른 반응과 데이터 통제, 현장 대응이 중요한 작업은 엣지에서 처리하는 역할 분담이 확대되고 있다. 필요에 따라 클라우드와 엣지가 하나의 워크로드를 나누어 처리하는 하이브리드 구조도 함께 발전하고 있다.

결국 AI 인프라는 클라우드에서 엣지로 단순히 이동하는 것이 아니라, 클라우드와 엣지가 상호 보완적으로 확장되는 방향으로 진화하고 있다.

엣지 AI가 제공하는 세 가지 핵심 가치

엣지 AI의 가장 큰 특징은 AI가 사용자와 데이터가 있는 곳에 더 가까이 위치한다는 점이다. 이를 통해 크게 세 가지 가치를 제공할 수 있다.

① 초저지연 기반의 실시간 처리

엣지 AI는 데이터를 원격 서버로 전송하고 결과를 다시 받아오는 과정을 줄여 응답 지연을 낮출 수 있다. 자율주행차의 위험 감지, 실시간 통번역, 몰입형 게이밍, 로봇 제어, 산업 설비의 이상 탐지처럼 즉각적인 판단과 반응이 필요한 분야에서 특히 중요하다.

② 데이터 보안과 개인정보 보호

개인의 음성이나 사진, 기업의 생산 데이터와 기밀 정보등 보안에 민감한 데이터를 외부 서버로 전송하지 않고 기기 또는 현장 시스템 안에서 처리할 수 있다. 사용자는 자신의 데이터를 보다 안전하게 관리하면서 AI 서비스를 활용할 수 있고, 기업은 데이터 통제권을 유지하며 AI를 업무에 적용할 수 있다.

실제 보안 수준은 하드웨어와 소프트웨어, 네트워크 및 데이터 관리 체계 전반에 의해 결정되지만, 로컬 처리는 민감한 원천 데이터의 외부 전송을 최소화할 수 있다는 장점이 있다.

③ 클라우드 비용과 네트워크 부담 절감

모든 데이터를 중앙 서버로 전송하면 네트워크 트래픽과 클라우드 인프라 운영 비용이 증가할 수 있다. 반면 반복적이거나 시간에 민감한 작업을 엣지에서 처리하면 클라우드의 연산 부담과 데이터 전송량을 줄이며 네트워크 부담을 절감할 수 있다.

또한 네트워크 연결이 원활하지 않은 환경에서도 중앙 클라우드를 거치지 않고 장치 자체(엣지)에서 데이터를 직접 처리하므로, 핵심 AI 기능을 지속적으로 제공할 수 있어 시스템의 안정성과 활용 범위를 높일 수 있다.

Agentic AI로 확장되는 엣지 AI

엣지 AI는 단순히 사용자의 명령에 반응하는 수준에서 한 단계 더 나아가고 있다. 사용자의 의도와 주변 상황을 이해하고, 여러 작업을 스스로 계획하고 실행하는 Agentic AI로 진화하고 있기 때문이다.

Agentic AI 환경에서는 하나의 AI 모델만 실행되는 것이 아니라 여러 에이전트가 동시에 정보를 분석하고, 도구를 선택하며, 작업 순서를 조율할 수 있다. 이에 따라 AI 가속기뿐 아니라 전체 시스템과 다수의 워크로드를 관리하는 CPU의 역할도 중요해지고 있다.

그러나 CPU, GPU, NPU와 같은 xPU의 연산 성능만 높인다고 시스템 전체의 AI 성능이 동일한 수준으로 향상되는 것은 아니다. 연산 장치가 아무리 빠르더라도 메모리가 필요한 데이터를 적시에 공급하지 못하면 xPU는 데이터를 기다리게 된다.

AI 시스템의 실제 성능은 연산력과 함께 데이터를 저장하는 용량(Capacity), 전달하는 대역폭(Bandwidth), 제한된 전력 안에서 이를 구현하는 에너지 효율(Energy Efficiency)에 의해 좌우된다.

특히 엣지 AI는 대규모 데이터센터에 비해 공간과 전력, 냉각 자원이 제한된 환경에서 작동한다. 데이터센터급 AI 시스템에서 요구되던 고대역폭과 대용량, 높은 에너지 효율이 이제 AI PC, 워크스테이션, 차량, 로봇과 같은 상대적으로 작은 디바이스에도 요구되기 시작했다.

엣지 AI 시대에 마주한 세 가지 과제

① 더 큰 AI 모델을 담기 위한 용량

AI 모델이 고도화될수록(AI의 성능이 점점 좋아질수록) 모델을 구성하는 파라미터와 실행 과정에서 생성되는 데이터의 양도 증가한다. 클라우드에 지속적으로 의존하지 않고 로컬 환경에서 고성능 AI를 구현하려면 더 많은 모델 가중치와 컨텍스트 데이터를 메모리에 담을 수 있어야 한다.

메모리 용량이 충분하지 않으면 시스템은 필요한 데이터를 스토리지와 메모리 사이에서 반복적으로 이동시키거나 모델의 일부만 나누어 불러와야 한다. 이 과정은 응답 시간을 늘리고 추가적인 전력을 소비할 수 있다.

따라서 고용량 메모리는 엣지 AI가 더 크고 정교한 모델을 로컬에서 안정적으로 실행하기 위한 핵심 조건이다.

② xPU의 성능을 온전히 활용하기 위한 대역폭

대역폭은 메모리가 xPU에 데이터를 얼마나 빠르게 공급할 수 있는지를 나타낸다. 생성형 AI와 Agentic AI는 사용자와 상호작용하는 동안 대규모 모델 가중치와 컨텍스트 데이터를 지속적으로 읽고 처리한다.

이때 메모리 대역폭이 충분하지 않으면 xPU의 연산 자원을 온전히 활용하기 어렵다. 빠르고 끊김 없는 AI 응답을 구현하려면 워크로드에 맞는 높은 메모리 대역폭과 효율적인 데이터 이동 구조가 필요하다.

요구되는 대역폭은 모델 구조와 정밀도, 배치 크기, 목표 응답 속도에 따라 달라지지만, AI 시스템의 주요 병목이 연산 성능뿐 아니라 xPU와 메모리 사이의 데이터 이동으로 확대되고 있다는 점은 분명하다.

③ 제한된 전력과 공간 안에서의 효율

엣지 AI 시스템은 데이터센터와 달리 활용할 수 있는 전력과 냉각 자원이 제한적이다. 스마트폰과 AI PC는 배터리 사용 시간을 고려해야 하며, 차량과 로봇은 정해진 전력 예산 안에서 여러 기능을 동시에 수행해야 한다. 현장에 설치되는 소규모 AI 서버 역시 설치 공간과 발열, 냉각 비용을 함께 고려해야 한다.

특히 데이터를 저장장치와 메모리, 연산 장치 사이에서 반복적으로 이동시키는 과정은 상당한 전력을 소비한다. 따라서 단순히 처리 속도만 높이는 것을 넘어 데이터가 이동하는 거리와 횟수를 줄이고, 와트당 더 많은 데이터를 처리하도록 시스템을 설계해야 한다.

높은 에너지 효율은 배터리 기반 기기의 사용 시간을 늘리는 동시에 발열과 냉각 부담, 전체 시스템 운영 비용을 낮추는 핵심 요소다.

더 가까워진 엣지 AI를 위한 새로운 메모리 해법

엣지 AI가 더 크고 정교한 모델을 빠르고 효율적으로 실행하려면 용량과 대역폭, 에너지 효율을 함께 높여야 한다. 이는 기존 메모리의 성능을 개별적으로 개선하는 것만으로는 해결하기 어려운 복합적인 과제다.

연산 장치와 메모리 사이의 물리적 거리를 줄이고, 데이터 이동 자체를 최소화하며, DRAM과 NAND, 로직과 패키징을 시스템 관점에서 연결하는 새로운 메모리 아키텍처가 필요한 이유다.

이어지는 2편 “엣지 AI 혁신을 연결하는 삼성전자 메모리 솔루션” 에서는 zHBM, LPDDR-PIM, zNAND-O 등 차세대 메모리 솔루션과 삼성전자의 통합 역량이 이러한 과제를 어떻게 해결하는지 살펴볼 예정이다.

※ 본 기사는 삼성전자 반도체 공식 웹사이트 테크블로그 콘텐츠를 전재하였습니다.

* 본 페이지의 내용은 정보 제공만을 목적으로 한다. 삼성 및 그 임원, 자문인, 대리인 또는 직원은 본 페이지에 포함된 정보, 진술, 의견 또는 기타 내용의 정확성, 합리성 또는 완전성에 대하여 명시적 또는 묵시적으로 어떠한 진술이나 보증도 하지 않으며, 해당 내용은 “있는 그대로(AS IS)” 제공된다.
* 삼성은 본 기사 내용의 사용으로 인해 발생하거나 이와 관련하여 발생하는 어떠한 손해에 대해서도 책임을 지지 않는다. 본 기사의 어떠한 내용도 본 문서에 제공된 정보, 자료 또는 콘텐츠나 기타 지식재산에 대한 라이선스 또는 권리를 부여하는 것으로 해석되지 않는다.

The post 새로운 AI 인프라 사이클을 여는 메모리 혁신 1편: 더 가까워진 엣지 AI, 더 중요해진 메모리 first appeared on 삼성전자 반도체 뉴스룸.