최근 스마트폰 트렌드의 중심에는 온디바이스 AI(On-device AI)가 있다. 인터넷을 통해 클라우드 서버에 연결하지 않아도 단말기 자체에서 AI를 활용해 실시간 통역, 사진 편집 등의 작업을 수행한다. 이러한 AI 기능을 구현하려면 엄청난 양의 데이터를 디바이스 자체에서 처리할 수 있어야 하며, 이를 위해서는 UFS, AP(NPU), RAM 등 여러 반도체의 역할이 필수적이다.

이 중에서도 UFS는 고화질 4K, 8K 동영상이나 이미지 데이터, 각종 앱을 보관하는 스토리지로서의 역할뿐 아니라, 온디바이스 AI가 구현될 수 있도록 AI 모델과 데이터 등을 빠르게 RAM으로 전달해 AP가 AI 연산을 수행할 수 있도록 돕는 역할을 한다.

UFS 2.0을 시작으로 본격 상용화된 삼성전자 UFS 메모리는 10년 이상의 기간 동안 각종 모바일 기기에 탑재되며 사용자의 소중한 데이터를 보관하는 저장장치로 활용돼 왔으며, UFS 5.0에 이르러서는 10.8GB/s의 데이터 전송 대역폭을 바탕으로 온디바이스 AI 시대에 최적화된 솔루션을 제공하게 됐다. UFS 5.0에 이르기까지 삼성전자 UFS 제품의 세대별 성능 변화와 주요 특징을 인포그래픽을 통해 알아보자.

온디바이스 AI는 클라우드 서버에 의존하지 않고 스마트폰과 같은 엣지 디바이스 내부에서 직접 AI 모델을 실행하는 방식이다. 이를 구현하는 과정에서 UFS를 비롯한 여러 반도체가 담당하는 역할을 간단한 사례를 통해 알아보자.

스마트폰 사용자가 AI를 활용해 고화질 영상을 편집한다고 가정해 보자.

① 사용자가 AI 기능을 실행하면 AP(Application Processor)는 필요한 AI 모델(LLM; Large Language Model, 대용량 언어 모델)과 영상 데이터를 읽어오도록 UFS에 명령한다.

② UFS는 AI 모델과 데이터를 임시 저장장치인 RAM으로 로딩한다.

③ AP는 RAM에 로딩된 AI 모델과 데이터를 활용해 AI 연산을 수행하여 편집 작업을 완료한다.

위의 ②번 과정에서 UFS는 AI 모델과 원본 영상 데이터를 빠르게 읽어 RAM에 전달해야 한다. UFS 5.0 메모리의 대역폭은 10.8GB/s으로, 4K UHD급 초고화질 영상 파일(수십 GB 용량)을 수 초 내에 RAM에 불러들일 수 있기 때문에 사용자는 빠르게 AI 작업을 완료할 수 있다.

이상으로 UFS 메모리의 세대별 성능 변화와 주요 특징, 그리고 온디바이스 AI 구동 사례를 간단히 알아보았다. 삼성전자 반도체는 UFS 5.0 메모리를 비롯해, 날로 확대되고 있는 AI 시장의 요구를 만족시킬 수 있는 첨단 메모리 솔루션을 계속해서 선보일 계획이다.

The post [인포그래픽] 온디바이스 AI 구현할 최적의 솔루션 UFS 5.0 메모리 first appeared on 삼성전자 반도체 뉴스룸.

*UFS: Universal Flash Storage

이번 제품은 반도체 표준화 기구 ‘JEDEC’의 최신 내장 메모리 규격인 ‘UFS 5.0’ 인터페이스를 적용했다.

*JEDEC: Joint Electron Device Engineering Council

특히 UFS 5.0은 삼성전자의 첨단 9세대 V낸드(V9) 기반으로 개발돼 업계 최고 수준인 10.8GB/s의 데이터 전송 대역폭과 전력 효율을 동시에 구현했다.

최근 생성형 AI가 클라우드 중심에서 온디바이스 AI로 확산되며 모바일 기기 내부에서 처리해야 하는 데이터 규모가 급격히 증가하고 있다. 이에 따라 저장장치는 단순 데이터 저장 공간을 넘어 AI 연산을 뒷받침하는 핵심 인프라로 진화하고 있다.

삼성전자 UFS 5.0은 순차 읽기 속도 10.8GB/s, 순차 쓰기 속도 9.5GB/s를 지원해, 기존 UFS 4.1 대비 약 2배 이상 향상되었으며, 대용량 데이터를 더욱 빠르게 저장∙처리할 수 있다.

특히 AI 응용 환경에서 요구되는 다양한 데이터 처리에 최적화돼, 온디바이스 AI 환경에서 데이터 처리 지연을 줄이고 보다 빠른 응답 속도의 AI 서비스를 지원한다.

또한, UFS 5.0은 차세대 모바일 저전력 환경에 최적화된 ▲클락 게이팅 ▲멀티 전압 등 다양한 신규 기술을 적용해 전력 효율을 전작 대비 40% 이상 개선했다.

*클락 게이팅(Clock Gating): 사용하지 않는 회로의 동작 신호를 차단해 전력 효율을 높이는 기술
*멀티 전압(Multi Voltage): 회로별 최적 전압을 적용해 소비전력과 발열을 줄이는 기술

이를 바탕으로 동일한 양의 데이터를 전송할 때 소모되는 전력을 크게 낮춰 모바일 기기의 배터리 사용 시간을 향상시켰다.

삼성전자는 UFS 5.0을 가로 7.5mm, 세로 13mm, 높이 0.9mm로 전작 대비 16.7% 작아진 패키지를 구현해 ▲모바일 ▲웨어러블 ▲XR 기기 등의 설계 유연성과 공간 활용성도 높이며, 최대 1TB 용량까지 제공할 계획이다.

*XR(eXtended Reality): 확장현실

온디바이스 AI 활용이 확대되면서 모바일 기기의 성능과 사용자 경험을 결정하는 모바일 스토리지의 중요성이 더욱 부각되고 있다.

삼성전자 메모리사업부 상품기획팀장 최장석 상무는 “온디바이스 AI 시대에는 저장장치가 단순한 데이터 저장 공간을 넘어 AI 경험을 결정하는 핵심 요소로 자리잡고 있다”며 “삼성전자는 업계 최초 UFS 5.0 개발 완료를 통해 차세대 모바일 스토리지의 새로운 기준을 제시하고, AI 모바일 혁신을 지속적으로 주도해 나갈 것”이라고 밝혔다.

삼성전자는 올해 4분기부터 UFS 5.0 양산을 시작하여 시장의 요구에 선제적으로 대응하고, 향후 플래그십 스마트폰 뿐 아니라 XR 헤드셋, AI 웨어러블 등 차세대 디바이스 시장 성장에 맞춰 UFS 5.0 공급을 확대할 계획이다.

The post 삼성전자, 업계 최초 온디바이스 AI 최적화 UFS 5.0 개발 first appeared on 삼성전자 반도체 뉴스룸.

삼성전자가 업계 최소 두께 12나노급 LPDDR5X D램 12∙16GB(기가바이트) 패키지 양산을 시작하며 저전력 D램 시장에서의 기술 리더십을 확고히 했다.

이번 제품의 두께는 0.65mm로 현존하는 12GB 이상 LPDDR D램 중 가장 얇다.

삼성전자는 업계 최소 크기 12나노급 LPDDR D램을 4단으로 쌓고 패키지 기술, PCB 및 EMC 기술 등 최적화를 통해 이전 세대 제품 대비 두께를 약 9% 감소, 열 저항을 약 21.2% 개선했다.

* 4단(Stack) 구조: LPDDR D램 칩 2개가 1단으로 총 4개의 단으로 패키지 되어있는 구조
* EMC(Epoxy Molding Compound): 수분,열,충격 등 다양한 외부환경으로부터 반도체 회로를 보호하는 회로 보호재

또한 패키지 공정 중 하나인 백랩(Back-lap) 공정의 기술력을 극대화해 웨이퍼를 최대한 얇게 만들어 최소 두께 패키지를 구현했다.

* 백랩(Back-lap) 공정: 웨이퍼 뒷면을 연마하여 두께를 얇게 만드는 공정

또한 이번 제품은 얇아진 두께만큼 추가로 여유 공간 확보를 통해 원활한 공기 흐름이 유도되고, 기기 내부 온도 제어에 도움을 줄 수 있다.

일반적으로 높은 성능을 필요로 하는 온디바이스 AI는 발열로 인해 기기 온도가 일정 구간을 넘기면 성능을 제한하는 온도 제어 기능(Throttling)이 작동한다.

* 온도 제어 기능(Throttling): 기기가 지나치게 과열될 때 기기의 손상을 막고자 클럭과 전압을 강제적으로 낮추는 등의 제어를 통해 발열을 줄이는 기능

이번 제품을 탑재하면 발열로 인해 해당 기능이 작동하는 시간을 최대한 늦출 수 있어 속도, 화면 밝기 저하 등의 기기 성능 감소를 최소화할 수 있다.

삼성전자는 향후 6단 구조 기반 24GB, 8단 구조 32GB 모듈도 가장 얇은 LPDDR D램 패키지로 개발하여 온디바이스 AI시대 고객의 요구에 최적화된 솔루션을 지속 공급할 예정이다.

삼성전자 메모리사업부 상품기획실장 배용철 부사장은 “고성능 온디바이스 AI의 수요가 증가함에 따라 LPDDR D램의 성능뿐만 아니라 온도 제어 개선 역량 또한 중요해졌다”며 “삼성전자는 기존 제품 대비 두께가 얇은 저전력 D램을 지속적으로 개발하고 고객과의 긴밀한 협력을 통해 최적화된 솔루션을 제공하겠다”고 밝혔다.

삼성전자는 이번 0.65mm LPDDR5X D램을 모바일 애플리케이션 프로세서 및 모바일 업체에 적기에 공급해 저전력 D램 시장을 더욱 확대해 나갈 예정이다.

The post 삼성전자, 업계 최소 두께 LPDDR5X D램 양산 first appeared on 삼성전자 반도체 뉴스룸.

글로벌 반도체 학회 ‘MemCon 2024’는 AI 시대에 걸맞은 미래 메모리 솔루션에 대해 깊이 있게 다루는 장으로 다양한 글로벌 IT 기업들이 참여했다.

삼성전자는 이번 ‘MemCon 2024’에서 미래 컴퓨팅 패러다임의 초석, HBM과 CXL 솔루션에 대해 발표하고 업계 리더로서의 비전을 공유했다. HBM은 AI에 필요한 필수적인 속도와 극한의 대역폭을 제공하며, CXL은 여러 개의 인터페이스를 하나로 통합해 용량과 대역폭을 확장시킨다.

.

☐ 메모리 기술 혁신 없이는 인공지능 발전이 계속될 수 없다

삼성전자는 1992년부터 30년 이상 메모리 제품 기술 분야에서의 리더십을 바탕으로 선제적인 투자를 했으며, 이를 바탕으로 적시에 최고 품질의 제품을 공급해왔다.

최근 몇 년 메모리 시장 침체에도 불구하고 삼성전자는 기술 개발과 시설 투자에 자원을 아끼지 않았으며, 작년 D램 41%, 낸드플래시 32%의 시장 점유율을 기록하는 등 메모리 시장에서 굳건한 리더십을 이어가고 있다.

AI 기술 성장에는 메모리 반도체의 발전이 필수적이다. 시스템 고성능화를 위한 고대역폭, 저전력 메모리는 물론 새로운 인터페이스와 적층 기술도 요구되고 있다.

삼성전자는 D램 기술 초격차 유지를 위해 10nm 이하 D램에 수직 채널 트랜지스터(VCT, Vertical Channel Transistor)를 활용하는 새로운 구조에 대한 선제적인 연구 개발을 진행하고 있으며, 2030년 3D D램 상용화에 나설 계획이다.

.

☐ 삼성전자, AI 시대의 메모리 솔루션 준비 현황

2024년 하반기는 HBM 공급 개선으로 AI 서버 확산이 가속화될 뿐만 아니라, Conventional 서버와 스토리지 수요도 증가하는 선순환이 뚜렷하게 나타날 것으로 예상된다.

삼성전자는 2016년 업계 최초로 고성능 컴퓨팅(HPC)용 HBM 사업화를 시작하며, AI용 메모리 시장을 본격적으로 개척했고, 2016년부터 2024년까지 예상되는 총 HBM 매출은 100억 불이 넘을 것으로 전망된다.

삼성전자는 HBM3E 8단 제품에 대해 지난달부터 양산에 들어갔으며, 업계 내 고용량 제품에 대한 고객 니즈 증가세에 발맞추어 업계 최초로 개발한 12단 제품도 2분기 내 양산할 예정으로 Ramp-up 또한 가속화할 계획이다.

앞으로 삼성전자는 성장하는 생성형 AI용 수요 대응을 위해 HBM 캐파 확대와 함께 공급을 지속 늘려나갈 것이다.

한편 온디바이스 AI(On-Device AI) 관련 제품 또한 확대 중이다. PC·노트북 D램 시장의 판도를 바꿀 LPCAMM2를 2023년 9월 업계 최초로 개발했고, 기존 LPDDR 대비 고대역폭을 가지고 있어 기기에서 생성되는 데이터를 실시간으로 처리할 수 있는 LLW(Low Latency Wide I/O)를 개발 중에 있다.

또한 기존 D램과 공존하며 시스템 내 대역폭과 용량을 확장할 수 있는 CMM-D는 거대 데이터 처리가 요구되는 차세대 컴퓨팅 시장에서 주목받을 것으로 예상되며, 삼성전자는 CXL 메모리 생태계 구축을 위해 제품 개발 및 사업 협력을 선도하고 있다.

이 밖에도 미래 AI 시대를 대비하기 위해 컴퓨테이셔널 메모리(Computational Memory), 첨단 패키지(Advanced Package) 기술 등을 통해 새로운 솔루션 발굴을 추진하고 있다.

.

☐ 고객 맞춤형으로 진화하는 차세대 HBM

최근 HBM에는 맞춤형(Custom) HBM이라는 표현이 붙기 시작했다. 이는 AI 반도체 시장에서 메모리 반도체가 더 이상 범용 제품이 아니라는 것을 의미한다고 볼 수 있다.

삼성전자는 고객별로 최적화된 ‘맞춤형 HBM’ 제품으로 주요 고객사들의 수요를 충족시킬 계획이다. HBM 제품은 D램 셀을 사용하여 만든 코어 다이와 SoC와의 인터페이스를 위한 버퍼 다이로 구성되는데, 고객들은 버퍼 다이 영역에 대해 맞춤형 IP 설계를 요청할 수 있다.

이는 HBM 개발 및 공급을 위한 비즈니스 계획에서부터 D램 셀 개발, 로직 설계, 패키징 및 품질 검증에 이르기까지 모든 분야에서 차별화 및 최적화가 주요 경쟁 요인이 될 것임을 의미한다.

.

☐ 차세대 HBM 초격차를 위해 종합 반도체 역량 활용

변화무쌍한 AI 시대에서 고객들이 원하는 시스템 디자인을 완벽히 이해하고, 미래 기술 환경까지 고려해 시스템의 발전을 예측하고 주도하기 위해서는 종합 반도체 역량을 십분 활용해야 한다.

삼성전자는 차세대 HBM 초격차 달성을 위해 메모리뿐만 아니라 파운드리, 시스템LSI, AVP의 차별화된 사업부 역량과 리소스를 총 집결해 경계를 뛰어넘는 차세대 혁신을 주도해 나갈 계획이다.

이를 위해 삼성전자는 올 초부터 각 사업부의 우수 엔지니어들을 한데 모아 차세대 HBM 전담팀을 구성해 맞춤형 HBM 최적화를 위한 연구 및 개발에 박차를 가하고 있다.

삼성전자는 업계에서 단시간에 따라올 수 없는 종합 반도체 역량을 바탕으로 AI 시대에 걸맞은 최적의 솔루션을 지속적으로 선보일 예정이다.

The post [기고문] 종합 반도체 역량으로 AI 시대에 걸맞은 최적 솔루션 선보일 것 first appeared on 삼성전자 반도체 뉴스룸.

‘더 얇게, 더 가볍게’가 당연시되는 요즘이다. 대부분의 제품이 그러하지만, 특히나 PC나 노트북과 같은 IT 기기 시장에서는 이러한 요소가 큰 경쟁력 중 하나다. 이를 위한 솔루션으로 등장한 것이 바로 차세대 D램, ‘LPCAMM2(Low Power Compression Attached Memory Module)’다.

.

MAP 1. 차세대 메모리를 위한 진전의 기록

얇고 가벼운 노트북을 만들기 위해 그동안 많은 시도가 이루어졌고, 온보드형 메모리와 SO-DIMM(Small Outline Dual In-line Memory Module) 메모리를 사용해 왔다.

SO-DIMM은 노트북이나 태블릿 PC에서 사용하는 메모리다. 탈부착이 가능하기 때문에 손쉽게 D램 용량을 늘릴 수 있지만, 공간을 많이 차지하고 열 관리가 어렵다는 단점이 있다.

반면, 온보드형 메모리는 메인보드에 붙어 있는 제품으로, SO-DIMM보다 전력과 공간 효율 면에서 우수하다는 특징이 있다. 다만, SO-DIMM과는 다르게 탈부착이 불가하고, 고장이 나면 메인보드를 통째로 교체해야 하여 SO-DIMM보다 많은 교체 비용이 든다. 이처럼 SO-DIMM과 온보드형 메모리는 각자의 장·단점이 뚜렷하다.

SO-DIMM과 온보드형 메모리의 단점을 보완하고 고성능·고용량 메모리 개발이 필요한 상황 속에서 게임 체인저로 등장한 것이 바로 LPCAMM2다.

.

MAP 2. 모바일 D램의 새로운 역사, LPDDR

LPCAMM2를 알기 위해선 ‘LPDDR(Low Power Double Data Rate)’에 대한 이해가 우선이다. LPCAMM2 자체가 LPDDR 패키지 기반의 모듈 제품이기 때문이다. LPDDR은 저전력 특화 D램으로 스마트폰, 태블릿 PC 등 모바일 기기에 사용되는 메모리다.

삼성전자 반도체는 우수한 소비전력이 돋보이는 LPDDR을 개발하고, 세대에 따라 LPDDR2, LPDDR3, LPDDR4, LPDDR5, LPDDR5X 등을 연이어 양산했다. 그리고 지난해 9월, 삼성전자 반도체는 업계 최초로 LPDDR5X 기반 LPCAMM2를 개발하며, 새로운 폼팩터 시장을 개척했다.

.

MAP 3. LPCAMM2으로 D램의 패러다임을 바꾸다

LPCAMM2는 LPDDR 패키지를 여러 개 묶은 차세대 고용량 모듈로, 뛰어난 성능과 공간 절약, 효율적인 전력 관리를 자랑한다.

앞서 언급한 SO-DIMM과 비교해 보면, LPCAMM2의 장점이 더 확연히 드러난다. LPCAMM2에 비해 금속 커넥터가 차지하는 비중이 적은 SO-DIMM은 커넥터에 소켓이 있어야 보드에 연결이 가능하며, 소켓을 거칠 때마다 데이터 손실이 발생할 수 있어 블루스크린과 같은 현상이 나타날 수 있다. 반면에, LPCAMM2의 경우, 커넥터가 바로 밑에 위치해 있어 소켓을 통하지 않고 바로 꽂기만 하면 데이터 전송이 가능하다. 즉, 데이터 손실은 감소하고 속도는 증가하는 격이다.

현재 다양한 분야에서 고성능, 저전력, 제조 유연성에 대한 요구가 증가함에 따라 LPCAMM2가 기존 제품들을 대체할 차세대 폼팩터로 자리하고 있다.

삼성전자 반도체의 LPCAMM2는 작고 얇은 폼팩터에 강력한 성능을 담음으로써 제조사에게는 제조의 유연성을, 사용자에게는 교체나 업그레이드 등의 편의성을 증대시켰다.

.

MAP 4. LPCAMM2, 디지털 노마드 시대의 해법

공간의 제약 없이 자유롭게 디지털 기기를 이용하는 ‘디지털 노마드(Digital nomad) 시대’인 지금, LPCAMM2는 PC·노트북 D램 시장의 판도를 바꿀 솔루션으로 각광받고 있다.

삼성전자 반도체는 현재 인공지능(AI)·고성능 컴퓨팅(HPC)·서버·데이터센터 등 LPCAMM2의 응용처 확대를 위해 주요 고객과 논의 중에 있으며, LPCAMM2의 성능은 7.5Gbps로 인텔 플랫폼에서 동작 검증을 마쳤고, 2024년 상반기에 양산할 예정이다.

.

MAP 5. 온디바이스 AI의 미래를 바꾸다

한편 LPCAMM2는 초거대 AI 시장에 대응하는 최첨단 메모리 솔루션으로도 활약한다. 단말기 내부에서 정보를 수집하고 연산하는 온디바이스 AI(On-device AI)에 있어 가장 중요한 것은 속도·전력 효율이다. 특히 컴퓨팅 시스템에서 D램의 전력 소모량을 줄이는 것이 핵심이라고 할 수 있다.

삼성전자의 LPCAMM2는 온디바이스 AI 시대에 최적화된 메모리 제품으로 각광받고 있다. 기존 D램 모듈(SO-DIMM) 대비 탑재 면적이 최대 60% 이상 줄어, 내부 공간을 보다 효율적으로 사용할 수 있고, 성능은 최대 50%, 전력효율은 최대 70%까지 개선되었다.

메모리 산업의 혁신적인 미래를 선도할 LPCAMM2의 무궁무진한 가능성은 어디까지일까? 보다 자세하게 알고 싶다면, 삼교시 탐구생활 ‘LPCAMM’ 편을 참고하길 바란다.

The post [반도Chat Ep.10] 온디바이스 AI 시대의 중심, ‘LPCAMM2’ first appeared on 삼성전자 반도체 뉴스룸.

실시간 통역, 회의 내용 요약, 사진 보정 등 나의 요구에 맞춰 문제를 즉각 해결해 주는 전담 비서가 있다면 어떨까? 삼성전자 반도체 NPU가 이러한 고민을 해결해 줄지도 모른다. NPU는 사용자의 데이터를 의미 있게 해석하는 데 최적화된 프로세서로, 온디바이스 AI의 성능을 결정하는 핵심 기술이다. 빠른 병렬연산으로 초고속 저전력을 가능케 하는 NPU가 궁금하다면, 위 영상을 통해 확인해 보자.

The post [삼교시 탐구생활 Ep.6] 실시간 통역부터 자동 요약까지! 온디바이스 AI 성능을 좌우하는 멋짐 폭발, NPU first appeared on 삼성전자 반도체 뉴스룸.