<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet title="XSL_formatting" type="text/xsl" href="https://news.samsungsemiconductor.com/kr/wp-content/plugins/btr_rss/btr_rss.xsl"?><rss version="2.0"
     xmlns:content="http://purl.org/rss/1.0/modules/content/"
     xmlns:wfw="http://wellformedweb.org/CommentAPI/"
     xmlns:dc="http://purl.org/dc/elements/1.1/"
     xmlns:atom="http://www.w3.org/2005/Atom"
     xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
     xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>
	<channel>
		<title>AIChip - 삼성전자 반도체 뉴스룸</title>
		<atom:link href="https://news.samsungsemiconductor.com/kr/tag/aichip/feed/" rel="self" type="application/rss+xml" />
		<link>https://news.samsungsemiconductor.com/kr</link>
        <image>
            <url>https://news.samsungsemiconductor.com/kr/wp-content/themes/newsroom/assets/images/logos.svg</url>
            <title>AIChip - 삼성전자 반도체 뉴스룸</title>
            <link>https://news.samsungsemiconductor.com/kr</link>
        </image>
        <currentYear>2026</currentYear>
        <cssFile>https://news.samsungsemiconductor.com/kr/wp-content/plugins/btr_rss/btr_rss_xsl.css</cssFile>
        <logo>https://news.samsungsemiconductor.com/kr/wp-content/themes/newsroom/assets/images/logos.svg</logo>
		<description>What's New on Samsung Semiconductor Newsroom</description>
		<lastBuildDate>Mon, 16 Nov 2026 08:47:21 +0000</lastBuildDate>
		<language>ko-KR</language>
		<sy:updatePeriod>hourly</sy:updatePeriod>
		<sy:updateFrequency>1</sy:updateFrequency>
					<item>
				<title>Data Movement 시대를 여는 차세대 메모리 zHBM</title>
				<link>https://news.samsungsemiconductor.com/kr/data-movement-%ec%8b%9c%eb%8c%80%eb%a5%bc-%ec%97%ac%eb%8a%94-%ec%b0%a8%ec%84%b8%eb%8c%80-%eb%a9%94%eb%aa%a8%eb%a6%ac-zhbm/?utm_source=rss&amp;utm_medium=direct</link>
				<pubDate>Thu, 29 Oct 2026 09:00:03 +0000</pubDate>
				<dc:creator><![CDATA[삼성전자 반도체]]></dc:creator>
						<category><![CDATA[기술]]></category>
		<category><![CDATA[반도체+]]></category>
		<category><![CDATA[3DArchitecture]]></category>
		<category><![CDATA[AI]]></category>
		<category><![CDATA[AIChip]]></category>
		<category><![CDATA[DataMovement]]></category>
		<category><![CDATA[HBM]]></category>
		<category><![CDATA[NextGenMemory]]></category>
		<category><![CDATA[zHBM]]></category>
									<description><![CDATA[<p>지난 기사에서는 HBM이 AI Chip에 필요한 데이터를 공급하며 발전해 온 과정을 살펴봤다. 최근에는 추론과 리즈닝, 긴 문맥 처리와 여러 작업을 연속으로 수행하는 에이전틱 AI가 확대되면서, AI가 읽고 처리해야 할 데이터도 늘어나고 있다. 생성하는 토큰과 KV 캐시가...</p>
<p>The post <a href="https://news.samsungsemiconductor.com/kr/data-movement-%ec%8b%9c%eb%8c%80%eb%a5%bc-%ec%97%ac%eb%8a%94-%ec%b0%a8%ec%84%b8%eb%8c%80-%eb%a9%94%eb%aa%a8%eb%a6%ac-zhbm/">Data Movement 시대를 여는 차세대 메모리 zHBM</a> first appeared on <a href="https://news.samsungsemiconductor.com/kr">삼성전자 반도체 뉴스룸</a>.</p>]]></description>
																<content:encoded><![CDATA[<p><a href="https://bit.ly/4za1yf9" target="_blank" rel="noopener">지난 기사</a>에서는 HBM이 AI Chip에 필요한 데이터를 공급하며 발전해 온 과정을 살펴봤다. 최근에는 추론과 리즈닝, 긴 문맥 처리와 여러 작업을 연속으로 수행하는 에이전틱 AI가 확대되면서, AI가 읽고 처리해야 할 데이터도 늘어나고 있다. 생성하는 토큰과 KV 캐시가 증가할수록 메모리의 데이터 공급 부담도 커진다.</p>



<p>이에 AI 시스템에서는 연산 성능과 함께, 필요한 데이터를 얼마나 빠르고 효율적으로 전달하는지, 즉 데이터 이동(Data Movement)의 효율이 더욱 중요해지고 있다. 대역폭을 높이면서도 전송에 필요한 에너지와 발열을 함께 관리해야 하는 것이다.</p>



<p>삼성전자가 개발 중인 zHBM은 이러한 요구에 대응하는 차세대 AI 메모리 아키텍처이다. 기존 HBM이 AI Chip 옆에 배치되는 구조에서 나아가, 메모리를 연산 장치 위에 직접 적층한다. 이러한 3D 집적과 분산형 입출력 구조(Distributed I/O)를 통해 짧고 촘촘한 연결을 구현하며, 높은 대역폭과 에너지 효율을 함께 추구한다.</p>


<div class="wp-block-image">
<figure class="aligncenter size-large"><img fetchpriority="high" decoding="async" width="1024" height="576" src="https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/KR_2026-hbm4e-zhbm-pc-1024x576.jpg" alt="" class="wp-image-37881" srcset="https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/KR_2026-hbm4e-zhbm-pc-1024x576.jpg 1024w, https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/KR_2026-hbm4e-zhbm-pc-890x501.jpg 890w, https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/KR_2026-hbm4e-zhbm-pc-768x432.jpg 768w, https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/KR_2026-hbm4e-zhbm-pc-1536x864.jpg 1536w, https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/KR_2026-hbm4e-zhbm-pc.jpg 1600w" sizes="(max-width: 1024px) 100vw, 1024px" /><figcaption class="wp-element-caption">zHBM의 다양한 형태</figcaption></figure></div>


<p class="has-text-color has-link-color wp-elements-28090c087dfccd37425fdb89070c1102" style="color:#2d3293"></p>



<p class="has-text-color has-link-color has-medium-font-size wp-elements-d5c4d87bc90d7702bcd24d676a091f36" style="color:#2d3293"><strong>고밀도 수직 연결로 확대하는 대역폭</strong></p>



<p>zHBM의 핵심 기술은 메모리와 연산 장치 사이의 연결 밀도를 높이는 데 있다.</p>



<p>웨이퍼 단위로 적층하는 웨이퍼 온 웨이퍼(Wafer-on-Wafer) 방식과 구리 접합 기술인 하이브리드 카퍼 본딩(Hybrid Copper Bonding, HCB)을 결합하면, 미세한 간격으로 구리와 구리를 직접 연결할 수 있다. TSV(Through Silicon Via, 실리콘 관통 전극)의 크기와 간격을 줄이는 설계는 제한된 면적에 더 많은 수직 연결을 배치할 수 있도록 한다.</p>


<div class="wp-block-image">
<figure class="aligncenter size-full"><img decoding="async" width="800" height="159" src="https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/Screenshot_3.png" alt="" class="wp-image-37885" srcset="https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/Screenshot_3.png 800w, https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/Screenshot_3-768x153.png 768w" sizes="(max-width: 800px) 100vw, 800px" /><figcaption class="wp-element-caption">WoW, HCB 구조</figcaption></figure></div>


<p>이러한 고밀도 연결은 분산형 입출력 구조 기반 설계와 함께 데이터 전송의 병렬성을 높이는 기반이 된다. 더 많은 데이터를 동시에 전달할 수 있어, 핀당 전송률을 과도하게 높이는 부담을 줄이면서 높은 메모리 대역폭을 추구할 수 있다.</p>



<p></p>



<p class="has-text-color has-link-color has-medium-font-size wp-elements-3f974dc8aa94f56c059d693f26fc463a" style="color:#2d3293"><strong>짧은 데이터 경로로 낮추는 전송 에너지</strong></p>



<p>직접 적층의 또 다른 장점은 데이터가 이동하는 경로를 단축할 수 있다는 점이다. 연결 경로가 짧아지면 신호를 전달하는 드라이버를 더 작게 설계할 수 있고, 인터페이스 회로의 부담도 줄일 수 있다.</p>



<p>삼성전자는 zHBM의 짧고 넓은 연결 구조를 통해 복잡한 회로에 대한 의존도를 낮추는 방향을 제시한다. 이를 통해 메모리 인터페이스에서 데이터를 전달하는 데 필요한 에너지를 줄이고자 한다.</p>



<p>이는 대역폭이 확대될 때 전력 부담이 함께 커지는 문제를 완화하는 데 의미가 있다. 더 많은 데이터를 공급하면서도 전송 과정의 에너지 효율을 높이는 것이 zHBM이 추구하는 방향이다.</p>



<p></p>



<p class="has-text-color has-link-color has-medium-font-size wp-elements-92454ad03e7cfbfe660eedb7faa832ab" style="color:#2d3293"><strong>직접 적층에 필요한 열 관리</strong></p>



<p>메모리와 AI Chip을 가까이 연결하려면 열 관리도 함께 고려해야 한다. 메모리를 AI Chip 위에 직접 적층하고 상부로 열을 배출하는 구조에서는, AI Chip에서 발생한 열이 메모리 스택을 통과해야 하기 때문이다.</p>



<p>삼성전자는 필요한 메모리 밀도와 열 성능 사이의 균형을 고려해 스택 높이를 최적화하는 접근을 제시한다.</p>



<p>이처럼 적층 높이와 내부 구조를 함께 설계하는 것은 zHBM의 성능을 안정적으로 구현하기 위한 중요한 조건이다. 연결을 고밀도화하는 기술과 열이 빠져나가는 경로를 고려하는 시스템 통합 설계가 핵심이다.</p>



<p></p>



<p class="has-text-color has-link-color has-medium-font-size wp-elements-2aeb8cd56505fc1d0fbbe6d63f8a42cd" style="color:#2d3293"><strong>AI Chip의 요구에 맞추는 메모리 공동 설계</strong></p>



<p>zHBM은 AI Chip과 물리적으로 긴밀하게 연결되므로, 개발 초기부터 두 요소를 함께 설계하는 것이 중요하다.</p>



<p>AI Chip마다 목표 성능과 전력, 발열 특성, 물리적 크기가 다르다. 이에 따라 필요한 메모리 용량과 대역폭은 물론, 연결부의 배치와 적층 구조도 달라질 수 있다. 메모리의 사양을 독립적으로 정한 뒤 연결하는 방식만으로는 이러한 조건을 충분히 최적화하기 어렵다.</p>



<p>따라서 zHBM에서는 메모리와 AI Chip의 공동 설계(Co-design)와 시스템 요구에 맞춘 공동 최적화(Co-optimization)가 중요해진다. 초기 단계부터 데이터 연결, 전력 공급, 적층과 열 관리를 함께 검토해야 각 파트너의 아키텍처에 적합한 솔루션을 구현할 수 있다.</p>



<p></p>



<p class="has-text-color has-link-color has-medium-font-size wp-elements-62b09ecea7a8efd4cb1af6df51d3c3e1" style="color:#2d3293"><strong>통합 기술 역량을 바탕으로 한 개방형 협력</strong></p>



<p>이러한 공동 설계에는 여러 기술 영역을 함께 이해하고 조율하는 역량이 필요하다. 삼성전자는 세계에서 유일하게 메모리부터 첨단 패키징을 아우르는 IDM(Integrated Device Manufacturer) 반도체 회사로서 통합적인 기술 기반을 갖추고 있다.</p>



<p>메모리 기술은 데이터를 저장하고 공급하는 구조를, 로직 설계와 파운드리 공정은 인터페이스 구현을, 첨단 패키징은 미세한 수직 연결과 적층 구조를 뒷받침한다. 이들 기술을 연계해 검토할 수 있다는 점은 zHBM을 시스템 요구에 맞춰 개발하는 중요한 기반이 된다.</p>



<p>삼성전자는 이러한 역량을 바탕으로 고객의 AI Chip 아키텍처와 성능·전력·열 조건에 맞춘 zHBM 공동 개발을 지향한다. 이는 메모리와 연산 장치의 연결이 실제 AI 시스템에서 효율적으로 작동하도록 고객과 함께 최적화하는 접근이다.</p>



<p>AI가 더 복잡한 작업을 수행할수록 메모리와 연산 장치 사이의 협력도 긴밀해져야 한다. 삼성전자는 zHBM을 통해 데이터 이동의 효율을 높이고, 고객 및 파트너와의 공동 설계를 바탕으로 차세대 AI 시스템에 필요한 메모리 솔루션을 구체화해 나갈 것이다.</p>



<p></p>



<p><em>※ 본 기사는 삼성전자 반도체 공식 웹사이트 <a href="https://semiconductor.samsung.com/kr/news-events/tech-blog/part-2-zhbm-next-generation-memory-for-the-data-movement-era/" target="_blank" rel="noopener">테크블로그</a> 콘텐츠를 전재하였습니다.</em></p>



<hr class="wp-block-separator has-alpha-channel-opacity"/>



<p class="has-cyan-bluish-gray-color has-text-color has-link-color has-small-font-size wp-elements-6bfb1bc952b14bce5932e849ce5d0734">* 본 페이지의 내용은 정보 제공만을 목적으로 합니다. 삼성 및 그 임원, 자문인, 대리인 또는 직원은 본 페이지에 포함된 정보, 진술, 의견 또는 기타 내용의 정확성, 합리성 또는 완전성에 대하여 명시적 또는 묵시적으로 어떠한 진술이나 보증도 하지 않으며, 해당 내용은 “있는 그대로(AS IS)” 제공됩니다.<br>* 삼성은 본 블로그 내용의 사용으로 인해 발생하거나 이와 관련하여 발생하는 어떠한 손해에 대해서도 책임을 지지 않습니다. 본 블로그의 어떠한 내용도 본 문서에 제공된 정보, 자료 또는 콘텐츠나 기타 지식재산에 대한 라이선스 또는 권리를 부여하는 것으로 해석되지 않습니다.</p><p>The post <a href="https://news.samsungsemiconductor.com/kr/data-movement-%ec%8b%9c%eb%8c%80%eb%a5%bc-%ec%97%ac%eb%8a%94-%ec%b0%a8%ec%84%b8%eb%8c%80-%eb%a9%94%eb%aa%a8%eb%a6%ac-zhbm/">Data Movement 시대를 여는 차세대 메모리 zHBM</a> first appeared on <a href="https://news.samsungsemiconductor.com/kr">삼성전자 반도체 뉴스룸</a>.</p>]]></content:encoded>
																				</item>
					<item>
				<title>인공지능의 발전과 AI Chip, 이를 뒷받침하는 HBM</title>
				<link>https://news.samsungsemiconductor.com/kr/%ec%9d%b8%ea%b3%b5%ec%a7%80%eb%8a%a5%ec%9d%98-%eb%b0%9c%ec%a0%84%ea%b3%bc-ai-chip-%ec%9d%b4%eb%a5%bc-%eb%92%b7%eb%b0%9b%ec%b9%a8%ed%95%98%eb%8a%94-hbm/?utm_source=rss&amp;utm_medium=direct</link>
				<pubDate>Wed, 28 Oct 2026 09:00:02 +0000</pubDate>
				<dc:creator><![CDATA[삼성전자 반도체]]></dc:creator>
						<category><![CDATA[기술]]></category>
		<category><![CDATA[반도체+]]></category>
		<category><![CDATA[AI]]></category>
		<category><![CDATA[AIChip]]></category>
		<category><![CDATA[ASIC]]></category>
		<category><![CDATA[CPU]]></category>
		<category><![CDATA[GPU]]></category>
		<category><![CDATA[HBM]]></category>
		<category><![CDATA[MemoryWall]]></category>
		<category><![CDATA[Workload]]></category>
		<category><![CDATA[zHBM]]></category>
									<description><![CDATA[<p>AI가 긴 문서를 이해하고 복잡한 질문에 답하며 여러 작업을 수행함에 따라, 이를 구현하는 반도체에도 다양한 요구가 더해지고 있다. 대규모 모델을 학습시키는 연산 능력은 물론, 사용자의 요청에 빠르게 응답하고 제한된 전력 안에서 서비스를 운영하는 효율 또한 중요해지고 있다....</p>
<p>The post <a href="https://news.samsungsemiconductor.com/kr/%ec%9d%b8%ea%b3%b5%ec%a7%80%eb%8a%a5%ec%9d%98-%eb%b0%9c%ec%a0%84%ea%b3%bc-ai-chip-%ec%9d%b4%eb%a5%bc-%eb%92%b7%eb%b0%9b%ec%b9%a8%ed%95%98%eb%8a%94-hbm/">인공지능의 발전과 AI Chip, 이를 뒷받침하는 HBM</a> first appeared on <a href="https://news.samsungsemiconductor.com/kr">삼성전자 반도체 뉴스룸</a>.</p>]]></description>
																<content:encoded><![CDATA[<p>AI가 긴 문서를 이해하고 복잡한 질문에 답하며 여러 작업을 수행함에 따라, 이를 구현하는 반도체에도 다양한 요구가 더해지고 있다. 대규모 모델을 학습시키는 연산 능력은 물론, 사용자의 요청에 빠르게 응답하고 제한된 전력 안에서 서비스를 운영하는 효율 또한 중요해지고 있다.</p>



<p>이러한 변화는 AI 반도체에 데이터를 공급하는 메모리의 발전으로 이어진다. 연산 장치가 높은 성능을 갖추더라도 필요한 데이터를 제때 전달받지 못하면 그 능력을 충분히 활용하기 어렵기 때문이다. 따라서 더 많은 데이터를 저장하고 원활하게 공급하면서, 데이터 이동에 필요한 에너지를 줄이는 것이 AI 시스템의 중요한 과제로 떠오르고 있다.</p>



<p>이번 시리즈에서는 이러한 배경을 바탕으로 HBM이 AI 시스템에서 수행하는 역할과 앞으로의 발전 방향, 그리고 이에 대응하는 삼성전자의 차세대 메모리 솔루션을 살펴본다. 1편에서는 HBM의 등장 배경과 발전 과정을, 2편에서는 zHBM의 기술적 장점과 이를 뒷받침하는 삼성전자의 통합 역량을 소개한다.<strong></strong></p>



<p></p>



<h2 class="wp-block-heading"><strong>개별 칩에서 시스템 전체로 진화하는 AI 반도체</strong></h2>



<p>AI Chip은 AI 모델의 학습과 추론에 필요한 연산을 효율적으로 수행하도록 설계되거나 활용되는 반도체이다. 대표적인 AI Chip으로 GPU와 AI 전용 ASIC이 있으며, CPU는 데이터 전처리와 작업 배분, 시스템 운영 등을 담당한다.</p>



<p>GPU가 AI에 널리 활용된 이유는 그래픽 처리와 딥러닝 연산의 공통점에 있다. 화면을 구성하는 많은 픽셀을 동시에 처리하도록 발전한 GPU의 병렬 구조가, 대량의 곱셈과 덧셈을 수행하는 딥러닝의 행렬 연산에도 적합했기 때문이다.</p>



<p>다만 GPU의 효율은 워크로드에 따라 달라진다. 많은 데이터를 묶어 처리하는 학습에서는 병렬 처리 능력을 적극적으로 활용할 수 있지만, 토큰을 순차적으로 생성하는 일부 추론 작업에서는 연산 자원을 충분히 활용하기 어렵다. 특히 GPU가 동시에 처리하는 데이터 샘플의 개수가 작은 디코드 단계에서는 메모리의 데이터 공급 속도가 성능을 제한할 수 있다. </p>



<p>이러한 요구에 대응해 특정 연산에 하드웨어를 최적화한 AI 전용 ASIC도 활용되고 있다. ASIC은 목표 워크로드의 처리 효율과 전력 효율을 높이는 데 초점을 맞추며, 실제 이점은 모델과 시스템 구성에 따라 달라진다.</p>



<figure class="wp-block-image size-large"><img decoding="async" width="1024" height="450" src="https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/table-1024x450.png" alt="" class="wp-image-37875" srcset="https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/table-1024x450.png 1024w, https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/table-890x391.png 890w, https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/table-768x337.png 768w, https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/table-1536x675.png 1536w, https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/table.png 1819w" sizes="(max-width: 1024px) 100vw, 1024px" /><figcaption class="wp-element-caption">CPU·GPU·ASIC의 주요 특성과 역할 비교</figcaption></figure>



<p>AI용 GPU 역시 행렬 연산 전용 유닛과 다양한 수치 정밀도 지원을 강화하며 발전하고 있다. 성능을 높이는 접근도 개별 칩을 넘어 GPU·CPU·메모리·고속 연결망과 전력·냉각을 함께 고려하는 랙 규모(Rack-scale)의 통합 설계로 확대되고 있다. 여기에 소프트웨어를 결합해 시스템 전체의 자원 활용과 데이터 흐름을 최적화한다.</p>



<p>이러한 시스템에서 가속기의 연산 능력을 충분히 활용하려면 필요한 데이터를 제때 공급해야 한다. AI Chip의 발전과 함께 메모리의 역할이 중요해지는 이유이다.</p>



<p></p>



<h2 class="wp-block-heading"><strong>연산 장치가 데이터를 기다리는 이유</strong></h2>



<p>AI 연산에는 모델 가중치와 실행 과정에서 생성되는 데이터가 필요하다. 연산 장치의 처리 능력에 비해 메모리의 데이터 공급 능력이 부족하면, 계산을 수행하는 대신 데이터가 도착하기를 기다리는 시간이 늘어난다. 이러한 성능 격차에서 발생하는 병목을 설명하는 개념이 메모리 월(Memory Wall)이다.</p>



<p>대규모 언어 모델의 추론에서도 이러한 특성을 확인할 수 있다. 입력을 처리하는 프리필(Prefill) 단계와 토큰을 순차적으로 생성하는 디코드(Decode) 단계는 서로 다른 연산 특성을 갖는다. 특히 여러 요청을 한꺼번에 처리하는 배치의 크기가 작은 디코드에서는 모델 가중치와 KV 캐시를 읽어오는 속도가 응답 시간에 큰 영향을 줄 수 있다.</p>



<p>KV 캐시는 이전 토큰에서 계산한 키(Key)와 값(Value)을 저장해 다음 토큰 생성에 재사용하는 메모리 공간이다. 긴 문맥을 처리하거나 동시 요청이 늘어나면 이러한 데이터를 저장하고 공급하는 부담도 커질 수 있다.</p>



<p>이때 중요한 것이 메모리의 대역폭과 용량이다. 대역폭은 일정 시간에 전달할 수 있는 데이터의 양을, 용량은 저장할 수 있는 데이터의 양을 의미한다.</p>



<p>연산 장치를 공장에, 메모리를 인접한 창고에 비유하면 이해하기 쉽다. 대역폭은 창고에서 공장으로 향하는 도로의 운송 능력에 해당한다. 차선이 넓어지면 더 많은 화물을 동시에 보낼 수 있다. 용량은 창고에 보관할 수 있는 물량이다. 창고가 충분히 크면 필요한 화물을 가까이에 확보해 다른 창고에서 가져오는 부담을 줄일 수 있다.<strong></strong></p>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="1024" height="733" src="https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/D-1024x733.jpg" alt="" class="wp-image-37867" srcset="https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/D-1024x733.jpg 1024w, https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/D-828x593.jpg 828w, https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/D-768x550.jpg 768w, https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/D.jpg 1380w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /><figcaption class="wp-element-caption">메모리 대역폭과 용량 개념</figcaption></figure>



<p>AI 시스템에서도 가까운 메모리에 작업 데이터를 충분히 유지하면서, 이를 연산 장치에 원활하게 공급할 수 있어야 한다.</p>



<p></p>



<h2 class="wp-block-heading"><strong>더 넓은 데이터 통로를 위한 HBM의 등장</strong></h2>



<p>그래픽용 GPU는 높은 대역폭을 확보하기 위해 GDDR을 널리 사용해 왔다. GDDR은 일반적인 메모리인 DDR보다 높은 핀당 데이터 전송률을 제공하도록 설계되어, 초기 GPU 기반 AI 연산에서도 많은 데이터를 공급하는 데 유리했다.</p>



<p>그러나 AI 모델이 커지면서 대역폭과 용량을 함께 확장해야 하는 부담도 증가했다. GDDR은 GPU 주변의 보드에 배치되므로 메모리 칩을 추가하려면 공간과 배선을 확보해야 한다. 핀당 전송률을 높이는 방법 역시 전력 소모와 발열, 신호 품질을 함께 고려해야 한다. GDDR은 계속 발전하고 있지만, 제한된 공간과 전력 안에서 더 많은 데이터를 처리하려면 다른 접근이 필요했다.</p>



<p>HBM은 수직 적층과 넓은 입출력 인터페이스를 결합해 이러한 요구에 대응한다. 여러 DRAM 다이를 쌓고, 실리콘 관통 전극인 TSV(Through Silicon Via)로 연결해 많은 데이터를 병렬로 주고받는 구조를 구현한다. 주요 장점은 다음과 같다.</p>



<p><strong>1. </strong><strong>넓은 입출력 인터페이스를 통한 높은 대역폭</strong></p>



<p>HBM은 핀당 전송률을 높이는 데만 의존하지 않고, 많은 입출력 통로로 데이터를 동시에 전달한다. GDDR보다 낮은 핀당 전송률로도 높은 전체 대역폭을 확보할 수 있어, 연산 장치에 대량의 데이터를 공급하는 데 유리하다.</p>



<p><strong>2. </strong><strong>수직 적층을 통한 높은 저장 밀도</strong></p>



<p>DRAM 다이를 수직으로 쌓아 제한된 바닥 면적에 더 많은 용량을 구현한다. 모델 가중치와 KV 캐시를 가속기에 인접한 HBM에 충분히 저장하면, 상대적으로 느린 다른 메모리 계층에서 데이터를 가져오는 부담과 그에 따른 지연을 줄일 수 있다.</p>



<p><strong>3. </strong><strong>짧은 연결 경로를 통한 전력 효율 향상</strong></p>



<p>HBM은 인터포저와 같은 고밀도 연결 기술을 통해 AI Chip에 가까이 배치된다. 짧은 데이터 경로는 전송에 필요한 에너지와 신호 손실을 줄이는 데 유리하다. 여기에 넓은 병렬 인터페이스를 결합해, 핀당 전송률을 과도하게 높이지 않고도 높은 대역폭을 구현한다.</p>



<p><strong>4. </strong><strong>작은 면적을 활용한 고밀도 패키징</strong></p>



<p>수직 적층은 여러 메모리 칩을 보드에 나란히 배치할 때보다 점유 면적을 줄이는 데 유리하다. 이를 인터포저 기반의 2.5D 패키징과 결합하면, AI Chip과 여러 HBM 스택을 하나의 패키지 안에 인접 배치할 수 있다. 이는 공간을 효율적으로 활용하면서 많은 입출력 신호를 촘촘하게 연결하는 방식이다.</p>



<p>이처럼 HBM은 대역폭과 용량뿐 아니라 전력과 공간 효율을 함께 고려한 메모리이다. 이러한 특성을 바탕으로 GPU와 AI 전용 ASIC 등 고성능 AI Chip의 핵심 메모리로 자리 잡았다.</p>



<p></p>



<h2 class="wp-block-heading"><strong>AI의 요구와 함께 발전하는 HBM</strong></h2>



<p>HBM은 세대를 거듭하며 대역폭과 용량을 꾸준히 높여왔다. 그 덕분에 더 큰 모델과 긴 문맥을 처리할 수 있게 됐지만, 저장하고 이동해야 할 데이터도 함께 늘어나고 있다. 특히 추론과 논리적 사고 과정을 강화하는 리즈닝(Reasoning)이 확대되면서, 모델 가중치와 KV 캐시를 읽고 전달하는 부담이 커지고 있다. 메모리 성능이 향상돼도 AI의 새로운 요구에 따라 병목이 다시 나타나는 이유이다. </p>



<p>이에 HBM은 새로운 세대의 개발과 기존 세대의 성능 개선을 병행하며, 대역폭과 용량을 늘리는 동시에 선단 공정을 통해 에너지 효율을 높이는 방향으로 발전하고 있다. 제품 내부 TSV 수를 늘려 대역폭을 높이고, 8H, 12H, 16H로 Stack 수를 증가시키거나 내부 DRAM 다이 자체의 용량을 늘리는 방법으로 패키지당 용량을 확대하고 있다. 나아가 최선단 DRAM 공정을 적용하고 선단 Logic 공정을 적용한 Base Die를 사용하여 전력 효율을 높이고 있다.</p>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="1024" height="734" src="https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/DS-1024x734.jpg" alt="" class="wp-image-37868" srcset="https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/DS-1024x734.jpg 1024w, https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/DS-827x593.jpg 827w, https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/DS-768x550.jpg 768w, https://news.samsungsemiconductor.com/kr/wp-content/uploads/2026/10/DS.jpg 1380w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /><figcaption class="wp-element-caption">HBM의 진화</figcaption></figure>



<p></p>



<h2 class="wp-block-heading"><strong>HBM의 다음 과제는 연결의 효율</strong></h2>



<p>데이터 이동의 효율을 높이는 접근 중 하나는 메모리와 연산 장치 사이의 거리를 줄이는 것이다. 더 짧은 경로로 많은 데이터를 전달할 수 있다면, 높은 대역폭을 확보하면서 데이터 전송에 필요한 에너지도 줄일 수 있다.</p>



<p>삼성전자가 개발 중인 zHBM은 이러한 방향을 구현하는 차세대 메모리 솔루션이다. GPU나 AI 전용 ASIC 같은 연산 장치와 메모리를 직접 수직으로 적층해 데이터 이동 경로를 줄이고, 촘촘한 병렬 연결로 데이터 통로를 넓힌다. 직접 적층에 따른 열 관리까지 함께 고려해, 메모리와 연산 장치 사이의 데이터 이동을 시스템 차원에서 최적화하는 접근이다.</p>



<p>이어지는 2편에서는 데이터 이동의 효율을 높이는 차세대 메모리 zHBM의 고밀도 수직 연결과 에너지 효율, 열 관리 기술을 살펴본다. 또한 삼성전자가 메모리부터 첨단 패키징까지 아우르는 통합 역량을 바탕으로, 고객 및 파트너와의 개방형 협력과 공동 설계를 통해 AI 시스템에 최적화된 솔루션을 구현해 나가는 방향을 소개한다.</p>



<p></p>



<p><em>※ 본 기사는 삼성전자 반도체 공식 웹사이트 <a href="https://semiconductor.samsung.com/kr/news-events/tech-blog/part-1-the-evolution-of-ai-and-ai-chips-and-the-hbm-that-powers-them/" target="_blank" rel="noopener">테크블로그</a> 콘텐츠를 전재하였습니다.</em></p>



<hr class="wp-block-separator has-alpha-channel-opacity"/>



<p class="has-cyan-bluish-gray-color has-text-color has-link-color has-small-font-size wp-elements-6448873af722edb3aee6ff169150fa42">* 본 페이지의 내용은 정보 제공만을 목적으로 합니다. 삼성 및 그 임원, 자문인, 대리인 또는 직원은 본 페이지에 포함된 정보, 진술, 의견 또는 기타 내용의 정확성, 합리성 또는 완전성에 대하여 명시적 또는 묵시적으로 어떠한 진술이나 보증도 하지 않으며, 해당 내용은 &#8220;있는 그대로(AS IS)&#8221; 제공됩니다.<br>* 삼성은 본 블로그 내용의 사용으로 인해 발생하거나 이와 관련하여 발생하는 어떠한 손해에 대해서도 책임을 지지 않습니다. 본 블로그의 어떠한 내용도 본 문서에 제공된 정보, 자료 또는 콘텐츠나 기타 지식재산에 대한 라이선스 또는 권리를 부여하는 것으로 해석되지 않습니다.</p>



<p></p><p>The post <a href="https://news.samsungsemiconductor.com/kr/%ec%9d%b8%ea%b3%b5%ec%a7%80%eb%8a%a5%ec%9d%98-%eb%b0%9c%ec%a0%84%ea%b3%bc-ai-chip-%ec%9d%b4%eb%a5%bc-%eb%92%b7%eb%b0%9b%ec%b9%a8%ed%95%98%eb%8a%94-hbm/">인공지능의 발전과 AI Chip, 이를 뒷받침하는 HBM</a> first appeared on <a href="https://news.samsungsemiconductor.com/kr">삼성전자 반도체 뉴스룸</a>.</p>]]></content:encoded>
																				</item>
			</channel>
</rss>