어떤 질문이든 척척 답을 내어주는 ‘챗GPT’처럼, 삼성전자 반도체 뉴스룸은 ‘반도Chat’ 시리즈를 통해 어려운 반도체 용어도 단번에 쏙쏙 알기 쉽게 전하고 있다. 반도Chat 시리즈 세 번째 이야기 주제는 초거대 AI 기술 발전의 핵심인 메모리 반도체, ‘HBM’이다.

.

MAP 1. 메모리, 초거대 AI를 마주하다

초거대 AI란 딥러닝으로 대용량 데이터를 스스로 학습해 인간처럼 종합적 추론이 가능한 차세대 AI를 말한다. 챗GPT가 인간과 유사한 수준으로 질문에 적절하게 응답하는 것도 파라미터(parameter, 매개 변수)가 1,750억 개에 달하는 수많은 데이터를 학습한 언어모델이기 때문이다.

‘챗GPT’, ‘DALL·E’, ‘Bard’의 등장과 같이 AI 서비스 종류가 다양해지고 고도화될수록, 메모리 반도체가 수행해야 할 역할도 더욱 확장되고 있다. AI 서비스를 원활하게 구현하려면 대량의 데이터를 기반으로 여러 연산을 동시에 빠르게 수행하는 능력이 필요하기 때문이다.

이러한 상황에서 반도체 업계는 ‘AI 서비스와 함께 폭발적으로 증가하는 데이터를 어떻게 효율적이고, 빠르게 처리할 것인가’에 대한 해답을 찾게 된다. 차원이 다른 고성능 기술을 제공하는 AI 시대의 핵심 반도체, ‘HBM’이 바로 그것이다.

.

MAP 2. HBM이란 무엇인가

HBM(High Bandwidth Memory)은 이름 그대로 넓은 대역폭을 지닌 메모리를 뜻한다. 여기서 ‘대역폭’이란 주어진 시간 내에 데이터를 전송하는 속도나 처리량, 즉 데이터 운반 능력을 의미한다. HBM은 현재 메모리 시장에서 가장 넓은 대역폭을 지닌 메모리 반도체인데, 간단히 이야기하면 메모리 중 데이터를 가장 빠르게 처리하고 전송할 수 있다는 것이다. 이로써 HBM은 응용처의 성능과 전력 효율 향상에 기여할 수 있게 된다.

.

MAP 3. 처리 속도, 전력 효율 모두 잡은 HBM 속 숨은 기술

주로 게임이나 그래픽 작업과 같은 고성능 그래픽 분야에 활용되는 GDDR은 비교적 낮은 비용으로 높은 성능과 용량을 제공할 수 있다. 한편, HBM은 GDDR 대비 상대적으로 제조 과정이 복잡하고 비용이 높을 수 있지만, 더 높은 에너지 효율을 기반으로 HPC·AI 응용 수준의 높은 대역폭을 제공할 수 있다.

이는 HBM에 TSV(Through Silicon Via)라는 기술이 적용됐기 때문이다. TSV는 메모리 칩을 수직으로 쌓고, 적층된 칩 사이에 얇은 금속 터널을 만들어 전기적 신호가 칩 간 직접 전달되게 하는 패키징 기술이다. 이로써 데이터 전송 속도의 지연을 최소화하고, 적은 전력으로 많은 양의 데이터를 처리할 수 있게 된다. 한편, HBM에는 CoW(Chip on Wafer)  기술과 TCB(Thermal Compression Bonding) 기술도 적용되었다. CoW는 이름 그대로 웨이퍼 위에 칩을 붙이는 기술을 의미하며, TCB는 TSV가 적용된 얇은 칩이 전기적으로 연결될 수 있게 정밀하게 쌓아 올리는 패키징 기술을 말한다.

.

MAP 4. 초거대 AI 시대 속, 기술 발전의 씨앗이 될 메모리 반도체

삼성전자 반도체는 2016년에 업계 최초로 HPC 향 HBM 사업화를 시작하며, AI 메모리 시장을 개척해 왔다. 이를 이어, 2017년 업계 최초로 8단 적층 HBM2를 상용화하며, 당시 가장 빠른 메모리인 GDDR5 대비 8배 빠른 속도를 제공했다. 이후 HBM2E, HBM3를 개발했고, 2023년 10월에는 ‘HBM3E 샤인볼트’를 공개하기에 이르렀다.

HBM3E D램 ‘샤인볼트’는 데이터 입출력 핀 1개당 최대 9.8Gbps의 고성능을 제공하는데, 이는 현재 존재하는 메모리 반도체 중 가장 빠른 수준이다. 1초에 최대 1.2TB(테라바이트) 이상의 데이터를 처리할 수 있음을 의미하며, 더 쉽게 예를 들면 30GB 용량의 UHD 영화 40편을 1초 만에 처리하는 것과 같다.

.

MAP 5. 메모리의 무한한 가능성을 위한 차세대 기술

삼성전자 반도체는 웨이퍼를 제조하고 회로를 만드는 전공정뿐 아니라, 완성된 칩에 데이터 이동과 전기 전달을 가능하게 하고, 외부 환경으로부터 보호하는 패키징 공정도 지속 개발 중이다. 현세대 제품에서 칩 적층 시 적용 중인 NCF(Non-conductive Film, 비전도성 접착 필름)와 차세대 제품 적용을 목표로 개발 중인 HCB(Hybrid Copper Bonding, 하이브리드 접합) 기술이 바로 그것이다.

NCF는 적층된 칩 사이를 절연시키고 충격으로부터 연결 부위를 보호하기 위해 사용하는 고분자 물질이다. NCF를 활용하면 열전도를 극대화하고 열 특성을 개선할 수 있다. 한편 HCB 기술은 칩을 접합할 때 ‘범프’라는 매개체를 없애고, 각 칩 표면에 드러난 구리를 직접 연결한다. 이로써 범프를 사용할 때보다 칩 적층 시 안정성을 향상하고, 열성능을 최적화할 수 있을 것으로 기대된다.

머지않은 미래에는 AI에 특화된 기술과 제품이 시장을 주도할 중요한 역할을 할 것이다. 최근 HBM3E D램 ‘샤인볼트’를 공개한 삼성전자 반도체는 앞으로도 최고 성능의 HBM을 제공하고, 고객 맞춤형 HBM 제품까지 확장하여 AI 시대에 최상의 솔루션을 제공할 계획이다.

AI 서비스의 가능성을 확장할 메모리 반도체, ‘HBM’에 대해 보다 자세하게 알고 싶다면 삼반뉴스 ‘AI 반도체’ 편을 참고하길 바란다.

The post [반도Chat Ep.3] 초거대 AI 시대를 이끌 메모리 반도체 ‘HBM’ first appeared on 삼성전자 반도체 뉴스룸.

삼성전자가 7일 경기도 수원시 수원컨벤션센터에서 ‘삼성 AI 포럼 2023’을 개최했다.

‘삼성 AI 포럼’은 인공 지능(Artificial Intelligence, 이하 AI)·컴퓨터 공학(Computer Engineering, 이하 CE) 분야 세계적인 석학과 전문가들이 모여 최신 연구 동향을 공유하고 미래 혁신 전략을 모색하는 기술 교류의 장이다.

삼성전자 경계현 대표이사 사장은 온라인 개회사를 통해 “생성형 AI 기술이 인류가 직면한 다양한 문제를 해결할 수 있는 혁신적인 수단으로 급부상하며, 기술의 안전과 신뢰, 지속가능성에 대한 더 심도 깊은 연구의 필요성이 제기되고 있다”며 “학계와 산업계 최고 전문가들이 모인 이번 포럼이, AI와 반도체 기술을 통해 인류의 더 나은 미래를 만들어 가는 방법을 논의하는 의미 있는 자리가 되길 바란다”고 말했다.

.

☐ 세계적 석학·전문가 강연…‘안전하고 혁신적인’ AI 연구 방향 제시

AI·CE 분야 세계적인 석학과 전문가, 학생 등 총 1,000여 명이 참석한 가운데 진행된 제7회 ‘삼성 AI 포럼’은 ‘더 나은 내일을 위한 초거대 AI(Large-scale AI for a Better Tomorrow)’를 주제로, 차세대 반도체 연구 역량 강화를 위한 AI·CE 기술 연구 성과와 향후 발전 방향을 논의했다.

AI 분야 세계적 석학 중 한 명인 캐나다 몬트리올 대학교 요슈아 벤지오(Yoshua Bengio) 교수는 ‘안전한 AI 연구자 시스템을 향해(Towards a safe AI scientist system)’를 주제로 온라인 기조 강연을 진행했다.

그는 대규모 언어 모델(LLM)을 기반으로 발전하는 AI 기술의 결과가 연구자들의 개발 의도가 일치하지 않는 것을 방지할 수 있는 안전한 AI 기계학습 알고리즘을 소개했다.

* LLM(Large Language Model, 대규모 언어 모델): 방대한 양의 텍스트 데이터로 학습해 자연어를 이해하고 생성하는 능력이 뛰어난 언어 모델

또한, 캐나다 AI 반도체 스타트업 텐스토렌트(Tenstorrent) CEO 짐 켈러(Jim Keller)는 ‘자신만의 실리콘을 소유하라(Own Your Silicon)’를 주제로 오프라인 기조 강연을 진행하며, 차세대 반도체 설계 혁신을 통한 AI 기술 한계 극복 방안을 제시했다.

특히, 그는 개방형 하드웨어 설계자산(RISC-V, 리스크 파이브) 기반 하드웨어 구조 설계 혁신을 통한 차세대 AI의 새로운 가능성을 강조했다.  

.

☐ 삼성전자 SAIT 연구진, 대규모 언어 모델(LLM) 기반 반도체 미래 조망

삼성전자 SAIT(구 종합기술원)는 ▲LLM과 산업용 AI의 변화(LLM and Transformation of AI for Industry) ▲LLM과 시뮬레이션을 위한 초거대 컴퓨팅(Large-scale Computing for LLM and Simulation)’을 주제로 AI·CE 분야 세부 세션을 각각 진행했다.

각 세션에서는 세계적 석학과 전문가뿐 아니라, 삼성전자 SAIT AI연구센터와 시스템 연구센터의 연구 리더들도 강연을 진행했다.  

삼성전자 SAIT 연구 리더들은 AI 분야에서 반도체 개발 전반에 걸친 LLM 등 AI 활용 계획과 이를 통해 반도체의 미래 변화를 조망했고, CE 분야에서는 AI를 활용한 공정 시뮬레이션 등 미래 컴퓨팅 발전 가능성을 논의했다.

.

☐ ‘삼성 AI 연구자상’·‘삼성 AI·CE 챌린지’ 수상자 발표

삼성전자 SAIT는 이날 AI 분야 글로벌 우수 신진 연구자를 발굴하는 ‘삼성 AI 연구자상(Samsung AI Researcher of the Year)’과 국내 AI 인력 육성을 위해 진행한 ‘삼성 AI·CE 챌린지’ 수상자도 발표했다.

‘삼성 AI 연구자상’에는 미국 프린스턴 대학교 제이슨 리(Jason Lee) 교수 등 5명이 선정됐다.

제이슨 리 교수는 딥러닝, 강화학습, 최적화 등 AI분야 이론 및 응용 연구에 집중하고 있으며, 해당 분야에서 우수 논문을 다수 게재해 전세계 AI 연구 발전에 기여한 점이 높은 평가를 받았다.

1,481명(410개 팀)의 학생들이 참여한 ‘삼성 AI·CE 챌린지’에서는 총 16개 팀이 수상했다.

AI 분야에서 최우수상을 수상한 서울대학교 데이터사이언스대학원 박건도 학생은 “AI를 실제 적용하는 과정에서 발생할 수 있는 문제에 대해 깊이 있게 생각할 수 있는 좋은 기회였다”라며 “대회 기간 동안 많이 고민하고, 치열하게 공부하며 또 한차례 연구에 대한 시야를 넓힐 수 있는 계기가 되었다”라고 수상 소감을 전했다.

이외에도 삼성전자 SAIT는 이날 행사를 통해 ▲우수 논문 포스터 발표 ▲AI·CE 분야 연구 과제 전시 ▲연구자 간 네트워킹 행사 등 AI 분야 연구 활성화를 위한 다양한 프로그램을 진행했다.

‘삼성 AI 포럼 2023’ 1일차 영상은 16일부터 삼성전자 유튜브 채널(https://www.youtube.com/@Samsung)에서 다시 볼 수 있다.

한편, 삼성전자는 8일 서울R&D캠퍼스에서 삼성리서치 주관으로 ‘삼성 AI 포럼’ 2일차 행사(비공개)를 진행한다.

삼성전자는 이 자리에서 업계와 학계 AI전문가들과 함께 생성형 AI 기술의 발전 방향에 대해 논의하고 관련 기술 동향을 공유할 예정이다.

.

The post 삼성전자, 제7회 ‘삼성 AI 포럼’ 개최 first appeared on 삼성전자 반도체 뉴스룸.