[Behind the CHIP] 인간 두뇌의 ‘전성비’를 따라잡아라! 뉴로모픽 반도체의 도래
도발적인 질문과 함께 시작해 보겠다. ‘당신은 얼마나 똑똑한가?’
아마 선뜻 답변이 어려울 것이다. 이런 부류의 질문은 최대한 객관적으로 답변하려 해도 그 기준이나 비교 대상이 없다는 점에서 곤란한 질문이라 할 수 있다.
앞선 질문에 객관적인 비교 지표를 추가해 보자. 당신은 ‘컴퓨터에 비해’ 얼마나 똑똑한가? 이제는 답변이 조금 수월하다. 컴퓨터의 ‘똑똑함’을 보여주는 대표적 지표 중 하나는 ‘플롭스(FLOPS: FLoating point Operations Per Second)’로, 1초당 몇 번의 부동소수점 연산이 가능한지를 나타낸다. 2024년 기준 가장 성능이 뛰어난 컴퓨터는 미국 오크리지 국립연구소의 ‘프론티어’로, 프론티어의 실측 성능은 1.206엑사 플롭스(EF), 즉 1초에 최대 120.6경 번 연산이 가능하다 평가받고 있다.
그렇다면 사람의 연산력은 어떨까? 과학자들에 따르면, 인간 뇌의 연산 능력은 약 ‘1엑사 플롭스’ 내외로 추정하고 있다. 앞서 설명한 현존 최강의 슈퍼컴퓨터에 비해 살짝 밀리는 수준이라 할 수 있겠다. 반도체 분야의 발전이 계속되는 이상, 인간은 연산력 기준 지구상에서 가장 똑똑한 존재가 아닐 것임은 분명하다.
.
인간과 기계의 두뇌 전성비
그런데 여기에 잊어서는 안 되는 평가 항목이 하나 더 있다. 바로 ‘전성비(전력 대비 성능 비율)’다. 우리는 흔히 스마트폰과 같은 모바일 기기의 연산 성능을 평가할 때, ‘같은 전력을 소모했을 때 나오는 컴퓨팅 파워의 정도’도 중요한 평가 지표로 삼는다. 모바일 기기는 전력 공급에 한계가 있기 때문에, 같은 작업을 해도 전력을 더 적게 소모해야 더 좋은 장비로 평가받는다.
링거를 꽂지 않는 이상 한정된 에너지원으로 활동하는 인간의 두뇌 역시, 이런 측면에선 모바일 기기와 비슷한 평가 기준을 적용해야 한다. 그렇다면 우리 두뇌의 ‘전성비’는 얼마나 될까?
놀랍게도 인간의 두뇌는 단 20W(와트)의 전력만을 소모한다. 20W면 작은 전구 하나를 밝히는 데 필요한 전력과 비슷한 수준이다. 우리는 빵 한 조각만으로도 두뇌활동을 수 시간 이상 지속할 수 있으며, 그 과정에서 엄청나게 복잡한 사고와 학습, 감정 처리, 근육-신경 제어를 비롯한 방대한 양의 정보를 처리할 수 있다. 왜 이런 차이가 발생하는 것일까?
.
인간 두뇌 구조의 핵심 키! 병렬 컴퓨팅 시스템
먼저 각 뇌의 구조적인 차이를 살펴볼 필요가 있다. 전통적인 컴퓨터는 ‘폰 노이만’ 구조를 기반으로 한다. 폰 노이만 구조에서 프로세서와 메모리는 서로 분리되어 있으며, 데이터는 연산을 수행하기 위해 메모리와 프로세서 사이를 오간다. 프로그램을 실행할 때마다 CPU는 메모리에서 데이터를 가져와 처리하고, 그 결과를 다시 메모리에 저장하는 식이다.
이 과정에서 CPU의 데이터 ‘처리’ 속도와 메모리로의 ‘이동’ 속도 사이에 차이가 발생하면 전체적인 시스템 속도가 느려지고, 데이터를 계속 잡아두고 있어야 하기에 전체적인 에너지 효율성도 떨어지게 된다. 이를 ‘폰 노이만 병목 현상’이라 부르는데, 거의 모든 현대의 컴퓨터 시스템이 처한 구조적 한계라 할 수 있다.
반면 인간의 뇌는 ‘뉴런 스파이크’를 통해 정보를 처리한다. 인간의 신경계는 수많은 뉴런과 그 뉴런을 이어주는 ‘시냅스’로 이어져 있다. 이들은 전기 신호인 ‘스파이크’를 통해 서로 통신한다. 흥미로운 건 이 스파이크는 뉴런이 일정한 자극을 받아 임계값에 도달했을 때만 발생한다는 것이다. 에너지 소비 측면에서 봤을 때, 필요한 순간에만 에너지를 방출·소비하기 때문에 상당히 효율적인 방식이라 할 수 있다.
또한 뇌는 각각의 뉴런과 시냅스가 정보를 다발적으로 주고받으며 연산-저장-학습을 동시에 수행하기 때문에 전통적인 폰 노이만 구조의 컴퓨터에 필요한 메모리가 따로 존재하지도, 필요하지도 않다. 우리 두뇌에는 이렇게 데이터 저장과 처리를 동시에 수행하는 약 860억 개의 뉴런과 100조 개 이상의 시냅스가 있다. 이들 각각은 서로 데이터를 주고받으며 엄청난 양의 정보를 거의 동시에 처리-저장-학습한다. 한마디로 우리 두뇌는 폰 노이만 구조 특유의 데이터 병목 현상이 발생하려야 발생할 수 없는, 지구 최고 ‘병렬 컴퓨팅 시스템’이라 할 수 있다.
이러한 구조적 차이가 인간 뇌의 높은 에너지 효율성과 기계 뇌의 비효율성을 설명하는 핵심 요소이다. 폰 노이만 구조에서는 연산을 위한 데이터 이동과 저장에 많은 에너지가 소모되지만, 뉴런과 시냅스 기반의 인간 뇌는 연산을 위한 데이터 이동과 저장이란 개념이 따로 구분될 필요가 없을 정도로 다발적이고 효과적인 데이터 처리 방식을 자랑한다. 기계 뇌의 구조가 변화하지 않는 이상, 인간 두뇌의 전성비를 따라잡을 가능성은 희박하다는 이야기다.
게다가 폰 노이만 기반의 ‘기계 뇌’ 진영에 더 좋지 못한 소식은 현대의 반도체 기술이 점점 한계에 다다르고 있다는 점이다. 무어의 법칙은 반도체 집적도가 일정한 속도로 증가한다는 예측을 제시했지만, 물리적인 한계로 인해 그 속도가 둔화하고 있다. 반도체에 쓰이는 거의 모든 소자가 분자 단위 이하로 작아지면서 트랜지스터의 크기를 더 작게 만드는 것은 불가능에 가까워지고 있다.
.
인간의 뇌를 닮은 반도체? 뉴로모픽 반도체의 등장
따라서 최근에는 전통적인 폰 노이만 구조 기반의 컴퓨팅 시스템 대신, 처음부터 인간의 뇌를 모방한 새로운 개념의 반도체가 주목받고 있다. 바로 ‘뉴로모픽 반도체’다. 뉴로모픽(Neuromorphic) 이라는 용어는 뉴런(neuron)과 형태(morphic)의 합성어로, 쉽게 말해 뇌의 뉴런 구조를 닮은 반도체다. 인간 뇌의 스파이킹 뉴럴 네트워크를 모방하여 데이터 저장과 처리를 동시에 수행하는 반도체를 총칭한다.
이러한 뉴로모픽 반도체의 작동 방식에는 다양한 종류가 있지만, 현재 가장 활발히 연구 중인 분야는 앞서 설명한 두뇌의 작동 구조와 가장 유사하면서, 에너지 효율적인 스파이킹 신경망(Spiking Neural Networks, 이하 SNN) 방식이라 할 수 있다.
이름만 보면 얼핏 어려워 보이지만, 사실 SNN의 작동 원리는 앞서 설명한 뇌의 뉴런 작동 원리와 큰 차이가 없다. 뉴런과 시냅스의 기능을 전자 회로로 구현한 것이기 때문이다. 뉴로모픽 반도체 속 뉴런 회로는 입력 신호를 받아 임계값에 도달하면 전기 스파이크 신호를 생성하며, 시냅스 회로는 이 신호의 강도와 전달 방식을 조절하는 방식으로 작동한다. 이렇게 되면 이벤트가 발생할 때만 연산이 이뤄지기 때문에, 기존 반도체 대비 에너지 효율성이 높아지고 발열도 줄어드는 효과도 얻을 수 있다.
이 과정에서는 동일한 위치에서 연산 과정이 이뤄지기 때문에 데이터 이동에 따른 에너지 소모와 지연(latency)이 최소화된다. 이 모든 과정은 단일한 뉴런-시냅스 회로가 아닌 병렬로 배치된 다수의 뉴런-시냅스 회로의 작동을 통해 이뤄짐으로써, 복잡한 연산도 빠르게 처리가 가능한 덕분이다. 실제 뇌의 작동 방식과 구조가 상당히 유사하다.
다만 이런 작업이 이뤄지기 위해선 넘어야 할 산이 있다. 바로 뉴런-시냅스 구조의 특성과 유사한 특정 소자의 개발과 발전이다. 뉴런-시냅스 작동 구조의 핵심은 스파이킹 신호의 강도를 구분해 각기 다른 결과값을 내보내는 동시에, 일정 시간 동안 그 과정을 기억하는 물질의 존재다. 반도체 용어로 설명하자면 전압에 따라 각기 다른 저항값을 보이는 레지스터적 특성과 데이터를 저장하는 메모리의 성격을 모두 가진 소자가 필요하다는 의미다. 따라서 반도체를 연구·개발하는 산학계에서는 메모리(Memory)와 레지스터(Resistor)를 합친 ‘멤리스터(Memristor)’의 개발과 발전에 열을 올리고 있다.
그렇다면 이러한 뉴로모픽 반도체의 개발은 어디까지 왔을까? 지금으로부터 10년 전인 2014년, IBM은 세계 최초의 대규모 뉴로모픽 칩인 TrueNorth를 발표했다. 이 칩은 100만 개의 디지털 뉴런과 2억 5,600만 개의 시냅스로 구성됐으나 전력 소모는 약 65mW(밀리와트)에 불과했다. TrueNorth는 이미지 및 패턴 인식, 센서 데이터 처리 등에서 뛰어난 성능을 보이며, 군사용 드론에 탑재해 실시간으로 영상 데이터를 처리하는 연구도 진행됐다.
인텔 역시 2017년 자체적인 뉴로모픽 반도체인 Loihi 칩을 발표한 바 있다. 인간 뇌의 일부 기능을 모방한 초저전력 신경망을 구현한 칩으로, 약 13만 개의 뉴런과 1억 3천만 개의 시냅스로 자체적인 학습과 추론을 동시에 수행하면서도 당시 기존 CPU 대비 최대 1,000배 이상의 에너지 효율성을 보였다.
퀄컴 또한 모바일 기기를 위한 뉴로모픽 플랫폼인 Zeroth을 발표하여 에너지 효율적인 AI 성능을 제공하는 기술을 제공하겠다 밝힌 바 있다. 이 플랫폼은 스마트폰과 사물인터넷(IoT) 기기의 사용자 경험을 향상시키는 데 활용될 예정이다.
뉴로모픽 반도체와 관련한 가장 담대한 시도 중 하나는 2021년 삼성전자가 하버드 대학과 발표한 공동 연구 결과일 것이다. 이 연구에서는 문자 그대로 뇌를 복사하고 붙여 넣는 개념이 제안됐다. 뇌의 뉴런 연결망을 고해상도로 스캔하고 이를 3D 메모리 네트워크에 직접 구현하는 것이 핵심이라 할 수 있다. 앞서 뉴로모픽 반도체의 핵심이 뉴런-시냅스 구조에서 발생하는 스파이킹 신호의 강도를 구분하는 것이라 말한 것을 기억하는가? 해당 연구는 뇌의 뉴런에 직접적으로 나노 전극을 침투시켜, 접점에서 발생하는 미미한 전기 신호를 읽어내 신경망을 아주 상세하게 지도화하는 개념을 설명하고 있다. 이렇게 복제된 지도를 메모리반도체에 붙여 넣는다면 각각의 메모리가 뉴런 간의 접점 역할을 대신하게 될 것이다. 기존과는 완전히 다른 뉴로모픽 반도체가 탄생하는 순간이다.
이렇게 개발한 뉴로모픽 반도체는 어디에 활용될까? 앞서 언급한 인간과 컴퓨터의 비교에 그 힌트가 숨어있다. 가장 ‘인간다운 컴퓨팅 디바이스’인 휴머노이드(로봇)의 탄생에 뉴로모픽 반도체가 큰 역할을 할 것은 자명하다. 휴머노이드는 마치 인간처럼 실시간으로 수많은 데이터를 처리하면서도 전력 소모는 낮아야 한다. 뉴로모픽 반도체는 이러한 요구를 충족시켜 로봇이 환경에 즉각적으로 반응하고, 더 인간적인 상호작용과 고차원의 논리 작업을 가능케 할 가장 중요한 열쇠가 될 수 있다. 뉴로모픽 반도체가 더 발전한다면 가까운 미래에 인간만큼이나 적게 먹지만 인간만큼이나 똑똑한 전성비 좋은 로봇이 탄생할 수 있다.
굳이 인간을 닮지 않은 로봇이라 하더라도 뉴로모픽 반도체의 적용 분야는 무궁무진하다. 자율주행 로봇이나 서비스 로봇은 복잡한 환경에서 스스로 학습하고 적응해야 한다. 뉴로모픽 반도체는 기기의 실시간 학습과 환경 적응을 효율적으로 처리할 수 있어, 로봇이 더 효과적인 행동을 수행할 수 있도록 도움을 줄 수 있다.
이와 더불어, 뉴로모픽 반도체는 환경 문제를 야기하는 현대의 AI 시스템에도 큰 도움이 될 수 있다. 현재 우리가 사용 중인 챗GPT와 같은 대형 언어모델 기반 AI 서비스는 지극히 많은 전력을 소비하며 열을 발산한다. 이 열을 냉각하는 과정에서 또다시 수많은 에너지와 깨끗한 물을 소비하며 환경에 많은 부담을 가하고 있다. 전력 소모량이 극단적으로 줄어든 뉴로모픽 반도체를 활용하면, 이 문제에서 비교적 자유로운 인공지능 활용이 가능하다. 더 작고, 좁은 공간에 더 높은 성능의 컴퓨터를 설치할 수도 있고, 이를 더 많은 사람이 활용할 수 있을 것이다.
마지막으로 뉴런-시냅스 단위의 신경 활동에 대한 다양한 지식들도 뉴로모픽 반도체를 연구하면서 얻은 부산물로 확보할 수 있을 것이다. 인간의 신경계와 뇌 활동에 대한 보다 깊은 이해를 바탕으로, 뇌-컴퓨터 인터페이스 분야에서 신경 신호를 직접 처리하여 의수나 의족의 정밀한 제어도 가능해질 것이다. 신경 과학 부문의 눈부신 발전도 기대해 볼 만하다.
결국 뉴로모픽 반도체를 연구하며 인간 뇌의 에너지 효율성을 기술적으로 구현하고 개발하는 과정은 단순히 칩의 에너지 효율성을 높이는 것을 넘어, 인간의 기술 분야 전반에 걸쳐 큰 변화를 야기할 수 있는 일이라 할 수 있다. 앞으로 우리는 얼마나 전성비 좋고 똑똑한 컴퓨터와 로봇을 만들어 낼 수 있을까? 우리의 AI는 얼마나 친환경적인 존재로 변모할까? 뉴로모픽 반도체와 함께, 인간의 창의성과 기술력이 만들어낼 다음 단계가 더욱 궁금해진다.
.
※ 본 칼럼은 외부 필진의 견해로, 삼성전자 DS부문의 공식 입장과 다를 수 있습니다.
