삼성전자가 모바일, 로봇, XR 등 첨단 콘텐츠 플랫폼을 위한 이미지센서 라인업인 ‘아이소셀 비전(ISOCELL Vizion)’의 차세대 제품 2종을 공개했다.

‘아이소셀 비전 63D’는 빛의 파장을 감지해 사물의 3차원 입체 정보를 측정하는 간접 비행시간측정센서(indirect Time of Flight, iToF)로 모바일은 물론 로봇, XR 분야 등 다양한 미래 첨단산업에 활용된다.

* iToF 센서 : 고해상도·높은 정밀도를 요구하는 응용처에 특화된 ToF 센서 종류

‘아이소셀 비전 931’은 사람의 눈처럼 모든 픽셀을 동시에 빛에 노출해 촬영하는 글로벌 셔터(Global Shutter) 센서로 XR, 모션 트래킹 게임, 로봇, 드론 등 움직이는 피사체를 왜곡 없이 촬영해야 하는 분야에 최적화됐다.

.

☐ 박쥐의 음파 파악 능력 구현한 ‘아이소셀 비전 63D’ iToF 센서

삼성전자의 ‘아이소셀 비전 63D’는 박쥐가 음파를 활용하여 주변을 탐지하는 것과 유사한 원리로 거리를 측정한다. 음파 대신 발광된 빛 파장과 피사체에 반사되어 돌아온 파장의 위상차로 거리를 빠르고 정확하게 계산해 사물의 3차원 입체 정보를 파악한다.

이를 통해, 서빙/물류 로봇, XR 기기, 안면인증 등 여러 첨단 응용처의 주요 제품으로 활용될 예정이다.

이번 제품은 업계 최초 원칩 iToF 센서로 사물의 심도(Depth) 연산에 최적화된 ISP(Image Signal Processor)가 내장돼 AP 지원 없이 뎁스 맵(Depth Map) 촬영이 가능하다. 또한, 전작인 ‘아이소셀 비전 33D’ 대비 시스템 전력 소모량을 최대 40%까지 줄였다.

* ISP : 이미지센서에서 전송된 가공되지 않은 데이터를 보정해 소비자가 선호하는 형태의 사진이나 영상을 만들어내는 역할
* 뎁스 맵 : 관찰 시점에서 사물과의 거리와 관련된 정보를 담은 이미지로 3차원 입체 정보를 제공

‘아이소셀 비전 63D’는 iToF 센서 기능 구현에 최적화된 QVGA 해상도의 이미지를 초당 60 프레임의 속도로 처리한다.

* QVGA(Quarter Video Graphics Array) : 320×240 픽셀 해상도, iToF 센서의 3차원 입체 이미지 출력에 최적화된 해상도 규격

삼성전자는 픽셀의 광원 흡수율을 높이는 후방산란 기술(Backside Scattering Technology, BST)을 통해 적외선 기준 940nm(나노미터)에서 업계 최고 수준인 38%의 양자효율(Quantum Efficiency)을 구현했다. 이를 통해 모션 블러를 최소화해 선명한 이미지를 제공한다.

* 양자효율 : 물질 중에서 광자 또는 전자가 다른 에너지의 광자 또는 전자로 변환되는 비율. 특히 광자로 변환되는 경우에는 광효율이라고도 한다.

또한, 높은 해상도를 제공하는 면광원 모드는 물론 원거리 측정이 가능한 점광원 모드를 동시에 지원해 최대 측정 가능 거리를 전작의 5미터에서 10미터까지 2배 확장했다. 주변 상황을 빠르고 정확하게 인식해 이동해야 하는 주행/서비스 로봇 등에 필수적이다.

이 외에도, ‘아이소셀 비전 63D’는 업계 최소 크기의 3.5㎛(마이크로미터) 픽셀 적용으로 VGA(640×480) 해상도를 1/6.4″ 옵티컬 포맷 크기에 구현해 휴대 또는 착용이 가능한 소형 기기에 최적화됐다.

* VGA : 640×480 픽셀 해상도, 비교적 고해상도 이미지에 사용되는 해상도 규격

.

☐ 사람 눈처럼 사물 인식하는 ‘아이소셀 비전 931’ 글로벌 셔터 센서

삼성전자의 ‘아이소셀 비전 931’은 기존 고해상도 카메라용 이미지센서의 롤링 셔터 방식이 아닌 글로벌 셔터 기술을 적용한 이미지센서다.

일반적인 이미지센서는 픽셀을 순차적으로 빛에 노출시켜 촬영하는 롤링 셔터 방식인데 반해, 글로벌 셔터는 사람의 눈처럼 모든 픽셀을 빛에 동시에 노출시켜 촬영한다.

이를 통해, 빠르게 움직이는 물체도 선명하고 왜곡 없이 촬영할 수 있어 XR, 모션 트래킹 게임, 로봇, 드론 등 신속성과 정확도가 중요한 분야에 활용된다.

특히, ‘아이소셀 비전 931’은 1대1 비율의 해상도(640 x 640)를 지원해 XR 기기와 같은 머리 장착형 디스플레이 기기에서 홍채인식뿐만 아니라 시선추적, 얼굴 표정, 손동작과 같은 미세한 움직임을 인식하는데 최적화됐다.

또한, 후방산란기술과 픽셀 사이에 절연부를 형성하는 FDTI(Front Deep Trench Isolation) 공법을 적용해 850nm적외선에서 업계 최고 수준인 60%의 양자효율을 구현했다.

* FDTI : 픽셀 사이에 절연부를 형성하는 공법으로 혼색(crosstalk)을 최소화하고 전하저장용량(full well capacity)를 극대화하는 기술

이 밖에도, 멀티드롭 기능을 통해 하나의 데이터 선으로 최대 4대의 카메라까지 동시에 연결해 기기 제조사가 보다 쉽게 제품을 설계할 수 있도록 지원한다.

* 멀티드롭 : 촬영된 이미지가 전달되는 데이터 선을 여러 센서가 동시에 공유하는 기술

삼성전자 시스템LSI사업부 차세대Sensor개발팀 이해창 부사장은 “‘아이소셀 비전 63D’와 ‘아이소셀 비전 931’에는 삼성전자의 차별화된 차세대 이미지센서 기술과 노하우가 모두 집약됐다”며 “삼성전자는 iToF 센서, 글로벌 셔터 센서 등 ‘아이소셀 비전(ISOCELL Vizion)’ 라인업을 바탕으로 빠르게 성장하는 차세대 이미지센서 시장을 주도할 계획”이라고 밝혔다.

삼성전자는 현재 두 제품의 샘플을 고객들에게 제공하고 있다.

The post 삼성전자, ‘미래 첨단산업의 눈’ 아이소셀 비전 2종 공개 first appeared on 삼성전자 반도체 뉴스룸.

기술집약적 시스템반도체 SoC, ‘엑시노스’

삼성전자 AP 브랜드 엑시노스(Exynos)의 7대 IP 개발 리더들을 본격적으로 만나기 앞서, SoC(System-on-Chip, 시스템온칩) 설계를 총괄하는 시스템LSI사업부 SoC개발실장 김민구 부사장을 만났다.

먼저 SoC의 개념, 즉 여러 기능이 하나의 칩으로 통합되는 근본적인 이유부터 물었다. 김민구 부사장은 “칩이 나눠져 있으면 통합적인 전력 제어가 어렵고, 개별로 전력을 소모하면 배터리 효율이 낮아진다. 또한 칩들 사이에서 데이터 전송을 위한 대역폭 제한과 전송 시간 지연 등이 발생해 성능 저하를 불러오게 된다”고 설명했다. 스마트폰은 데스크탑처럼 전력을 계속 공급받으면서 사용하는 제품이 아니기에 저전력 특성이 매우 중요한 것.

이어 김 부사장은 “SoC는 통합 전력 제어로 효율성이 높을 뿐 아니라 단일 칩 형태로 면적이 크게 줄어 공간 확보에 용이하다”며 “단일 칩 내부에서 모든 기능을 수행하므로 성능도 크게 향상된다”고 덧붙였다. 휴대 전화가 단순히 전화, 문자 송수신의 기능을 넘어 지금의 비디오, 게임, 금융 서비스 등 수준 높은 다양한 기능으로 확장된 데에는 엄지 손톱보다 작은 SoC의 역할이 컸다.

김민구 부사장은 SoC를 ‘시스템 반도체의 꽃’에 비유했다. 현존하는 주요 IT 기술들이 집약된 결정체라는 이유에서다. 그는 “SoC는 쉽지 않은 영역이지만 엔지니어라면 누구나 도전해보고 싶은 유망한 분야일 것”이라며 “앞으로 SoC의 역할은 메타버스, 자율주행, 6G 등 미래 산업에서 더욱 무궁무진하다”고 강조했다.

삼성전자는 GPU, NPU, ISP, 모뎀, RF 등 독자 IP 개발에 박차를 가할 계획이며, 칩 설계 분야에서 한 발 더 나아가 플랫폼 솔루션 업체로 거듭나고자 노력하고 있다. 김 부사장은 “SoC의 경쟁력을 앞세워 ‘엑시노스’를 전 세계인들이 믿고 쓰는 최고의 모바일 AP 브랜드로 인정받게 할 것”이라며 “이번 기획 시리즈를 통해 SoC의 역할과 중요성, 나아가 엑시노스의 특장점과 개발 방향이 보다 많은 사람들에게 공유되길 바란다”고 전했다.

모바일 게이밍의 가능성을 확장하다: 한층 강화된 그래픽을 제공하는 GPU

그래픽 처리는 일반적으로 대규모 단순 연산이 필요하며, 병렬로 처리할 경우 더 빠르고 효율적이다. 하지만 CPU는 고속의 순차 처리에 특화된 구조이기에, CPU로 그래픽 처리를 하면 단순 연산을 수없이 수행하느라 정작 중요한 연산은 구동을 대기하게 되는 경우가 생긴다. 예를 들면, 게임을 구동했는데 화면에 그림을 나타내느라 터치 입력이 지연돼 내 캐릭터가 적을 피하지 못하는 상황이 생길 수도 있다는 것.

이런 문제를 해결하기 위해 등장한 것이 GPU(Graphics Processing Unit, 그래픽처리장치)다. GPU가 없던 과거에는 CPU가 모든 일을 처리했으나, 점차 자주 사용하는 유사한 연산에 대해서 별도의 가속기를 만들어 효율을 높이고자 만들어졌다. CPU가 범용 계산기라면, GPU는 그래픽 처리에 특화된 대규모 병렬 계산기인 셈이다. 이렇게 탄생한 GPU는 그래픽 처리를 위한 핵심 부품 중 하나로 CPU의 명령을 받아 모니터 상에 사물들의 모양, 위치, 색상, 질감 등을 표현해낸다.

엑시노스 2200에 탑재된 GPU ‘엑스클립스 920(Xclipse 920)’은 삼성전자가 PC·콘솔 게임기향 GPU 업체인 美 AMD와 공동 개발한 첫 결과물이다. 삼성의 GPU 브랜드 ‘엑스클립스’는 ‘Exynos’의 ‘X’와 일식을 뜻하는 영어 단어 ‘Eclipse’의 합성어로 모바일 게이밍의 한계를 넘어 콘솔 게임 수준의 성능을 통해 새로운 시대를 연다는 의미.

이처럼 삼성전자는 AMD와 협업해 콘솔급 GPU를 저전력화해 모바일에 이식했다. AMD의 GPU가 원래는 PC나 콘솔급 이상을 위해 제작된 것이다 보니 모바일 환경에 맞춰주는 재설계가 필요했고, 모바일에서 상대적으로 제약된 메모리 대역폭과 방열 상황에 맞춘 설계가 새롭게 진행됐다. GPU 개발을 총괄하는 모바일 프로세서 설계 전문가 박성범 상무는 “그동안 모바일 SoC를 개발하며 확보한 저전력 설계에 관한 많은 노하우를 기반으로 첫 세대만에 ‘소형화’, ‘저전력화’에 성공할 수 있었다”며 “콘솔 게임기와 달리 팬(fan)이 없는 환경에서 프레임이 끊기지 않도록 성능을 유지하면서 발열을 최소화하는 데 집중했다”고 말했다.

엑시노스에 탑재된 GPU의 주요 역할은 3D 가상 공간에 있는 사물들을 스마트폰 2D 스크린에 그리는 일. 따라서 화려한 그래픽이 포함된 모바일 게임을 할 때 그 역할이 두드러진다. 특히, 엑스클립스 920(Xclipse 920)은 ‘광선 추적(Ray Tracing)’ 기능을 하드웨어에서 지원하는 최초의 모바일 AP다. 이 기능은 빛이 사물에 반사되어 형성되는 이미지까지 실감나게 표현하는 기술로서 소프트웨어가 아닌 하드웨어에서 자체적으로 지원하기 때문에 더욱 빠른 실시간 연산이 가능하다. 또 화면 내 물체들의 색상, 음영, 움직임 등의 변화 정도에 따라 GPU의 연산량을 조절하는 ‘가변 레이트 쉐이딩(Variable Rate Shading)’ 기술을 도입해 GPU의 과부하를 줄여준다.

게임 유저가 많아지고 그래픽이 화려해지면서 GPU에서의 중요한 개발 방향은 ‘콘솔에서 느낄 수 있는 수준의 고성능 구현’과 ‘저전력’이다. 이 두 가지는 앞으로 콘솔 게임에서 느끼는 화려한 그래픽의 감동을 모바일에서 재현하기 위해 반드시 필요한 요건이다. 박 상무는 “통상적으로 모바일 분야가 콘솔 분야의 기술을 5년 정도 후행해서 쫓아가는 경향이 있는데, AMD와의 협업을 통해 콘솔에서의 최신 기술들을 단숨에 Exynos 2200에 탑재했고, 해당 SoC는 갤럭시 S22에 적용됐다”며 “앞으로도 AMD와의 협업을 통해, RDNA 시리즈에 있는 다른 기능들도 지속 도입할 계획”이라고 언급했다.

모바일 GPU의 향후 성장성을 묻자, 박성범 상무는 “스마트폰의 성능이 상향 평준화되면서, 소비자가 체감할 만한 성능 차이를 만들어내는 것이 쉽지 않은 것이 사실”이라며 “앞으로 플래그십 스마트폰 사용자가 최신 스마트폰을 구입해야 할 이유가 있다면, 그것은 게임 성능 때문일 확률이 높을 것”이라고 말했다. 그만큼 스마트폰의 게임 성능을 좌우하는 GPU의 발전 가능성이 높다는 의미.

또한 그는 증강현실(AR)이나 가상현실(VR) 분야에서도 모바일 GPU가 더욱 중요해질 것으로 내다봤다. 박 상무는 “증강현실 분야의 GPU는 안경처럼 가벼운 기기에 탑재되어야 하므로 저전력 설계가 매우 중요하고, 가상현실 분야에서는 눈에 보이는 온 세상을 그래픽으로 빠르게 표현해야 하므로 성능 요구 사항이 훨씬 높은 편”이라며 “이처럼 다양한 개발 요구 사항을 맞추는 동시에 현재 구현 가능한 수준보다 훨씬 더 빠르고 실감나게 이미지를 그려 내기 위해서 모바일 GPU가 성장해가야 할 길은 앞으로도 무궁무진하다”고 강조했다.

기본 카메라의 만족도를 높이다: 한층 자연스럽고 선명한 이미지 보여주는 ISP

ISP(Image Signal Processor, 이미지신호처리)는 이미지센서에서 전송된 가공되지 않은 데이터(raw data)를 보정하여 소비자가 선호하는 형태의 사진이나 영상을 만들어내는 역할을 한다. 광학계와 이미지센서로 이루어진 카메라 모듈에서 발생할 수 있는 물리적 한계점들을 보정하고, R/G/B 값들을 보간, 노이즈를 제거한다. 또 영상의 부분적인 밝기를 조절하고, 디테일한 부분을 강조하는 등의 후처리를 수행한다. 쉽게 말해, 화질 튜닝 및 보정 과정을 자체적으로 거쳐 소비자가 좋아할 만한 결과물을 만드는 것.

초창기 스마트폰에는 ISP가 별도의 칩으로 탑재됐었지만, 시장의 요구에 따라 점차 내장 ISP가 활발히 사용되기 시작했다. 20년 넘게 영상 처리 분야에서 몸담고 있는 Multimedia개발팀의 최종성 PL은 “처음에는 디지털 카메라에 사용할 수 있을 정도의 고성능 ISP를 개발하기 위해 해외연구소와 협업했고, 그 결과 갤럭시 S4에서 갤럭시 시리즈 최초로 메인 카메라에 내장 ISP를 사용했다”고 회상했다. 엑시노스는 2012년부터 DSLR급 ISP의 AP 내재화를 통해 스마트폰 카메라의 화질을 비약적으로 발전시키는데 기여했다.

고성능 ISP를 통해 소비자가 체감할 수 있는 기능은 크게 두 가지로 ‘더 나은 화질’과 ‘더 빠른 처리’다. 최종성 PL은 “사진이 잘 나왔다는 것은 주관적인 판단이어서 구체적인 수치로 제시하기는 어렵지만, 자연스럽고 선명한 사진과 영상을 구현하기 위해 딥러닝을 활용한 영상 평가, ISP 튜닝 기법 등 다양한 연구를 하고 있다”고 설명했다. 또한 사진의 연사 속도를 결정하거나 고해상도의 사진과 비디오를 빠르게 처리하는 것도 ISP의 몫이다.

최신 엑시노스에 탑재된 고성능 ISP는 최대 2억 화소까지 처리할 수 있다. 최대 7개의 이미지센서를 지원하며, 4개의 이미지센서에서 입력되는 영상과 이미지의 동시 처리가 가능하다. 또한, NPU의 도움을 받아 촬영 중인 장면의 부분들을 인식·분류하는 장면 세분화(scene segmentation) 기술을 탑재함으로써 하늘, 수풀, 피부 등에 각기 다른 파라미터를 적용해 처리하는 기능도 포함됐다. AI 기능을 통해 촬영 시, 사람 얼굴을 감지해서 표시하거나 그 얼굴의 좌표와 정보를 이용해서 영상의 밝기, 초점, 색상을 조절하기도 한다.

ISP의 향후 개발 방향을 묻자, 최종성 PL은 ‘저전력’과 ‘영상 화질 개선’을 꼽았다. 저전력을 유지하는 동시에 영상 화질을 개선하는 것에 집중하고 있다는 것. 최 PL은 “이미지센서에서 전송되는 데이터들을 ISP에서 실시간으로 처리해야 하는데, 그 양이 기하급수적으로 증가하는 추세라 메모리에 저장했다 다시 읽어올 때 발생하는 전력 소모가 상당 수준으로 늘어난다”며 “엑시노스는 단 한 번만 메모리에 저장하는 방식으로 전력 소모를 최소화하고 있다”고 강조했다.

이어 영상 화질과 관련해서는 “예상보다 빠르게 비디오의 시대가 열리면서, 영상 화질을 개선하는데 주력하고 있다”며 “특히, 어두운 저조도 환경에서도 비디오 화질을 높여 차별화된 강점으로 경쟁력을 높이고자 노력하고 있다”고 전했다.

※ 기사 내 삽입된 이미지는 이해를 돕기 위해 연출된 것으로 실제 제품에 의한 결과물과 일치하지 않을 수 있습니다.

The post [‘엑시노스’ 개발 리더들이 SoC를 말하다] ① GPU, ISP 알아보기 first appeared on 삼성전자 반도체 뉴스룸.