손 떨림과 어두운 환경 때문에 사진을 찍기가 두렵다고? 이제 그런 걱정은 하지 않아도 된다. 언제 어디서나 원하는 순간을 확실하게 담아낼 수 있는 삼성전자 반도체의 초고화소 이미지센서 ‘아이소셀(ISOCELL)’이 있기 때문. 전문가가 알려 주는 가장 완벽한 촬영법, 위 영상을 통해 포착해 보자.

The post [삼교시 탐구생활 Ep.3] ‘밤하늘의 pearl’까지 담아내는 갓벽한 이미지센서의 등장 first appeared on 삼성전자 반도체 뉴스룸.

반도체는 이미 우리 생활 곳곳에 스며들어 있지만, 반도체와 관련된 용어들은 여전히 낯설고 어렵게만 느껴진다. 어려운 반도체 용어를 쉽고 간단하게 알아보기 위해 시작한 ‘반도Chat’ 시리즈, 두 번째 이야기의 주제는 ‘이미지센서’다.

.

MAP 1. 알고 보면 친숙한 반도체

‘이미지센서’는 Image와 Sensing을 합친 말로, ‘피사체를 감지한다’는 뜻이다. 스마트폰과 카메라뿐 아니라 AR(Augmented Reality, 증강현실)·VR(Virtual Reality, 가상현실) 기기, 자동차 전후방 센서 등 카메라 기능이 있는 모든 기기에 이미지센서가 들어있는데, 여기서 이미지센서는 사람의 눈과 비슷한 역할을 한다.

우리가 사진을 찍는 순간 렌즈를 통해 빛이 모이면 이미지센서는 수많은 픽셀에 모인 빛을 전기 신호로 바꿔 이미지를 생성한다. 이때 이미지센서는 다양한 색감을 표현하기 위해 각 픽셀에서 빨강(R), 초록(G), 파랑(B) 중 하나의 색상만을 감지할 수 있는 컬러 필터를 활용한다. 이 RGB 컬러 필터를 통해 색상 정보를 수집하고, 이후 픽셀마다 주변 픽셀의 색상 값을 참고해 보완하는 방식으로 우리가 볼 수 있는 거의 모든 색상을 만들어 내는 것이다.

.

MAP 2. 선명한 이미지를 얻기 위한 필수 기술

고품질 이미지를 얻으려면 기본적으로 렌즈를 통과한 빛을 이미지센서가 정확하게 처리해야 한다. 이미지센서가 이 작업을 완벽하게 수행하지 못하면 사진이나 영상의 품질이 낮아질 수 있다.

‘아이소셀(ISOCELL)’은 이러한 문제를 개선하기 위해 개발된 기술 중 하나다. 아이소셀은 기존의 이미지센서 구조와는 다르게 픽셀마다 미세한 장벽을 세워서 빛이 인접 픽셀로 넘어가지 않게 한다. 이를 통해 더 정확하게 빛을 분리해 고해상도 이미지를 생성할 수 있게 돕는 동시에 노이즈도 낮춘다.

.

MAP 3. 초미세 픽셀 기술, 왜 중요할까?

이미지센서라는 용어는 생소하더라도 픽셀과 해상도는 자주 들어보았을 것이다. 픽셀(화소)은 디지털 사진이나 영상을 구성하는 최소 단위이다. 그리고 해상도는 이미지의 정밀도를 나타내는 지표로, 픽셀 수와 관련이 있다. 즉 이미지센서를 구현하는 픽셀 수가 많아질수록 사진의 해상도와 선명도가 향상된다.

사람 눈의 최대 유효 화소 수는 대략 5억 7,600만으로 알려져 있다. 고화소 기술의 발전으로 1억 화소, 2억 화소, 더 높은 화소 수의 카메라가 개발될수록, 마치 눈으로 보는 것처럼 생생하고 선명한 이미지와 영상을 얻을 수 있게 되는 것이다.

앞서 이야기한 것처럼, 이미지의 품질을 향상하려면 더 많은 픽셀을 사용해야 한다. 그런데 카메라를 위한 공간은 제한되어 있고, 이 공간에서 고화소를 구현하기 위해서는 개별 픽셀의 크기를 줄여야 한다. 작고 세밀한 픽셀을 만들어서 같은 센서 영역에서 더 많은 정보를 수집하고 표현하게 되면 고품질 이미지를 생성할 수 있기 때문이다. 바로 이 점이 반도체 업계에서 고화소 기술과 함께 ‘초미세 픽셀’ 기술을 개발하는 이유다. 이 두 기술을 효과적으로 결합하는 것 역시 지금의 반도체 업계에 주어진 주요 미션이다.

.

MAP 4. Beyond Human Eye! 초미세 픽셀의 한계에 도전하다

픽셀 크기가 작아질수록 개별 픽셀이 받아들이는 빛에 대한 감도가 낮아지게 된다. 그로 인해 어두운 환경에서의 촬영 품질에 영향을 미칠 수 있다. 삼성전자 반도체는 이러한 초미세 픽셀의 한계를 극복하기 위한 이미지센서로, 0.6㎛(마이크로미터) 크기의 픽셀 2억 개를 탑재한 ‘아이소셀(ISOCELL) HP2’를 출시했다. 아이소셀 HP2는 초미세 픽셀을 구현하면서도 각 픽셀의 성능은 높이고 간섭 현상은 최소화한 제품으로, 이를 위해 다양한 이미지센서 기술이 개발되었다.

특히 ‘픽셀 비닝’은 초미세 픽셀의 저조도 문제를 해결하고자 개발되었다. 인접한 여러 개의 픽셀을 하나의 큰 픽셀로 병합해 더 많은 빛을 받아들이게 함으로써, 어두운 곳에서도 노이즈 없이 촬영할 수 있게 한다. 테트라 픽셀은 4개, 노나 픽셀은 9개의 픽셀을 하나로 결합하며, 테트라 스퀘어드 픽셀은 어두운 환경에서는 16개의 픽셀을 하나의 큰 픽셀로 결합해 노이즈를 줄여 깨끗한 사진을, 밝은 환경에서는 픽셀 배열을 재배치하는 리모자익 알고리즘을 활용해 최대 2억 화소로 디테일이 풍부한 사진을 얻을 수 있게 한다. 뿐만 아니라 8K 동영상 촬영 시에도 테트라 스퀘어드 픽셀 기능을 활용하므로 노이즈가 적고 보다 선명한 영상 촬영이 가능하다.

또한, 아이소셀 HP2는 ‘슈퍼 QPD(Quad Phase Detection)’ 기능을 탑재해 2억 개의 픽셀이 모두 Auto Focus 기능에 활용되게 함으로써 초점을 빠르고 정확하게 잡을 수 있게 했다. 마지막으로, 픽셀 당 전자 용량을 높여 HDR 성능도 향상했는데, 이를 위해 개발한 기술이 ‘D-VTG(Dual Vertical Transfer Gate, 듀얼 버티컬 트랜스퍼 게이트)’다. 이는 포토다이오드에 축적한 많은 양의 전하를 두 개의 게이트를 통해 회로에 효율적으로 전달하는 기술로, 잔상을 줄인 이미지와 높은 다이나믹 레인지(Dynamic Range, 밝기의 범위) 구현을 돕는다.

.

MAP 5. 이미지센서, 이렇게도 활용된다고?

이러한 이미지센서 기술은 모바일뿐 아니라 오토모티브, AR·VR 등 다양하게 활용된다. 오토모티브에서 ‘코너픽셀’이라는 픽셀 기술을 사용하면 어두운 환경에서도 120dB의 넓은 다이내믹 래인지로 주변 환경을 정교하게 감지하고, 영상에 잔상이 남지 않아 정확한 정보로 도로 주행을 보조할 수 있다. 또한 사물에 쏜 적외선 빛이 반사되어 돌아오는 시간을 측정해 거리를 계산하는 기술인 ToF 센서는 얼굴 인식부터 AR·VR에서 사물의 3차원 입체 정보를 빠르고 정확하게 측정한다.

.

MAP 6. 사용자 경험을 확장하는 차세대 기술

삼성전자 반도체는 현재 더 높은 이미지센서 성능을 위한 차세대 기술을 지속 개발하고 있다. 그중에서도 ‘줌 애니플레이스(Zoom Anyplace)’는 동영상에서 화질 저하 없이 전체 화면과 클로즈업 촬영을 동시에 가능하게 하는 초고해상도 특수 줌 기술이다. 기존에는 움직이는 대상을 촬영할 때 사용자가 수동으로 초점을 조절했다면, 줌 애니플레이스는 자동으로 멀리 있는 물체를 추적하기 때문이다. 또한, 테트라 스퀘어드 픽셀을 적용한 2억 화소 카메라 환경에서는 화질 저하 없이 4배의 클로즈업 촬영이 가능해, 넓은 공간에서 원하는 장면을 4K로 촬영할 수 있게 된다.

삼성전자 반도체는 줌 애니플레이스 외에도 고감도, 저감도 모드에서 각각의 이미지 정보를 만들고 두 정보를 합성해 하나의 HDR 사진을 만드는 기술인 ‘스마트 ISO 프로’ 등 다양한 차세대 기술을 개발함으로써 사용자 경험을 지속 확장하고 있다.

.

사람의 눈, 그 이상의 기능을 실현해 가는 이미지센서에 대해 보다 자세하게 알고 싶다면 인생맛칩 ‘이미지센서’편을 참고하길 바란다.

The post [반도Chat Ep.2] 사람의 정밀한 눈을 그대로 구현하는 반도체 ‘이미지센서’ first appeared on 삼성전자 반도체 뉴스룸.

매우 밝은 환경에서도 각 픽셀의 색상과 디테일을 보다 선명하게 표현할 수 있는 듀얼-VTG(Dual Vertical Transfer Gate), 저조도 환경에서 인접한 픽셀을 묶어 수광 면적을 넓게 함으로써 더 또렷하게 촬영할 수 있는 ‘테트라 스퀘어드 픽셀 (Tetra²pixel)’ 등도 이런 노력의 일환으로 개발된 독자 기술이다.

특히 삼성전자는 초고화소 이미지 센서의 사용자 경험을 더욱 향상시키기 위한 여러 솔루션을 지속적으로 도입하고 있다.

.

자유롭게 줌인하고 피사체를 자동 추적하는 솔루션

삼성전자의 최신 모바일 동영상 기능인 ‘아이소셀 줌 애니플레이스(ISOCELL Zoom Anyplace)’는 더욱 자유롭고 창의적인 스마트폰 촬영을 가능하게 하는 혁신적인 솔루션이다.

2억 화소 이미지센서를 활용한 이 기능은 사용자가 선택한 피사체를 카메라가 자동으로 추적하고 촬영할 수 있도록 돕는다.

지금까지는 동영상을 촬영할 때 사용자가 움직이는 피사체에 직접 초점을 맞춰야 했지만 ‘아이소셀 줌 애니플레이스’와 퀄컴 AI 엔진을 사용하면 카메라가 움직이는 피사체를 놓치지 않도록 신속하게 추적할 뿐만 아니라 화면 흔들림을 최소화할 수 있다.

동영상 촬영 중 움직이는 피사체를 추적하는 작업을 ‘아이소셀 줌 애니플레이스’가 맡아주기 때문에 사용자는 눈앞에서 펼쳐지는 장면을 직접 감상할 수 있다는 장점도 있다.

특히 ‘아이소셀 줌 애니플레이스’ 솔루션은 실시간 리모자이크 기능 덕분에 확대된 영역도 고해상도를 유지할 수 있게 한다. 기존에는 동영상을 촬영한 뒤 특정 피사체를 확대하면 이 부분의 화질이 떨어졌지만 이런 문제를 해결한 것이다.

또한 다양한 앵글에서 역동적으로 촬영할 수 있고, 사용자가 원하는대로 촬영 중에 피사체를 확대 또는 축소할 수도 있어 다양한 예술적 선택을 할 수 있고 전반적인 사용자 경험을 향상시킨다.

특히 테트라 스퀘어드 픽셀의 ‘센서 내 줌’ 기능을 활용하면 촬영할 때 선택의 폭이 한층 넓어지는 효과가 있다.

디지털 줌을 사용하던 예전에는 피사체를 확대하면 이미지의 화소가 떨어졌지만 ‘센서 내 줌’을 사용하면 전체 범위에서 확대할 영역을 선택하고 리모자이크하기 때문에 센서가 원래 화소를 유지하면서 훨씬 더 선명한 동영상을 촬영할 수 있다.

또한 기존에는 3배 이상 확대할 때 카메라가 광각에서 망원으로 전환되어 이미지 품질과 앵글이 바뀌었으나 2억 화소 광각 카메라는 화소 손실 없이 2배 또는 4배까지 매끄럽게 확대할 수 있다. 변함없이 유지되는 화질 덕분에 실제처럼 생생한 촬영 경험을 즐길 수 있게 된 것이다.

.

이미지 촬영을 위한 E2E AI 리모자이크

삼성전자는 동영상 솔루션인 ‘아이소셀 줌 애니플레이스’ 외에 이미지 촬영을 위한 ‘엔드 투 엔드(E2E) AI 리모자이크’ 솔루션을 도입했다. 

현재 2억 화소 이미지 센서의 촬영 후 이미지 처리 단계는 리모자이크 전에 RAW 데이터 출력이 발생, 이미지 신호 처리(ISP)로 이어진 다음 JPEG 이미지 출력으로 마무리된다. 이 과정의 모든 단계는 순차적으로 이루어진다.

E2E AI 리모자이크는 리모자이크와 이미지 신호 처리(ISP)가 동시에 이루어지도록 해서 프로세스를 향상시키는 방식이다. 

이미지 프로세싱 시간이 전반적으로 빨라지기 때문에 2억 화소 이미지의 촬영 시간이 단축되고 이미지 품질은 향상된다. 더욱 빠르게 사진을 촬영하고 확인할 수 있으며, 지연으로 인한 데이터 손실에 따른 이미지 품질 저하가 줄어든다. 이로 인해 촬영한 사진의 디테일과 컬러가 더욱 풍부해지는 것이다.

.

사용자 경험을 개선하기 위한 지속적인 노력

삼성전자는 동영상용 ‘아이소셀 줌 애니플레이스’와 이미지용 ‘E2E AI 리모자이크’의 발전을 바탕으로 동영상 및 사진 경험을 변화시키는 데 있어 주요한 발전을 이루고 있다. 

이와 같은 발전은 장기적인 전략의 일부로, 사용자 경험을 더욱 향상시킬 수 있는 솔루션을 계속해서 연구하고 있다. 앞으로도 삼성전자의 초고해상도 아이소셀 이미지 센서와 함께 다양한 순간을 촬영할 수 있기를 기대해본다. 

.

*표시된 모든 이미지는 개발 단계에 있는 기술의 예상 성능을 설명하기 위한 것으로, 아이소셀 줌 애니플레이스나 E2E AI 리모자이크로 촬영되지 않았습니다.

.

The post “빠르게, 선명하게, 자유롭게”…삼성전자의 2억 화소 이미지 센서용 혁신 솔루션 first appeared on 삼성전자 반도체 뉴스룸.

삼성전자가 5일(현지시간) 미국 실리콘밸리 미주총괄(Device Solutions America office)에서 ‘삼성 시스템LSI 테크 데이 2023’을 개최했다.

삼성전자는 초지능화(Hyper-Intelligence)·초연결성(Hyper-Connected)·초데이터(Hyper-Data)를 가능하게 할 주요 응용처별 최신 반도체 설계 현황과 비전을 공유했다.

삼성전자는 고객사와 파트너사 관계자 300여명이 참석한 가운데, 시스템 반도체 설계 분야 글로벌 전문가, 석학들과 함께 생성형 AI·대형 언어 모델(LLM, Large Language Model) 기술에 대한 심도 깊은 논의를 진행했다.

삼성전자 시스템LSI사업부 박용인 사장은 “데이터를 생성하고 처리하는 ‘생성형 AI’가 올해 가장 중요한 기술 트렌드로 자리 잡으며 더 고도화된 기반 기술 확보의 필요성이 대두되고 있다” 며 “삼성전자는 고성능 IP부터  장단거리 통신 솔루션, 인간의 오감을 모방한 센서 기반 ‘시스템LSI  휴머노이드(System LSI Humanoid)’를 구현해나가며 생성형 AI에서 더 발전된 ‘선행적 AI(Proactive AI)’ 시대를 열 것이다”고 밝혔다. 

.

□ 최신 그래픽과 생성형 AI 기술로 사용자 경험 극대화한 엑시노스 2400

삼성전자는 이번 행사에서 AMD(Advanced Micro Devices)의 최신 아키텍쳐 RDNA3 기반 엑스클립스 940(Xclipse 940) 그래픽 처리장치(GPU)를 탑재한 차세대 모바일 프로세서 ‘엑시노스(Exynos) 2400’을 공개했다. 

‘엑시노스 2400’은 전작인 ‘엑시노스 2200’ 대비 CPU 성능은 1.7배, AI 성능은 지난 2년간 14.7배 대폭 향상됐다.

삼성전자는 이 제품에 더욱 향상된 레이 트레이싱(Ray Tracing)과 함께 글로벌 일루미네이션(Global Illumination), 리플렉션/쉐도우 렌더링(Reflection/Shadow Rendering) 등 다양한 첨단 그래픽 기술을 탑재해 고성능 게임을 즐기는 유저들에게 최고의 사용자 경험(User Experience)를 제공할 계획이다.

* 레이 트레이싱(Ray Tracing): 물체에 투과, 굴절, 반사되는 빛을 추적해 사물을 실감나게 표현하는 기술
* 글로벌 일루미네이션(Global Illumination): 직접광, 간접광 포함한 자연광처럼 표면에서 반사되는 빛까지 고려하여 현실감 있는 표현을 위한 그래픽스 기법
* 리플렉션/쉐도우 렌더링(Reflection/Shadow Rendering): 빛의 반사효과, 그림자 경계를 현실 세계와 유사하게 자연스럽게 표현하는 기법

또 삼성전자는 ‘엑시노스 2400’을 레퍼런스 기기에 탑재해 향후 스마트폰에 적용될 문자를 이미지로 변환하는 새로운 생성형 AI 기술도 선보였다.

.

□ 초연결시대를 향한 삼성전자 시스템반도체 설계 기술 경쟁력 선봬

삼성전자는 이날 엑시노스 오토(Exynos Auto)·아이소셀 오토(ISOCELL Auto)·아이소셀 비전(ISOCELL Vizion) 등 다양한 차세대 시스템반도체 제품 기술을 시연해 고객사와 파트너사들로부터 호평을 받았다.  

삼성전자는 2억 화소 이미지센서 기반 초고해상도 특수 줌 기술인 ‘줌 애니플레이스(Zoom Anyplace)’를 처음 공개했다. 이 기술은 움직이는 사물에 대해 풀스크린과 최대 4배 클로즈업 장면까지 화질 저하없이 동시에 촬영할 수 있고, 클로즈업시 AI 기술로 사물을 자동 추적할 수 있어 모바일 사용자에게 완전히 새로운 카메라 줌 경험을 제공한다.

삼성전자는 2025년 양산 예정인 차세대 프리미엄 인포테인먼트(IVI, In-Vehicle Infotainment)용 프로세서 ‘엑시노스 오토 V920’ 구동 영상을 공개했다.

이 제품은 Arm의 최신 전장용 중앙처리장치(CPU) 코어텍스-A78AE 10개를 기반으로 이전 제품 대비 1.7배 강화된 CPU 성능과 최대 6개의 고화질 디스플레이에 동시 연결 가능한 멀티 커넥티비티 기능으로 스마트하고 즐거운 모빌리티 경험을 제공한다.

또 삼성전자는 차량용 이미지센서향 ‘아이소셀 오토’와 사물의 빠른 움직임을 순간적으로 정확하게 포착 가능한 ‘아이소셀 비전’ 제품을 통해 안전 주행 기술도 선보였다.

삼성전자가 이날 공개한 ‘아이소셀 오토 1H1’은 다양한 주행, 조도 환경에서 도로와 사물을 정확히 판단할 수 있는 120dB HDR을 지원하고, 신호등의 깜빡임 현상 등 ‘LED 플리커(LED Flicker)’를 완화할 수 있다. 

삼성전자는 운전자에게 최고의 모빌리티 경험을 제공하는 차세대 차량용 핵심 반도체를 통해 전장 기술 경쟁력을 강화해 나갈 계획이다.

한편, 삼성전자는 이날 행사에서 비지상 네트워크(NTN, Non-Terrestrial Network) 사업자 ‘스카일로 테크놀로지스(Skylo Technologies)’와 함께 차세대 5G 모뎀을 통해 모바일 기기와 인공위성을 5G로 연결하는 비지상 네트워크 통신을 선보이며, 초연결시대를 향한 삼성전자의 무선 통신 기술 리더십을 강조했다.

* 스카일로사(Skylo Technologies): 인공위성을 사용하는 비지상 네트워크 (NTN, Non-Terrestrial Networks)중 NTN NB-IoT 기능을 별도의 IoT칩이 없이 지원하는 차세대 5G 모뎀으로 인공위성 신호 수신기를 제작

이외에도 삼성전자는 초광대역(UWB, Ultra-Wideband) 기술을 활용한 ‘엑시노스 커넥트(Exynos Connect) U100·2억 초고화소 이미지센서 ‘아이소셀 HP2’·QD OLED 화질을 위한 디스플레이IC·IoT 보안 솔루션·무선충전향 전력관리IC(PMIC)·스마트 헬스 프로세서 등 다양한 차세대 반도체 솔루션을 소개했다.

The post 삼성전자, 미국 실리콘밸리서 ‘삼성 시스템 LSI 테크 데이 2023’ 개최 first appeared on 삼성전자 반도체 뉴스룸.