0. 목차
- '3차원 이미지 센서'란?
- '3차원 이미지 센서'의 3가지 방식
- '3차원 데이터'를 활용한 디지털 뉴딜
- '3차원 이미지 센서' 관련 기업
1. '3차원 이미지 센서'란?
'이미지 센서(Image Sensor)'는 카메라 렌즈를 통해 들어온 영상 정보를 전기적 디지털 신호로 변환해 주는 센서이다. '광자(Photon)'를 '전자(Electron)'로 전환하여 디스플레이로 표시하거나 저장 장치에 저장할 수 있도록 한다. '이미지 센서'는 사용자의 안전과 편의를 돕는다는 점에서 다양한 영역에 적용되어 왔다. 시장조사업체 'IC 인사이트(IC Insights)'의 2020년 자료에 따르면, 2020년에 이미지 센서가 스마트폰에 활용된 비율은 전체의 절반에 가까운 약 48%를 차지하고 있으며, 뒤이어 '자동차', '의류', '보안', 'PC' 등 다양한 영역에 활용되고 있다.
이러한 이미지 센서의 활용은 '3차원 이미지 센서(3D Image Sensor)' 기술의 도입으로 인해 이전보다 다양한 수요를 만족하게 되었다. '3차원 이미지 센서(3D Image Sensor)'는 사물까지의 거리를 측정함으로써 더 정밀하게 물체와 동작을 인식하여 3차원 이미지로 구현하는 센서이다. '3차원 이미지 센서(3D Image Sensor)'는 직접 확인이 어려운 부분을 센서를 통해 가시적으로 보여줌으로써 편의성을 확보해 준다.
'3차원 이미지 센서(3D Image Sensor)'는 매우 다양한 곳에 이용될 수 있다. 건축 과정에서 '3차원 이미지 센서(3D Image Sensor)'를 활용하면, 측량의 효율성을 통해 구도 파악이 쉬워진다. '가상의 화면을 보여주는 화면(게임, 여행 등)'에 3차원 이미지 센서를 사용하면 영상의 현실감이 극대화된다. 실내용 로봇청소기에 도입하면, 시야 확보를 통해 청소기의 입체적 동장을 실현하는 등 기능적 편의를 제공한다. 산업 현장에 사용함으로써 안전하게 뒤·옆 등 숨은 공간의 시야를 확보하여 위험 발생을 낮춘다. 자동차의 내비게이션에서는 실제에 가까운 화면을 제공함으로써 운전자의 미숙함을 보완한다. X-ray 촬영이나 공항 검색대 통과 시 입체적인 화면을 제공하여 이미지를 정확히 확인할 수 있도록 돕늗다. 또 온라인에서 '재택근무', '소비', '교육', '의료', '금융' 등 다양한 활동이 진행되면서, 센서를 활용한 보안 기술의 중요성이 증대되었다. 온라인에서도 눈으로 보는 것과 유사한 수준의 실질적인 이미지가 확인되어야 하므로, 스마트폰을 통한 영상 자료에 이전보다 정확한 이미지 정보가 필요하다. 이에 이미지 센서 산업은 모바일 기기에 3차원 이미지 센서를 활발하게 도입하고 있다.
2. '3차원 이미지 센서'의 3가지 방식
사람의 눈은 원근감을 직관적으로 받아들일 수 있다. 하지만 '기기(Device)'가 거리를 파악하기 위해서는 '3차원 이미지 센서(3D Image Sensor)'가 필요하다. 2차원의 이미지는 촬영 대상의 '색상', '채도', '명암' 정보를 제공하는데, 3차원 이미지 센서는 여기에 '심도(Depth)'에 대한 정보를 추가로 제공한다. 이에 3차원 이미지 센서는 거리를 파악하기 위한 기술을 필요로 하며, 사용되는 기술은 크게 '스테레오(Stereo)', '구조 광(Structured Light)', 'ToF(Time of Flight)' 3가지 방식으로 구분된다.
- '스테레오(Stereo)' 방식: 2개의 2차원 이미지 센서를 결합해서 만든 입체 영상을 3차원으로 구현하는 방식
- '구조 광(Structured Light)' 방식: 특정한 패턴의 빛을 물체에 '조사(Light Irradiation)'한 뒤, 물체로부터 이미지 센서로 돌아온 빛을 측정하고, 이때 빛의 패턴이 왜곡된 정도를 소프트웨어로 분석하여 3D 이미지를 획득하는 방식
- '비행시간(ToF: Time of Flight)' 방식: 물체로부터 반사되는 빛의 이동시간을 계산하여 사물의 거리나 '심도(Depth)'를 인식하는 방식
2-1. 스테레오 방식
'스테레오(Stereo)' 방식은 2개의 2차원 이미지 센서를 결합해서 만든 입체 영상을 3차원으로 구현하는 방식이다. 이 방식은 측정 대상과의 거리르 파악하기 위해 한 쌍의 동일한 카메라를 사용하여, 카메라들 사이의 시점 불일치를 이용한다. 이는 사람의 눈이 2개가 있음으로써 같은 물체를 오른쪽 눈과 왼쪽 눈으로 보고, 파악된 영상 정보의 차이를 이용해 거리를 인식하는 것과 동일한 원리이다. '스테레오 방식'에서 두 카메라의 시선은 깊이 측정에 필요한 차이를 생성하기 위한 '기준선' 또는 '동공 간 거리(IPD: Inter-Pupillary Distance)'로 구분하며, 일반적으로 카메라의 광학축은 서로 평행하고 원근감이 있는 평면과 직각을 이룬다.
'IPD(동공 간 거리)'는 눈의 동공 중심 사이의 거리를 밀리미터 단위로 측정한 것을 말한다. 스테레오 방식에서 IPD는 카메라 간 수평 거리를 의미하며, 시차 검출에 중요한 역할을 한다. '스테레오 방식'에서 'IPD(동공 간 거리)'는 카메라 간 수평 거리를 의미하며, 시차 검출에 중요한 역할을 한다. IPD는 주어진 피사체 거리에 대한 피사체의 각도 간격 θ를 결정한다. 또한 효과적으로 깊이의 차이를 둘 수 있는 작동 가능 범위를 규정하고, 다양한 피사체 거리에서 해상도의 한계에도 영향을 준다.
'스테레오 방식'의 거리 분석에 사용되는 기법은 '카메라를 이동해가며 다양한 각도에서 촬영하는 방법'과 '여러 대의 카메라를 고정해두고 촬영하는 방법'이 있다. 예컨대 동일한 건물을 두고 방향을 조금 바꾸어 촬영한 두 가지 사진이 있다고 하자. 이처럼 같은 물체를 서로 다른 각도에서 촬영한 2장의 사진 사이에서 드러나는 차이점을 이용하면, 이미지 중에서 어느 부분이 카메라를 기준으로 더 가까운지를 알아낼 수 있다. '스테레오 방식'은 이를 값으로 계산한 결과를 통해 사물의 심도에 대한 정보를 알아내는 것이다. 이러한 '스테레오 방식'은 '균일한 표면에서는 잘 작동하지 않는다는 점'과 '시스템의 소형화가 어렵다는 단점'을 가지고 있다.
2-2. 구조 광 방식
'구조 광(Structured Light)' 방식은 특정한 패턴의 빛을 물체에 '조사(Light Irradiation)'한 뒤, 물체로부터 이미지 센서로 돌아온 빛을 측정하고, 이때 빛의 패턴이 왜곡된 정도를 소프트웨어로 분석하여 3D 이미지를 획득하는 방식이다. 이 방식은 미리 고안된 2차원 패턴을 정지된 물체에 투사하고, 이를 카메라로 촬영해 패턴의 변형과 왜곡을 분석하여 물체의 3차원 이미지 정보를 추출한다. 이때 사용되는 패턴은 '색깔', '무늬' 등 종류가 다양하다. '구조 광 방식'은 카메라와 투영 기간의 분리로 특정 지점을 찾고 '삼각 측량 알고리즘(Triangulation Algorithm)' 각도를 사용하여 위치를 추정하는 기법으로, 측정된 각도를 가지고 '삼각함수(Trigonometric Function)'를 이용하여 자신의 위치를 알아내는 방법이다. '삼각 측량(Triangulation)'을 위해서는 출발하는 기준선의 방위각을 알아야 하고, 되도록 구성된 삼각형이 작아야 정확한 측정이 가능하다. '구조 광' 방식은 '이미지 처리(Image Process)'와 '삼각 측량 알고리즘(Triangulation Algorithm)'을 복합적으로 활용하여, 투영된 패턴의 왜곡을 3차원 이미지 정보로 변환한다.
'구조 광(Structured Light)' 방식 중 정밀도 측면에서 가장 성능이 우수한 방식은 '편광 패턴(Polarization Pattern)'을 이용한 방식이다. 이 방식은 편광 조명하에서 획득한 영상으로부터 '정반사(Regular Reflection)' 및 '난반사(Scattered Reflection)' 성분을 분리해 낸다. 정반사 성분으로부터 각 화소 위치에서 빛의 '법선 벡터(Normal Vector, 공간상의 한 평면에 대하여 수직을 이루는 벡터)' 방향을 계산하면, 사람 얼굴의 주름까지도 구현하는 수준이 된다. 다만, '구조 광(Structured Light)'을 이용하면 움직이는 물체의 3차원 이미지 파악이 어렵다. 또 패턴 영상의 크기와 해상도를 정밀하게 구현하기 위해 고성능 프로젝터가 필요하며, '프로젝터(Projector)'와 '카메라(Camera)'들 사이의 보정이 필수적으로 수반된다는 번거로움이 있다. 또한 외부의 빛이 강한 조건에서는 정확한 동작이 어렵다는 점이 단점으로 알려져 있다.
2-3. ToF 방식
'비행시간(ToF: Time of Flight)' 방식은 물체로부터 반사되는 빛의 이동시간을 계산하여 사물의 거리나 '심도(Depth)'를 인식하는 방식이다. 빛이 물체에서 반사된 후 되돌아올 때까지의 비행시간을 기준으로 거리를 측정한다는 의미에서 '비행시간 방식'으로 불리게 되었다. ToF 방식은 장면의 모든 픽셀에 대하여 변형된 빛 신호의 지연 또는 위상차를 측정하여 이동시간의 정보를 획득한다. 일반적으로 이 빛 신호는 인간의 시력을 방해하지 않도록, 스펙트럼의 근적외선 부분에 위치하며, 시스템의 ToF 센서는 각 픽셀이 장면까지의 거리를 결정할 수 있는 픽셀 배열로 구성된다. 각 픽셀에서 수행된 함수를 통해 이동시간 또는 지연을 나타내면, 이를 해석하여 측정한 이미지의 '심도(Depth)'를 결정한다. '비행시간(ToF: Time of Flight)' 방식은 거리를 측정하는 방법에 따라 '직접 ToF(Direct ToF, dToF)'와 '간접 ToF(Indirect ToF, iToF)'로 나뉜다. '직접 ToF'는 되돌아오는 신호의 시차를 이용하고 '간접 ToF'는 되돌아오는 신호의 위상차를 이용한다.
- 직접 ToF 방식: '직접 ToF'는 되돌아오는 신호의 시차를 이용한다. 즉, '직접 ToF' 방식은 '펄스 레이저(Pulse Laser)'를 사물에 조사해 반사된 펄스 신호들이 이미지 센서에 도착하는 시간을 측정함으로써 물체까지의 거리를 탐지하는 방식이다. 이 방식은 수십 혹은 수백 미터 이상 떨어진 물체와의 거리도 측정할 수 있다는 장점이 있다. 하지만 이를 위해서는 초고효율 특성을 제공하는 소자인 '단광자 눈사태 다이오드(SPAD: Single Photon Avalanche Diode)'가 필요하다. 또 '직접 ToF' 방식은 하나의 '광자(Photon)'를 검출하는 소자인 '단광자 눈사태 다이오드(SPAD)'의 크기가 크고, 각 소자에 판독 회로를 쌓아야 하므로 해상도에 한계가 있다.
- 간접 ToF 방식: '간접 ToF'는 되돌아오는 신호의 위상차를 이용한다. 즉 '간접 ToF' 방식은 특정 주파수로 변조된 레이저를 이용하여 물체로부터 반사되어 돌아온 신호화의 '위상차(위상의 차이)'를 측정함으로써 물체까지의 거리를 측정하는 방식이다. 기존 '포토다이오드(PD: Photodiode)' 소자를 이용하여 비교적 수월하게 구현할 수 있다는 장점이 있다. 하지만 '광검출 소자(Photodetector)'의 낮은 효율로 인해 수 미터 이상 떨어진 물체와의 거리를 측정하기 어렵다는 단점이 있다. '간접 ToF' 방식은 아날로그 전하 축적의 작동 원리에 따라 원거리에서 신호의 감쇄가 있어, 측정 가능 거리 범위에 한계가 있다.
이러한 각각의 장단점으로 인해, 두 방식의 장점을 활용할 수 있는 응용법 및 단점을 극복하려는 기술 연구가 활발히 진행되고 있다.
| 구분 | 직접 ToF(dToF) | 간접 ToF(iToF) |
| 해상도 | 낮은 해상도 | 높은 해상도 |
| 실외 동작 | 실외 동작 가능 | 실외 동작 불가 |
| 측정 가능 범위 | 측정 가능 범위 넓음 | 측정 가능 범위 좁음 |
| 센서의 크기 | 큰 센서의 크기 | 작은 센서의 크기 |
3. '3차원 데이터'를 활용한 한국의 디지털 뉴딜
'한국판 뉴딜'은 대한민국 정부가 2020년 7월 14일에 확정·발표한 정책으로, 코로나19 사태 이후 경기 회복을 위해 마련한 국가 프로젝트이다. '한국판 뉴딜'은 2025년까지 '디지털 뉴딜(Digital New Deal)', '그린 뉴딜(Green New Deal)', '안전망 강화', '지역 균형 뉴딜'의 4개의 축으로 분야별 투자 및 일자리 창출이 이루어진다. 한국판 뉴딜의 4대 핵심 내용 중에는 '디지털 뉴딜'이 있다. 이에 따르면, 한국 정부는 2025년까지 33.5조 원의 국비를 투자하여 산업의 '데이터(Data)', '5세대 이동통신(5G)', '인공지능(AI)'의 활용과 융합 가속화를 실현할 계획이라고 밝혔다. 이를 통해 '디지털 신제품·서비스 창출'과 '생산성 향상'을 기대하는 것이다.
산업 현장에서 '5세대 이동통신(5G)', '인공지능(AI)' 기술 접목 융합 프로젝트를 추진하는 과정에서, 5G 융합 확산을 위해서는 '3차원 이미지 센서(3D Image Sensor)' 기술이 필요하다. 문화·체육·관광 분야에서 실감 콘텐츠를 제작하거나, '자율주행차' 및 '자율 운항 선박' 상용화를 위한 기술 개발은 '3차원 이미지 센서(3D Image Sensor)'가 제공하는 실질적인 영상 화면을 기반으로 수행할 수 있다.
한편, 정부는 '코로나19(COVID-19)'로 인해 늘어난 비대면 수요에 대응하기 위해 '디지털 전환'을 추진하면서, 안전한 국토 관리와 신산업을 위한 기반으로 '디지털 트윈(Digital Twin)'을 한국판 뉴딜의 10대 대표과제로 선정하였다. '디지털 트윈(Digital Twin)'은 가상 공간에 현실 공간과 사물의 '쌍둥이(Twin)'를 구현하고, 시뮬레이션을 통해 현실을 분석·예측하는 기술이다. 그런데 이를 실현하기 위해서는 3차원 공간 정보가 필요하다. 3차원 공간 정보는 '3차원 지형', '3차원 실내', '3차원 지하' 공간 정보 등을 포괄하는 것으로, '3차원 이미지 센서'를 활용하면 3차원 공간데이터를 구축할 수 있다.
해외의 '디지털 트윈(Diwital Twin)' 사례 국가로는 '싱가포르(Singapore)', '영국(United Kingdom)' 등이 있다. 한편, 한국은 '디지털 시뮬레이션(Digital Simulation)'을 통해 국가의 3차원 지도를 완성하는 것을 장기 목표로 하고 있다. 정부는 2025년까지 4차로 이상 지방 도로의 정밀도로 지도를 완성할 계획이며, 사업비 1조 8000억 원을 투자하고, 1만 6천 개의 일자리를 창출하려는 계획을 세웠다.
4. '3차원 이미지 센서' 관련 기업
국내외 기업의 '3차원 이미지 센서' 기술 개발 실적은 꾸준히 증가하고 있다. 아울러, 수요가 증가하면서 시장 규모는 크게 성장하고 있다. '3차원 이미지 센서' 산업은 본의 주도로 성장했으나, 한국이 가격 경쟁력과 기술을 확보하며서 추격하고 있고, 미국의 이미지 센서 기업을 인수한 중국과, 자동차용 이미지 센서 선도 기업을 보유한 미국이 그 뒤를 따르는 상황이다.
- 일본: '소니(SONY)'는 이미지 센서에 AI 시스템이 통합되는 형태로 자동 초점 시스템을 구현하는 등 '이미지 센서(Image Sensor)'와 관련된 고도의 기술을 가진 기업이다. '소니(SONY)'는 M&A와 자체 투자를 활발하게 진행하면서 이미지 센서 관련 설비 증설과 규모의 경제를 실현하여 대기업의 위상을 보여주고 있다. 특히 스마트폰 '이미지 센서'의 경우 '짧은 신모델 출시 주기', '빠른 기술개 발 속도' 등의 요인이 경쟁력을 좌우한다. 따라서 기반 기술과 주요 거래처 및 자금력을 보유한 소니가 상대적으로 경쟁 우위를 확보한 것으로 보인다.
- 한국: '한국반도체연구조합'의 2019년 자료에 따르면, 삼성전자가 이미지 센서 시장에 주요 플레이어로 등장하면서, 2018년 67.8%의 점유율을 확보하고 있던 소니의 점유율이 2020년에 44%로 감소하였다. 반면, 2018년 9.7%의 점유율을 보이던 삼성전자는 2020년 상반기 32%의 시장을 차지하며, 일본의 소니를 빠르게 따라잡고 있다. 삼성전자 외에 국내 주요 기업으로는 'SK하이닉스', 'LG이노텍' 등이 있다. 한국수출입은행 보고서 2018년 자료에 따르면, 한국의 '3차원 이미지 센서' 기술은 선도국 대비 82% 수준으로 글로벌 경쟁력을 확보한 것으로 평가받고 있다. 다만 대기업은 기술력과 고객 기반의 성장세를 안정적으로 유지하고 있으나, 상대적으로 중소기업은 짧은 제품 수명주기로 인한 R&D 비용 부담이 적지 않은 실정이다. 한편, 정부가 '디지털 뉴딜' 정책을 통해 '디지털 트윈(Digital Twin)' 등을 수행하며 3차원 이미지 센서 기술력과 생산 능력을 신장하기 위한 투자를 확대하고 있다는 점은 '3차원 이미지 센서' 산업에 긍정적으로 기여할 것으로 보인다.
- 중국: 2019년 중국의 '웨이얼 반도체(WILLSEMI)'가 이미지 센서 분야의 선도 기업 중 하나인 미국의 '옴니비전(OMNIVISION)'을 인수하였다. 이를 계기로 중국은 '3차원 이미지 센서' 산업에서 시장 점유율을 확보하고 있다. 이후 자국 수요 및 판매량 증가에 따라 '3차원 이미지 센서·부품' 시장의 글로벌 경쟁력을 강화하고 있다.
- 미국: 미국의 3차원 이미지 센서 기업 가운데 '온 세미컨덕터(ON Semiconductor)'는 자동차용 이미지 센서 시장을 주도하는 기업이다. 2021년 7월, '온 세미컨덕터(ON Semiconductor)'는 자동차용 이미지 센서 시장을 주도하는 기업이다. 2021년 7월, '온 세미컨덕터'는 3D 센서로 사각지대를 제거하고, 안정성이 높은 '5세대 자율 주행 플랫폼'을 선보인 바 있다. 자동차용 카메라는 가격 경쟁력이 높아서, 자율주행 자동차의 상용화가 활발해지면 큰 폭의 성장세를 보일 수 있을 것으로 전망된다.
4-1. 나무가
- 국적: 한국
- 설립: 2004년
'나무가'는 '스마트폰·태블릿 카메라 모듈', '3D 깊이 인식 카메라 모듈' 등을 제조 판매하는 기업이다. '나무가'는 2021년 기준, 삼성전자의 스마트폰 및 노트북용 카메라 모듈의 판매를 통해 매출의 90% 이상을 시현하고 있다. 2021년 4월, '나무가'는 삼성전자와 '3D 센싱 액티브 스테레오 카메라 모듈(3D Sensing Active Stereo Camera Module)'의 납품 계약을 체결했다. 이 제품은 삼성전자의 로봇청소기 '비스포크 제트봇 AI(BESPOKE Jetbot AI)'에 탑재된 핵심부품이다.
'나무가'의 3D 카메라 모듈은 2개의 '카메라 렌즈(Camera Lens)' 또는 적외선 센서(IR Sensor)' 등을 사용하여 영상에 깊이 정보를 부여하는 제품으로, 디스플레이 기반 IT 기기 업체에 공급하고 있다. 아울러, 3D 스캔 기능을 중심으로 '자율 주행' 및 '동작 인식' 등의 기술과 접목하여 자동차와 로봇 등을 제조하는 업체에도 공급하고 있다. '나무가'는 2016~2021년 사이에 'ToF 중거리 3D 카메라', 'HMD 3D 카메라', '안면 인식 3D 카메라' 등을 포함하여 약 9종의 3D 카메라 모듈 제품을 상용화하였다. 추후 '나무가'는 자용차용 카메라 산업 부문에서 관련 역량을 확충하면서 제품군을 다변화할 계획이다. 지속적인 연구 활동을 통해 자율주행용 '3D 센싱 솔루션 패키지(3D Sensing Solution Package)' 공급을 실행하고자 노력하고 있다.
4-2. 픽셀플러스(PIXELPLUS)
- 국적: 한국
- 설립: 2000년
'픽셀플러스(PIXELPLUS)'는 '이미지 센서'와 '카메라 모듈' 개발·제조·공급을 목적으로 설립되었다. '픽셀플러스'는 'CMOS 이미지 센서'의 설계를 전문으로 하는 기업으로, 'CMOS 이미지 센서'의 '웨이퍼(Wafer)' 및 '패키지(Package)' 공정을 위탁 제조하여 판매하고 있다. '픽셀플러스'의 주력 제품인 'CMOS 이미지 센서'는 깊이 감지 기술을 실현할 수 있으며, 2대의 카메라를 이용해 사람의 눈과 동일한 방식으로 거리를 감지하는 기술을 포함한다. '픽셀플러스(PIXELPLUS)'는 2013년 '보안 카메라 시장 점유율' 1위를 기록한 이후, 꾸준히 이미지 센서 분야의 주요 기업으로 꼽히고 있다.
한편, 2021년에 중국에서 안면인식용 3차원 이미지 센서를 출시하였으며, 그동안 주력해 온 '자동차', 'CCTV' 외에 '생체 인식' 시장으로 사업을 확대할 계획이다. '픽셀플러스'는 정교한 이미지를 확보하기 위한 '3차원 이미지 센서'의 기술과 확보된 데이터로 사람을 식별학 ㅣ위한 인공지능 알고리즘의 기술 완성도를 높이고자 연구개발에 매진하고 있다.
4-3. 앤씨앤(NC&)
- 국적: 한국
'앤씨앤(NC&)'은 1997년에 '넥스트칩솔루션'이라는 이름으로 설립되었다. 이후 2019년에 자동차 반도체 사업 부문을 물적분할하고, 블랙박스 자회사인 '앤커넥트'를 분할합병하면서 '앤씨앤(NC&)'으로 사명을 변경했다. '앤씨앤(NC&)'은 2021년 기준, '차량용 블랙박스'를 통한 매출이 전체의 약 90%, '영상 처리 칩'을 통한 매출이 전체의 약 10%를 구성하고 있다. '앤씨앤'은 이미지 센서에서 보낸 신호의 노이즈를 제거하는 '이미지 신호 처리(ISP: Image Signal Processing)' 기술과 '고화질 영상전송 기술(AHD)'를 보유하고 있는 기업으로, 자율주행을 위한 차량용 센서의 영상처리에 특화된 기업이다.
2021년 7월 '앤씨앤'의 자회사인 '넥스트칩(Next Chip)'은 영국의 반도체 설계기업 '암(ARM)'과의 전략적 협업을 통해 자율주행 및 자동 주차를 위해 '첨단 운전자 지원 시스템(ADAS: Advanced Driving Assistance System)'의 '단일 칩 시스템(SoC: System on Chip)' 개발에 착수했으며, '이미지 센싱(Image Sensing)' 기술을 기반으로 '첨단 운전자 지원 시스템(ADAS)' 시장에서 선도적 위치를 점유하기 위해 노력하고 있다.