동작 인식(Motion Recognition)

과학(Science)/산업 (Industry)

동작 인식(Motion Recognition)

SURPRISER - Tistory 2023. 10. 27. 20:16

0. 목차

'동작 인식'이란?
'접촉식 동작 인식'과 '비접촉식 동작 인식'
'동작 인식' 기술 동향
'동작 인식' 응용 분야
'동작 인식' 산업 동향
'동작 인식' 정책 동향
'동작 인식' 관련 기업

1. '동작 인식'이란?

'동작 인식(Motion Recognition)' 기술은 사용자의 움직임을 인식하고 컴퓨터와 상호작용하는 데 이용되는 기술이다. 비대면 사회 실생활 연동 제품 및 솔루션 등에서, 사용자의 현실감 증가를 위해 수요가 급증하고 있다. 현재 우리가 살아가고 있는 공간은 사용자 중심의 기술 개발 사회로 변화하고 있다. 특히 사용자의 몰입감을 증대하기 위해서 영상의 품질을 높이려는 연구가 '연구소', '기업' 등에서 지속되고 있으며, 사용자가 상호작용을 통해서 보이는 영상과 가상의 콘텐츠 등을 제어하는 부분에 관한 연구도 활발하게 이루어지고 있다.

오늘날, 우리가 살아가는 환경의 거의 모든 분야에서 인간과 컴퓨터가 상호작용하고 있다. 이로 인해 인간과 컴퓨터 간의 상호작용 연구는 다양한 방면에서 진행되고 있다. 이로 인해 인간과 컴퓨터 간의 상호작용 연구는 다양한 방면에서 진행되고 있다. 특히 인간이 머무르는 공간에서 주로 이루어지게 되는데, 이러한 공간에서의 연구는 사용자가 참여할 수 있는 대표적인 분야라고 할 수 있다. 한 예로, '센서를 통한 상호작용하는 방식'은 특정 공간이나 지역에서 '터치패널(Touch Panel)'을 이용하거나 '모바일 기기(Mobile Device)'를 통하여 동작을 인식하고, 이에 그림을 그려주는 방식이었다. 하지만 연구를 거듭하면서, '센서(Sensor)'를 사용하지 않고 '카메라 영상(Camera Video)'만을 이용하거나, '카메라 영상(Camera Video)'에 '센서(Sensor)'를 추가하여 사용하는 등, 복합적인 정보 기반의 상호작용하는 방식으로 변화되었다. 이를 통해 정확하고 다양한 정보를 실시간으로 분석해서 전달하고 있다.

이러한 복합적인 정보 기반의 상호작용하는 방식은 '기술'과 '예술'의 융합된 새로운 형태의 전시회나 예술작품 등에 많이 시도되고 있다. 사용자의 동작이나 행동 등에 반응해서 사용자에게 전달하고자 하는 정보가 '영상', '소리', '조명' 등으로 공간에서 표현된다. 한 예로 '버스'나 '지하철' 등 '대중교통'과 같이 다수의 불특정 인원들이 움직이는 공간에서 센서를 통해 전달하는 것이 이에 해당한다. 또 전시 공간에서 관람객에게 전달하고자 하는 바에 맞춰, 전시물의 내용을 전달하는 과정에, 사용자의 신체 움직임이나 이동정보와 같이 여러 가지 정보를 센싱 정보에 기반하여 정보를 전달하는 것이 이에 해당한다.

또한 복합적인 정보 기반으로 상호작용하는 방식은 카메라를 이용한 영상기술의 발전으로 일상생활의 다양한 분야에서 활용되고 있다. '카메라를 이용한 특정 공간의 관리', '사용자의 움직임이나 해동을 분석하기 위한 기록', '개인적인 기록을 위한 촬영' 등이 이에 해당한다. '카메라를 이용한 영상기술'은 일상생활에서 다양하게 이용되어 이를 이용한 촬영·분석은 이미 보편화되었다. 그리고 이를 재생산하는 작업으로도 확대되고 있다.

2. '접촉식 동작 인식'과 '비접촉식 동작 인식'

'동작 인식' 기술은 크게 '접촉식 동작 인식'과 '비접촉식 동작 인식으로 구분된다. '접촉식 동작 인식'은 센서나 장치를 사용자의 신체에 부착해 이로부터 획득한 데이터를 동작 인식에 활용하는 방식이다. '비접촉식 동작 인식'은 주로 카메라를 이용해 영상으로 사용자의 움직임 정보를 획득하고 이를 활용한다.

접촉식 동작 인식: 움직임을 감지할 수 있는 '가속도 센서(Acceleration Sensor)', '자이로 센서(Gyro Sensor)' 등을 손으로 들고 조정하는 컨트롤러나, 사용자의 신체에 직접 부착하고 여기에서 얻은 데이터를 분석해 동작 인식에 활용하는 방식이다. 접촉 센서를 통해 정확한 데이터 획득이 가능하다. 하지만 '센서(Sensor)'를 부착하거나 '컨트롤러(Controller)'를 손에 든 사용자의 움직임이 부자연스러울 수 있다.
비접촉식 동작 인식: 접촉형 센서 없이 동작하는 물체나 인체의 움직임을 카메라로 촬영하거나 원거리 센서로 탐지해 동작을 분석 사용자의 움직임이 자연스럽지만, 카메라의 촬영 범위를 벗어날 수 없다. 정확한 데이터 획득이 어려워, 정교한 움직임을 인식하기 어렵다.

2-1. 접촉식 동작 인식

'접촉식 동작 인식' 기술은 사용자의 인체에 센서나 장치를 부착해서 정보를 획득하고, 획득된 정보를 동작 인식 게임 등에 활용하는 방법이다. 이 방법은 장비가 인체에 부착되므로, 사용자의 동작 정보를 정확하게 획득할 수 있다는 장점을 갖고 있다. 하지만 사용자가 장비를 매번 착용해야 한다는 불편함과, '터치센서(Touch Sensor)'와 같은 입력 장치를 통해 기기와 직접 접촉해야 하므로 사용에 많은 제약이 있다. 영화 'CG(Computer Graphics)' 제작 시 자연스러운 인간의 움직임을 얻기 위해 사용되는 동작 캡처 기술도 '접촉식 동작 인식' 기술로, 자연스러운 인간의 움직임을 얻기 위해 사용된다.

2-2. 비접촉식 동작 인식

'비접촉식 동작 인식' 기술은 주로 영상기기를 이용해 사용자의 동작을 추적하여 정보를 획득하는 방법이다. 이 방법의 특징은 사용자의 자유도가 높으며, 움직임 또한 자연스러운 특징이 있다. 그러나 사용자의 행동 패턴과 이를 추적하는 데에 기술적인 어려움이 있다. 이 인식 기술에는 '영상을 이용한 인식 방법'과 '깊이 값을 이용한 인식 방법'이 있다.

영상을 이용한 인식 방법: '프라임센스(Primesense)'사에서는 3차원 감지와 인식을 기반으로 한 '동작 인식 모듈(Motion Recognition Module)'을 개발하였다. 카메라가 3개인데, 이 중 하나가 적외선 조명기로 적외선을 방출하고, 공간 또는 물체에 반사된 적외선을 수집하여 공간 또는 물체의 심도를 계산한다. 나머지 2개의 RGB 카메라는 색을 인식하고 심도 정보를 조합하여, 사용자의 관절을 추적하여 동작을 인식한다.
깊이 값을 이용한 인식 방법: 깊이 값을 이용한 동작 인식 방법은 카메라로 영상을 입력받은 후, 적외선 파장이나 음파를 사용하여 측정되는 시간을 계산하여 깊이 값을 구한다. 그리고 입력된 이미지를 3차원 형태로 변형하고, 변형된 손이나 사람의 몸 등의 위치를 이용해 동작을 인식하는 방법을 사용한다. '깊이 값을 이용하는 인식 방법'에는 '마이크로소프트(Microsoft)'사의 '키넥트(Kinect)', '립 모션(Leap Motion Inc.)'사의 '립모션(LeapMotion)' 등이 있다.

3. '동작 인식' 기술 동향

동작 인식 기술은 스마트폰에서 가장 널리 사용되고 있는 '터치 인터페이스(Touch Interface)'를 넘어서, 미래의 새로운 인터페이스 기술로 주목받게 될 전망이다. '동작 인식' 기술은 착용형 단말이 향후 스마트폰을 이어 IT 혁명의 또 다른 원동력이 될 것으로 기대되고 있다. '터치(Touch)'가 아닌 다른 방식의 인터페이스를 고안할 필요성이 높아지면서, 동작 인식 기술의 중요성도 증가하고 있다.

또한 '터치 인터페이스(Touch Interface)'는 인간의 손가락 움직임을 단말 조정에 사용하지만, 동작 인식 기술은 '손', '팔',' 발', '몸 전체'의 움직임을 인식해 활용한다는 점에서 터치 기술이 확장된 형태라고 볼 수 있다. '동작 인식' 기술의 장점은 '터치스크린(Touch Screen)'과 같은 입력 장치를 필요로 하지 않고, 벽이나 책상과 같은 물리적 공간을 '터치스크린' 대신에 활용하거나 허공에 손을 움직이는 것만으로도 단말을 조작할 수 있다.

3-1. 웨어러블 동작 감지기

2015년 6월, '싱가포르 과학기술 디자인 대학교(Singapore University of Technology and Design)'와 '매사추세츠 공과대학교(MIT: Massachusetts Institute of Technology)'는 '탄소나노튜브(CNT: Carbon Nanotube)' 섬유를 활용해 인체의 관절이나 근육의 움직임을 감지하고 측정할 수 있는 '웨어러블 동작 감지기'를 개발하였다. '웨어러블 동작 감지기'는 다기능성 '탄소나노튜브' 섬유 가닥들을 유연한 고분자 소재 위에 나란히 배열해 직조한 섬유에 꾸준히 전류를 흘리면서 이를 잡아 늘이면 '압전 특성'과 '접촉 저항'이 증가한다. 소재인 '탄소나노튜브(CNT)'의 특성상 최대 900% 이상의 신축성이 있어, 인간뿐만 아니라 지구상에 존재하는 대다수 동물의 움직임을 감지한다.

2018년 10월, '한국전자통신연구원(ETRI: Electronics and Telecommunications Research Institute)'의 '신소자연구그룹'은 고무형 복합소재를 활용하여 '손가락', '눈 옆의 관자놀이', '목 뒷부분'에 부착하여 '손가락의 굽힘', '눈 깜박임', '목 구부림'에 따른 신체의 움직임을 감지하는 동작 감지기를 제작하였다. 그리고 '터치 센서(Touch Sensor)'로 응용하기 위해 3×3 촉각 센서 모듈 제작에도 성공하였다. 피부에 부착해 '신체 움직임'이나 '자세', '혈압', '심장 박동 수' 등을 실시간으로 감지하여, 인간 피부와 같은 유연한 생체환경을 제공해 의료재활 분야에 활용될 전망이다.

2018년 9월, '한국과학기술연구원(KIST: Korea Institute of Science and Technology)'의 신바이오닉스연구단 김진석 박사팀은 '광섬유 브래그 격자(FBG: Fiber Bragg Grating)' 센서를 이용하여 실시간으로 3차원 형상을 정밀 측정하는 광섬유 기반 착용형 '3D 모션 캡처링 센서 시스템(3D Motion Capuring Sensor System)'을 개발하였다. '광섬유 브래그 격자(FBG)' 센서는 광섬유 코어에 수백 '나노미터(nm)' 간격으로 굴절률이 다른 물질을 균일하게 빛으로 새겨놓은 센서로, 주로 '온도 변화', '건물이나 비행기 날개의 비틀림' 변형' 등을 측정하는 데 이용된다. '광섬유 브래그 격자(FBG)' 센서를 '형사 센서', '각도 센서', '비틀림 센서'와 각각 조합한 다양한 구조로 제작해 '3차원 형상', '고곡률의 구부러짐 각도', '비틀림 각도' 등을 측정하는 센서를 개발했고, 인체의 관절 동작 관련 정밀 측정기술을 개발하였다.

'동작 인식(Motion Recognition)' 기술은 주로 '카메라(Camera)'가 인체의 동작을 파악해 인식하는 영상 인식·분석 기술에 기반을 두고 있다. 그러나 영상 분석이 아닌 다른 형태의 '센서(Sensor)'를 통해 구현될 가능성도 제기되고 있다. 특히 '마이크로소프트(Microsoft)' 연구소와 '워싱턴 대학(University of Washington)'의 '웨어러블 동작 컨트롤러(Wearable Motion Controller)'처럼 팔뚝의 근육이 수축하는 형태를 직접 감지함으로써 손의 움직임을 유추해 인식하는 방식도 존재한다. 이외에도 다양한 방식으로 움직임을 감지하는 것이 가능할 수 있다.

3-2. 기존 스마트 단말을 조정할 인터페이스 변화

'동작 인식(Motion Recognition)' 기반의 '사용자 인터페이스(User Interface)'가 확산되면서, 기존 스마트 단말들을 조정하기 위한 인터페이스가 바뀔 가능성도 있다. 특히 '스마트 TV(Smart TV)'와 같이 이용자가 화면과 일정 거리를 두고 사용하는 단말의 경우, '동작 인식' 기술을 활용한 인터페이스가 매우 유용할 것으로 예상된다.

'스마트 안경(Smart Glass)' 같은 착용형 단말의 경우, 스마트폰과 같이 '터치스크린(Touch Screen)'을 탑재하기 어렵다. 그래서 동작 인식 기술을 응용해 인간의 손동작을 '단말 컨트롤(Terminal Control)'에 활용하는 것이 가장 좋은 대안으로 여겨지고 있다. 동작 인식 기술이 꾸준히 발전할 경우, 영화 '마이너리티 리포트(Minority Report)'에서 보던 것처럼 손과 팔의 움직임으로 컴퓨터를 작동하는 미래 시나리오도 실현될 수 있을 것으로 예상된다.

3-3. 플루이드 모션 보간 기술

'플루이드 모션(Fluid Motion)' 기술은 AMD와 Cyberlink가 공동으로 만든 동영상 후처리 그래픽카드 가속 기술이다. 예컨대 초당 24프레임 또는 30프레임의 동영상의 각 프레임 사이에 앞 프레임과 뒤 프레임을 기반으로 중간 프레임을 연산을 통해 만들어 초당 60프레임 또는 120프레임으로 늘려 재생하는 기술이다.

'플루이드 모션(Fluid Motion)'은 GPU로 처리하여 CPU의 자원 소모가 적으며, GPU 자체의 자원도 크게 소모하지 않는 등의 장점이 있다. 그 품질 또한 AviSynth에 비하여 높고, 1440p 이상 고해상도에서도 끊김이 없다. AviSynth는 Microsoft Windows에서 구동되는 '그래픽 사용자 인터페이스(GUI: Graphical User Interface)' 환경 비선형 비디오 편집 프로그램이다.

3-4. 객체 중심 다각도 영상 획득 기술

'객체 중심 다각도 영상 획득'을 자동화하기 위해서는, 다중 촬영을 위한 '카메라 네트워크(Camera Network)'로 연결된 컨트롤 및 '획득 시스템(Acquisition System)'이 필요하다. 또한 지정된 '객체(Object)'를 추적하며, 그 추적 위치에 따른 다중 카메라 'PTZ(Pan/Tilt/Zoom)' 값을 자동으로 계산하는 '다중 PTZ 카메라 연동 제어 기술(Multiple PTZ Camera Interlocking Control Technology)'이 필요하다. 이에 대한 기술 개발이 진행되고 있다.

3-5. VR 트래킹 기술

'가상현실(VR: Virtual Reality)' 단말 시장에서 신체 움직임을 감지해 VR 영상에 반영하는 '트래킹(Tracking)' 기술이 경쟁의 관건으로 부상하고 있다. '머리', '손', '발', '몸', '눈동자 움직임', '생리 지표' 등 사용자의 '생체 데이터(Biometric Data)'를 실시간으로 추적한 것으로 6자유도 구현을 위해 'GPS', '가속도 센서(Acceleration Sensor)', '자이로스코프(Gyroscope)', 'RFID(Radio Frequency Identification)', '무선 센서(Wireless Sensor)' 등이 결합된 '하이브리드 위치 추적 기술(Hybrid Location Tracking Technology)', 추적 대상이 시야에서 벗어나거나 장애물이 가려져도 트래킹을 유지할 수 있는 '인사이드-아웃 트래킹 기술(Inside-Out Tracking Technology)', 적외선 카메라를 활용해 3D 환경을 탐색하여 '공간의 특징을 파악할 수 있는 기술' 등이 개발되고 있다.

4. '동작 인식' 응용 분야

4-1. 게임·엔터테인먼트 분야

'비디오 게임(Video Game)'은 '동작 인식' 기술을 게임 컨트롤러에 접목해, '동작 인식' 기술의 활성화에 가장 크게 기여한 분야이다. xbox360은 다수의 '키넥트(Kinect)' 전용 게임을 출시하고 있으며, 이들 게임의 장르는 '댄스 게임(Dance Game)', '스포츠 게임(Sports Game)', '애완동물 기르기'에 이르기까지 다양한 분야에 걸쳐 있다.

'댄스 게임(Dance Game)'은 동작 인식 기술을 활용한 가장 대표적인 게임의 사례이다. 과거 'DDR(Dance Dance Revolution)'과 같이 발밑에 높인 패널을 밟아 즐기는 형태에서 전신의 움직임을 반영하는 체감형 댄스 게임으로 진화하고 있다. DDR이 발의 움직임만을 인식한 데 비해, '키넥트(Kinect)'용 댄스 게임은 '팔', '다리', '얼굴' 등 전신의 움직임을 인식할 수 있도록 발전하고 있다. 또한 화면에 나타나는 가상 댄서의 춤 장면을 사용자가 보면서 따라할 수 있도록 설계되었으며, 기초적인 춤 강습용 콘텐츠로 활용이 가능할 만큼 완성도가 매우 높다.

2012년에 출시된 '키넥트(Kinect)' 전용 액션 롤플레잉 게임인 '페이블: 더 저니(Fable: The Journey)'는 손에 '게임 컨트롤러(Game Controller)'를 잡고 플레이하던 기존의 방식에서 나아가, 사용자는 앉아서 손을 이용해 게임 플레이가 가능해 보다 실감나는 게임 경험을 할 수 있다.

스포츠 게임으로는 '마이크로소프트(Microsoft)'가 '나이키(Nike)'와 공동 작업을 통해 개발한 'Nike+키넥트 트레이닝(Nike+Kinect Training)'이 이 있다. 'Nike+키넥트 트레이닝'는 2012년 10월에 출시되었으며, 동작 인식 기술을 활용한 '피트니스 게임(Fitness Games)'의 새로운 가능성을 보여주었다. 이 게임은 '운동'과 '트레이닝(Training)'에 대한 '나이키(Nike)'의 지식과 '마이크로소프트(Microsoft)'의 '동작 인식(Motion Recognition)' 기술을 활용해 사용자의 움직임을 관찰하고, 신체의 힘과 활동성을 평가해 맞춤 트레이닝을 제공한다.

한국에서는 '키넥트(Kinect)'을 학교의 체육수업에 활용하는 사례도 등장하였다. 서울의 한 초등학교에서는 운동장에 지하 주차장과 체육관을 짓는 공사를 시작해 실외 체육수업 시간이 줄어들었다. 그러자 3학년 학급의 한 교사가 체육 시간에 '키넥트(Kinect)' 게임을 적용하였다. 그 결과 아이들의 체육수업 집중도가 향상되고 학급 전체의 공감대가 생기면서, 교실 분위기도 좋아졌다는 평을 받았다. 담당 교사가 수업 동영상을 '유튜브(Youtube)'와 '페이스북(Facebook)'에 공유한 후 초등 교사들의 질문이 쏟아졌고, 이후 '마이크로소프트'에서는 담당 교사를 강사로 초빙해 교사들을 대상으로 '키넥트 교육 활용 세미나'를 개최하기도 하였다. 키넥트를 활용한 실내 체육 수업은 눈·비가 오는 악천후나 추운 날씨에도 가능하고, 운동장 확보가 어려운 곳에서 유용하게 활용될 수 있음을 증명하였다.

4-2. 의료·특수치료 분야

'의료(Medical treatment)'는 '키넥트(Kinect)'가 가장 활발히 활용되고 있는 분야이다. '운동 재활', '수술 중 화면 컨트롤' 등 다양한 방면으로 사용되고 있다. '미주리 대학(University of Missouri)'의 간호학 교수인 '란츠(Rantz)'는 키넥트를 이용해 노인들의 움직임을 관찰하고 미묘한 변화를 추적해, 낙상으로 이어질 수 있는 노인들의 기능 저하를 파악할 방안을 연구하였다. 또 수술 장갑을 벗지 않고 수술을 진행해야 하는 외과 의사가 의료장비를 키넥트로 컨트롤하는 프로젝트도 시도되고 있다.

동작 인식 게임은 '다운 증후군(Down syndrome)'이나 '자폐증(Autism)' 등 학습장애를 겪는 학생들의 운동 기술 지도에 활용되기도 한다. 영국 '노팅검 트렌트 대학(Nottingham Trent University)' 교육학과의 연구원인 '레이첼 폴즈(Rachael Folds)' 박사는 동작 인식 게임기인 '닌텐도 Wii(Nintendo Wii)'와 '키넥트(Kinect)'를 특수 장애 학생들의 운동 학습에 활용하였으며, '다운증후군', 및 '자폐증' 등을 앓고 있는 16~24세 사이의 학생 24명을 대상으로 연구하였다.

참여자들은 Wii 테니스 게임을 통해 테니스를 연습한 이후, 실제 테니스 훈련 결과에서도 53%의 기술 향상을 보였다. 18명의 연구 참여자들은 '키넥트'를 통한 볼링 연습 실험에도 참여했는데, 5주간의 연습을 통해 참여자 중 94%는 자신들의 게임 점수를 처음보다 높일 수 있었으며, 실제 볼링 기술 또한 143% 향상된 것으로 관찰되었다. 연구 참여 학생 중 92%는 동작 인식을 활용한 비디오 게임이 향후 대학에서의 학습 활동에 도움이 될 것이라고 답했으며, 게임을 통한 교육 방식이 기존의 교육 방식보다도 도움이 된다고 답하였다. 연구를 주도한 '레이첼 폴즈(Rachael Folds)' 박사는 "이번 실험 결과는 동작 인식 인터랙티브 게임이 학습장애를 겪는 학생들이 일상생활에서 필요로 하는 행동을 향상하거나 따라서 할 수 있도록 도울 수 있음을 보여준다."라면서, "지금은 테니스와 볼링이었지만, 앞으로는 케이크를 굽거나 타이어를 갈아 끼우는 등 유용한 기술들을 가르칠 수도 있을 것"이라고 전망하였다.

4-3. 교육 분야

'교육(Education)' 또한 '키넥트'의 활용 가능성이 큰 분야로 기대된다. '키넥트(Kinect)'를 이용해 다양한 형태의 체험 교육이 가능하며, 이와 관련된 다양한 교육 커리큘럼이 개발되고 있다.

악기 연주: 바이올린이나 기타를 손에 들고 연주하는 시늉을 하면, 키넥트가 동작을 인식해 실제 악기를 연주하는 것처럼 재현도 가능하며, 이를 통해 바이올린이나 기타 연주를 배울 수도 있다.
수화 학습: 수화 학습에서는 학습자가 정확한 동작으로 수화를 하고 있는지 키넥트를 통해 확인이 가능하다.
인체 해부 수업: 인체 해부에 대한 수업에서는 '키넥트'로 촬영된 자신의 배 위에 내부의 장기나 뼈를 직접 CGfh 재현해 겹쳐 보이게 한 후 확인하는 것도 가능하다.
외국어 단어 학습: 외국어 단어 학습에서는 일종의 퀴즈 형태로 화면에 영어 단어가 제시되었을 때, 여기에 맞는 행동을 하면 '키넥트'가 이를 인식해 정답을 판정하는 형태의 학습도 가능하다.

5. '동작 인식' 산업 동향

낮아진 동작 감지기의 생산단가: 과거 초미세 가공 기술이 필수적으로 사용되는 'MEMS(Micro Electro Mechanical Systems)' 기반의 '동작 감지기'는 2010년 이전에 센서 1개당 약 20달러 정도의 가격대를 형성하였다. 이후 기술의 발전으로 1개당 가격이 20달러 미만으로 낮아졌다. 동작 감지기의 가격이 급락하면서, 많은 사람이 일상적으로 소비하고 있는 제품에 잇따라 적용되고 있다. 이로 인해 센서 산업 내에서도 가파르게 성장하는 분야 중 하나로 평가되는 것은 물론, 다양한 분야에서 확대·응용되어 활용되고 있다.
'실감형 미디어' 산업 분야의 핵심기술로 주목: 인간과 컴퓨터 간의 실시간 상호작용 기술은 '실시간 렌더링 엔진(Real-Time Rendering Engine)'에 의해 구현된 프로그램 기반의 '실감형 콘텐츠(Immersive Content)'이다. 오감 센서는 '증강현실(AR)'과 '가상현실(VR)' 서비스 구현의 핵심기술로서, 오감 체험형 특수 입체 영상 등을 양방향 통신이 가능토록 구현하는 차세대 소프트웨어공학의 핵심으로 주목받고 있다. 특히 실시간 상호작용 콘텐츠 분야는 '증강현실(AR)' 서비스를 기반으로 크게 주목받고 있다. 또한 실감형 상호작용 소프트웨어를 통해, 미디어와 현실 가상 세계가 자연스럽게 융합되어 사용할 수 있는 환경의 구현이 가능해졌다.
빠른 속도의 기술 발전: 급속도로 발전하는 기술로 인하여 매우 다양하게 변하는 'IT(Information Technology)' 환경에서 한 기업의 시장 독점이 매우 어려워졌다. 따라서 품질 경쟁 구도로 이어지기 때문에, 타 국가의 선례를 참고하기보다는 적극적인 신기술 개발에 집중이 필요하다. 전방 산업·후방 산업의 연계성이 높은 산업으로 '기계부품', '소프트웨어' 산업의 중간지점에 위치하며, 발전 가능성이 큰 기술로서 현재 많은 관심을 받으며 급격하게 성장해가고 있다. 특히 '딥러닝(Deep Learning)'에 주목하는 만큼 영상 및 동작 처리 기술 또한 '딥러닝'을 접목이 가능한 기술로, 주요 글로벌 기업들이 서로 경쟁하여 시장을 형성하고 있다.
적용 분야의 확대: '3차원 영상 분석' 및 '동작 캡처'는 일반적으로 '영화', '게임' 등의 '실감형 콘텐츠'에 널리 적용되어 활용되고 있다. IT 기술과 콘텐츠 기술이 융합된 '사용자 인터페이스(User Interface)' 기술은 다양한 사업에서 적용되고 있다. 특히 'PUI 센서(Physical User Interface Sensor)' 및 '깊이 센서(Depth Sensor)' 등 '3차원 인터페이스(3D Interface)'를 통해 사람의 위치를 추적하거나 의도를 실시간으로 분석하고, '계량화 표현' 및 '시각화(Visualization)'로 인간과 컴퓨터 간 자연스럽게 상호작용하는 기법 등에 적용이 널리 확산하고 있다.
글로벌 기업에 주도되는 시장: 인간과 컴퓨터 실시간 상호작용 시작은 '가상현실(VR)', '증강현실(AR)' 시장 확대와 '자연스러운 사용자 조작 환경(NUI: Natural User Interface)', '자연스러운 사용자 경험(NUX: Natural User eXperience)'의 높은 수요에 힘입어 급격히 성장할 것으로 전망된다. '크라이텍(Crytek)', '엔비디아(NVIDIA)', 'AMD', '퀄컴(Qualcomm)', 등의 글로벌 기업에 의하여 주도되고 있다.

6. '동작 인식' 정책 동향

'미국'의 정책동향: 미국 정부는 2000년대 중반부터 혼합현실 기술을 10대 핵심 전략 기술로 지정하여 투자해 왔다. 'NRC(National Research Council)'에서 'MOVES(Modeling, Virtual, Environments, Simulation)' 프로글매을 통해, 산업별 분야에 적용하는 기술들에 대한 연구개발을 지원하고 있다.
'중국'의 정책동향: 중국 정부는 2016년 4월부터 공업신식화부에서 VR 산업 로드맵을 수립하여 발표했으며, 이를 기반으로 'VR 산업 발전 백서 5.0'을 발표하였다. 가상현실 원천기술을 개발하기보다는 해외 가상현실 원천기술 보유 기업을 인수하는 방식을 취하고 있다. R&D-표준-특허연계 등 표준화 혁신 전략도 수립 및 이행하고 있다.
'일본'의 정책동향: 일본 정부는 VR·AR 산업에 대한 범부처적인 투자를 수행하고 있다. 'Virtual Reality Techno Japan' 정책을 시행하고, 문무성은 대학을 중심으로 VR·AR 기술 개발을 진행하고 있다. 또한 VR·AR 기술과 로봇의 융합 연구에 대한 투자를 확대하고 있다.
'유럽'의 정책동향: 유럽은 '범유럽 7차 종합 계획'을 수립하여 '실감 미디어' 핵심 기술을 '연구소', '학교', '기업'의 협력을 통하여 개발하고 있다. Fraunhofer IGD를 세워 민간기업을 지원하고 '실감형 인터페이스' 개발을 위해 예산을 편성하였다. Fraunhofer IGD는 독일의 '프라운호퍼 협회(Fraunhofer Gesellschaft)'라고 불리는 연구 기관의 일부로, '컴퓨터 그래픽스(CG: Computer Graphics)'와 관련된 연구를 수행하는 기관이다.
'한국'의 정책동향: 한국은 실시간 디지털 콘텐츠 분야를 발전시키기 위하여 '3D 콘텐츠 기반 구축', '3D 콘텐츠 제작 활성화', '기술 개발 역량 강화', '글로벌 시장 진출 확대' 등 4대 중점 전략과제를 통해 실시간 디지털 콘텐츠 분야에 대한 지원을 지속해서 진행하고 있다. '과학기술정보통신부'는 2020년부터 2029년까지 국내 가상현실과 증강현실 산업 발전을 위한 선제적 규제 혁신 로드맵의 세부내용을 발표하였다. 특히 'D.N.A(Data, Network, AI)' 기술과 결합해 일상의 다양한 분야에서 우리의 실생활을 획기적으로 바꿔 줄 촉매기술로, 한국판 뉴딜의 핵심 축인 '디지털 뉴딜(Digital New Deal)' 정책의 주요 과제와도 밀접하게 연결되어 있다. 로드맵의 공통 과제로는 '개인 영상 정보의 합리적 활용 기준 마련', '3차원 공간 정보의 해상도·좌푯값 등 활용기준 완화', '기능성 AR·VR 콘텐츠의 게임물 분류 완화', '실감 콘텐츠 특성에 맞는 영상물 등급 분류체계 마련' 등이 설정되어 추진되고 있다.

7. '동작 인식' 관련 기업

7-1. 마이크로소프트(Microsoft)

국적: 미국

'마이크로소프트(Microsoft)'사의 '키넥트(Kinect)'는 'RGB Camera', '3차원 깊이 센서(3D Depth Sensors)', 'Mulit-Array MIC', 'Motorized Tilt' 총 4개의 '센서(Sensor)'로 이루어졌다. '웹 카메라(Web Camera)' 형태로 눈에 보이지 않는 많은 적외선을 출력하여, 사물이나 환경에 충돌되어 반사되는 것을 인식하여, 깊이 값을 계산하고 3차원 형태로 인식한다. 그리고 '3차원 형태'로 인식된 화면을 통해서 '동작(Motion)'을 최종적으로 인식한다.

'마이크로소프트(Microsoft)'는 2010년에 3차원 동작 인식 기술 전문 업체 '카네스타(Canesta)'를 인수하였다. '카네스타'가 개발한 동작 인식 칩은 CMOS 기반의 동작 인식 센서이다. '레이저빔(Laser Beam)'을 이용해 책상 위에 가상 키보드를 만들고, 손가락 움직임을 인식해 신호를 인식해 신호를 입력하는 키보드를 선보였다.

7-2. 탈믹랩스(Thalmic Labs)

국적: 미국

미국 실리콘밸리 신생 기업인 '탈믹랩스(Thalmic Labs)'에서 개발된 제품 '마이오(MYO)'는 팔에 착용할 수 있는 '웨어러블 디바이스(Wearable Device)'로 제작되었다.

7-3. 보쉬(Bosch)

국적: 독일

'보쉬(Bosch)'사는 자동차 및 산업 기술, 소비재 및 빌딩 기술 분야의 선도적 기업이다. '보쉬(Bosch)'사가 발표한 '동작 감지기' 제품으로는 'BMA 400 디지털 3축 MEMS 가속 센서', 'BMA 423 디지털 3축 MEMS 가속 센서', 'BMA 456 디지털 3축 MEMS 가속 센서', 'BMA 453 디지털 3축 Low-G 가속 센서' 등이 있다.

BMA 400 디지털 3축 MEMS 가속 센서: 상시 작동 배터리 시스템이 있는 웨어러블 및 IoT 기기에 이상적인 초저전력 가속도계
BMA 423 디지털 3축 MEMS 가속 센서: 소형, 2mm×0.65mm×2mm 패키지로 제공되는 12bit, 저전력 가속 센서
BMA 456 디지털 3축 MEMS 가속 센서: 소형, 2mm×2mm×0.65mm 패키지로 제공되는 16bit, 저전력 가속 센서
BMA 453 디지털 3축 Low-G 가속 센서: 불안정한 VDDIO 1.2-3.6V 전압 대에서 3개의 수직축으로 가속 측정

7-4. 립 모션(Leap Motion)

국적: 미국
설립: 2010년

'립 모션(Leap Motion Inc.)'사는 동작인식 관련 센서 및 솔루션 업체이다. '립 모션(Leap Motion Inc.)'사에서 개발한 '립 모션(Leap Motion)'은 작은 크기의 장치로 8입방 피트의 3차원 공간을 파악한다. '립모션'의 작동 원리는 '마이크로소프트(Microsoft)'사의 '키넥트(Kinect)'와 비슷하다. 적외선을 이용해 동작을 인식하며, 키넥트보다 200배 높은 감도를 가지며 1/100mm의 움직임까지 감지한다. 컴퓨터에 마우스와 키보드의 기능을 대신하는 입력 장치는 립 모션이 대표적이다.

2015년 10월, 동작인식 센서 '드래곤플라이 모듈(Dragonfly Module)' 베타버전을 'SK텔레콤'에 제공하기로 '양해각서(MOU: Memorandum of understanding)'를 체결하였다.

7-5. 로보 큐브(Robo Cube)

국적: 한국

'로보큐브(Robo Cube)' 사에서는 '네트워크 기반 모터 컨트롤러(DC 시리즈, BLDC 시리즈, STEP 시리즈)', '로봇용 동작 감지기(포스 및 토크 센서, 동작 감지기', '로봇 모듈(Robot Module)' 등을 공개하였다.

7-6. 스탠딩 에그(Standing Egg)

국적: 한국

'스탠딩 에그(Standing Egg)'사는 반도체 스타트업 기업으로, 2016년 12월에 'MEMS 동작 감지기 솔루션'을 개발하였다. '스탠딩 에그'사는 'MEMS 설계 기술력', 'MEMS 센서 통합 기술', '센서 허브 관련 기술', '동작 감지기 관련 알고리즘 기술' 등을 보유하고 있다. '동작 감지 관련 알고리즘 기술'로 감지 정보를 받아 각종 명령을 수행하도록 돕고, 정교한 알고리즘으로 전력을 적게 소모하고, 더 정확한 감지 정보를 인지할 수 있으며, 6축 혹은 9축 센서 퓨전 알고리즘을 제공한다.

7-7. 알에스오토메이션(RS Automation)

국적: 한국
설립: 2009년
특징: '로봇 동작 제어' 및 '에너지 제어' 전문업체

'알에스오토메이션(RS Automation)'은 '로봇 동작 제어' 및 '에너지 제어' 전문 업체이다. 2009년 12월, '로크웰 오토메이션 코리아(Rockwell Automation Korea)'로부터 '컴포넌트 제어기 사업 부문'을 양수 받아 설립되었다. '알에스오토메이션(RS Automation)'은 평택시에 소재하고, 삼성전자에 납품되는 '디스플레이(Display)', '반도체 제조용 로봇 동작 제어기'를 개발·공급하며 성장해왔다.

'로봇 동작 제어' 분야: '로봇 동작 감지기' 및 '친환경 플랫폼 기반 신제품'을 출시하는 등, 동작 및 감지 분야에서 기술력을 보유하고 있다. '동작인식 및 분석' 관련 주로 '로봇 동자 제어' 분야에서 '제어기', '드라이브'에 이르기까지 핵심 부품을 다수 제조한다.
'에너지 제어' 분야: '에너지 제어' 분야에서는 '에너지 저장 시스템(ESS: Energy Storage System)'의 구성 제품인 '개인 휴대 통신(PCS: Personal Communication Services)' 및 '관련 부품'을 공급한다.

7-8. 아진엑스텍(AJINEXTEK)

국적: 한국
설립: 1995년

'아진엑스텍(AJINEXTEK)'은 '동작인식·분석' 관련, 국내에서는 유일하게 모터 제어 전용 'VLSI 칩(Very Large Scale Integration Chip)'을 개발·판매함으로써, '메카트로닉스(Mechatronics)' 분야 부품 소재 전문 기업으로 자리매김하였다. 이를 바탕으로 '반도체 제조 공정', 'LED/LCD Display 공정', 'PCB/SMT 공정', '모바일 공정', '자동차 공정'에 필요한 다양한 장비의 제어기를 국산화하였다.

7-9. 파인텍(FineTek)

국적: 한국
설립: 2008년

'파인텍(FineTek)'은 지속적인 연구개발로 디스플레이 'BLU(Back Light Unit)' 국산화에 성공하였으며, 세계 최초로 '폴더블 디스플레이(Foldable Display)' 제조 장비 개발에 성공하였다. 또한 '2차 전지 장비'와 '센서(Sensor)' 사업으로도 진출하였다.

2019년 3월에는 동작인식 및 분석 관련 미국 '나스닥(Nasdaq)' 상장사인 '네오노드(Neonode)'와 함께 '모션 센서 모듈(Motion Sensor Module)' 등으로 사업을 추진한다고 발표했다. '네오노드(Neonode)'는 2001년 스웨덴에 설립된 자동차용 모션센서 및 솔루션 공급 전문 기업이다. '광학 센싱 기술(Optical Sensing Technology)' 기반으로 차량용 '모션 컨트롤러(Motion Controller)' 및 '광학 터치(Optical Touch)' 등을 생산하고 있다. '벤츠(Benz)', '볼보(Volvo)', '캐논(Canon)' 등 글로벌 기업을 대상으로 제품을 공급하고 있다. '네오노드(Neonode)' 사가 보유하고 있는 특허기술 '제트포스 에어(zForce AIR)'는 일반 모니터에 광학 센서 모듈을 장착해 '터치 스크린(Touch Screen)'으로 전환할 수 있어 관련 업계의 주목을 받았다.

현재글동작 인식(Motion Recognition)

SURPRISER