실감형 콘텐츠(Immersive Content)

과학(Science)/산업 (Industry)

실감형 콘텐츠(Immersive Content)

SURPRISER - Tistory 2023. 10. 23. 00:45

0. 목차

'실감형 콘텐츠'란?
'실감형 콘텐츠' 산업
'실감형 콘텐츠' 주요 기술
'실감형 콘텐츠'는 오감 기술로 진화 중
'실감형 콘텐츠' 응용 분야
'실감형 콘텐츠' 관련 정책
'실감형 콘텐츠 소프트웨어'란?
'실감형 콘텐츠 소프트웨어' 주요 기술
'실감형 콘텐츠 소프트웨어' 관련 기업

1. '실감형 콘텐츠'란?

'가상현실(VR: Virtual Reality)', '증강현실(AR: Augmentd Reality)', '혼합현실(MR: Mixed Reality)'을 모두 아우르는 하나의 단어는 없을까? 현재로서는 '가상현실(VR)', '증강현실(AR)', '혼합현실(MR)'을 모두 아우르는 하나의 단어는 없지만, 이러한 기술들은 모두 '실감형 기술(Immersive Technology)'이라는 총칭으로 묶일 때가 있다. 이는 이러한 기술들이 사용자를 현실적으로 몰입시켜 주는 기술들이기 때문이다. 단, 이 용어는 명확하게 정의되어 있지 않으며, 사용되는 맥락에 따라 다르게 사용될 수 있다. 여기서는 '실감형 기술(Immersive Technology)'로 만들어진 콘텐츠를 '실감형 콘텐츠(Immersive Content)'라고 부르도록 하자. 요컨대 '실감형 콘텐츠'라 하면 'ICT(정보통신기술)'를 기반으로 하여 인간의 감각기관과 인지 능력을 자극하여 실제와 유사한 경험 및 감성을 느낄 수 있게 해주는 유형의 콘텐츠를 통칭한다.

'디지털 콘텐츠(Digital Content)'는 디지털 방식으로 제작·처리·유통하는 문자·음성·음향·이미지·영상 등의 자료·정보를 의미한다. 스마트 기기의 보급 확산은 콘텐츠 소비 형태의 변화를 주었으며, 다양한 플랫폼과 새로운 플랫폼 비즈니스 모델을 등장시켰다. 새로운 미디어와 플랫폼의 등장으로 디지털콘텐츠는 다른 형태로의 변환이 간편해졌으며, 새로운 기술 및 타산업과 융합되면서 고부가가치를 갖는 새로운 시장을 창출하고 있다. 최근 '가상현실(VR: Virtual Reality)', '증강현실(AR: Augmentd Reality)', '인공지능(AI)', '클라우드(Cloud)', '홀로그램(Hologram)', '오감 인터랙션(Five Senses Interaction)' 등 4차 산업혁명 기술 응용시장이 활성화되면서 콘텐츠와 첨단 기술 간 융합이 확산되고 있다. 여기에 더해 '혼합현실(MR: Mixed Reality)'과 '확장현실(XR: eXtended Reality)'까지 가세하면서 이용자의 '몰입 경험(Immersive Experience)'을 제공하는 서비스 및 기기 시장에 대한 기대가 커지고 있다.

가상현실(VR: Virtual Reality): VR 기술은 컴퓨터로 만든 가상공간 내에서 사용자의 시각·청각·촉각 등 감각 정보를 확장·공유함으로써 공간적·물리적 제약에 의해 현실 세계에서 실질적으로 경험하지 못하는 상황을 실감적으로 체험할 수 있게 하는 기술을 의미한다. VR은 사용자가 가상으로 생성된 객체만을 경험하도록 기본적인 감각인 시각에 대해 실세계 영상이 차단되도록 시야 전체를 가상 영상으로 채우는 '착용형 디스플레이'를 주로 이용하고 있으며, 실세계 영상이 차단되므로 고정된 자세에서 영상 시청에는 무리가 없다. 하지만 사용자의 이동이나 가상 객체와의 상호 작용을 위해서는 부수적인 요소 기술 활용이 필요하다.
증강현실(AR: Augmented Reality): AR 기술은 현실에 가상의 정보를 합성해 영상 정보를 증강시키는 기술이며, AR 기술은 현실 공간과 사물에 증강된 실감형 콘텐츠를 내재시킴으로써 사용자에게 보다 많은 체험 서비스를 제공하는 기술을 의미한다. 증강 현실은 스마트폰이 제공하는 기능을 통해 좌표상 위치와 움직임을 용이하게 측정할 수 있게 됨에 따라 다양한 용도로 응용되고 있다. 또한 실제 영상에 사용자에게 도움이 되는 가상 객체와 정보를 증강시킬 수 있어 '교육', '원격의료진단', '방송', '건설', '설계', '제조', '공정관리' 등 다양한 산업 분야에 응용이 가능하다.
혼합현실(MR: Mixed Reality): MR 기술은 가상의 끝에 있는 VR과 현실을 중심으로 하는 AR의 장점을 모두 포괄하는 개념으로, 현실 세계와 가상 현실이 혼합되어 현실의 물리적 객체와 가상의 객체가 서로 상호작용할 수 있는 환경을 제공하는 기술이다. 현실 위에 가상의 정보를 겹쳐서 제공한다는 점에서 AR의 특징을 가지며, 동시에 사실감이 극대화된 3D 입체 영상이 현실과 자연스럽게 혼합되어, 현실과 가상의 경계가 무너지는 몰입감을 제공한다는 점에서 VR의 특징도 동시에 가진다. 현재 개발 중인 MR 기술은 AR의 기본 기술 위에, 현실 공간과 사물을 입체적으로 인식하여 자연스럽게 3D 이미지를 매칭하는 기술과 사용자와 현실의 객체가 가상 현실속 객체와 실시간으로 상호작용하는 기술을 얹히는 방향으로 진행 중이다.
확장현실(XR: eXtended Reality): XR은 VR, AR 기술의 개별 활용 또는 혼합 활용을 선택하며, 확장된 현실을 창조한 것으로 '교육(Education)', '헬스케어(Healthcare)', '제조업' 등 다양한 분야에 적용될 것으로 기대된다. XR을 실현하기 위해서는 대용량의 실시간 3D 영상을 표시하기 위한 '고성능 컴퓨팅 파워'와 '그래픽 처리 성능'이 중요하고, 디스플레이 기술로 발전해야 하며, 5G 이동통신과 같이 대용량 데이터를 초저지연으로 효과 높게 전송하기 위한 기술도 전제 조건이다.

1-1. '실감형 콘텐츠'가 우리 실생활에 가져올 변화

2010년대 이후 스마트폰이 일반화되었고, 그 밖에도 '멀티스크린(Multi-Screen)', '초대화면', '홀로그램(Hologram)', '웨어러블 기기(Wearable Device)' 등 디지털 콘텐츠를 표현하는 매체의 유형과 종류가 셀 수 없을 정도로 다변화되고 있다. 예를 들어 홀로그램 기술을 이용한 뮤지컬 공연은 관객들에게 더 깊은 감동과 몰입을 제공한 바 있다. 또 인터넷 쇼핑몰에서 가상현실 헤드셋을 저렴하게 구매한 후에, 스마트폰을 삽입하여 가상의 공간에서 자기만의 '실감형 콘텐츠'를 이용하는 것은 더 이상 미래의 이야기가 아니라 바로 지금 일어나고 있는 현상이다.

또한 이동성과 위치기반 서비스를 연계한 모바일 콘텐츠에 AR·MR 기술을 적용하면서 사용자에게 맞춤형 콘텐츠로의 모습을 선보이고 있으며, 향후에는 '가상현실(VR: Virtual Reality)', 증강현실(AR: Augmented Reality)', '혼합현실(MR: Mixed Reality)', '확장현실(XR: eXtended Reality)', '홀로그램(Hologram)'을 이용한 입체적인 콘텐츠 표현이 주류를 이루게 될 것으로 보인다.

따라서 소비자들은 하나 이상의 웨어러블 기기 또는 액세서리를 이용해서 콘텐츠 소비를 하게 될 것이다. 이러한 실감형 콘텐츠를 표현하는 기기들이 '사물인터넷(IoT: Internet of Things)'에 연결된 장비로서, 주변 센서 정보와 통신하면서 사용자에게 '푸시 메시지(Push Message)'와 콘텐츠를 전달하고, 다른 한편으로는 사용자의 신호와 필요에 의해 콘텐츠가 주변 사물에 필요한 정보를 요성하여 마치 살아있는 듯한 지능형 콘텐츠로의 발전이 기대된다.

2. '실감형 콘텐츠' 산업

VR·AR 산업이란 VR·AR 기술 기반으로 인간의 감각과 인지를 유발하여 실제와 유사한 경험·감성을 확장해 주거나, 실제의 배경에 유의미한 정보를 보여주는 참여여 콘텐츠 산업으로 정의된다. 'VR 콘텐츠(VR Content)'는 3D 가상환경에서 인체의 오감을 활용하여 몰입감과 현실감을 경험할 수 있는 콘텐츠이며, 'AR 콘텐츠'는 실제의 이미지나 배경에 유의미한 상황 정보를 기반으로 한 2D·3D 영상, 텍스트, 소리 등의 가상 정보를 나타내어 사용자의 경험이 증강되고 현실 세계와 동기화할 수 있는 콘텐츠를 의미한다. MR 콘텐츠는 VR의 몰입감과 AR의 현실감이 융합되어 현실감 있는 가상 정보를 결합한 융합 공간에서 새롭게 생성된 정보를 실시간으로 혼합하여 사용자와 상호작용할 수 있는 콘텐츠를 의미한다.

VR 기술은 1960년대부터 지속적으로 디지털 콘텐츠 제작에 적용하고자 시도되어 왔지만, 기술의 한계 및 높은 개발 비용으로 인해 대중화에는 한계가 있었다. 그러나 최근 '고해상도 디스플레이(High Resolution Display)', 강력한 '컴퓨팅 파워(Computing Power)', '3D 센싱(3D Sensing)', '초고속 네트워크(High Speed Network)' 등의 기술이 비약적으로 발달하고 하드웨어 비용이 크게 하락하면서 몰입감과 상호 작용을 제공할 수 있는 환경이 조성되면서 VR·AR·MR 기술은 다양한 산업 분야와 결합해 새로운 경험을 제공하는 신산업을 창출하고 있다.

VR, AR, MR 콘텐츠는 사물과 소통함으로써, 사물을 관찰하고 직접 체험하고 싶은 인간의 원초적 욕구를 가장 잘 충족시켜줄 수 있다. 또한 가상의 환 경 혹은 객체와 상호작용을 통해 이용자에게 실재감과 몰입 경험을 제공하는 미디어로 주목받고 있다. VR, AR, MR 콘텐츠는 디바이스 측면에서 기조의 미디어와 차별점이 있지만, 이용자의 '이용 행태' 및 '경험'이 다르다는 점이 가장 중요한 차이라고 볼 수 있다. AR, MR 콘텐츠의 경우 2D 기반의 경험이 아닌 이용자 1인칭 시점에 기반을 둔 가상의 3D 환경, 혹은 360도 환경을 경험할 수 있다. 또한 스마트폰과 같은 기존의 미디어를 이용하여, 물리적 환경에 가상의 객체가 혼합된 경험을 제공한다. 앞으로 'VR 기기의 보급'과 '프리미엄 스마트폰 보급 확대', '실감형 콘텐츠 스트리밍 서비스 확대' 등에 따라 비약성으로 성장이 기대되고 있다.

2-1. '실감형 콘텐츠' 산업 생태계

VR, AR, MR 등의 '실감형 콘텐츠(Immersive Content)' 산업은 '콘텐츠(Content)', '플랫폼(Platform)', '네트워크(Network)', '디바이스(Device)'의 생태계를 형성하고 있다. '실감형 콘텐츠' 산업은 대부분 하드웨어 중심으로 생태계를 이루고 있으나, '실감형 콘텐츠' 산업이 시장에서 성공하기 위해서는 '디바이스'뿐만 아니라 '관련 SW', '서비스 플랫폼', '콘텐츠' 등 생태계 형성이 필수적이다. 이에 따라 콘텐츠 제작과 보급 부문의 생태계도 확장되고 있다.

디바이스(Device): 프리미엄 MD (PC/콘솔 연동형), 보급형 HMD (스마트폰 연동형), 360도 카메라 및 디바이스 컨트롤러
네트워크(Network): 유선(기가 인터넷), 무선(5G), 방송(UHD)
플랫폼(Platform): 소프트웨어 플랫폼, 서비스 플랫폼
콘텐츠(Content): 게임, 광고, 방송 영상·영화, 스포츠, 교육, 의료, e-Commerce, Themme Park, 제조, 부동산 등

'실감형 콘텐츠' 산업의 경우 경기변동에 관계없이 반드시 필요한 필수적인 서비스는 아니지만, 개인 맞춤형 정보 서비스 공급이 가능하며 정도의 활용도가 높아지는 삶의 편의성과 관련된 부가가치 창출 산업이다. 정보의 시각화·가상화 시뮬레이션을 통해 '효율성·생산성 향상', '인력 훈련의 효율화', '유통·생산·물류 등의 비용 절감 효과'를 기대할 수 있다.

2-2. VR 산업이 AR 산업으로 확장된다.

VR 콘텐츠는 1980년대 SF 소설을 통해 대중에게 인식이 확산된 1차 붐을 일으켰다. 2010년대 일반인들이 사용 가능한 보급형 기기들이 등장하면서 2차 붐을 일으키고 있다. 1980년대 VR 기술은 비행기 시뮬레이션과 같은 군사 활용을 시작으로 하여 일반인들을 위한 게임기로 만들어져 대중화 시도가 있었다. 그러나 기술 부족으로 인하여 VR 콘텐츠의 대중화에는 실패하였다. 그러다 2014년 '페이스북(FaceBook, 현 메타 플랫폼스)'이 '오큘러스(Oculus)'를 인수 이후 VR·AR에 대한 관심이 증폭되기 시작했다. 2016년에는 VR 상용화 기기가 출시되면서 가상현실·증강현실 시장에 대한 낙관적인 전망이 나타났다. 하지만 VR 기술은 콘텐츠 부족과 디바이스 보급 부진으로 산업화가 더디게 이루어졌다. 그러다 '포켓몬GO'의 성공과 함께 다시 전략 기술로 급부상하였다.

VR 기술을 중심으로 발전하던 산업은 AR 기술 기반의 산업으로 확장되는 추세를 보이고 있다. VR은 '헤드셋과 같은 몰입을 위한 기기(HMD: Head Mounted Display)'가 필요하며, 실제가 아닌 환경에 현실적인 이미지를 생성하여 만들어낸다. 'AR(증강현실)'은 휴대폰이나 태블릿의 카메라와 같은 장치를 통해 디지털 그래픽과 사운드를 실제 환경에 겹쳐서 표시하여 콘텐츠를 제공한다. VR과는 달리 AR는 별도의 기기가 없이 휴대폰을 이용하여 기술을 구현할 수 있기 때문에 진입장벽이 낮아 빠르게 발전하고 있다.

최근에는 '디바이스(Device)'가 필요 없는 AR의 장점과 큰 몰입감을 제공하는 VR의 장점을 결합한 '혼합현실(MR: Mixed Reality)'의 개념으로 발전하고 있다. '스마트폰(Smartphone)'과 '웨어러블 디바이스(Wearable Devices)' 시장이 성장하면서 장소와 기기에 제한 없이 VR·AR 콘텐츠를 경험할 수 있다. 또한 VR·AR 기술은 거의 모든 산업고 융합하여 획기적인 변화를 불러올 수 있다는 점에서 차세대 플랫폼으로 주목받고 있다. '메타 플랫폼스(Meta Platforms)'와 '마이크로소프트(Microsoft)', '애플(Apple)' 등의 글로벌 IT 기업들은 지속적으로 AR·MR 관련 제품을 개발하고 있으며 '음성전달', '동작 인식' 등의 기술을 적용하여 사용자들에게 현실과 같은 '실감형 콘텐츠(Immersive Content)' 서비스를 제공하고 있다.

글로벌 데이터 분석 기관인 '비주얼 캐피탈 리스트(Visual Capitalist)'에 따르면, VR·AR 기술의 향후 응용 범위를 산업 측면과 소비자 측면으로 구분하였을 때 산업 측면에서는 '의료' ,'제조업', '국방' 순으로 VR·AR 활용 사례가 증가할 것으로 예측하였다. 소비자 측면에서는 게임과 영화 등 '엔터테인먼트(Entertainment)'를 중심으로 발전하고, 그 뒤를 이어서 '의료'와 '유통' 분야에서 활용될 것으로 예상하였다.

2-3. 방대한 인터넷 트래픽이 필요하다.

가상현실 콘텐츠를 수월하게 전송하기 위해서는 방대한 '인터넷 트래픽(Internet Traffic)'이 필요하기 때문에, 네트워크 업계에서는 통신 기술의 고도화 작업이 필요하다. 시장조사기관인 '스트라베이스(Strabase)'에 따르면 VR 콘텐츠는 정지 화면을 기준으로 가로 약 3만 개, 세로 약 2만 4천 개로 구성된 총 7억 2천만 개의 픽셀 정보를 필요로 한다고 한다. 여기에 좌우의 회전까지 고려하면 약 25억 개의 엄청난 픽셀 정보를 감당해야 한다. 또 초당 60개에서 120개까지의 '프레임(Frame)'을 처리해야 '모션 블러(Motion Blur)' 현상을 막을 수 있다. 일반적으로 VR 영상은 기존 'UHD(4K 또는 8K 해상도)'급 영상 대비 약 4배 많은 데이터 요량을 소비하며, 적어도 800Mbps 이상의 전송 속도가 필요하다. 따라서 원활한 서비스 제공을 위해서는 5G 수준 이상의 네트워크가 필수적이다.

AR·MR 등과 같이 사용자와 실시간 상호작용이 필요한 콘텐츠의 경우에는 네트워크의 응답 속도가 특히 중요하다. AR·MR 서비스를 구현하기 위해서는 사용자를 둘러싼 주변 정보와 사용자의 몸짓·눈짓 등의 행동 반응 등의 데이터가 서버로 전송되고, 서버에서 해당 정보에 적합한 정보형 데이터와 콘텐츠를 선택하며, 사용자에게 다시 전송하는 일련의 과정이 실시간을 진행되어야 하기 때문이다. 사용자의 움직임과 AR 화면의 변화 사이에 지연이 발생하면 방향감각이 상실되어 어지름증이 발생되며, 사용자의 체감 서비스 품질이 감소하게 된다.

3. '실감형 콘텐츠' 주요 기술

'실감형 콘텐츠' 산업은 서비스 중심의 산업으로 관련 업체의 경우 응용 분야별로 분류할 수 있다. '실감형 콘텐츠' 관련 기술은 다양한 요소 기술이 유기적인 관계를 이루고 있어, 기술 중심의 산업 분류가 어렵다. 다양한 기술분류체계가 제안되었지만, 융합 기술의 특성상 분야별로 상이한 기술분류체계가 제안되고 있다. 따라서 여기에서는 VR, AR, MR 관련 기존 문헌 분석을 바탕으로 관련 핵심 기술을 다음과 같이 분류하여 각 기술에 대해 살펴보고자 한다.

분류	기술명
디스플레이(Display)	몰입 가시화 기술
인터랙션(Interaction)	실감 상호작용 기술
콘텐츠 저작	'컴퓨터 그래픽스(CG: Computer Graphics)' 기술
	스토리 기반 저작 기술
	3차원 공간 구성 기술

3-1. 몰입 가시화 기술

콘텐츠 사용자에게 몰입 환경을 제공하기 위하여 '평면'뿐 아니라 '반구형 곡면', '큐브형 공간' 등을 대상으로 공간 몰입형 가상현실 애플리케이션을 구현하거나, 벽이나 실제 물체의 표면에 빛을 투사하여 이미지를 보여주는 '프로젝션(Projection)' 기반 가시화 기술은 개인용 디스플레이를 가지고 있지 않더라도 여러 사람이 함께 '애플리케이션(Application)'이나 '콘텐츠(Contents)'를 즐길 수 있도록 지원한다.

'프로젝션(Projection)' 기반으로 벽이나 실제 물체의 표면에 빛을 투사하여 이미지를 보여줄 경우, 투사면이 평면이 아니거나 사용자 시점에서 정면이 아닌 경우 기하학적 왜곡이 발생할 수 있다. 이때의 기하학적 왜곡은 '기하 변환 행렬(Geometric Transformation Matrix)'을 이용하여 보정할 수 있다. 또한 '프로젝션 시의 투사된 영상의 색상은 '투사면의 섹상', '프로젝터의 컬러 특성', '주변 조명 환경의 색상' 등에 의해 컬러 왜곡이 발생할 수 있는데, 이를 완화하기 위해 '광학 보상(Optical compensation)' 방법 등을 적용한다.

3-2. 실감 상호작용 기술

콘텐츠에서 사용자의 동작과 같은 생체 데이터를 실시간으로 추적하는 기술을 '트래킹(Tracking)'이라고 한다. VR·AR 콘텐츠에서 '사용자의 위치·방향을 추적하는 기술'은 사용자가 이동하는 위치나 바라보는 위치·방향에 맞추어 미디어·콘텐츠를 가시화하기 위해서 꼭 필요한 기술이다. VR 콘텐츠의 경우 '사용자의 고개 방향'과 '미디어·콘텐츠의 방향'이 맞지 않는다면 사용자의 인지 감각에 오류를 발생시켜 멀미를 유발할 수 있게 된다. 또 AR의 경우에는 '사용자의 위치', '방향 추적'에 오류가 발생하면 실세계 영상과 가상의 영상 정합에 오류가 발생하여 미디어·콘텐츠 사용자의 몰입감을 감소시키게 된다. 따라서 아용자의 위치·방향 추적을 위해 센서로부터 수신되는 정보를 이용하는 기술과 카메라 영상 정보를 이용하는 기술을 사용하고 있다.

가상 객체를 현실 세계 영상 내의 적합한 위치에 정합하기 위해서는 카메라 위치와 방향 정보 계산이 필요하며, 이를 카메라를 통한 위치·방향 추적을 위해서 특정한 모양의 이미지인 '마커(Marker)'를 사용할 수 있다. '마커(Marker)' 기반의 카메라 추적은 '인식 속도', '인식 공간', '동시 인식 가능한 마커 수' 등에서 기술적 발전이 이루어져 왔다. 마커 기반의 카메라 추적은 인식률이 높고 안정적이지만, 현실 세계 카메라 영상 내에 모양과 색상 등이 뚜렷이 구변되는 마커를 필요로 한다. 이는 사용자 몰입에 방해가 될 수 있어, 현실세계 객체들의 '특징점(Keypoint)'들을 검출하고 그 특징점 주변에 대한 특징을 표전하는 '특징 기술자(Feature Descriptor)'를 생성하여 카메라 포즈를 계산하는 방법을 사용하고 있다.

3-3. 컴퓨터 그래픽스(CG)

'컴퓨터 그래픽스(CG: Computer Graphics)' 및 관련 기술 분야는 '모델링(Modeling)', '렌더링(Rendering)', '애니메이션(Animation)' 등 시각적 표현력을 확보하는 것을 목표로 한다. '컴퓨터 그래픽스(CG)'의 범위는 '영상처리(Image Pocessing)', '자연현상 시뮬레이션, '가상현실', '의료 영상', '인간-컴퓨터 상호작용', '실시간 시뮬레이션(Real-Time Simulation)', '영화 특수 효과' 등 다양한 분야로 확대되고 있다. 컴퓨터를 이용해 영상을 만들어 내는 CG 기술은 컴퓨터에 저장된 디지털 영상을 이용하여 작업함으로써, 컴퓨터 소프트웨어와 하드웨어의 발전에 따른 CG 기술의 도입으로 '실감형 콘텐츠' 산업에서 시각효과의 비중이 높아지고 있다.

컴퓨터 프로그램을 이용하여 '센서(Sensor)'에서 얻은 데이터를 다양한 정보로 영상이나 소리를 생성하게 하는 것을 '렌더링(Rendering)'라고 한다. 3D 영화나 360도 파노라마 영상처럼 만드는 것을 '프리렌더링(Pre-Rendering)'이라고 하고, VR 영상처럼 컴퓨터가 각종 정보에 반응하여 즉시 계산을 생성하는 것을 '실시간 렌더링(Real-Time Rendering)'이라고 한다. VR이 보는 사람에게 엄청난 몰입감을 주는 커다란 이유 중 하나는 '실시간 렌더링' 기술 덕분이다. VR 콘텐츠의 사실적인 캐릭터를 표현하기 위해서 '효율적인 데이터 추출', '사실적 표현을 위한 환경 구성', '모델링(Modeling)', '질감 표현(Texture Expression)' 등의 기술을 필요로 한다.

3-4. 스토리 기반 저작 기술

현실세계와 같은 실제감과 몰입감을 높이기 위해서는 스토리 기반의 콘텐츠 저작 기술이 필요하다. VR·AR 콘텐츠 저작에는 기존에 게임 제작에 널리 사용되던 게임 엔진인 '유니티(Unity)', '언리언엔진(Unreal Engine)' 등을 많이 이용한다. 또한 콘텐츠 저작의 효율성을 위해 특정 영역에 특화된 모델링 도구 등을 게임엔진과 연계하여 사용할 수 있다. 저작도구를 이용하여 가상의 객체들을 만들고 공간상에 배치하고 난 후, 사용자가 공간에서 움직일 대 스토리에 맞춰 사용자가 보고자 하는 방향·위치에 정확히 가시화될 수 있도록 하는 것이 중요하다. 또 가상현실을 표현하거나 가상 객체를 현실세계 영상 내에 표현할 때, '현실 세계 공간'과 '환경', '물리 작용' 등을 고려한 가시화 기술이 필요하다. 이러 가시화 기술은 사용자의 '몰입감'과 '실감' 향상을 위해 필요한 요소들이다. 실세계의 광원을 추정하여 콘텐츠에 반영하기 위해서는 3차원 기하구조를 알고 있는 물체에 반사된 색상으로부터 조명 정보를 추정하는 기술 등이 필요하다.

3-5. 3차원 공간 구성 기술

사용자가 체험할 공간을 구성하기 위해서는 실세계 환경을 '센싱(Sensing)'하여 제작하는 '공간 복원 기술'이 필요하다. 공간을 구성하기 위해서는 '3차원 공간 영상 획득', '영상 내의 특징점 추출', '기하 등을 이용한 필터링 및 카메라의 자세 추정', '삼각화 기법 등을 사용한 3차원 정보 추정 및 3차원 메쉬·렌더링' 등을 통해 3차원 형상을 만들어낸다. 공간을 구성하는 방법은 다양하지만, 360도로 촬영된 '파노라마(Panorama)' 영상을 이용하는 방법은 여러 개의 카메라로 촬영된 영상을 하나의 영상으로 보이게 처리하는 '스티칭(Stitching)' 기술이 중요하다.

'스티칭(Stitching)'은 각각의 카메라에서 촬영된 영상 소스를 이용하여 정해진 시야각과 화면 크기 기준을 가지고 초점 거리와 왜곡률을 보정하고, 여러 개의 카메라에서 촬영된 영상 소스를 이어 붙이는 기술이다. 이때 각 영상의 제일 가장자리에 촬영된 이미지의 '색상 정보', '위치', '각도'가 다음에 위치하는 영상의 가장자리 이미지와 일치해야 한다. 그리고 카메라의 성능차로 구현되는 이미지의 선명도나 피사체의 수직·수평 라인을 일치시켜 보정하는 것이 필요하다.

4. '실감형 콘텐츠'는 오감 기술로 진화 중

현재 '실감형 컨텐츠'는 시각 중심이지만, 점차 인간의 '오감(시각·청각·후각·미각·촉각)'을 통해 경험하는 다중 감각 기술로 발전하고 있는 추세이다.

시각 기술: 시각 기술은 보다 자연스러운 3차원 영상을 제공하기 위해, 하드웨어 성능을 개선하고 초점 문제 등 인간의 인지방식을 고려하여 한층 발전하였다. 고정된 거리의 디스플레이를 이용하는 기존의 'HMD(Head Mounted Display)'에서 발생하는 초점 혼란 문제 극복을 위해 여러 방향에서 오는 빛을 구현하는 '라이트필드 HMD(Light Field HMD)' 등이 개발되고 있다.
청각 기술: 기존의 청각 기술은 움직이지 않는 청취자 환경을 가정하여 입체감을 표현하였으나, 현재는 청취자의 움직임을 반영한 상대적 방향과 속도를 표현하기 위한 기술로 발전하고 있다. 최대 22개의 채널로 확장할 수 있고 높이 정보까지 표현 간으한 음향 기술들을 개발하여 VR·AR의 '3차원 입체 음향'을 구현하고 있다.
촉각 기술: 기존에 촉각 기술은 전용 시뮬레이터 장치로 제공했으나, 범용성이 있는 장갑이나 슈트 같은 웨어러블 기기를 이용한 촉각 기술이 나왔다. 주로 아케이드 게임장이나 극장에서 활용되고 있는 고정 탑승형 VR 기기는 콘텐츠 속에 등장하는 장치를 모사한 실제 물리적 장치를 제공하고, 바람 등을 활용하여 촉각 경험을 제공하고 있다. 또 전기 자극을 통해 '바람', '온도', '물체의 무게'까지 있는 '전신 장비'가 개발되고 있다.
후각·미각 기술: 후각과 미각 기술은 사용자별로 선호도나 느끼는 정도가 다르기 때문에, 다른 감각에 비해 활용 영역이 제한적이다. 그래서 발전 속도가 늦어 상용화보다는 실험적인 수준에서 기술 개발이 진행되고 있다. '온도', '바람', '꽃', '바다', '불꽃', '화약' 등의 냄새를 '카트리지(Cartridge)'를 통해 재현하는 기술은 이미 나와있다.

4-1. 동적 기술

현재 앉아 있는 사용자의 시선에 따른 정보와 360도 콘텐츠를 보여주던 정적인 기술에서, 주변 공간을 인식하고 공간 속의 사용자의 위치와 움직임, 행동을 반영하는 '동적 기술'로 발전되고 있다. 초기 VR은 앉아있는 고정된 자세에서 머리 움직임의 방향의 추적하여, 360도 영상을 방향에 맞추어 보여주는 수준이었다. 그러나 '모션 트래킹(Motion Tracking)' 기술과 '3D 스캔(3D Scan)' 기술의 발달로 인해 실제 공간 안에서 자유로운 이동이 가능하게 되었다. '센서(Sensor)'나 '특수 카메라'를 이용한 실시간 '3D 스캔' 기술은 '드론(Drone)'이나 '스마트폰'에 탑재되어 실시간으로 3D 환경을 탐색하거나 공간의 특징을 파악하여 이를 응용한 서비스를 제공하고 있다.

4-2. 다중 사용자 환경 기술

기존 VR·AR 기기는 한 명의 사용자가 이용할 수 있었다. 하지만 최근에는 복수 사용자가 거리와 상관없이 같은 가상 공간에 있는 것처럼 느낄 수 있고, 소통할 수 있는 기술을 적용하여 서로 다른 공간에 있는 사용자의 움직임을 실시간으로 스캔하여 가상환경으로 보내 여러 사람과 상호 작용하는 체험을 제공할 수 있다. '머리 착용 디스플레이(HMD: Head mounted Display)'와 같은 별도의 장치 없이 다수의 사용자에게 동일한 가상환경 경험을 제공하는 제품이 등장하고 있다.

5. '실감형 콘텐츠' 응용 분야

'브라질 리우 올림픽(2016.8.5~2016.8.21)'의 개막식·폐막식은 물론 일부 경기를 VR 영상으로 중계하는 등 VR·AR·MR 콘텐츠는 일상생활 속으로 빠르게 확산되고 있다. 2014년에 삼성전자가 '기어 VR(Gear VR)'을 저렴한 가격에 출시하고 360도 촬영이 가능한 카메라를 시판하고 다양한 360도 동영상이 유튜브에 소개되는 등, VR·AR 기술을 적용한 콘텐츠의 활용 사례가 확장되고 있다. 이에 VR·AR 기술은 게임·영상·스포츠·국방·제조·의료 등 다양한 영역으로 확장을 가속화하며 융·복합 산업의 고부가가치를 창출하는 동력으로 부상하고 있다.

분야	세부
엔터테인먼트	영화
	PC/콘솔
	모바일 게임
	테마파크 4D 시뮬레이터
의료	가상수술·인체 해부 실습
	극한 고통을 참아야 하는 중증 환자 치료
	원격 치료 서비스
	MRI·CT 이미지 구현
건설	교량·댐 등 주요 사회 기반 시설 설계
건설	사용자에게 수정된 건물의 모습을 실시간으로 반영
방송·공연	고품질·고화질 콘텐츠 제공
방송·공연	뮤직비디오·쇼케이스 영상 등 제작·공개
제조	자동차(가상 테스트, 자율주행체험)
	항공(배선 조립, 도색 공정 가상훈련)
	기타 기계 조립
항공·군사	비행 조종 훈련
항공·군사	낙하·사격 등 시뮬레이션 훈련
교육	박물관 체험
	천체 위치 연구
	화학 분사 설계 등
관광	주요 명소 체험 서비스
관광	가상 투어 서비스
스포츠	몰입감·현장감을 극대화하는 체험 경기
스포츠	운동선수와 함께 실제 경기에 참여

5-1. '실감형 컨텐츠'와 엔터테인먼트

'엔터테인먼트(Entertainment)' 분야에서는 공연, 게임, 교육 등에 실감형 콘텐츠 기술을 적용하여 새로운 시도를 추진하고 있다. 'K-POP 홀로그램 전용관', '김광석 홀로그램' 등 3차원 입체영상, 홀로그램 기술 활용을 통한 융·복합 공연 콘텐츠가 등장하였다. SK텔레콤은 SM엔터테인먼트와 '슈퍼주니어(SUPER JUNIOR)' 온라인 콘서트에서 3D 혼합현실 공연을 선보인적이 있다. 게임 관련 기술을 활용한 교육 콘텐츠도 높은 교육 성과를 달성하고 있다.

'서바이오스(Survios)'사가 2016년에 출시한 '로우데이터(Raw Data)'라는 게임이 '스팀(Steam)'을 통해 한 달 만에 매출 150만 불을 달성하여 VR 게임의 가능성을 입증하였다. 이처럼 VR 기기의 몰입감을 활용한 다양한 게임이 출시되고 있다. 또 방송에서도 VR을 활용하여 'ASMR(Automous Sensory Meridian Response, 자율 감각 쾌락 반응)' 콘텐츠인 시각·청각·후각 등의 자극을 통해 심리적 안정을 유도하는 예능 콘텐츠도 시도되었다.

5-2. '실감형 컨텐츠'와 의료

VR, AR, MR 기술을 적용한 '치료 콘텐츠'의 개발과 '원격 의료 행위'의 활성화로 기존 한계를 극복하여 효과적인 의료 행위가 가능한 것으로 예상한다. '한국 과학기술 기획평가원(KISTEP)'의 기술영향력 평가 보고서에 따르면, 정신질환 분야에서는 알코올·니코틴·도박 등 '중독증 치료'와 '섭식장애 치료', '주의력 결핍 과잉행동장애 치료', 조현병이나 자폐증 환자들의 사회적 능력 지원 등을 위해 VR 기술을 활용하는 방안을 연구하고 있다. VR 기반의 재활 치료는 환자의 움직임이나 생체신호를 실시간으로 수집하여 디지털화된 수치로 분석·저장할 수 있어서, 환자 개개인의 상황에 맞는 적절한 난이도의 재활 훈련을 제공할 수 있다. 또한 병원이나 재활센터를 직접 찾을 필요 없이 가정에서 치료할 수 있다.

'원격 진단(Remote Diagnoisis)', '교육', '수술' 등에 VR·AR을 적용하면, 공각적 제약을 벗어난 효율적인 의료 행위가 가능해질 것으로 전망된다. 해부·수술 실습 등 의료 교육 현장에서도 가상현실·증강현실 기술은 유용하게 사용될 것으로 예상된다. 개별 환자의 영상을 삽입하여 3D로 구현하여 실습할 수 있는 '가상 해부 테이블(Virtual Dissection Table)'은 이미 전 세계 500여 개 이상의 의과대학에 배치되어 사용 중으로 보편화되어 있다. 미국의 디지털 헬스 기업이자 원격의료 기업인 '텔레닥(Teladoc)'은 환자가 어디에 있던지 '화상통화', '전화' 등 ICT를 활용하여 의사의 진료를 받게하고, 평균 10분 안에 환자와 의사를 연결시키는 사업을 진행하고 있다.

다만 생명과 직결되는 의료 분야에 해당 기술이 적용되기 위해서는 철저한 의학적 검토와 검증이 선행되어야 하며, 체계적인 연구로 안정성과 유용성을 증명해야 한다. 자칫 검증되지 않은 치료 콘텐츠는 환자를 오히려 위험에 빠뜨릴 수 있다. 따라서 VR·AR 관련 치료 기기 및 콘텐츠를 개발할 때는 모든 과정에서 의료 전문가와 협업해야 한다. 소규모 파일럿 연구와 다기관 협력 등을 통해 안전성과 치료 효과를 분석할 수 있는 연구를 필요로 한다.

VR·AR 기술 기반 디지털 자극은 생소한 자극이기 때문에, 이에 따른 크고 작은 인체 부작용이 나타날 것으로 예상된다. 가상공간에서의 자극과 실제 세계의 자극을 착각하는 것을 기본 원리로 삼기 때문에 혼돈이 발생할 것이며, 이러한 혼돈은 불편감으로 표현될 수 있다. 가장 흔한 불편감으로는 VR 기술의 경우 두통·어지럼증 등의 '사이버 멀미(Cybersickness)', '피로감', '시력 저하' 등을 들 수 있다. AR 기술의 경우에는 시각적 복잡함과 정보 과잉에 따른 육체적·정신적 스트레스 증가 등이 지적되고 있다. '사이버 멀미'는 어지름증에 대한 여러 의학적 가설을 고려해 볼 때, 기술적 발전에 의해 차차 감소할 것으로 기대된다. 어지럼증은 뇌가 같은 상황에 지속적으로 노출되었을 때 점차 감소하는 경향이 있어, 본격적으로 확산되면 문제가 감소할 것으로 예상된다.

5-3. '실감형 컨텐츠'와 제조

제조 분야에서는 '설비 예방정비', '공정간 연계 제어', '로봇 자동화' 등에 비정형 데이터를 시각화한 콘텐츠를 활용하여 생산성을 제고하고 있다. 또 전통 제조업의 데이터를 기반으로 가상 플랫폼을 구축하여 '생산 공정 혁신' 및 새로운 고부가가치 서비스 사업으로 확장시키고 있다.

자동차 디자인에 '홀로그램(Hologram)', 'AR(증강현실)' 기술 적용을 통해 작업 방식을 혁신하고, 디자인 비용 절감이 가능해졌다. 또한 실감형 콘텐츠를 제공하여 하드웨어 상품의 부가가치를 증가시키는 시도가 자동차 분야에서 추진되고 있다. 이 외에도 위험한 현장작업 훈련용 유지보수 VR 콘텐츠가 개발되고 있다.

5-4. '실감형 컨텐츠'와 국방

국방 분야에서는 '가상현실(VR)'을 활용하여 고비용 훈련을 대체하거나 '증강현실(AR)'을 활용하여 군장비 유지보수에 활용하고 있다. VR, AR, MR 기반의 군장비 정비 지원 및 정비교육시스템 구축을 위한 디지털 콘텐츠 플래그십 프로젝트를 추진하고 있다.

대한민국 공군 헌병단은 2016년 6월에 각종 군내 사건 사고 현장을 3차원으로 구현하는 VR을 통해 범죄에 대처하는 'VR 범죄 예방 교육'을 최초로 도입하였으며, VR을 이용한 중장비 운전 훈련의 경우에도 적은 비용으로 시뮬레이터를 활용한 훈련이 가능하다. 현재는 훈련 비용이 높은 파일럿 육성 및 특수한 분야에만 주로 사용되고 있으나, VR의 이동성 및 지연 문제가 해결되면서 국방 분야 교육 훈련에 확대될 것으로 전망된다.

6. '실감형 콘텐츠' 관련 정책

주요 선진국은 주로 VR·AR 원천기술 및 표준화 확보와 서비스 활성화에 따른 부작용 해소 정책에 중점을 두고, 관련 기술의 연구 개발을 집중적으로 지원하고 있다.

6-1. '유럽'의 실감형 콘텐츠 관련 정책

유럽은 '독일', '오스트리아', '스페인', '핀란드' 등 여러 국가가 '혼합현실(MR: Mixed Reality)' 개발을 위해 2000년대 초반에 'AMIRE(Advanced Mixed Realities)' 프로젝트를 추진했다. 2007년에는 '범유럽 7차 기술 연구개발 종합 계획(EU 7th Framework Program)'을 수립하고 실감미디어 기술 개발에 주력하였다. 범유럽 연구혁신 프로그램인 '호라이즌 2020(Horizon 2020)' 프로젝트에서는 VR·AR 기술 확보를 위한 노력을 기울이고 있다.

국가별로는 독일이 '프라운호프 IGD 연구소'를 통해 VR·AR 연구개발과 민간 기업을 지원하고, '영화 지원 기금(DFFF, 독일어: Deutscher Filmförderfonds)'를 통해 VR 콘텐츠 제작을 지원한다. 영국은 실감 경제 분야에서 세계적 경쟁력을 확보하기 위해 2018년부터 2015년까지 관련 기술·제품·서비스 개발에 3300만 파운드를 투입하기로 했다.

6-2. '미국'의 실감형 콘텐츠 관련 정책

미국은 2000년대 중반부터 '혼합현실(MR: Mixed Reality)' 기술을 '10대 미래 핵심 전략 기술'로 지정·투자해왔다. 연구 개발은 '메타 플랫폼스', '구글(Google)', '마이크로소프트(Microsoft)' 등의 기업을 중심으로 진행하고 있다. 또한 ICT와 VR기반 기술들의 융합·실용화·산업화 응용에 초점을 맞춘 다양한 중장기 연구 개발을 추진 중이다.

미국은 2011년에 49억 달러 예산으로 'NITRD(Networking and Information Technology R&D)'를 설립하였고, 'FIND(Future Internet Design)' 프로젝트 등을 발족하였다. 2017년 7월 미 상무부 '미국 규격 협회(ANSI: American National Standards Institute)'는 '5G 증강 및 가상현실 성능 백서'를 발간하였으며, 5G 요구사항에 대한 증강현실 및 가상현실을 다루는 '유스 케이스(Use Case)'를 제시하였다.

6-3. '중국'의 실감형 콘텐츠 관련 정책

중국은 VR 분야에서 시장 발전 가능성과 잠재력이 매우 큰 국가 중 하나로 가상현실을 주요 발전 산업으로 포함하며, 정부의 정책적인 지원이 강화되고 있다. 각 '성(省)'도 '가상현실(VR)' 산업을 신흥 사업으로 책정하여 유관 산업단지 조성을 추진하였다.

공업신식화부(Ministry of Industry and Information Technology): '공업신식화부'는 산업, 에너지, 정보통신, 중소기업 정책 등을 담당하는 중국 중앙 정부부처이다. 2016년 '공업신식화부'는 VR 산업 로드맵을 수립하였으며, 이를 기반으로 'VR 산업 발전 백서 5.0'을 발표하였다.
중국 과학기술부: 중국 과학기술부는 실감 영상콘텐츠를 구현하기 위한 다양한 디스플레이 기술개발을 수진하며, 이를 위해 국가중점실험실을 지정하여 국가적 지원이 활발하게 이루어지고 있다.

6-4. '일본'의 실간형 콘텐츠 관련 정책

일본은 '정보통신기술(ICT: Information and Communication Technologies)' 강국으로 재도약하기 위해 VR·AR 산업에 대하여 범부처적으로 투자를 하고 있다. 또한 국가가 2000억 원 규모의 펀드를 조성하여 관련 기업을 지원하는 '버추얼 리얼리티 테크노 재팬(Virtual Reality Techno Japan)' 정책을 시행하고 있다. 2004년 콘텐츠 진흥법을 제정하고, 국가 차원에서 2000억 원 규모의 펀드를 조성하여 회사에 지원하고 있다. 또한 '경제산업성(일본어: 経済産業省)'에서 '오감·생체신호 인식 이용 복지 향상 기술개발', '우정성'에서 '오감 전송 기술', '통신산업성'에서 '인간 감각 계측 응용 기술' 등을 추진하였다. 2016년에는 '중소기업의 국제표준화'에 15.9억 엔을 지원하고, '5G R&D 표준화 사업'에 413.5억 엔을 지원하였다.

일본 '영상산업진흥기구(VIPO: Visual Industry Promotion Organization)'는 콘텐츠 기업이 글로벌 시장에 진출할 때 현지화 및 프로모션에 들어가는 사업비를 보조해주는 '제이로드(J-LOD: Japan-contents Localization and Distribution)' 제도를 운영중에 있으며, 가상현실 기술이나 5G 등 다양한 디지털 기술을 활용한 콘텐츠 개발을 지원하고 있다.

6-5. '한국'의 실감형 콘텐츠 관련 정책

한국의 VR·AR 시장은 소비자와 기업들이 VR·AR 콘텐츠를 접할 기회가 부족하여 해외 대비 시장 형성이 늦은 상황이었다. 하지만 VR·AR 기기 도입을 통한 대중적 관심증가와 함께 시장이 열리기 시작하면서, 글로벌 환경 변화에 기반한 VR·AR 산업 활성화 전략·기술 확보 단계에 있다. 한국은 글로벌 시장 추격을 위해 VR·AR 기술 확보 및 견실한 생태계 정착을 유도하는 산업 기반 확충을 위한 세부 정책이 필요해졌다. 이에 따라 국내 주요 부처 역시 VR·AR 시장 생태계가 국내에 조속히 정형화될 수 있도록 협업 체계 및 인프라를 구축 중에 있다.

VR/AR 정책 동향 흐름	시기	-
미래성장동력 종합 실천 계획	2015년 4월	19대 미래신산업 성장동력분야 '실감형 콘텐츠'
가상현실(VR) 육성 계획	2016년 7월	무역투자진흥회의 관계부처 합동
국가전략프로젝트 9대 전략분야	2016년 8월	과학기술전략회의
4차 산업혁명 대응 12대 신산업	2016년 12월	제4차 신산업 민관협의회
13대 혁신성장동력 추진계획	2017년 10월	국가과학기술심의회

7. '실감형 콘텐츠 소프트웨어'란?

'실감형 콘텐츠 소프트웨어'란 '정보통신기술(ICT: Information and Communication Technologies)' 기반으로 인간의 감각과 인지를 유발하여 실제와 유사한 경험을 제공하고, 감성과 공간을 확장해 주는 참여형 차세대 콘텐츠 생산을 지원하는 소프트웨어를 말한다. 예를 들어, '사물인터넷(IoT: Internet of Things)'과 '웨어러블 디바이스(Wearable Device)'를 활용한 '개인 체험 서비스', '센싱 기반 Co-presence Virtual Life experience', '홀로-캐릭터 콘텐츠 기반 Concierge 서비스', '멘탈 헬스케어 콘텐츠(Mental Healthcare Content)' 등이 있다.

또한 스마트폰 시장의 성장세 정체 등에 따라, 글로벌 ICT 기업들은 VR·AR을 주목하고 있으며, 디바이스 및 플랫폼 선점 경쟁이 가열될 전망이다. 기존에는 '국방', '산업현장' 중심이었으나, '교육', '전시', '테마파크(Theme Park)' 등으로 적용 분야가 확장되고 있다. '머리 착용 디스플레이(HMD: Head mounted Display)', '디스플레이(Display)', 'S/W', '5G 인터넷' 등의 발전으로 대규모 B2C 신시장 창출이 전망된다.

더욱 정교하고 매끄러운 VR·AR을 구현하려면 '디스플레이의 해상도 개선', '신호 지연시간의 단축', '센서 및 소프트웨어의 고성능화'를 통한 사용자 움직임 및 주변 상황의 정확한 감지, 'HMD 기기의 경량화와 무선화' 등 다양한 측면의 기술혁신이 요구된다. 특히 VR·AR 분야는 실감성과 몰입도 향상이 중요하므로, 인간의 경험을 습득하는 생체적·인지적 특성과 가상현실의 경험에 따른 심리에 대한 분석이 중요하게 부각될 것이다. 가상현실이 인체에 미치는 영향과 부작용이 방지될 수 있도록, 가상현실 콘텐츠에 대한 '휴먼 팩터(Human Factor)'의 선행적 연구가 필요하다.

또한 '디지털 홀로그램(Digital Hologram)'의 본격적인 상용화를 위해서는 홀로그램 정보의 획득·전송·저장 및 디스플레이하기 위한 기술이 필요하다. '디지털 홀로그램' 기술은 실제 사물의 완벽한 3차원 정보를 공간상에 왜곡 없이 재현이 가능하여, 실감형 콘텐츠와 융합하여 다양한 산업 분야의 생산 및 일자리 창출 등 고부가가치 산업으로 성장이 가능한 분야이다. '아날로그 홀로그램(Analog Hologram)'이 활용되고 있는 '광고', '전시', '교육', '테마파크' 분야는 디지털 홀로그램이 빠르게 도입될 것으로 예상된다.

8. '실감형 콘텐츠 소프트웨어' 주요 기술

'실감형 콘텐츠 소프트웨어' 기술은 사실적인 몰입감 극대화를 위한 '몰입형 콘텐츠', 사용자에게 유용한 정보를 제공하는 '지능형 콘텐츠', 다양한 산업 분야에 접목하기 위한 '융복합 콘텐츠' 등의 제작을 위한 요소 기술들로 이루어져 있다.

'실감형 콘텐츠 소프트웨어'의 요소 기술로는 '실시간 인터렉션 콘텐츠(Real-Time Interaction Content Technology)', '영상 콘텐츠 기술(Video Content Technology)', '실감형 콘텐츠 저작도구(Realistic Content Authoring Tool)', '모션 처리 미들웨어(Motion Processing Middleware)', '입출력처리 미들웨어(Input/Output Procesing Middleware)', '데이터 스트리밍 미들웨어(Data Streaming Middleware)'가 있다.

'실감형 콘텐츠 소프트웨어'를 기술적 측면에서 살펴보면, '다계층 상호 운용성'을 가지는 융합형 기술로 설명될 수 있으며, '홀로그램(Hologram)', '초다시점 영상', '가상현실(VR: Virtual Reality)', '증강현실(AR: Augmentd Reality)', '대화면 영상' 등 다양한 미디어 기술을 기반으로 교육·게임·문화 등 운영 분야의 '스토리(Story)'와 '서비스(Service)'가 연결되면서 '콘텐츠(Content)'의 모습으로 완성되는 것을 의미한다.

'실감형 콘텐츠 소프트웨어' 요소 기술	설명
실시간 인터렉션 콘텐츠 기술	'실시간 렌더링(Real-Time Rendering)' 엔진에 의해 구현된 프로그램 기반 실감형 콘텐츠 기술
영상 콘텐츠 기술	현실 혹은 추상적인 것을 연출·편집을 통해 시청각적 방법으로 이미징하는 기술
실감형 콘텐츠 저작도구	실감형 콘텐츠 제작의 효율성을 위해 다양한 요소 콘텐츠 혹은 마이크로 콘텐츠 '입력', '제어', '융합', '결과 출력' 기능을 가진 저작용 솔루션
모션처리 미들웨어	사용자들의 움직임을 부드럽고 자연스럽게 처리하기 위한 모듈 단위의 솔루션
입출력처리 미들웨어	실감형 콘텐츠와 각종 입출력 하드웨어의 연결 중간단계로, 입출력 신호의 제어와 해석을 포함한 '추상 레이저(Abstraction Layer)'를 구성하여 콘텐츠 개발의 효율성과 품질을 보장할 수 있는 솔루션
데이터스트리밍 미들웨어	VR, AR, MR을 사용하는 분야에서 실시간으로 데이터를 처리하는 기술과 솔루션

8-1. 실시간 인터렉션 콘텐츠 기술

'실시간 인터렉션 콘텐츠 기술(Real-Time Interaction Content Technology)'은 '실시간 렌더링 엔진(Real-Time Rendering Engine)'에 의해 구현된 실감형 콘텐츠로서, 사용자의 행동에 실시간으로 반응하여 사용자의 몰입감과 현장감을 극대화하는 실감형 콘텐츠 및 미디어 '제작', '전송', '처리 기술' 등의 분야를 총칭하는 기술이다. 오감 센서를 이용한 VR·AR 서비스 구현의 핵심 기술로서, 오감 체험형 특수 입체 영상 등을 양방향 통신이 가능하도록 구현하는 차세대 소프트웨어공학의 핵심기술로 주목받고 있다. 콘텐츠, 단말기, 방송용 장비 등 감성 실감형 미디어 산업 분야의 기술로 주목받고 있는 분야이다.

'실감형 인터랙션 소프트웨어(Realistic Interaction Software)'를 통해 현재 사용하는 '미디어'와 '현실 가상'에서 자연스럽게 융합하여 사용할 수 있는 환경을 구축해 주는 서비스의 구현이 가능해졌다. 아울러 성장하는 3D 가상현실 시장에 따라, '실감형 인터랙션(Realistic Interaction)'이 적용된 '소프트웨어'의 개발이 필수적인 요소로 자리 잡게 되었다. '광고', '교육', '게임' 등 여러 분야에 활용하기 위해 육성이 필요한 분야이다.

'실시간 인터렉션 콘텐츠(Real-Time Interaction Content)' 분야의 핵심 기술로는 '신체 동작 인식 인터페이스 기술', 'Volumetric 실시간 생성 기술', 'VR용 오브젝트 렌더링 기술', 'VR용 네트워크 기술', 'VR용 사운드 미들웨어 기술', '절차적 건축물 생성 자동화 기술', '절차적 지형 생성 자동화 기술', 'VR용 UI 미들웨어 기술'이 있다.

핵심기술	개요	분류
신체 동작 인식 인터페이스 기술	사람의 관절 움직임으로 인한 인체 포즈를 동작으로 인식하는 기술	버전 기술
Volumetric 실시간 생성 기술	다수의 카메라를 활용해 특정 공간 내에 있는 모든 이미지를 3D 모델링 데이터로 변형 및 실시간으로 전송하는 기술	버전 기술
VR용 오브젝트 트래킹 기술	현실 환경의 object를 가상환경에서 실시간으로 정밀하게 정합하는 기술	버전 기술
VR용 리모트 렌더링 기술	클라우드 서버들의 물리적으로 떨어진 공간에서 실시간 렌더링이 이루어지고, 이것을 스트리밍으로 전송하는 기술	데이터 스트리밍
VR용 네트워크 기술	VR 환경에 최적화된 가상공간 정보의 실시간 정보 기술	데이터 스트리밍
VR용 사운드 미들웨어 기술	VR 환경에서 사용자의 위치와 방향정보에 따라 실시간으로 사운드의 위치를 변경하는 생성 기술	데이터 생성
절차적 건축물 생성 자동화 기술	건축물의 내외부가 절차적 조건들에 의해서 자동으로 생성되어, 품질과 제작 속도를 높일 수 있는 환경 생성 기술	데이터 생성
절차적 지형 생성 자동화 기술	지형과 자연환경이 절차적 조건들에 의해서 자동으로 생성되어, 품질과 제작 속도를 높일 수 있는 환경 생성 기술	데이터 생성
VR용 UI 미들웨어	VR Headset을 착용한 상태에서 UI를 제어하기 위한 VR 환경 맞춤 UI 시스템 기술	사용자 경험

8-2. 영상 콘텐츠 기술

'영상 콘텐츠 기술'은 현실 혹은 추상적인 것을 연출 및 편집을 통해 시청각적 방법으로 이미징 하는 기술이다. '공간 정보 활용 콘텐츠 구현 기술', '실감형 콘텐츠 전송 및 재현 기술', '실감형 콘텐츠 기반 보안 및 체험 기술'을 의미한다.

콘텐츠 제작 및 재생 기술의 발전에 따라, 사용자의 오감과 감성을 만족시키는 체감적·체험적 실감형 콘텐츠와 미디어가 확산되고 있다. '가상현실(VR: Virtual Reality)', '증강현실(AR: Augmentd Reality)', '홀로그램(Hologram)' 등 사실감·현장감·몰입감을 추구하는 실감미디어 기술이 지속적으로 발전 중이다.

홀로그램 서비스 분야	내용
문화	홀로그램 예술 및 공연
도시	조명, 광고 및 전시
안전	ID카드 등 개인정보 강화
교육	도서 및 유물
홈	실감미디어
의료	초실감 의료 콘텐츠
에너지	고효율 태양광 에너지
국방	초현실 작전지형도, 개인병사체계
제조	정밀검사 및 실감 제조공정
유통	홀로그램 코드, 스마트 물류
교통	자동차 미디어
로봇	로봇의 눈(3차원 공간정보 획득)

8-3. 실감형 콘텐츠 저작 도구

'실감형 콘텐츠 저작 도구'는 실감형 콘텐츠 제작의 효율성을 위해 '영상(Video)', 'DLALW', '인터렉션(Interaction)', '텍스트(Text)', '시나리오(Scenario)', '애니메이션(Animation)', '제어 스크립트(Control Script)' 등의 다양한 요소 콘텐츠 기능을 가진 저작용 솔루션을 의미한다. 또는 '마이크로 콘텐츠(Micro Content)'의 '입력(Import)', '제어(Control)', '융합(Mixing)', '출력(Export)' 기능을 가진 저작용 솔루션을 의미한다.

'실감형 콘텐츠 저작 도구'는 '실감형 콘텐츠'의 중간 결과물이나 최종 결과물을 제작하는 데 사용되는 다양한 형태의 솔루션으로, '온라인 서비스(Online Service)', '로컬 응용 프로그램(Local Application)' 형태로 제공되는 저작 도구이다.

8-4. 모션 처리 미들웨어

'모션 처리 미들웨어(Motion Processing Middleware)'는 사용자들의 움직임을 부드럽고 자연스럽게 처리하기 위한 모듈 단위의 솔루션이다. 실시간 영상을 다루는 응용 분야에서 움직임을 포착하여 인식한 후 그것을 추적하는 기술은 매우 중요하고 높은 정확도를 요구한다. 이를 통해 VR을 체험하는 사용자는 자신의 시야각 내에 있는 모든 콘텐츠들을 현실감 있게 시각적으로 체험이 가능하다.

'모션 처리 미들웨어(Motion Processing Middleware)' 분야의 핵심 기술로는 '사용자의 자세 인식 기술', '컴퓨터 비전 방식 모션 추적 기술', 'Human body IK 솔루션', '애니메이션 데이터 압축 기술', '모션 데이터 보간 기술', '얼굴 애니메이션 기술', '사용자 움직임 인식 인터페이스 기술' 등이 있다. '보간(Interpolation)'은 두 점을 연결하는 방법을 의미한다.

핵심기술	개요	분류
사용자의 자세 인식 기술	사용자의 모션이 어떤 상황을 의미하는지 판단하는 기술	버전 기술
컴퓨터 비전 방식 모션 추적 기술	버전 기술을 이용하여 인간의 이동 정보를 실시간으로 정밀하게 추적하는 기술	버전 기술
Human body IK 솔루션	인체의 동작을 '역운동학(IK: Inverse Kinematics)'를 이용하여 자연스럽게 계산하는 기술	애니메이션 제어 기술
애니메이션 데이터 압축 기술	다양한 bone 정보나 vertex 정보를 실시간으로 압축하는 기술	애니메이션 제어 기술
모션 데이터 보간 기술	애니메이션 동작 사이의 중간 위치를 부드럽게 계산해내는 예측 기술	애니메이션 제어 기술
얼굴 애니메이션 기술	사람의 얼굴 표정을 자연스럽게 움직이도록 하는 기술	애니메이션 제어 기술
사용자 움직임 인식 인터페이스 기술	사용자의 행동에 따라 'UI(User Interface)'를 처리해주는 기술	UI 기술

8-5. 입출력처리 미들웨어

'입출력처리 미들웨어(Input/Output Processing Middleware)'는 '실감형 콘텐츠'와 각종 '입출력 하드웨어(Input/Output Hardware)'의 연결 중간 단계로, 입출력 신호의 제어와 해석을 포함한 '추상 레이저(Abstraction Layer)'를 구성하여 콘텐츠 개발의 효율성과 품질을 보장할 수 있는 솔루션이다. '가상현실(VR)' 산업 중 '엔터테인먼트(Entertainment)', '게임(Game)' 산업에서 '물리 엔진(Physics Engine)', '렌더링 엔진(Rendering Engine)' 등의 '입출력 미들웨어 솔루션(Input/Output Processing Middleware Solution)'이 많이 쓰이고 있다.

'입출력처리 미들웨어(Input/Output Processing Middleware)'의 핵심 기술로는 'VPS 기반 가상 개체 시각화 서비스 기술', '홀로그램 시스템 기술', '3차원 가상공간을 위한 객체 인식 기술', 'VR 입출력 장치 기술', '입체음향 기술' 등이 있다.

핵심기술	개요	분류
VPS 기반 가상 개체 시각화 서비스 기술	시각적 인식을 통해 가상객체를 자연스럽게 합성 표시하는 기술	시각화 기술
홀로그램 시스템 기술	공간 속에 입체의 영상을 표현하는 기술	시각화 기술
3차원 가상공간을 위한 객체 인식 기술	이미지 혹은 영상으로 표현된 객체를 3차원 공간에 표현할 수 있도록 재구성하는 기술	시각화 기술
VR 입출력 장치 기술	VR 콘텐츠와 사용자가 상호 인터랙션이 가능하도록, 입력과 피드백이 가능한 장치의 개발 기술	입출력 장치
입체음향 기술	소리의 전달 속도의 차이나 위상 차이를 활용하여, 공간 속에서의 입체 음향을 구현하는 기술	음향 기술

8-6. 데이터 스트리밍 미들웨어

'데이터 스트리밍 미들웨어(Data Streaming Middleware)'는 VR·AR·MR을 사용하는 '엔터테인먼트', '의료', '건축', '교통', '국방' 분야 등에서 실시간으로 데이터를 처리하는 기술과 솔루션이다. '언택트(Untact)' 시대를 맞이하여 '소셜(Social)' 분야에서 실시간으로 소통하는 기술이 매우 중요해졌다. 5G 확대에 따라 실감형 콘텐츠를 실시간으로 활용하는 방법이 다양해지고 있다.

'데이터 스트리밍 미들웨어(Data Streaming Middleware)'의 핵심 기술로는 '고품질·저지연 전송을 위한 실시간 분산 인코딩 기술', '실시간 패킷 데이터 처리 기술', '실시간 3D VR 제어 기술', '실시간 이미지 트래킹·처리 시스템 기술', '사용자와 객체 간 가상 데이터 처리 기술', '가상 통신 시스템 기술' 등이 있다.

핵심기술	개요	분류
고품질·저지연 전송을 위한 실시간 분산 인코딩 기술	대규모의 사용자와 다양한 디바이스를 고려한 실시간 영상 전송을 위한 분산 인코딩 기술	인코딩 기술
실시간 패킷 데이터 처리 기술	실시간 멀티 사용자용 가상환경을 위한 실시간 네트워크 패킷 처리 기술	패킷 데이터 처리
실시간 3D VR 제어 기술	가상환경에서의 3D 객체를 실시간으로 제어하는 S/W 기술	시각화 기술
실시간 이미지 트래킹·처리 시스템 기술	VR·AR에서 실제·가상 정합을 위한 이미지 트래킹 및 처리 시스템	시각화 기술
사용자와 객체 간 가상 데이터 처리 기술	사용자의 가상 오브젝트 조작 및 환경 활용에 필요한 데이터 처리 기술	시각화 기술
가상 통신 시스템 기술	가상·증강 환경에서 '디지털 휴먼(Digital Human)' 기반으로 원격 공간의 사용자들이 실시간으로 소통할 수 있는 통신 기술	시각화 기술

9. '실감형 콘텐츠 소프트웨어' 관련 기업

해외 실감형 콘텐츠 소프트웨어 시장은 미국의 '유니티 테크놀로지스(Unity Technologies)', '에픽게임즈(Epic Games)'가 오랜 게임 엔진 개발 경험에 의한 선진화된 기술과 콘텐츠 제작 소프트웨어 플랫폼을 보유하고 있다. 그 외에도 '구글(Google)', '마이크로소프트(Microsoft)', '엔비디아(Nvidia)' 등 다수의 글로벌 IT 업체들이 '실감형 콘텐츠 소프트웨어' 시장에 참여하고 있다.

국내 실감형 콘텐츠 소프트웨어 시장은 'SK텔레콤', '유브이알(YouVR)', '버넥트(Virnect)', '코아소프트(COARsoft)', '아이아라(Ayara)', '팝스라인', '케이쓰리아이' 등이 주요 업체이며, 국내 중소기업들은 전문가들을 위한 제작 소프트웨어보다는 일반인들의 AR/VR 콘텐츠 제작을 쉽게 해주는 소프트웨어에 더 중점을 두고 개발 및 사업을 진행하고 있다.

기업	국적
유니티 테크놀로지(Unity Technologies)	미국
에픽 게임즈(EPIC Games)	미국
구글(Google)	미국
마이크로소프트(Microsoft)	미국
엔비디아(NVIDIA)	미국
SK텔레콤	한국
유브이알(YouVR)	한국
버넥트(Virnect)	한국
코아소프트(COARsoft)	한국
아이아라(Ayara)	한국

유니티 테크놀로지(Unity Technologies): 2023년 현재 전세계 AR·VR 콘텐츠의 약 3분의 2가 '유니티(Unity)'로 제작되고 있다.
에픽 게임즈(EPIC Games): '에픽게임즈'의 '언리얼 엔진(Unreal Engine)'는 3차원 게임 엔진이다. '언리얼 엔진'은 1994년부터 현재까지 꾸준한 개량을 통해 발전되고 있으며, 수많은 비디오 게임에 사용되고 있는 '미들웨어 솔루션'이다.
구글(Google): '구글'의 '틸트 브러쉬(Tilt Brush)'는 VR 아트 제작 프로그램이다. HTC의 가상현실 헤드셋 VIVE에서 작동하는 VR 콘텐츠 제작 프로그램으로, 3차원 공간 속에서 그림을 그릴 수 있게 해 준다. 최근 '틸트 브러쉬'를 활용한 퍼포먼스를 기업 홍보나 공연 등에서 사용하는 사례가 증가하고 있다.
마이크로소프트(Microsoft): '마이크로소프트'는 '윈도우즈 홀로그래픽 플랫폼'을 개방하여 생태계 확대에 주력하고 있다. AUSU, HTC 등의 협력사들은 윈도우즈 기반의 MR 기기를 제작할 수 있게 되었다.
엔비디아(NVIDIA): '엔비디아'의 'Gameworks VR v1.0'은 VR 콘텐츠에 최적화된 소프트웨어 개발 키트이다. 자사 GPU를 기반으로 차세대 VR 콘텐츠를 제작하는 개발자들을 위한 키트로, 유명 게임 엔진 개발사들과도 기술협력 및 최적화 지원을 병행하고 있다.
SK텔레콤: 'SK텔레콤'의 'T리얼 VR 스튜디오'는 Google과 협력을 통해 AR/VR 서비스 제작 도구를 제공하는 소프트웨어 플랫폼이다. 콘텐츠 제작자가 'VR 기기'를 착용한 후, 레고 블록을 쌓듯 직관적으로 콘텐츠를 제작할 수 있다. 네트워크를 연결하면 서로 멀리 떨어져 있는 이용자들도 동일한 가상공간 내에서 함께 VR 콘텐츠를 만들고 공유할 수 있다.
유브이알(YouVR): '유브이알'사의 '유브이알 메이커(YouVR Maker)'은 '한국전자통신연구원(ETRI: Electronics and Telecommunications Research Institute)' 기술을 이전 받아 모바일 환경에서 전용 하드 웨어 없이 360˚ VR 콘텐츠를 제작할 수 있는 모바일 앱이다. 무선으로 연결된 로테이터를 통해 360˚ 사진을 촬용하고, 자체 개발한 '스티칭 알고리즘(Stitching Algorithm)'으로 사진을 생성할 수 있다. 로테이터 없이도 스마트폰만 가지고도 촬영을 원하는 장소에서 360˚ 회전하면 VR 콘텐츠가 생성된다.
버넥트(Virnect): '버넥트'의 'Make AR'은 일반인이 쉽게 AR 콘텐츠를 제작할 수 있게 해주는 모바일앱이다. 사용자는 앱을 설치하고, AR 콘텐츠가 등장하게 할 위치를 설정하고 AR 콘텐츠를 제작하여, 체험의 과정을 통해 AR 콘텐츠를 제작·배포·사용할 수 있다.
코아소프트(COARsoft): '코아소프트'의 'COAR AR Builder·APP'은 일반인들이 쉽게 콘텐츠를 등록하고, 증강현실을 구현할 수 있도록 설계된 AR 콘텐츠 제작 플랫폼이자 앱이다. 콘텐츠 제작사는 '마커'라는 개념을 이용해 콘텐츠를 등록하고, 사용자는 AR 앱을 통해 콘텐츠의 마커를 스캔하며, 콘텐츠를 이용하는 구조이다.
아이아라(Ayara): '아이아라'의 '고릴라AR'은 AR 콘텐츠 제작·편집 플랫폼이다. 스마트폰의 카메라, 사진, 녹음 기능과 앱에서 제공하는 편집 기능을 활용함으로써, 일반인들이 쉽게 AR 콘텐츠를 제작·배포하는 것이 가능하다.

9-1. 위지윅스튜디오

국적: 한국
설립: 2016년

'위지윅스튜디오(Wyswyg Studios)'에서는 'CG(Computer Graphics)', '시각 특수효과(VFX: Visual Effect)' 기술을 바탕으로 '영화', '드라마', '뉴미디어(New Media)', '공연', '전시'에 이르기까지 온오프라인 콘텐츠의 기획·제작·서비스를 종합적으로 제공하고 있다. '위지윅스튜디오'는 '확장 현실(XR: eXtended Reality)' 기술을 선제적으로 도입하여 신규 사업으로 진행하고 있는데, XR 콘텐츠 제작 사업은 실감형 콘텐츠 시장과 관련이 있다. XR 기술을 기반으로 한 '실감형 콘텐츠'는 VR·AR·MR 등 XR 기술을 바탕으로 인간의 오감을 자극하는 콘텐츠로서, 기업이 전달하는 메시지를 더욱 재미있고 실감나게 전달이 가능하다.

또한 브랜드 경험을 중심으로 다양한 광고 콘텐츠를 제작하고 있다. 관련 솔루션을 제공함에 있어 '실감형 콘텐츠' 제작이라는 신규 사업 모델을 통해, 다른 광고 회사의 사업영역과 차별성을 제고하고 있다.

9-2. 자이언트스텝(GIANTSTEP)

국적: 한국
설립: 2008년

'자이언트 스텝(GIANTSTEP)'은 '광고 VFX', '영상 VFX', 뿐만 아니라 다양한 콘텐츠를 제작하는 AI 기반 '리얼타임 콘텐츠 솔루션(Real-Time Content Solution)'을 전문적으로 제공하고 있다. 또한 CG 기술 기반의 '시각 특수효과(FX: Visual Effect)' 회사에서 '리얼타임(Real-Time)' 기반의 실감형 영상 콘텐츠를 제작하는 '크리에이티브 테크(Creative Tech)' 기업으로 진화의 길을 꾸준히 가고 있다.

'자이언트 스텝'은 기존의 날로그 미디어와 새로운 디지털 미디어의 시각적 결과물을 다양한 클라이언트와 소비자의 요구에 맞춰 '리서치(Research)', '컨설팅(Counsulting)', '기획 및 제작'하여 최상의 그래픽 결과물을 만들어 내고 있다. 이러한 차별화된 글로벌 영상 기술력을 바탕으로, 미국의 글로벌 TPN 보안 평가를 통과하였고 '디즈니(Disney)', '넷플릭스(Netflix)', 'NBC유니버셜(NBC Universal)'의 공식 협력사로 등록되어 있다.

9-3. 다림비젼

국적: 한국

'다림비젼'의 제품으로는 'iStudio'와 'MB3S' 등이 있다.

'iStudio'는 첨단 VR Studio-가상 스튜디오 기술을 여러 네트워크에 자동으로 연결하여 하나의 장비에서 온라인으로 실시간 출력할 수 있는 통합 스마트 방송 시스템이다. 'iStudio'는 영상 제작 패러다임의 변화을 일으키고 있으며, '비싼 장비', '복잡한 조작', '길고 지루한 편집'으로부터 자유로워진 시스템이다.

'MB3S'는 고성능 '3축 모션 시뮬레이터(3Axis Motion Simulator)'로, 어떠한 '라이딩 시뮬레이터(Riding Simulator)'에서도 최고의 모션 발생을 위한 특허 기술이다. 최소의 파워로 최대 성능을 구현하여, 적은 비용으로 고성능 모션을 구현하도록 설계되었다. '컴팩트(Compact)'한 '모터 드라이버(Motor Driver)', '모션부의 설계', '고속 응답의 제어 시스템', '안정적이고 단순한 설계의 구조물'은 '시뮬레이터(SImulator)'의 새로운 시장을 열어주었다.

저작자표시 비영리 변경금지

현재글실감형 콘텐츠(Immersive Content)