theoryoflife

6. Reference

• Java로 작성된 main loop가 있고, 여기에서 C++ 관련된 내용은 해당 lib.를 load하는 방식으로 사용한다. NDK를 사용하면, 기본적으로 native-lib를 load한다. OpenCV를 사용하게 되면, opencv lib.도 같이 load해주면 된다.
• main loop는 main(){} 함수 구조를 사용하지 않고, 이벤트 기반의 callback 구조를 사용한다. 해당 procedure에 맞게 code를 상속받아 작성해 넣어주면 된다. (아래 그림 참조)

• 위의 Java Main loop에서 call하는 함수를 implementation 해준다.
• CMakelists.txt도 여기에서 작성하면서, 필요한 lib.를 불러와서 사용한다.

안드로이드 스튜디오 내에서 NDK를 이용하여 Hello World를 빌드해 보는 것도 간단하다.

가이드대로 클릭만 하면 된다.

그러나, SDK를 사용하는것과의 가장 큰 차이점은 경로 내에서 white space를 허용하지 않는다는 것이다.

SDK 설치 디렉토리와 Application 디렉토리에 white space가 포함된다면,

SDK를 이용해서 빌드할 경우에는 별 문제없이 빌드되었던게

NDK를 이용해서 빌드하게 되면 여러가지 error가 발생한다.

안드로이드 스튜디오를 설치하고, 안내를 따라가면, Hello World까지는 클릭으로 빌드 가능하다. 스마트폰에 다운로드해서 앱에서 Hello World를 보기 위해서는 하나의 벽이 있는데, 그게 '기기를 개발용으로 설정하기' 이다.

Run 명령 실행 후, 스마트폰 디바이스가 보이지 않아, Troubleshoot 가이드를 봤음에도, 이게 필수라는 느낌이 들지 않아 진행하지 않았는데, 필수이다. 스마트폰내 설정에서 빌드넘버를 7회 클릭하여 개발자 모드를 활성화시키고, 활성화된 개발자 모드 안에서 USB 디버깅을 활성화해야 스마트폰 디바이스가 안드로이드 스튜디오 내에서 보이게 된다. 단순히, PC 내에서 스마트폰 내 폴더가 접근 가능하니, 위 설정이 필요하다는 사실을 간과했다.

사용할 만한 SDK를 검색해보니, 역시나 구글과 Apple이 이미 가지고 있었다.

 * 구글 - ARCore

 * 애플 - ARKit

이외에 wikitude라는 업체에서도 SDK를 제공해주는데, 이건 free는 아니고, 월정액제로 제공된다.

참고할 만한 사이트는 아래.

https://thinkmobiles.com/blog/best-ar-sdk-review/

다시, 필요한 기술 및 기술적 한계로 돌아가게 되면,

 * 3D Reconstruction - 현실 데이터를 활용해서 3D 지도 생성: 있는 기술이다. 단지, 정확도와 속도 문제가 있을뿐.

 * 3D지도와 각종 위치를 매칭(SLAM): 마찬가지로 있는 기술이다. 정확도와 속도 문제가 있다.

 * 가상물체의 모델링: 3D애니메이션에서 사용하는 것처럼 모션캡쳐 장비를 사용해서 모델링하면, 실사와 유사한 가상물체를 만들수 있다.

위 두가지가 SDK들이 제공해주는 기능일 것이고, 가상물체의 모델링도 기술의 문제라기 보다는 자본의 문제일 것이다. 여기까지가 현수준의 AR이 해볼 수 있는 것들인 것 같다. 현수준에서, 궁극의 AR로 다가가기 위해서는 아래와 같은 문제가 해결되어야 하고, 생각해 본바로는 이게 AR의 가장 큰 기술적 한계일 것 같다. 이 두가지가 없다면, 사용자는 쉽게 AR환경 내에서 가상 물체를 눈치챌 수 있고, 플레이시에 이에 따른 위화감을 가져가게 될 것이다

 * 현실의 환경이 가상 물체(virtual object)에게 주는 영향을 반영하기

 * 가상 물체(virtual object)가 현실의 환경에게 주는 영향을 반영하기

* 현실의 환경이 가상 물체(virtual object)에게 주는 영향을 반영하기

가상 물체가 현실의 환경을 얼마나 잘 반영하는가의 대표적인 사례로 occlusion 문제를 생각해 볼 수 있다. 현실과 가상이 잘 섞이려면, 3차원으로 바라볼때, 위화감없이 얼마나 실제 환경에 의해 잘 가려지고, 실제 환경을 잘 가리는지가 중요하다. 이에 더해 가상 물체가 이동할 경우에 원근법이나 중력같은 자연법칙을 얼마나 잘 모사할 수 있는가에 따라 현실에 잘 섞여들어갈 것이다. 이에 대한 해답은 3D 지도와 위치인식, 몇가지 물리 법칙들을 반영한 가상물체의 이동 기술이 얼마나 잘 만들어지는가에 달려있다. 중요한건 어디에 위치해 있는가이므로. 하지만, 이것만으로는 충분하지 않다.

   - 실제 환경에서 투명 물체와 반투명 물체가 있는 경우

   - 실제 환경이 정적이지 않고 동적인 경우

   - 실제 환경에서, 광원이 있을 경우

위 세가지 경우만 보더라도 해답을 찾는게 쉽지는 않을 것이다. 투명 물체와 반투명 물체를 반영하려면 실제 환경에서 각 물체의 속성까지 파악해내야 하는데, 이건 다른 차원의 문제로 넘어가 버린다. 또한, 사전에 모델링된 실제 환경에서, 가상 물체를 정합하는 문제와 동적으로 변하는 실제 환경에서, 가상 물체를 정합하는 건 또 다른 문제이다. 이는, 위에서 얘기했던, 3D Reconstruction 같은 기술이 실시간으로 동작해야 함을 뜻한다. 일몰이나 일출같은 실제 환경의 광원까지 반영해야 된다면?

* 가상 물체(virtual object)가 현실의 환경에게 주는 영향을 반영하기

가장 큰 한계일 것 같다. 여기까지 고려해야 한다면, 사용자의 공간을 완전히 통제할 수 있는 VR같은 경우가 오히려 쉬울 수도 있다. AR에서 가상 물체가 현실의 소파에 앉게 된다면, 현재의 기술로는 정확한 위치에 앉는 것까지는 해볼 수 있을 것이다. 하지만, 현실 소파의 특성과 가상 물체의 특성에 따라 현실 소파의 눌림까지 표현할 수 있을까. 게다가 실제 소파는 눌리지 않는다. 이를 반영하게 되면, 현실 소파와 AR 내에서의 소파의 괴리가 발생하게 된다. 이러한 괴리를 허용해야 할까. 허용하지 않게 된다면, 가상 물체가 아무리 실사와 비슷하게 보이더라도 사용자는 이질감을 느낄 것이다. 어려운 문제다.

일단, 가상 물체가 현실의 환경에 주는 영향은 배제해야 될것 같고, 구글의 SDK를 써보면서, 현수준의 느낌을 봐야겠다.

1. trend

ETRI에서 2017년에 만든 자료가 있어서 참조했다. 시장은 2016년에 10억달러에서 2020년 1200억달러 수준(IDC 예상)으로 커진다고 한다. 참고로 자율주행 관련된 Waymo나 UBER같은 회사가 1000억달러 수준의 시장가치가 있다고 평가받고 있다. 예전부터 연구되고 있었긴 하지만, 본격적으로 시장이 커지고 있는건 2015년 부터인것 같다. 대표적으로 아래와 같은 일들이 2015년에서 2016년사이에 벌어졌다.

• Google과 Nintendo의 Niantic 투자(2천만달러 수준)
• Apple의 metaio, FlyBy Media(M&A)
• Intel의 Vuzix 투자(2400만달러 투자)
• Qualcomm Ventures의 Blippar 투자(4500만달러 투자)
• Starbreeze Studios의 ePawn(M&A 400만유로)
• Horizon Ventures의 Meta 투자(2300만달러 투자)
• The Hive의 Augmented Pixels 투자(100만달러 투자)  

2. device와 contents

중요한건 AR을 표현할 수 있는 device와 그 device에 표현될 contents이다. device는 크게 아래와 같이 3가지 정도로 나눠볼 수 있다.

• AR의 현실 환경을 모델링 할 수 있는 카메라(2D, 3D, scanner)
• AR 환경을 표현 할 수 있는 디스플레이
• AR 환경 내에서 사용자의 움직임을 반영할 수 있는 입력장치

Microsoft의 Hololens 같은것이 카메라와 디스플레이를 HMD 스타일로 표현된 장치라고 볼 수 있다. 현재, 가격은 5천불 정도로 가격 저항이 있어 보인다. 구글에서 얼마전 나왔던, Google Glass 같은 것도 위 2가지의 역할을 하지만, 경량화된 만큼 배터리와 발열 문제를 해결하지 못해 단종되었다고 알고 있다. 드라마 알함브라나 영화 미션임파서블에서 나왔던, 스마트 렌즈가 위 device의 궁극적인 goal이라고 볼 수 있겠지만, 외계인이 만들지 않는 이상 물리적으로 불가능하고, 따로 제작한다면 현실적으로는 문제가 해결된 Google Glass 정도를 목표로 해야되지 않을까 한다.

아니면, 관점을 바꾸어 모바일폰을 활용하는 방법도 있다. 이미, 포켓몬고에서 사용한 방법이지만, 모바일폰에 사용된 2D 카메라의 한계로 실제 AR 성능은 재미 수준을 넘어서지는 못한다. 하지만, 모바일폰에 3D카메라가 달리기 시작하면 얘기는 달라질 수 있다. 아이폰X의 경우에도 전방 카메라이긴 하지만 face id를 위해서 3D 카메라가 장착되었고, 화웨이에서도 3D카메라가 후면에 달린다는 얘기가 들린다. TV의 경우에는 3D가 제 역할을 하지 못했지만, 정체된 모바일폰 시장의 경우에는 이를 한번정도 breakthrough 해볼 컨텐츠가 AR이지 않을까. 카메라 화소 경쟁에서 카메라 개수 경쟁으로, 마지막으로 3D카메라 quality 경쟁으로. 단, 3D 카메라로 만들어 낼 수 있는 컨텐츠가 갤럭시S9의 이모지콘? 수준이라면 곤란할 것이고, 정말 그럴듯한 AR quality가 나와줘야 할 것이다.

모바일폰에 3D카메라가 달리기 시작하면, 집내부같은 공간을 3D카메라로 모델링하여 3D 지도를 만들고, 여기에서 AR 맵핑을 시도해 볼 수 있다. 단순, 2D카메라를 사용한 AR보다는 훨씬 괜찮은 quality가 나올 것이다. 이를 나타내는 것은 모바일폰의 display를 그대로 써도 되고, google 식으로 모바일폰을 넣을 수 있는 맞춤형 박스를 하나 만들어서 VR 스타일로 나타나게 해볼 수도 있다.

게임 등 액티브한 활동을 위해서는 별도의 입력 장치가 필요하다. 기본적으로는 모바일폰의 디스플레이를 터치하면서 진행할 수도 있겠지만, 별도의 장치로 Bluetooth를 통해 통신하고, Play Station의 dual shock처럼 진동정도 추가해주면 괜찮을 것 같다. 음성인식과 제스쳐인식 기술이 발전해서 적용해보는 것도 괜찮아 보인다.

3. SDK

이런 생각을 남들도 이미 다했고, 좀 찾아보니 AR을 구현해 볼 수 있는 SDK도 많이 나와있다. Apple만 해도 arkit2가 있고, placenote, sturfee라는 것도 있고, intel도 있다. 결국 문제는 AR의 수준인 것 같다. 그런면에서, AR은 여전히 발전해 나갈 여지가 많다. 최종적으로는 드라마 알함브라처럼, 무엇이 현실이고, 무엇이 AR인지 알수없는 경지까지 가지 않을까. 그리고, 이를 위해서는 algorithm도 중요하지만, 3D 카메라의 성능도 중요하다.

4. 개발을 한다면 아래와 같은게 필요할 것 같다.

   이것들이 없는 건 아니고, 단지 정교하고 빠르며 여러케이스에 대응되는게 없을 뿐이다. 물론, 사람들이 바보라서 정교하고 빠른걸 못만든 것도 아니다.

• 정교한 3d 카메라(indoor, outdoor)
• 정교한 3d map reconstruction algorithm
• 정교한 localization algorithm(3d 지도와 나의 위치를 맵핑)
• 정교한 display(VR처럼 3d로 표현하려면)
• 정교한 interaction 장치(음성인식, 제스쳐 인식, 혹은 입력 장치)

5. application

위와 같은게 엔진 수준으로 나와 준다면, 이를 활용한 application은 무궁무진할 것 같다. 이외로 1~2년 안에 쓸만한 엔진이 나올수도 있을것 같고, 그러면 AR 시장은 3가지로 나뉠 것 같다.

• AR을 구현할 수 있는 장치 시장(유력해 보이는건 모바일폰에 센서추가): 대기업과의 경쟁
• AR 구현 엔진: 기술적 장벽
• 엔진을 활용한 2차 application 시장: 기회선점, 아이디어선점, 특허선점
• - 대부분 2차 application 시장으로 갈텐데, 여기는 기술적 장벽보다는 아이디어와 자본으로 들어갈 수 있는 영역이라 치열할 것 같다.

6. plan

* 쓸만한 엔진을 만드는데 주력하다가

* 비어있는 application이 있다면 특허로 선점?. 조사해보지는 않았지만 여기도 이미 쓸만한건 대부분 선점되어 있을것 같긴 하다.

* 일단, 먼저 시중에 나와있는 SDK를 사용해보면서, 수준을 확인해봐야겠다. 필요하면 3D카메라도 구입해보고.

드라마 '알함브라의추억'을 보다보니, AR의 현재 trend와 수준이 궁금해져서 일들을 좀 진행시켜 보기로 했다. 기간은 6개월에서 1년정도로 예상한다. 아래 정도로 짬날때마다 진행해 볼려고 하는데, 언뜻 생각해보면, 이슈라고 할만한 것은 VR 기기 착용에 따른 어지러움, 착용자의 신체와 착용자가 바라보는 대상과의 위치를 추정하는 방법과 그 정확도일 것 같은데, 치명적인 한계가 없었으면 좋겠다.

 1. 현수준 확인

 2. 이슈, 한계 확인

 3. Open Source를 최대한 활용한 proto 제작

일단, 이정도로 해보면 재밌을것 같다.