Apple Vision Pro 출시 후의 심층 재고찰: XR, RNDR 및 공간 컴퓨팅의 미래
글: Scarlett Wu
6월 6일 WWDC(애플 세계 개발자 회의) 새벽, 코로나 재감염 후 다섯 번째 날이었다. 나는 건강차를 마시며 친구와 라이브 스트리밍으로 대화를 나누고 있었다. 한 시간이 지났다. 이번엔 'One More Thing'이 또 미뤄지지 않을까?
결국 오전 2시, 팀 쿡이 등장해 "One More Thing"을 외쳤고, 화면 이쪽의 나는 친구와 함께 환호성을 질렀다.
Macintosh introduced personal computing, iPhone introduced portable computing, and Apple Vision Pro is going to introduce Spacial Computing.
맥킨토시는 개인용 컴퓨터 시대를 열었고, 아이폰은 모바일 컴퓨팅 시대를 열었으며, 애플 비전 프로는 공간 컴퓨팅 시대를 열 것이다.
첨단 기술 애호가로서 나는 내년에 얻을 수 있는 새로운 장난감에 환호했지만, 게임과 메타버스, AI를 주목하는 Web3 투자자로서, 이는 나에게 전율을 느끼게 하는 새로운 시대의 신호였다.
의심할지도 모르겠다. "MR 하드웨어의 업그레이드가 Web3와 무슨 상관이 있지?" 그렇다면 먼저 Mint Ventures의 메타버스 분야에 대한 테제부터 이야기해보자.
우리가 바라보는 메타버스, 또는 Web3 세계에 대한 테제
블록체인 세계의 자산 프리미엄은 다음에서 비롯된다:
-
신뢰할 수 있는 거래 인프라가 가져오는 거래비용 감소:실물 자산의 소유권 확정과 보호는 국가 권력이라는 강제력을 기반으로 하지만, 가상 세계의 자산 소유권은 '데이터가 불변(또는 변경되어서는 안 됨)하다는 합의'와 그 자산 자체에 대한 인정에 기반한다.복사-붙여넣기를 할 수 있지만, BAYC는 3선 도시 아파트 한 채 가격을 갖는다. 복사된 이미지와 NFT 메타데이터의 이미지 사이에 실질적인 차이가 있지는 않다. 다만 '복제 불가능성'에 대한 시장의 합의 아래에서야 자산의 증권화 가능성이 생기는 것이다.
-
자산의 고도화된 증권화가 가져오는 유동성 프리미엄.
-
탈중앙화된 합의 메커니즘이 가져오는 무허가 거래 가능성에서 비롯된 '무허가 프리미엄'.
가상 세계의 상품은 실물 상품보다 증권화가 더 용이하다:
-
디지털 자산 결제의 보급 역사에서 보면, 사람들의 가상 콘텐츠에 대한 지불 습관 형성은 하루아침에 이루어진 것이 아니지만, 가상 자산에 대한 지불이 이미 대중 생활 깊숙이 파고들었다는 점은 부정할 수 없다.2003년 4월, iTunes Store의 출현은 사람들이 인터넷에서 무단 공유로 음악을 다운받는 것 외에도 정식 디지털 음악을 구매해 좋아하는 창작자를 지원할 수 있다는 것을 알게 해주었다. 2008년 App Store의 출현으로 일회성 구매 앱이 전 세계적으로 유행하게 되었고, 이후 앱 내 구매 기능은 애플의 디지털 자산 수익에 지속적으로 기여했다.
-
여기에는 게임 산업의 결제 모델 변화라는 잔재가 숨어 있다. 게임 산업 초창기 형태는 아케이드 게임이었고, 당시의 결제 모델은 '경험에 대한 지불'(영화와 유사)이었으며, 콘솔 시대의 결제 모델은 '카트리지/디스크에 대한 지불'(음악 앨범과 유사)이었다. 콘솔 후기에는 순수 디지털 버전 게임 판매가 시작되었고, 동시에 Steam의 디지털 게임 마켓과 일부 게임의 수입 급증을 이끈 인앱 결제가 등장했다. 게임 결제 모델의 진화사는 곧 유통 비용 감소의 역사였으며, 아케이드 → 콘솔 → 누구나 가진 PC 및 스마트폰으로 접속 가능한 게임 디지털 배포 플랫폼과 이미 몰입된 게임 자체로 이어졌다.게임 본체의 큰 흐름은 기술적으로 유통 비용이 점점 낮아지고, 접근 인구가 점점 넓어지는 추세이며, 게임 자산은 '경험의 한 요소'에서 '구매 가능한 상품'으로 변화했다.(최근 10년간의 소규모 트렌드는 오히려 디지털 자산 유통 비용이 매년 상승하는 것으로, 이는 인터넷 저성장, 고경쟁, 그리고 주목을 독점하는 트래픽 포털 때문이기도 하다.)
그렇다면 다음 단계는 무엇일까? 거래 가능한 가상 세계 자산은 우리가 계속해서 주목하는 주제다.
가상 세계의 경험 향상에 따라 사람들은 가상 세계에 머무르는 시간이 점점 늘어날 것이며, 이는 주목의 이동을 의미한다. 주목의 이동은 평가 프리미엄이 실물에 강하게 의존하는 것에서 가상 자산으로 이동하게 만들 것이다.Apple Vision Pro의 출시는 인간과 가상 세계 간의 상호작용 경험을 근본적으로 변화시켜, 가상 세계 몰입 시간과 몰입 체험 수준을 크게 향상시킬 것이다.
출처: @FEhrsam
참고: 이것은 우리만의 프리미엄 가격 책정 전략에 대한 변형 정의이다. 프리미엄 가격 책정 전략에서는 브랜드가 원가보다 훨씬 높은 가격대를 설정하며, 가격과 원가의 차이 속에 브랜드 스토리와 경험을 담는다. 또한 원가 기반 가격, 경쟁 기반 가격, 수요-공급 관계 등도 상품 가격 결정 시 고려되는 요소들이며, 여기서는 프리미엄 가격 책정에 대해서만 집중 설명한다.
MR 산업의 역사와 현재
현대 사회에서 XR(확장 현실, VR 및 AR 포함)에 대한 탐색은 10여 년 전부터 시작되었다:
-
2010년, Magic Leap 설립. 2015년, 체육관에서 고래가 뛰어오르는 광고로 전 세계 기술계를 놀라게 했으나, 2018년 제품 출시 당시 매우 나쁜 사용자 경험으로 인해 혹평을 받았다. 2021년, 25억 달러의 투자 후 평가로 5억 달러를 조달하여, 누적 투자액 35억 달러 대비 30% 수준으로 가치가 하락했다. 2022년 1월 사우디아라비아 국부펀드가 4.5억 달러의 지분 및 부채 거래로 다수 지배권을 획득하면서 실제 평가액은 10억 달러 미만으로 떨어졌다.
-
2010년, 마이크로소프트는 Hololens 개발을 시작했고, 2016년 최초의 AR 장치를 발표하고, 2019년 두 번째 버전을 출시했다. 가격은 3,000달러이나 실제 체험은 좋지 않았다.
-
2011년, Google Glass 프로토타입 공개, 2013년 첫 제품 출시. 한때 큰 인기를 끌며 높은 기대를 받았으나, 카메라 개인정보 문제와 실제 사용 경험의 부족으로 처참한 결과를 맞았다. 총 판매량은 수만 대에 불과했다. 2019년 기업용 버전 출시, 2022년 새로운 테스트 버전 현장 테스트 진행, 반응은 평범했다. 2014년, Google은 Cardboard VR 개발 플랫폼과 SDK를 출시했다. 2016년 Daydream VR 출시. 현재 가장 널리 사용되는 Android용 VR 플랫폼이다.
-
2011년, 소니 PlayStation은 VR 플랫폼 개발을 시작했고, 2016년 PSVR이 처음 모습을 드러냈다. PlayStation에 대한 신뢰 덕분에 초기 구매는 활발했지만 이후 반응은 좋지 못했다.
-
2012년, Oculus 설립, 2014년 페이스북에 인수됨. 2016년 Oculus Rift 출시, 이후 총 4종의 기기를 출시하며 휴대성과 낮은 가격을 강조, 시장 점유율이 높은 장비 중 하나다.
-
2014년, Snap은 Vergence Labs를 인수함. 이 회사는 2011년 설립되어 AR 안경에 집중했으며, 이것이 Snap Spectacles의 프로토타입이 되었다. 2016년 첫 판매를 시작했고, 이후 3종의 업데이트된 기기를 출시했다. 위의 대부분 제품들과 마찬가지로, Snap Spectacles는 초기에 많은 관심을 받았고, 소매점 앞에 줄을 서는 사람들까지 있었지만, 이후 사용자는 적어졌으며, Snap은 2022년 하드웨어 부문을 폐쇄하고 스마트폰 기반 AR에 다시 집중하기로 했다.
-
2017년경, 아마존은 Alexa 기반 AR 안경 개발을 시작했으며, 첫 Echo Frames는 2019년에, 두 번째 버전은 2021년에 출시되었다.
XR의 역사를 돌아보면, 이 산업의확장과 육성 난이도가 시장의 모든 예상을 훨씬 뛰어넘는다는 것을 알 수 있다. 막대한 자금과 다수의 과학자를 거느린 기술 거대 기업이든, 영리하고 수억 달러를 투자받아 XR에 집중하는 스타트업이든 모두 마찬가지다. 2016년 소비자용 VR 제품 Oculus Rift 출시 이후, 삼성 Gear, 바이트 Pico, Valve Index, 소니 PlayStation VR, HTC Vive 등의 모든 VR 브랜드 누적 출하량은 4,500만 대 미만이다. VR 장치의 현재 가장 널리 사용되는 용도는 여전히 게임이며, Vision Pro 출시 이전까지 사람들의 일상적인 사용을 유도하는 AR 장치는 등장하지 않았다. SteamVR 데이터에 따르면, 대략적으로 VR 장치의 월간 활성 사용자는 수백만 명 수준에 불과할 것으로 추정된다.
왜 XR 장치는 보급되지 못했을까? 수많은 스타트업의 실패 경험과 투자기관의 분석이 일부 답을 제공한다:
1. 하드웨어가 준비되지 않음
시각적으로,VR 장치는 시야각이 넓고 눈에 가까워 최고급 장비라도 화면의 픽셀 점을 무시하기 어렵다. 양안 8K 해상도, 즉 각눈 4K 해상도가 충분한 몰입을 위해 필요하다. 또한, 프레임률 역시 시각적 경험을 유지하는 핵심 요소다. 일반적으로 XR 장치는 어지러움을 방지하기 위해 초당 120Hz, 혹은 240Hz를 유지해야 현실 세계와 유사한 경험을 제공한다고 여겨진다. 그러나 동일한 계산 능력 하에서 프레임률은 렌더링 수준과 균형을 이루어야 한다: Fortnite는 60Hz 프레임률에서 4K 선명도를 지원하지만, 120Hz에서는 1440p 선명도만 지원한다.
시각적 직관에 비해,청각은 짧은 시간 동안 비교적 중요하지 않은 것으로 보이며, 대부분의 VR 장치는 이 세부사항에 신경을 쓰지 않는다. 그러나 공간 내에서 왼쪽이나 오른쪽의 사람이 말할 때 소리가 항상 머리 위에서 들리는 상황을 생각해보면, 몰입감이 크게 떨어진다. 또한 AR 공간에서 디지털 아바타가 거실에 고정되어 있을 때, 사용자가 침실에서 거실로 이동해도 아바타의 말소리 크기가 동일하면 공간의 사실감이 미묘하게 떨어진다.
인터랙션 면에서,전통적인 VR 장치는 컨트롤러를 갖추고 있으며, HTC Vive처럼 집 안에 카메라를 설치해 사용자의 움직임 상태를 확인해야 한다. Quest Pro는 눈동자 추적 기능을 갖추고 있지만 지연이 높고 민감도가 평균적이며, 주로 부분 렌더링 강화에 사용되며 실제 인터랙션은 여전히 컨트롤러 중심이다. Oculus는 또한 헤드셋에 4~12개의 카메라를 설치해 사용자가 있는 환경 상태를 인식하고, 일정 수준의 제스처 인식 경험을 제공한다(예: VR 세계에서 왼손으로 가상 휴대폰을 집어들고, 오른손 검지로 공중 클릭해 게임 실행 확인).
무게 면에서,사람이 편안하게 느낄 수 있는 장치 무게는 400~700g 사이여야 한다(정상 안경 20g 정도에 비하면 여전히 거대한 존재다). 그러나 위의 해상도, 프레임률, 인터랙션 수준, 렌더링 요구에 맞는 계산 능력(칩 성능, 크기, 수량), 그리고 수시간 지속 가능한 배터리 수명을 위해서는 XR 장치의 무게는 어려운 선택의 연속이다.
요약하자면, XR이 다음 세대의 스마트폰이 되고, 대중적인 하드웨어가 되기 위해서는 8K 이상의 해상도를 갖추고, 사용자가 어지러움을 느끼지 않도록 120Hz 이상의 프레임률을 제공해야 한다. 이 장치는 10여 개의 카메라, 4시간 이상(점심/저녁 식사 휴식 시간에만 벗어도 될 정도)의 배터리 수명, 발열 없거나 최소한의 발열, 500g 이하의 무게, 그리고 500~1,000달러 수준의 낮은 가격을 가져야 한다. 현재의 기술 수준은 2015~2019년 XR 열풍에 비해 많이 향상되었지만, 위의 기준을 충족시키는 것은 여전히 어렵다.
그럼에도 불구하고, 사용자가 현재의 MR(VR+AR) 장치를 체험하면 현재의 경험은 완벽하지 않더라도 2D 화면과는 비교할 수 없는 몰입감을 제공한다는 것을 알 수 있다. 그러나 이러한 경험에는 여전히 큰 향상 여지가 있다—Oculus Quest 2를 예로 들면, 대부분의 VR 영상은 1440p이며, Quest 2의 4K 해상도 상한에도 도달하지 못하고, 프레임률도 90Hz에 훨씬 못 미친다. 현재의 VR 게임은 상대적으로 서투른 모델링을 갖고 있으며, 시도할 수 있는 선택지도 많지 않다.
출처: VRChat
2. 킬러 앱이 아직 등장하지 않음
킬러 앱의 '등장하지 않음'은 하드웨어에 묶인 역사적 이유가 있다—메타가 이윤 공간을 최대한 줄였음에도 불구하고, 수백 달러의 MR 헤드셋과 상대적으로 초라한 생태계는 이미 생태계가 풍부하고 사용자 기반이 규모를 이룬 게임 콘솔에 비해 매력이 떨어진다. VR 장치 보유 대수는 2,500~3,000만 대 사이인 반면, 3A 게임의 터미널(PS5, Xbox, Switch, PC) 보유 대수는 3.5억 대다. 따라서,대부분의 제조사는 VR 지원을 포기했고, VR 장치를 지원하는 소수의 게임도 'VR 플랫폼 추가로 배포'하는 수준이며, 'VR 전용'은 아니다.또한, 위에서 언급한 픽셀 점, 어지러움, 배터리 수명 부족, 무거운 무게 등의 문제로 인해 VR 장치의 경험은 기존 3A 게임 터미널보다 우수하지 않다. VR 지지자들이 강조하는 '몰입감'의 장점도 장치 보유 대수가 부족하여 '추가로 VR 플랫폼 배포'하는 개발자들은 특별히 VR용으로 설계된 경험과 인터랙션 모드를 거의 시도하지 않아 이상적인 경험을 달성하기 어렵다.
따라서 현재의 상황은, 사용자가 VR 게임을 선택하면, 그들은 단순히 '새로운 게임을 선택한 것'이 아니라 '대부분의 친구들과의 소셜 경험을 포기한 것'이다. 이런 게임 시나리오는 게임성과 몰입감이 소셜보다 훨씬 뛰어난 경우에 국한된다. 물론, VR Chat을 언급할 수도 있겠지만, 깊이 파고들면 그곳 사용자 90%가 VR 사용자가 아니라 일반 화면 앞에서 다양한 아바타로 새 친구들과 소셜을 즐기려는 사용자임을 알 수 있다. 따라서 VR 소프트웨어에서 가장 인기 있는 게임이 리듬 게임인
따라서 우리는 킬러 앱의 등장을 위해 다음과 같은 요소가 필요하다고 본다:
-
하드웨어 성능과 전방위적인 세부사항의 대폭 향상. '하드웨어가 준비되지 않음'에서 언급한 바와 같이, 이는 '화면 개선, 칩 개선, 스피커 개선...' 같은 단순 작업이 아니라 칩, 부품, 인터랙션 디자인, 운영체제의 전방위적인 협업 결과다—이는 바로 애플의 강점이다: iPod과 아이폰 시절보다 수십 년의 축적을 통해 여러 장치 운영체제의 통합을 완성했다.
-
사용자 장치 보유 대수의 폭발적 증가 직전. 위에서 개발자와 사용자 심리를 분석한 바와 같이, 이 '닭과 달걀' 문제에서 킬러 앱은 XR 장치 MAU가 수백만 수준에 불과할 때 등장하기 어렵다. <젤다의 전설: 야생의 숨결>의 정점에서, 게임 카트리지 미국 판매량은 스위치 보유 대수를 초과하기까지 했다—이는 '새로운 하드웨어가 어떻게 대중화될 수 있는지'에 대한 탁월한 사례다. XR을 체험하기 위해 장치를 구매한 사람들은 제한된 콘텐츠로 인해 점점 실망하며 자신의 헤드셋이 먼지 쌓이는 이야기를 한다. 그러나 젤다에 끌린 플레이어들은 스위치 생태계 내 다른 게임들을 발견하며 남게 된다.
출처: The Verge
-
그리고 통일된 조작 습관과 비교적 안정적인 장치 업데이트 호환성. 전자는 쉽게 이해된다—컨트롤러 유무는 사용자와 기계 간 상호작용 행동 패턴과 경험의 두 가지 방식을 가져오며, 이는 바로 Apple Vision Pro와 시장의 다른 VR 장치의 차이점이다. 후자는 Oculus 하드웨어의 진화에서 사례를 찾을 수 있다—동일 세대 내 하드웨어 성능의 대폭 향상이 오히려 사용자 경험을 제한한다. 2022년 출시된 Meta Quest Pro는 2020년 출시된 Oculus Quest 2(Meta Quest 2라고도 함)에 비해 하드웨어 성능이 크게 향상되었다: Quest Pro의 해상도는 Quest 2의 4K 디스플레이에서 5.25K로 올라갔고, 색상 대비도 75% 향상되었으며, 프레임률은 기존 90Hz에서 120Hz로 상승했다. Quest 2의 4개 외부 환경 인식용 카메라 외에 8개의 외부 카메라를 추가해 흑백 환경 영상을 컬러로 만들었으며, 제스처 추적을 크게 개선했고, 얼굴 및 눈동자 추적 기능도 추가했다. 또한 Quest Pro는 '주시점 렌더링'을 사용해 시선이 집중된 곳에만 계산 능력을 집중하고 나머지 부분의 선명도를 약화시켜 계산 능력과 전력 소모를 절약한다. 위에서 언급한 바와 같이, Quest Pro의 기능은 Quest 2보다 훨씬 강력하지만, Quest Pro 사용자는 Quest 2 사용자의 5%에도 못 미칠 것이다.이는 개발자가 두 장치 모두를 위한 게임을 개발해야 한다는 것을 의미하며, Quest Pro의 장점을 활용하는 데 큰 제약이 되고, Quest Pro의 사용자 매력을 반대로 낮춘다. History Rhymes, 동일한 이야기는 게임 콘솔에서도 반복되어 왔으며, 이것이 콘솔 제조사가 6~8년을 한 세대로 삼아 하드웨어와 소프트웨어를 업데이트하는 이유다. 스위치 초대기를 산 사용자는 후속 스위치 OLED 등의 하드웨어로 인해 새로 출시된 게임 소프트웨어의 호환성 문제를 걱정하지 않지만, Wii 시리즈를 산 사용자는 스위치 생태계 게임을 플레이할 수 없다. 콘솔 게임을 위한 소프트웨어 개발사에게, 그들이 생산하는 게임은 사용자 기반이 엄청나게 크고(3.5억 vs 수십억), 사용자 의존성이 매우 높은(집에서 여가로 사용 vs 언제든지 휴대) 스마트폰과 같은 제품이 아니므로, 수 개의 개발 주기 동안 안정적인 하드웨어 경험을 제공해 사용자의 과도한 분산을 피하거나, 지금의 VR 소프트웨어 개발사처럼 하위 호환을 통해 충분한 사용자 기반을 확보해야 한다.
그렇다면, Vision Pro는 위 문제들을 해결할 수 있을까? 그리고 산업에 어떤 변화를 가져올까?
Vision Pro가 가져온 전환점
6월 7일 발표회에서 Apple Vision Pro가 공개되었고, 위에서 분석한 'MR이 하드웨어와 소프트웨어에서 겪는 도전' 프레임워크를 기반으로 다음과 같이 비교할 수 있다:
하드웨어:
-
시각적으로,Vision Pro는 두 개의 4K 스크린을 사용해 총 약 6K의 픽셀을 제공하며, 현재 MR 장치 중 준최고 사양이다. 프레임률은 최대 96Hz를 지원하며 HDR 비디오 재생도 가능하다. 체험한 기술 블로거들의 설명에 따르면, 선명도가 매우 높을 뿐만 아니라 거의 어지러움을 느끼지 못한다.
-
청각적으로,애플은 2020년부터 AirPods에서 공간 음향을 사용해 사용자가 서로 다른 방향에서 소리를 들을 수 있도록 하여 입체적인 음향 경험을 제공했다. 그러나 Vision Pro는 한 걸음 더 나아가 '오디오 레이 기술'을 활용해 장치의 LiDAR 스캔을 충분히 융합하고, 방 내 음향 특성(물리적 재질 등)을 분석한 후 방과 일치하고 방향과 깊이를 갖춘 '공간 음향 효과'를 만들어낼 것으로 기대된다.
-
인터랙션 면에서,컨트롤러 없이 제스처와 눈동자 추적만으로 인터랙션 경험을 극한으로 부드럽게 만들었다(기술 미디어의 실측 체험에 따르면, 지연을 거의 느낄 수 없으며, 이는 센서 정밀도와 계산 속도뿐만 아니라 눈동자 경로 예측을 도입한 결과다. 아래에서 추가 설명할 예정).
-
배터리 수명 면에서,Vision Pro의 배터리 수명은 2시간으로 Meta Quest Pro와 거의 같으며(매우 인상적이진 않으며, 현재 Vision Pro가 비판받는 점이기도 하다). 그러나 Vision Pro는 외부 전원을 연결하고, 헤드셋 내부에 5000mA 소형 배터리를 장착하여 전원 교체를 통한 연장 수명 여지를 마련한 것으로 추정된다.
-
무게 면에서,기술 미디어의 체험에 따르면 약 1파운드(454g)로, Pico와 Oculus Quest 2와 거의 같으며, Meta Quest Pro보다 가볍고, MR 장치 중에서는 괜찮은 수준이다(비록 허리에 연결된 전원의 무게는 포함하지 않았다). 그러나 순수 AR 안경(Nreal, Rokid 등 약 80g)에 비하면 여전히 무겁고 답답하며 뜨겁다. 물론 순수 AR 안경은 대부분 다른 장치와 연결이 필요하며, 단지 확장 화면으로만 사용 가능하다. 이에 비해 자체 칩을 탑재하고 진정한 몰입 경험을 제공하는 MR은 전혀 다른 경험일 수 있다.
-
또한, 하드웨어 성능 면에서, Vision Pro는 시스템과 프로그램 작동을 위한 현재 최고 성능의 M2 시리즈 칩을 탑재할 뿐만 아니라, MR 스크린, 주변 환경 모니터링, 눈동자 및 제스처 모니터링 등을 위해 개발된 특별한 R1 칩을 추가로 장착하여 MR 전용 표시 및 인터랙션 기능을 수행한다.
소프트웨어 면에서,애플은 수백만 개발자 생태계를 바탕으로 어느 정도 마이그레이션을 완료할 수 있을 뿐만 아니라, 실제로 AR Kit 출시를 통해 이미 일련의 생태계 포석을 놓았다:
2017년, 애플은 AR Kit을 발표했다: iOS 기기와 호환되는 가상현실 개발 프레임워크로, 개발자가 증강현실 애플리케이션을 생성하고 iOS 기기의 하드웨어 및 소프트웨어 기능을 활용할 수 있도록 한다. VR Kit은 iOS 기기의 카메라를 사용해 해당 지역의 지도를 생성하고, CoreMotion 데이터를 사용해 테이블, 바닥, 기기의 물리적 공간 내 위치 등을 감지함으로써 카메라 아래 디지털 자산이 현실 세계와 상호작용할 수 있게 한다—예를 들어, 포켓몬 고에서 당신은 화면 위를 이리저리 움직이는 것이 아니라 땅속에 묻혀 있거나 나뭇가지에 앉아 있는 포켓몬을 볼 수 있다. 사용자는 이를 위해 별도의 교정이 필요하지 않다—이는 매끄러운 AR 경험을 의미한다.
-
2017년, AR Kit 출시, 위치, 위상, 사용자의 얼굴 표정을 자동 감지하고 모델링 및 표정 캡처 가능.
-
2018년, AR Kit 2 출시, 향상된 CoreMotion 경험 제공, 다중 AR 게임, 2D 이미지 추적, 알려진 3D 물체(조각상, 장난감, 가구 등) 감지 가능.
-
2019년, AR Kit 3 출시, 현실감을 더욱 향상시키는 기능 추가, People Occlusion을 사용해 사람 앞이나 뒤에 AR 콘텐츠를 표시 가능하며, 최대 세 장의 얼굴을 추적할 수 있다. 또한 공동 작업 세션을 지원해 새로운 AR 공유 게임 경험을 실현할 수 있다. 모션 캡처는 신체 위치와 움직임을 이해하고 관절과 뼈를 추적함으로써, 물체뿐 아니라 사람을 포함한 새로운 AR 경험을 가능하게 한다.
-
2020년, AR Kit 4 출시, 2020년형 아이폰 및 아이패드에 내장된 LiDAR 센서를 활용해 추적 및 객체 감지를 개선한다. ARKit 4는 Location Anchors도 추가하여 애플 맵 데이터를 사용해 증강현실 경험을 특정 지리 좌표에 배치할 수 있다.
-
2021년, AR Kit 5 출시, 개발자는 커스텀 셰이더, 절차적 메시 생성, 객체 캡처 및 캐릭터 제어를 구축할 수 있다. 또한, 내장 API와 iOS 15 기기의 LiDAR 및 카메라를 사용해 객체를 캡처할 수 있다. 개발자는객체를 스캔하고 즉시 USDZ 파일로 변환할 수 있으며, 이를 Xcode에 가져와 ARKit 장면이나 애플리케이션에서 3D 모델로 사용할 수 있다. 이는 3D 모델 제작 효율을 크게 향상시킨다.
-
2022년, AR Kit 6 출시, 새 ARKit에는 'MotionCapture' 기능이 포함되어 비디오 프레임에서 인물을 추적하고, 개발자가 인간의 머리와 팔다리 위치를 예측할 수 있는 '골격'을 제공함으로써, AR 콘텐츠를 캐릭터 위에 겹쳐놓거나 캐릭터 뒤에 숨기는 등의 더 사실감 있고 장면과 자연스럽게 융합된 애플리케이션을 개발할 수 있도록 지원한다.
7년 전부터 시작된 AR Kit의 포석을 되돌아보면,애플의 AR 기술 축적이 하루아침에 이루어진 것이 아니라, 이미 널리 보급된 기기에 서서히 AR 경험을 통합하는 방식으로 이루어졌음을 알 수 있다. Vision Pro 출시 시점에서 애플은 이미 일정한 콘텐츠와 개발자 기반을 축적한 상태다. 또한, AR Kit 개발의 호환성 덕분에 개발된 제품은 Vision Pro 사용자뿐만 아니라 아이폰과 아이패드 사용자에게도 어느 정도 적응할 수 있다. 개발자는 300만 월간 활성 사용자의 천장을 고려해 제품을 개발할 필요 없이, 잠재적으로 수억의 아이폰 및 아이패드 사용자를 대상으로 테스트와 체험을 진행할 수 있다.
또한, Vision Pro의 3D 비디오 촬영은 현재 MR 콘텐츠 부족이라는 난제—콘텐츠 생산 문제의 일부를 해결한다: 기존 VR 비디오는 대부분 1440p로, MR 헤드셋의 고리형 화면 경험에서 픽셀이 매우 거칠게 보인다. Vision Pro의 촬영은 높은 픽셀의 공간 비디오와 우수한 공간 음향 경험을 모두 갖추고 있어, MR의 콘텐츠 소비 경험을 크게 향상시킬 것으로 보인다.
위 구성이 이미 상당히 인상적이지만, 애플 MR의 상상력은 여기서 멈추지 않는다: 애플 MR이 발표된 당일, 애플의 신경과학 분야에 참여했던 개발자라고 주장하는 @sterlingcrispin은 다음과 같이 말했다:
Generally as a whole, a lot of the work I did involved detecting the mental state of users based on data from their body and brain when they were in immersive experiences.
전반적으로, 내가 수행한 많은 작업은 몰입형 경험 중 사용자의 신체와 뇌 데이터를 기반으로 그들의 정신 상태를 감지하는 것이었다.
So, a user is in a mixed reality or virtual reality experience, and AI models are trying to predict if you are feeling curious, mind wandering, scared, paying attention, remembering a past experience, or some other cognitive state. And these may be inferred through measurements like eye tracking, electrical activity in the brain, heart beats and rhythms, muscle activity, blood density in the brain, blood pressure, skin conductance etc.
사용자가 혼합현실 또는 가상현실 경험 중에 있으며, AI 모델은 사용자가 호기심을 느끼는지, 마음이 산만한지, 무서운지, 주의를 집중하는지, 과거 경험을 기억하는지, 또는 기타 인지 상태인지 예측하려 한다. 이러한 상태는 눈동자 추적, 뇌 전기 활동, 심장 박동 및 리듬, 근육 활동, 뇌 혈액 밀도, 혈압, 피부 전도 등 측정을 통해 추론할 수 있다.
There were a lot of tricks involved to make specific predictions possible, which the handful of patents I’m named on go into detail about. One of the coolest results involved predicting a user was going to click on something before they actually did. That was a ton of work and something I’m proud of. Your pupil reacts before you click in part because you expect something will happen after you click. So you can create biofeedback with a user’s brain by monitoring their eye behavior, and redesigning the UI in real time to create more of this anticipatory pupil response. It’s a crude brain computer interface via the eyes, but very cool. And I’d take that over invasive brain surgery any day.
특정 예측을 가능하게 하기 위해 우리는 많은 기술을 사용했으며, 제가 이름을 올린 소수의 특허들이 이것을 자세히 설명한다. 그 중 가장 멋진 결과 중 하나는 사용자가 실제로 클릭하기 전에 클릭할 것을 예측하는 것이었다. 이는 엄청난 노력의 결과이며, 저는 이에 대해 자부심을 느낀다. 당신의 동공은 클릭하기 전에 반응하는데, 이는 클릭 후 무언가가 일어날 것이라고 기대하기 때문이다. 따라서 사용자의 눈동자 행동을 모니터링하고 실시간으로 UI를 재설계함으로써 뇌와 생체 피드백을 만들고, 이러한 기대적인 동공 반응을 더 많이 유도할 수 있다. 이는 눈을 통한 거친 뇌-컴퓨터 인터페이스이지만 매우 멋지다. 침습적인 뇌 수술보다는 언제든지 이 방식을 택하겠다.
Other tricks to infer cognitive state involved quickly flashing visuals or sounds to a user in ways they may not perceive, and then measuring their reaction to it.
인지 상태를 추론하기 위한 다른 기술에는 사용자가 인지하지 못하는 방식으로 시각적 또는 청각적 자극을 빠르게 깜빡이는 방법과 그에 대한 반응을 측정하는 방법이 포함된다.
Another patent goes into details about using machine learning and signals from the body and brain to predict how focused, or relaxed you are, or how well you are learning. And then updating virtual environments to enhance those states. So, imagine an adaptive immersive environment that helps you learn, or work, or relax by changing what you’re seeing and hearing in the background.
또 다른 특허는 기계 학습과 신체 및 뇌의 신호를 사용해 집중도, 이완 정도, 학습 효과를 얼마나 잘 하고 있는지를 예측하는 방법
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
Mint Ventures
