首頁 >專題報導
元宇宙關鍵技術之一—從虛擬實境與擴增實境到混合實境
2016年一款非常火熱的手機游戲橫空出世，從新定義了全世界對於虛擬世界的認知。玩家透過手機作?現實世界與虛擬世界的連結，原本不可能出現在現實世界的「寶可夢」（舊稱「神奇寶貝」）活靈活現的出現在人們的視野中。這是人類第一次透過視覺化的方式進入虛擬的世界。回到正題，到底什麼是虛擬實境和擴增實境？簡單來說，虛擬實境就是透過一台裝置（手機或VR眼鏡）將使用者從現實世界帶到另一個虛擬的三維世界裏面。這台裝置會透過使用者的反應給予回饋，進而讓使用者有身歷其境的感覺。而擴增實境則是將虛擬世界的三維物體投影在現實世界的某個平面上，在接下來的段落會更多的介紹。
硬體競賽——各大企業對元宇宙的佈局
其實在2021年Meta執行長在提出「元宇宙」的概念前，各大企業已經在暗中佈局了。2014年，Meta公司（當時名字還是Facebook）豪砸20億美金現金和一些Facebook的股票收購了Oculus VR，開始了馬克·祖克柏對於元宇宙計劃的第一步。為了把整個虛擬實境的市場搶先吃下來，Oculus所售賣的虛擬世界裝置的價格都非常便宜，所以據?目前是賣一台就賠一台的情況。
一塊大餅乾，不可能由Meta獨享。身為科技業龍頭的微軟也想在這個行業分一杯羹。微軟他們家的裝置HoloLens比Oculus多了擴增實境的整合，我們稱之?混合實境。混合實境這個概念很好理解，就好像電影鋼鐵人裡，東尼史塔克在鋼鐵裝裏一樣，透過眼鏡裏面的出現的資訊，負責使用者進行一些比較複雜的程序。目前微軟的混合實境裝置更多的用在工業上，距離普及化到民間還有一段距離。
回到台灣，其實台灣有個企業也在努力的進入這個市場，它就是宏達電。宏達電旗下有一款稱?VIVE FLOW的產品，就是很典型的虛擬實境裝置，但是除了虛擬實境的頭戴裝置之外，其還有根據使用者需求販售肢體回饋的裝置，也就是手部的控制器和眼球追蹤的技術，更好的讓使用者沉浸在虛擬的世界。
軟體開發
介紹完硬體，就必須提到軟體。要開發一個虛擬的世界，不是簡單的拖拖拉拉就可以建構出來的。從一開始的3D物體建模，到輸入虛擬世界開發軟體，到最後把全新的虛擬世界上傳到網路上，每一層都需要來自各大行業的專家來進行。在這個段落主要會介紹建模和輸入到虛擬世界的過程。
第一階段，3D建模。市面上商用的3D建模軟體有很多，在這裏我介紹的是Autodesk的Inventor這套軟體。功能非常?大，可以用來讀取很多種類的3D CAD檔，也可以輸出多種的檔案類型。如下圖，我在這個軟體建構出了一台耳機的3D模型。
圖（一）在Autodesk Inventor中建模
將檔案輸出之後還需要用到另一款軟體Blender，我們需要使用這款軟體定義出3D物體的中心點和角度，在使用它輸出.fbx的檔案，在架構虛擬世界時的軟體會使用到。
圖（二）使用Blender輸出.fbx檔
接下來就到了虛擬世界的開發軟體，這裏我們使用的是Unity這一款軟體。這款軟體是非常的簡單且容易上手的軟體，如果只是個人學習使用的話是不收費的，目前這款軟體更廣泛的運用於3D的游戲開發，視覺化和3D互動的領域，所以虛擬實境和擴增實境的開發很剛好的可以使用這套軟體做開發。
下圖就是我在Unity建構出來的虛擬世界中放入剛剛的3D模型：
圖（三）Unity界面與輸入的3D模型
因為虛擬實境對於和現實中的物體做整合要求不大，只需要使用者有一台虛擬實境的裝置就可以了，所以通常在開發到這個階段就可以根據裝置的種類去做輸出。然而，擴增實境的部分，對於硬體的相機掃描功能有一定的要求，所以通常在比較普通的裝置，都會需要特徵點的輔助。
這裏還有一款套件可以滿足開發者的需求，它就是Vuforia Engine。這是一款可以用來開發擴增實境的軟體的套件。它?大的特徵點偵測功能和3D掃描的能力，大大的減少了開發者在開發擴增實境的軟體的時間。在Unity裏面，我只需要更換原有Main Camera成Vuforia Engine的AR Camera，之後將3D的模型放到Image Target上面就可以做到擴增實境的效果。
圖（四）使用Vuforia Engine套件之後找到Image Target
下圖就是擴增實境開發的成品，我們可以通過某張圖片作?特徵點，Vuforia Engine的AR Camera就會掃描當下鏡頭所看到的圖片，然後將3D模型可視化。使用者可以通過調整角度來觀察3D模型的每個角落。
圖（五）AR示意圖
虛擬實境和擴增實境的整合——混合實境
在剛剛有提到，微軟在虛擬實境和擴增實境上面做了很大的整合，也就是他們家的產品HoloLens的一個產物。混合實境是一個使用者、電腦和環境互相溝通互動的概念。它是一款可以將虛擬世界的物體以等比例的方式透過混合實境裝置，例如HoloLens呈現在使用者的眼前。和擴增實境不同的是，使用者可以和虛擬世界的物體互動，也可以透過其他裝置的配合讓虛擬世界的物體在現實世界更沒有違和感。但是這項技術當前收到很大的考驗，也就是它硬體上對於裝置性能的要求非常的高，且在軟體上還有很多需要解決的東西。
之前在系上的某一間實驗室有幸可以瞭解這些概念，也體驗過微軟HoloLens第二代的使用。發現HoloLens第二代在偵測使用者的肢體手勢的反應速度還有待加?。另外在偵測實體的時候，若物體有在移動的情況下，會導致深度相機偵測時出現的誤差更大。這個就會需要到之前提到的一個概念，特徵點。混合實境裝置需要有一套演算法來增進它尋找並偵測待測物體的速度和精準度。除此之外，待測物的特徵也是一項考驗混合實境裝置效能的因素。目前HoloLens的深度偵測相機使用的是LiDAR的技術，簡單的來?就是使用射出和反射的紅外線來判定某個點和相機當下的距離和角度。這個技術目前最大的限制就是很多物體並不能夠理想的量測。光滑的表面會因為反射的紅外線過於整齊導致只有少數的紅外線會被相機回收。所以量測粗糙的表面會更加理想。第二，LiDAR對於環境因素也有很大的要求。在一個光源較低的室?，其兩側效果不如光源充足的室?。但是光源過於集中在待測物的一點，也會導致紅外光打到待測物時被干擾，進而該店在量測時會被錯誤判斷?無窮遠的點。
混合實境的未來該如何發展？
綜上目前所遇到的問題，所以目前混合實境還沒有辦法被帶到民間就是因?其技術尚未成熟，且還有很多功能是需要開發者去開發的。
先?技術方面。混合實境需要很?大的硬體需求和網路需求。?大的硬體需求是為了讓系統有更好的對突發情況的數據處理能力。比如?，當醫生在帶著混合實境的裝置進行手術的時候，如果病人的身體出現突發的異狀，混合實境的裝置就可以在不需要回傳資料給母裝置的情況下做出數據處理，讓使用者也就是醫生更快的更具裝置給出的提示進行搶救。現行的技術的混合實境的裝置都需要依靠?網連接母裝置做出數據處理，這在突發情況下，帶來的延遲是會發生很嚴重的後果。網路需求方面，剛剛提到，混合實境裝置需要有網路和母裝置連接才能夠進行一定的數據運算或處理。另外，在目前物聯網系統的影響下，裝置與裝置之間的連?變得非常的重要。混合實境裝置需要和其他的裝置溝通才能夠讓使用者有更佳的體驗。這一點在一些發達國家或地區就已經可以實現，但是仍然有很多國家面臨著網路覆蓋率不及人口密集區，所以在全球範圍?推廣混合實境甚至是虛擬實境還是一個需要等待未來。
除此之外，人類一直以來都沒有辦法駕馭自己設計出來的科技。人類要是都進到了虛擬的世界？那個世界會是怎樣的？倘若人們都沉迷於虛擬的世界而忘記了現實世界自己的責任？虛擬世界的管理法規該如何運作？這些都是很經典的問題。有一款很好玩的電腦遊戲叫做「我的世界」，其中有一個伺服器名字叫「2builders2tools」，它是「我的世界」這款遊戲裏面一個沒有任何管理規則和處於無政府狀態的伺服器。在那個世界裏面什麼都沒有，外掛和破壞是常態。這不得不讓人想到元宇宙內，若是沒有任何的管理規則，會不會變成那樣的世界。若是立法管理相關的虛擬世界，到底是要依據什麼立法？這是人類在進入元宇宙前需要探討的問題。