Extending Vision－派大星練功房

之前一直想做的Project是頭戴式顯示器，加上Head Motion Tracking技術的顯示機制。

概念

一般而言，頭戴式顯示器所投影的內容是固定在眼前的，但這樣跟眼睛上沾了東西一般，不太自然。因此，理想的頭戴顯示介面，不是固定在眼前，而是會隨著環境與自身的互動，而呈現相對的距離感。這點跟美軍戰鬥機或攻擊直升機內配戴的頭戴顯示系統有異曲同工之處。以戰鬥機而言，HUD會根據飛行員觀看的角度，顯示相應的輔助資訊，而攻擊直升機更進一步地，會操作機槍雲台，讓飛行員所見即所得（射？）。

這當中會運用到類似陀螺儀或加速感應器的技術。以單純手機的加速感應器而言，只能取得相對資料，並不見得可以完整地擷取到與環境間的互動關係。後來我又找到到Wii所使用的IR Tracking的技術，藉由演算法可以得知自己與環境中的參考點的相對位置。而同樣的技術，也被應用在另一個領域，也就是行之有年的「擴增實境」技術，裡用攝影機拍攝特定的圖片，藉由該圖形投影在鏡頭前的角度，來計算相對距離即鏡頭與該圖片的相對角度。而這些機制都已經被做成一個Open Source的SDK，叫做ARToolkit。

影片說明：利用Wii的IR Tracking特性做的模擬，這個概念很有趣，跟時下給兩隻眼睛看不同影像的做法不同，是透過計算眼睛跟投影屏幕的相對位置後，呈現出相應視角畫面而造成的3D空間感。這作法跟街頭藝術流行的3D繪畫是應用相同的原理。

這個ARToolkit被日本廣泛的應用在卡通人物對實際空間的投影，後來ARToolkit被改寫成Flash版，也因此有一陣子出現許多搭配電腦上的Web Came及Flash的擴增實境廣告案例。不過這都是要使用一個特定的標記圖示來辨識。後來又有人研究出更酷的東西，動態使用攝影機拍攝到的內容來作為標記物，也就是所謂的 Markerless Camera Tracking。這個技術可動態截取現場空間資訊，目前缺點是要記錄較大量的資料，運算也比較吃力，但這隨著行動裝置越來越強，日後肯定可以解決吧。

影片說明：日本許多工程師將 ARToolkit 運用於卡通人物在鏡頭前的投影。

影片說明：一些研究室許久前已經找出了可以不需要Marker輔助的演算法。

不過這都已經是三年前的研究了，近日隨著微軟的Kinect出了SDK，也有不少人投身到這個領域，相對地由於Wii的熱潮過去，加上經濟不景氣，所以相關的應用並沒有如期待般有下雨就長筍子，反倒是Google突然宣告要投入Google Glasses計畫，才又看到一線生機。在目前看到的Demo中，Google Glasses軟體方面只是單純把網路能取得的資訊，以2D的方式顯示在眼前，還沒有進一步做到計算人與空間的關係。不過目前各領域對擴增實境的幻想，已經都包含了對實物的資訊映射的概念，包括前一陣子微軟申請的新專利當中就能看到這方面的野心。在我看來，與空間的互動是在頭戴顯示架構下最適切的介面設計方式，同時，這也讓目前停止發展的3D人機界面技術有發揮的空間。未來的體驗設計，不是考慮按鈕怎樣擺，圖式怎樣放，xy坐標怎樣佈局而已，而是進一步加入z軸的思考，並且讓人身體的自然動作，也成為與UI互動的一部分。

架構

擴增實境搭配適地化服務雖然是顯而易見的趨勢，不過其實還需等待硬體機制的成熟，短期內不是小公司可以實現的。但另一個角度，幾年前頭戴式顯示器的價格已經降到六千元台幣，各種IRTracking的技術也逐漸成熟，各平台的3D技術也變得比較親民了，這時候雖還不容易做好Mobile的擴增實際應用，但是要做出定點式的顯示擴充卻是很有機會的。

而所謂的定點式擴充，就是當使用者坐在系統前面，頭戴著顯示器作為輔助，藉此操作系統。這時候就不需要複雜的演算法，只需要使用TrackIR提供的機制，在顯示器上標記三個標記點，就能擷取肉眼與系統的相對位置。此時再利用這個相對位置資訊，將資訊投影在頭戴式顯示器內。但投影的時候，不是單純把操作界面放在頭戴顯示器的畫面上，而是模擬出一個虛擬實境的空間，以及相對於肉眼的ViewPort，只把相對於該ViewPort的畫面投影顯示出來。因此操作介面與肉眼是有距離的，這個距離是相對於人體與環境的距離。這時候所看到的界面的細節可能不清楚，但是卻可以完整看到整體。一但使用者對特定畫面的細節有興趣，只需要傾身向前，就可以看得更清楚，跟我們與真實世界的物體互動方式是相同的。

VirtualProjector
圖例說明：藉由頭戴顯示器將操作介面映射在相對於肉眼一定距離的位置上。當需要看得更仔細時，則需要靠近一點看。

圖例說明：實際的顯示空間是呈現在一個虛擬的三度空間中，而頭戴式顯示器內顯示的，只有使用者視野所見的部分。如圖，因此當使用者要看右邊的資訊時，需要轉頭過去才看得到。

圖例說明：在虛擬空間內，介面與視平面是有距離的，因此當使用者需要看清楚界面的細節時，只需要將身體向前，就能看到更多細節。相對地，其他資訊就會跳到可視範圍之外了。而當使用者想看整體俱有哪些資訊時，只要再往後退一點，就能看到較多的資訊了。這跟我們在觀賞實際世界上的行為是一致的，只是透過頭帶顯示器去模擬出來。

因此，當使用者用這個架構觀賞影片時，當轉頭看不同地方時，相對地眼前的顯示螢幕也會相應地出現在相對位置，就好像真有一臺螢幕在眼前一般。這樣的操作體驗較接近真實生活的互動關係，或許也能多少改善帶著顯示器容易不舒服或頭暈等問題。

應用

這種定點式的顯示機制並不是人人都用得着，之所以會認為這樣的架構有價值是源自四年前在監控業看到的趨勢。隨著各種偵測設備的標準化之後，人們在判斷狀況時可以取得更多的即時資訊，但是對即時資訊的分析，需要能夠快速在各種資訊間切換，就跟我們在桌上鋪滿了各種報告根分析數據進行檢討一樣。但目前的顯示機制，就算變得再大，仍然需要透過雙手來進行互動及控制，因此不太可能有相電影偵探查案一樣，把所有線索展開檢討的應用情境出現，但是，透過顯示機制的改變，就有機會把即時圖控系統，發展到更進階的領域，這對於大型環境安全監控、警消後勤支援、軍事行動或較複雜的任務輔助工作等，有相當大的幫助。

圖片說明：直接把各種參考資訊展開，讓腦袋快速組織各種線索，是雖傳統但卻有效地組織方式。