虛實合成
隨著電腦繪圖能力的進步,近期在深度學習領域興起一股在模擬環境(Simulation)中執行深度神經網路訓練與驗證的潮流,
相對於由全虛擬物件產生的模擬結果,將現實影像當作場景並合成虛擬物件的虛實合成技術,不但大幅降低場景產生與變更的成本,
現實影像更多的細節,也有助於深度學習學習到更接近使用情境的資料,另一方面,部分虛擬的物件也可以維持大量產生極端測資該項使用模擬環境的優點。
360影像虛擬光源合成
由於人眼對於影像中光線資訊的變化是十分敏感,因此,不論是常見的擴增實境或是更進階的虛實整合,
虛擬物件與現實場景光源的統一,都是結果是否真實十分重要的指標,
藉由人工智慧偵測360影像中光源資訊,並可及時套用於虛擬物件上製造出正確的光影效果,甚至部分材質上有著環境的反射等,
使虛擬物件能更加真實的與影像中場景合而為一。
智慧手套
人機互動科技在電腦科學中都是十分熱門的領域,從最原始的鍵盤滑鼠,到目前最新穎的Kinect,
足可知道人機互動在電腦科學中一直都有舉足輕重的地位,而穿戴科技則是人機互動下一個重要發展指標,
隨著google 眼鏡及各式各樣的健康手環上市,穿戴科技已經慢慢地開始萌芽,因此現階段將是切入的最好時機點。
有鑒於此,我們希望能將穿戴科技作更廣泛的延伸,主持人利用低功率的中央控制器,實作出成本低廉的互動式手套。
數位VR牙醫訓練評測系統
該專案目的在於製作牙醫訓練虛擬裝置,將現實中的手部動作與手機位置真實反映在虛擬實境中。
由於一般控制器只能在虛擬環境中表現其粗略的位置與轉向,
無法真實地反映手指彎曲、伸張等細微的動作,亦無法完全將抓取、觸摸物體時物體的反應體現,
而牙科訓練對於手勢、手指擺放位置與手指用力程度等都必須有適當要能偵測與反應,
因此,結合上述「智慧手套」之技術進行手勢姿態的抓取,再利用磁力定位來捕捉牙科訓練時的細微操作,
並反應於虛擬實境中,並提供自動評分、紀錄、多視角回放等功能,協助牙醫訓練教學。
Tango
Tango手機藉由深度的資訊與區域學習(Area Learn)機制將實景重建成3D模型,
藉由這些3D資訊可以讓程式更加理解現實的場域,從而達到精準且穩定的定位,
甚至讓虛擬物件可與現實物件進行互動而達到混合實境(Mixed Reality,MR)的效果。
360室內場景重建(DuLa Net)
過去幾年WebGL技術的成熟賦予了網頁顯示3D模型的能力,並大量被運用到展示或導覽等場域,
其中3D模型需要花費大量的人力與時間來建置,像是室內導覽就需要根據場域各自建模,無疑提高整體成本,
該技術利用深度學習技術賦予現實影像3D空間資訊藉此自動產生室內空間模型,為後續各式互動快速提供穩固的基礎。
VR互動遊戲
虛擬實境(Virtual Reality)隨著硬體的逐漸改善,除了沉浸式的觀賞體驗,更提供全新的互動模式,
你可以坐在高級跑車中享受街頭賽車的刺激,也可以穿越歷史或橫渡海洋來趟生態人文之旅,盡情享受各式奇幻的冒險,
這也使得遊戲的操作不再侷限於按按鍵盤、動動滑鼠,藉由各式定位系統與客製化的輔具,可以真實的與場景中的3D物件互動,
提供更佳的遊戲體驗。