延展實境應用技術產學聯盟

Extended Reality Application Alliance

聯盟介紹

為整合國內與校內外跨系所之資訊科技與創新服務研發等相關研究資源, 進行跨領域研究團隊組成與合作、全面性創新資訊服務應用產業界所殷切需求之人才培育、 技術與產品創新研發以協助企業解決問題,進而加乘研發成果的潛在價值,以建立本校獨特特色、 提升國內創新資訊服務應用產業人員技術及研發能力與創新能量、促進產業升級並引領國際, 以提升國家的經濟發展之整體競爭力,爰設立本聯盟。

我們將匯集產學資源,聯合業界指標性公司,並整合各專長領域教授、 研究人員組成菁英培育實驗室進行尖端、實用之產業相關之研發工作; 計有第一類別:遊戲設計創新、遊戲互動模式、遊戲內容自動化生成、 遊戲人工智慧、遊戲系統架構、遊戲繪圖與引擎技術開發領域; 第二類別:AR、VR、MR與相關之電腦視覺、人機互動、機電整合系統等核心應用技術的開發領域; 第三類別:大數據分析、電腦繪圖學、電腦視覺、人工智慧、深度學習、網路計算等核心基礎技術領域。

技術優勢

虛實整合

虛實合成

隨著電腦繪圖能力的進步,近期在深度學習領域興起一股在模擬環境(Simulation)中執行深度神經網路訓練與驗證的潮流, 相對於由全虛擬物件產生的模擬結果,將現實影像當作場景並合成虛擬物件的虛實合成技術,不但大幅降低場景產生與變更的成本, 現實影像更多的細節,也有助於深度學習學習到更接近使用情境的資料,另一方面,部分虛擬的物件也可以維持大量產生極端測資該項使用模擬環境的優點。

360影像虛擬光源合成

由於人眼對於影像中光線資訊的變化是十分敏感,因此,不論是常見的擴增實境或是更進階的虛實整合, 虛擬物件與現實場景光源的統一,都是結果是否真實十分重要的指標, 藉由人工智慧偵測360影像中光源資訊,並可及時套用於虛擬物件上製造出正確的光影效果,甚至部分材質上有著環境的反射等, 使虛擬物件能更加真實的與影像中場景合而為一。

智慧手套

人機互動科技在電腦科學中都是十分熱門的領域,從最原始的鍵盤滑鼠,到目前最新穎的Kinect, 足可知道人機互動在電腦科學中一直都有舉足輕重的地位,而穿戴科技則是人機互動下一個重要發展指標, 隨著google 眼鏡及各式各樣的健康手環上市,穿戴科技已經慢慢地開始萌芽,因此現階段將是切入的最好時機點。 有鑒於此,我們希望能將穿戴科技作更廣泛的延伸,主持人利用低功率的中央控制器,實作出成本低廉的互動式手套。

數位VR牙醫訓練評測系統

該專案目的在於製作牙醫訓練虛擬裝置,將現實中的手部動作與手機位置真實反映在虛擬實境中。 由於一般控制器只能在虛擬環境中表現其粗略的位置與轉向, 無法真實地反映手指彎曲、伸張等細微的動作,亦無法完全將抓取、觸摸物體時物體的反應體現, 而牙科訓練對於手勢、手指擺放位置與手指用力程度等都必須有適當要能偵測與反應, 因此,結合上述「智慧手套」之技術進行手勢姿態的抓取,再利用磁力定位來捕捉牙科訓練時的細微操作, 並反應於虛擬實境中,並提供自動評分、紀錄、多視角回放等功能,協助牙醫訓練教學。

Tango

Tango手機藉由深度的資訊與區域學習(Area Learn)機制將實景重建成3D模型, 藉由這些3D資訊可以讓程式更加理解現實的場域,從而達到精準且穩定的定位, 甚至讓虛擬物件可與現實物件進行互動而達到混合實境(Mixed Reality,MR)的效果。

360室內場景重建(DuLa Net)

過去幾年WebGL技術的成熟賦予了網頁顯示3D模型的能力,並大量被運用到展示或導覽等場域, 其中3D模型需要花費大量的人力與時間來建置,像是室內導覽就需要根據場域各自建模,無疑提高整體成本, 該技術利用深度學習技術賦予現實影像3D空間資訊藉此自動產生室內空間模型,為後續各式互動快速提供穩固的基礎。

VR互動遊戲

虛擬實境(Virtual Reality)隨著硬體的逐漸改善,除了沉浸式的觀賞體驗,更提供全新的互動模式, 你可以坐在高級跑車中享受街頭賽車的刺激,也可以穿越歷史或橫渡海洋來趟生態人文之旅,盡情享受各式奇幻的冒險, 這也使得遊戲的操作不再侷限於按按鍵盤、動動滑鼠,藉由各式定位系統與客製化的輔具,可以真實的與場景中的3D物件互動, 提供更佳的遊戲體驗。

團隊成員

  • 主持人 姚智原
    臺科大資工系 副教授
    電腦圖學、電腦視覺、延展實境、人機互動、醫療影像3D重建
  • 共同主持人 林士勛
    海大資工系 助理教授
    電腦繪圖、資訊視覺化、圖形識別
  • 共同主持人 賴祐吉
    臺科大資工系 副教授
    電腦遊戲技術、電腦圖學、電腦影像生成、電腦動畫、3D模型重建、電腦視覺
  • 共同主持人 花凱龍
    臺科大資工系 教授
    多媒體大數據、深度學習、電腦視覺、行動多媒體應用、APP 程式開發
  • 共同主持人 朱宏國
    清華資工系 副教授
    計算機圖學、三維模型處理、貼圖紋理合成、視覺感知與應用

會員列表

歡迎加入我們!