【技術亮點】結合混合實境與AI影像辨識的邊緣部署應用
資訊管理學系 簡士鎰 副教授
現行人機互動的資訊傳遞落差與即時性不足
在多數現實情境中，不同身分角色的人際溝通，或人與環境的互動，常因專業背景或使用情境變化，導致資訊取得與理解上有落差，需要高昂成本來弭平其中的鴻溝。例如，聽障者在服務櫃檯中難以即時理解對話內容、色弱者在交通號誌或警示燈號判讀困難，以及生產線人員在複雜設備環境中需同步關注機台狀態與作業流程。即便透過手機等科技產品輔助，使用者仍要在實體環境與數位介面之間頻繁切換，不僅造成操作中斷，也降低互動效率。此外，傳統輔助工具缺乏對即時情境的感知與回應能力，難以因應高度動態且即時變化的現實情境。
整合混合實境與AI影像辨識的即時智慧輔助系統
簡教授領導的人機互動實驗室（HAI Lab）透過整合混合實境（Mixed Reality, MR）與AI影像辨識模型，在邊緣裝置上進行部署，以達到即時影像辨識與使用者輔助顯示的功能。首先需由專家建立使用者行為的標註資料，以手語辨識為例，需經過長時間、高成本的大量拍攝影像、逐句編碼、語序校正來建立手語語料資料庫，再以此特定領域知識的資料集，訓練自研的AI影像辨識模型，在混合實境（Mixed Reality, MR）方面，以 HoloLens 2 為核心，讓虛擬資訊直接疊在真實視野裡。本產品在設計上著重使用者體驗、人機互動（HRI）、以及虛實場景的行為等，以人為本讓科技發揮最大的實質效益。
「視野即介面」的即時智慧輔助應用本技術適用於各種需要即時影像轉譯與輔助資訊提供的情境，例如在銀行端協助聽障者的「SignLens手語辨識系統」能將行員語音即時轉成文字，顯示在顧客視野中，也能透過鏡頭分析使用者手語，再翻成一般語序，讓雙方都能理解；又例如「HoloLights」能幫色弱者辨識難以區分的特定顏色，以標籤或顯示框的方式輔助判讀；在智慧製造場域中，MR 也能把步驟直接投射到機台表面，讓作業員不必翻說明書、不必切換視野，而是在眼前直接看到「下一步要做什麼」。這種「視野即介面」的模式，使 MR技術能真正做到落地應用。
技術聯繫窗口：王恬恬 產學合作專員
電話：02-2939-3091 分機 69306
Email : 133227@nccu.edu.tw｜133227@g.nccu.edu.tw
