【技術亮點】以多模態生成式 AI 建構沉浸式虛擬實境場景
虛擬實境與幸褔感連結
林教授的研發團隊透過結合心理學與傳播設計的跨域研究，探討虛擬實境(VR)與幸福感間的關聯性。藉由分析全球超過18,000篇文獻，最終整理出一張「如何用虛擬實境讓人更幸福」的設計地圖。團隊發現虛擬實境帶來幸福感的關鍵因素有三個：環境、互動與虛擬身體，「環境」是情緒轉換的起點，「互動」則是幸福的深化過程，透過改變時間感、感官與身體知覺，虛擬實境讓人暫時跳脫現實的限制，「虛擬身體」則會影響使用者的認知與心態，透過改變時間感、感官與身體知覺，虛擬實境讓使用者心靈得以暫時脫離現實桎梏，可見幸福感不只是抽象情緒，而是一種可以被設計、編碼與觸發的體驗。
多模態生成式AI強化虛擬實境沉浸式體驗
本技術透過自然語言(NLP)分析、影像生成技術與生成式大型語言模型，建構多模態AI，透過辨識使用者語音自動生成虛擬實境三維場景與多重感官體驗，提供即時、多元且客製化的沉浸式體驗。此「語音生成虛擬實境技術」結合自然語言理解與即時3D場景生成，讓使用者僅需以語音描述情境，系統即可即時生成具備光影、聲音與空氣流動效果的完整場景。例如，只要說出：「我現在在沙灘上，夕陽在九點鐘方向。」系統便能及時生成對應的虛擬環境。此技術的價值在於降低沉浸式內容的製作門檻。過去，虛擬實境內容製作仰賴龐大成本進行建模與編碼，導致內容受限與多樣性不足，但得益於今日生成式AI的發展，透過自然語言生成虛擬世界的可行性提升。讓沉浸式創作從專業技術走向普及應用，為教育、醫療復健、心理治療與長照訓練等領域開啟新方向。
生成式沉浸體驗的跨域應用
基於多模態生成式 AI 強化虛擬實境沉浸式體驗的技術，可廣泛應用於多元產業場域。例如在教育產業，虛擬實境技術可用於情境式學習，並可以語音彈性生成符合教學目標的互動情景，降低教材製作成本。在醫療復健應用中，治療人員可依據患者的身體狀況與復健進度，即時調整虛擬環境與互動內容，用於動作訓練、平衡訓練或疼痛分散，強化復健效果並提升患者配合度。於心理治療場域，可依個案性質提供客製化場景，進行壓力調適與焦慮舒緩緩。而在急難救助訓練方面，本技術可模擬各類緊急情境與突發狀況，協助人員進行實務演練與決策訓練。
相關技術文件：Lin, JH., Hsieh, JH., Wang, PC. et al. Virtual Reality (VR) InducE Well-being (VIEW): a Scoping Review of VR Design, Mechanisms, and Well-being Outcomes. Humanit Soc Sci Commun 12, 1766 (2025). https://doi.org/10.1057/s41599-025-06043-9
技術聯繫窗口：王恬恬 產學合作專員
電話：02-2939-3091 分機 69306
Email : 133227@nccu.edu.tw｜133227@g.nccu.edu.tw
