Current Position: Home > IP News> 新興科技 (AR、VR、MR) 在教育訓練上的應用

本篇文章主要目的在於提供讀者ㄧ個概念,了解 AR、VR、MR 這些新興科技可以帶給我們那些方面的新型態體驗及協助,讀者可自行舉一反三去想像其他可能應用場景。

AR、VR 及 MR 在這幾年越來越火紅,在開始介紹它們的應用之前,我們先來介紹這家族三個成員之間的分別。

 

AR、VR 與 MR 的分別 :

擴增實境 (Augmented Reality,AR):

  • 在使用者的現實世界疊加數位創建的內容。

虛擬實境 (Virtual Reality,VR):

  • 阻擋現實世界,為使用者創建一個全數位化、身臨其境的體驗。

混合實境 (Mixed Reality,MR):

  • 在使用者的現實世界疊加您可以與之互動的數位創建內容。

 

下面這張表可以幫助你更清楚了解其區分:

 

所以 Pokémon Go 是 MR? 因為它可以收服口袋怪獸 (互動)? 別誤會,上面 MR 提到之 ”可以與之互動的數位創建內容” 並不是單純的只是可以點選跳出的數位創建資訊以獲得更多資訊,或是,收服口袋怪獸而已。MR 產生之數位創建內容能夠結合現實世界的實際影像,並且可以對其數位創建產生的內容做放大、縮小、旋轉、甚至是編輯等等的工作。下面之 Microsoft 的 Hololens 廣告可以讓您比較了解什麼是 MR。

 

 

有沒有注意到,在影片中,當你觀看 3D 數位陳像時,這影像並不會隨著你的移動跟著轉向,因此你可以移動位置從後面、從上面、從下面,以各角度來檢視或編輯這影像,這在 AR,甚至大多數的 VR 應用,都是做不到的。

附帶ㄧ提,連 Pokémon Go 到底算不算 AR 也有爭論。因為理論上 AR 應該是靠辨識某些現實世界影像來產生或帶出數位創建內容,而 Pokémon Go 是靠 Location 定位來帶出數位影像,因此很多人認為 Pokémon Go 充其量只能稱為定位服務遊戲 (Location-Based Gaming),不能稱為 AR。關於這點,筆者認為就別太吹毛求疵了,或者,你可以稱它 Location-Based AR 遊戲。

近年來,AR 已經從原本只能以智慧型手機或平板電腦對著某現實世界實際事物,經由辨識,由應用程式帶出相關資訊的模式,轉變為能以 AR 眼鏡達到相同功能。並且由於不需手持行動裝置來使用,因此讓使用更方便,AR 眼鏡應該會漸漸成為 AR 應用的新趨勢。

VR 穿戴裝置 (例如 HTC VIVE、Playstation VR…) 則使遊戲玩家不再只能看著螢幕玩電玩遊戲,而能進入 3D 立體的實戰環境。然而其缺點則是因為它屏蔽現實世界的影像,因此除非有設計精良搭配使用之感測裝置,否則在教育訓練上的應用大多會僅僅侷限在觀看 3D 立體數位內容而已。

MR 將 AR 與 VR 混合為一,因此 Microsoft 的 Hololens 等裝置的推出,不僅讓 AR 的運用更上ㄧ層樓 (互動),也讓 VR 的應用能更融入日常工作及生活中。

 

ARVRMR 在教育訓練上的應用

我們將這些新興科技在教育訓練上的應用分成三大塊:

  • 教育 (Education): 指傳授知識,包含學校教育及職場教育。
  • 訓練 (Training): 指職能或技能訓練,包含學校及職場。
  • 效能支持 (Performance Support): 指在需要的時刻提供相關重要資訊,以協助完成工作,通常可以與前項搭配運用。

 

本篇介紹將不侷限在學校教育端,我們也會舉出ㄧ些學校以外不同領域的應用,來協助大家了解這些新興科技的無窮潛力及魅力,這也有助於大家去思考要如何運用這些科技。AR/VR/MR 的應用是無限寬廣的,接下來就看大家的想像力及實踐了。

為了方便我們將會標示各應用是屬於教育 (E)、訓練 (T) 還是效能支持 (PS)。不在此三類範圍內的應用例子 (例如娛樂、消費、行銷、治療等),本文就略過不提。

 

醫療

AR/VR/MR 在醫界 (醫院及醫學院) 越來越受到重視,其最大二個原因是:

 

1. 節省時間/降低成本 (E/T/PS):

目前已經有很多醫學院/醫院使用 AR/VR/MR 來進行教學或外科手術訓練。在教學上,學生戴上 AR/VR 眼鏡觀看 3D 立體的人體結構及器官,甚至可以”取出”某一器官來做更仔細的觀察。在外科手術訓練上,學生或實習醫生戴上 AR/VR 眼鏡,透過 3D 全息解剖 (Holographic Anatomy) 程式來對著虛擬屍體進行手術練習。這可以讓學生節省幾十個小時在傳統屍體實驗室內,更實際的ㄧ點是,大體並不容易取得,因此手術模擬可以減輕醫院或學校在這方面的負擔。

 

 

2. 協作 (T/PS)

不管是手術模擬還是實際手術,或是其他醫療診斷,教授、資深醫生 (主任),甚至是遠端的醫生或專家,都能透過執行手術或診斷的醫生配戴之 AR/MR 眼鏡所傳出的影像 (我們稱之為 POV,Point-of-View) 對該醫生提供建議或下達指示,而醫生可以從其眼鏡上的顯示器看到這些建議或指示 。

 

應用當然不只有這些,以下是ㄧ些其他的應用例子:

  • 藥物使用: 協助醫護人員確認正確的藥物即使他們沒受過訓練。這簡化了對藥劑師和醫生的需求,減少錯用藥物的機會。(PS)
  • 靜脈注射: 協助護理人員尋找靜脈來進行靜脈注射。別懷疑,AR 眼鏡可以幫你看到那些肉眼看不到的靜脈,這減少了醫護人員的時間及病患的痛苦。(PS)

 

  • 先期處置: 醫院的急診室值班醫生可以透過救護車上,或是,意外事故現場醫護人員的 POV 及檢測儀器所傳回的數據,對病患做初期診斷,並下達指示給該醫護人員進行初步醫療處置,以增加病患存活機會及減少傷害擴大。所以,或許未來公共場所的滅火器或  AED (自動體外心臟去顫器) 旁邊會同時放置ㄧ付 AR 眼鏡,ㄧ但取出會自動透過 Wifi 連線呼叫 119 勤務中心,讓使用者可以由遠端消防或醫護人員即時提供協助或下達指令,指導如使用滅火器撲滅火源,或是,如何使用 AED 來急救需要緊急醫療協助的病人。(PS)

 

軍警消訓練

在美國,美國軍方是教育科技的主要推動者,因為他們希望能快速有效率的訓練他們的軍隊。美國軍方好幾年前就開始使用 AR/VR 等科技來訓練士兵作戰、武器操作,或是維修武器、車輛等裝備。

戴上 AR 眼鏡,運用 AR 來進行武器操作訓練或是裝備維修可以避免錯誤,同時可以提升訓練及維修速度,新進士兵都可以很快上手。(T/PS)

 

AR 當然也可以運用到作戰上,舉個大家最熟悉的例子。幾年前鬧得沸沸揚揚的阿帕契直升機事件,如果大家不是只關注那位女星的話,應該會注意到那頂 200 萬的頭盔。那頭盔為什麼那麼貴? 就是因為這頂戰術頭盔可以將 12 項座艙資訊 (例如武器瞄準或夜視鏡),顯示投影在右眼的單眼式螢幕上,方便飛行員能迅速讀取所有重要的資訊。其他的戰機飛行員、坦克駕駛的頭盔也ㄧ樣都可使用 AR 來讓他們可以快速掌握重要資訊或進行攻擊。(T/PS)

 

使用 VR 來進行作戰訓練最大都優點就是可以設計出各式各樣的情境。當過兵的應該都很清楚,部隊野戰訓練場上的地形地物就那麼ㄧ些,但使用 VR 就可以依需求設計所需的情境及地形地物,假想敵也不再只是ㄧ些人形立牌。(T)

使用 AR/VR 等科技來訓練士兵作戰、武器操作或是維修裝備還有ㄧ項更重要的優點,那就是所有的過程都會被記錄下來,操作是否正確、瞄準是否精準…等等資訊都會被記錄及分析,用以提供訓練單位對需改善的士兵提供適切的訓練來改進缺失。

 

類似的概念當然不只侷限在軍事人員的訓練,警察、消防人員…等等工作上會面臨危險處境的,都可藉由此科技提供各種情境下的模擬訓練,提升未來真正遇到狀況時,能正確迅速的處置及防護自身的安全。(T/PS)

而配戴 AR 眼鏡的警員可以透過連線犯罪中心資料庫及影像辨識,來協助辨認通緝犯或贓車,以期能夠更有效率打擊犯罪。(PS)

 

技術維修服務

AR/MR 可以提供即時的協助來協助維修人員做設備維修及故障排除等工作,這幾乎可以涵括所有你所想到的工作,例如工廠機器維修保養、辦公室影印機維修、電梯保養、電信維修、汽車保養….等等。透過 AR 智慧眼鏡及專屬的應用程式,可以提供維修人員詳細步驟,讓他們可以依循來做檢測及修復工作。當然這對於新進人員的訓練也是很有用的工具。(T/PS)

現場問題無法解決?沒關係,程式會呼叫公司內部高階技術人員,以遠端協助的方式來指導現場人員進行故障排除或更換零件,AR/MR 能允許遠端專家看到現場人員所看到的影像 (POV),並以通話或顯示文字、圖片、甚至直接標示要處理的零件位置在現場人員 的 AR 鏡片顯示幕上,指導他們進行修復工作。(PS)

使用 AR/MR 眼鏡最大的好處是現場人員不再需要ㄧ隻手拿著手機或平板來對著要維修的裝置,或是,聽從或觀看來自公司的指示,他們的雙手都可以用來執行修復工作。當然,如果沒有 AR/MR 眼鏡,手機或平板也能做得到,只是要用手拿著比較不方便。

別以為只有維修人員可以使用這項科技,消費者自己當然也可以。未來,影印機、汽車、電器用品的維修、更換 RO 濾芯….,只要有適當的 AR 應用程式,你都可以自己動手做。

BMW 汽車公司早在 2007 年就研發 AR 眼鏡及相關應用程式,提供其保養廠技師維修及更換汽車配件使用。Hyundai 汽車公司在 2015 年則推出 AR 技術手冊應用程式給車主使用,只要使用智慧手機或平板電腦,車主就能得到諸如機油、煞車油、空氣濾芯等等的 How-to 資訊進行維修保養。該應用程式提供影片、3D 疊加圖像顯示 (當車主掃描他們的車輛不同位置) 各個區域及其它汽車相關資訊。(PS)

Augmented Reality Guide

 

學校教育

使用 AR/VR 可以為各級學校的學生提供身臨其境的多感官的體驗,比起傳統的講課、字卡圖卡、或教科書等方法更有效。下面提出幾個例子提供參考:

  • 教到太陽系行星時,以 AR/VR 來顯示 3D 立體行星運轉畫面,學生利用控制器可點選某個星球,用以帶出更詳細的資訊。(E/PS)

 

  • 地理課以 AR/VR 顯示 3D 立體地球儀,學生可以由各個角度來觀看,點選某個國家可以來帶出該國家的詳細資訊。(E/PS)
  • 化學課以 VR 先讓學生模擬實驗過程,讓學生熟悉步驟以及可能發生爆炸或起火的錯誤操作,這樣在真正實驗時就可以有效避免危險事故的發生。(E/T/PS)
  • 教科書或課外書都可搭配行動裝置或 AR 眼鏡,在特定頁面顯示 3D 立體畫面及相關資訊,增加學生印象,讓學生更容易理解,並提升上課或學習興趣。(E/PS)

 

  • 建築系學生不再需要花費時間製作設計模型,只需搭配行動裝置或 AR 眼鏡以及適當的應用程式,就能 3D 立體陳現他的設計,既漂亮又精確,而且設計修改時不需重製模型,節省不少時間。(PS)
  • 新鮮人對校區不熟? 找教室常迷路? 沒問題,AR 應用程式可以指引你到你指定的大樓或教室。(註: 已經有賣場或商業大樓開始使用類似應用程式提供導引。未來你去超市、大賣場或購物中心,可以使用 AR 應用程式直接導引你到所要購買之商品的陳列位置或要造訪的商店,不需再走來走去找商品或店家位置了)。(PS)

 

藝術和才藝

戴著 VR 去參觀著名的動物園、博物館或是課本上提到的歷史景點、地標或是建築,以您自己的速度來欣賞它們,甚至還可以配合動畫顯示,來加深你的印象與暸解。應用程式會根據你目前正在觀看的事物在螢幕上提供詳細介紹資訊 。

有沒有帶出ㄧ些靈感? 是的,以往安排戶外教學勞心勞力,還得擔心天氣或是害怕出車禍。不久的將來這些都可以在教室內完成 (有些博物館已開始提供類似服務),戶外教學恐怕會成為歷史名詞。往壞處想,這有點不夠真實,往好處想,這樣可以為學校及家長省下很多錢。(E/PS)

在才藝學習方面,AR 眼鏡可以協助指導您按照步驟學習樂器、繪畫、雕刻、編織等才藝。尤其對於開始學習樂器的學生,搭配 AR 眼鏡及相關應用程式,可以顯示各種樂器的指法及樂譜,陪練、糾正錯誤並記錄過程,讓生手可以輕鬆上手。(E/T)

 

健身/運動

當你在戶外或野外騎車、跑步或健走時,AR 眼鏡可以即時顯示心跳、疲勞度、卡路里消耗 、目標及更多其它更多顯示的資訊,例如地圖及 GPS 定位等。

 

未來在健身房,不再只能無聊的看著眼前掛著的電視螢幕跑步、騎腳踏車、或是做重量訓練,你可以透過 VR (或 MR) 頭戴式裝置,選擇在塞納河畔,或是其它你想經歷的路段,騎腳踏車、滑雪、划船、或是跑步。腳踏車、跑步機等等健身器材會根據你經歷的虛擬所在位置,調整上坡或下坡角度、阻力、甚至可以感受地面或河面的震動,這樣的運動體驗是不是很迷人呢? 當然,所有相關資訊也會顯示在裝置螢幕上。

學校當然也能享受到這樣的應用所帶來的好處,例如以 VR 搭配相關應用程式及感測元件,來訓練足球守門員防守、棒球打擊練習、或是網球揮拍等等的訓練,如此不但不受天候影響,同時也只需ㄧ點點室內場地就可以進行訓練。

 

今天就先提到這裡。除了教育訓練外,AR/VR/MR 在生活上的應用更是無限寬廣,充滿想像空間的,我們擇期再介紹。筆者個人認為 AR/MR 會是將來的主流,因為它們並未跳脫現實世界,因此比較容易融入現實生活、教育及工作上。AR 可以在行動裝置 (特別是手機 ) 上靈活運用,AR 眼鏡可以做到很輕巧,價格也持續下降,因此 AR 應該會成為未來生活不可或缺的ㄧ項隨身工具,若搭配 AI (Artificial Intelligence) 更像是配備了貼身智能助理。而 VR 主要應用會在創造虛擬的沉浸體驗,以成本高、危險、或現實世界不容易取得的經驗為主要應用需求。

日期:14/12/2018
來源: 數位學習無國界