兒童文學中的跨媒介實驗——AR/VR如何打造新閱讀

故事的媒介


◆盧家珍

在孩子的世界裡,故事從來不只是文字或圖畫,它們可以是說書人的聲音、繪本裡翻動的頁面,也可以是動畫裡跳躍的角色。隨著科技發展,故事開始走進虛擬空間,無論是幻想跟著愛麗絲一起進入瘋狂的夢境,或是希望小王子從書中跳出來,當著你的面說:「真正重要的事情是眼睛看不到的。」透過VR(虛擬實境)和AR(擴增實境)等技術,這些想像都可以成真!在這場閱讀革命中,兒童文學不再只是靜態的載體,而是一種可觸碰、可沉浸,甚至可參與的「體驗」。

從閱讀到體驗——
臺灣的兒童文學AR/VR作品


近年來,臺灣也嘗試開發屬於本土的兒童文學AR/VR作品。例如2014年出版的《捕蝶人》AR互動設計繪本,改編自繪本作家玉米辰的同名3D動畫短片,以臺灣的紫斑蝶為發想,描述代代以蝶作畫的捕蝶人家族,最後卻在蝴蝶精靈協助下,放棄捕蝶而復育紫斑蝶的故事。繪本搭配app,設計了二十多個AR互動情境,讓讀者在閱讀繪本的同時,還可以透過手機與捕蝶人影像互動,一起參與奇幻的紫蝶旅程。

至於VR作品,2019年國家圖書館的「印象太陽: 林良作品虛擬實境VR互動展示計畫」,結合林良老師的〈一間房的家〉與〈小太陽〉兩篇散文,只要戴上VR頭套,就可以身歷其境,進入只有一個房間的林宅,以及長女出生的臺大醫院產房,加上林良老師的館藏手稿。雖然敘事簡單樸實,卻完整呈現了文章中的情境與情感。

而在2021年疫情期間,HTC VIVE推出了《病玫瑰》,這是世界首部結合逐格拍攝技術與傳統捏麵技藝的VR動畫。小女孩玫瑰在疫情中想送禮物給在醫院工作的媽媽,一路上卻遇到許多挑戰!體驗者則穿梭在角色劇情間,沉浸在故事裡的「真實環境」,一起體會艱辛的尋親之路。這部作品後來還推出AR原聲帶立體繪本,結合拼圖、遊戲、AR和app,精選六個場景,設計多種互動巧思,讓讀者在家中也能用平板探索故事全貌。

當故事「活」起來——虛擬實境中的新敘事

當故事不再只是讀出來的,而是變得可以「走進去」,敘事方式會有什麼改變?

虛擬敘事和傳統敘事最大的不同,就是敘事空間的設計,它不只是一個場景,而是一個讓體驗者「活」進去的時空。除了故事本身的場景之外,體驗者是以誰的視角參與?要站在哪裡看故事?這些細節都得經過仔細規畫。尤其VR/AR不像2D動畫或電影可以剪接畫面,必須建構360度的空間,每個細節都不能忽略。

《印象太陽》VR實際考查了民國45年林良的新婚住宅及大女兒出生時的醫院,還原當年的空間情境,甚至連牆上結婚照都是小女兒林瑋幫忙翻拍的。

為了符合〈一間房的家〉文章第一句「窗戶外面是世界,窗戶裡面是家」的話語情境,VR將林良置於窗前書桌,娓娓道來,體驗者則以旁觀者的角度,坐在林良後方(現實中也採坐姿體驗),跟著林良的敘述和視線,觀察房間裡的人事物。

同樣以旁觀者角度設計的還有《病玫瑰》,為了讓觀眾能像被縮小燈照射一般,進入奇幻的偶世界,創作團隊使用VR微距自動化拍攝系統,打造360度環場的龐大美術場景。除了35個可動的捏麵人偶角色之外,城市裡的數十間建物更由6000個複合媒材的手工物件組成,全片粗估超過上萬個不同複合媒材手工物件,製作量是傳統2D逐格偶動畫的4至8倍,非常考驗美術和技術整合。

而《捕蝶人》則以紙藝風格打造AR故事空間,把繪本每一頁變成互動場景。設計上刻意將3D建模簡化成一張紙能摺出的樣式,不僅呼應繪本風格,也簡化了物件的面數和體積,確保觀賞時不會因為檔案太大而造成畫面延遲。

另類的「導讀」——虛擬空間也需要引路人

敘事學家瑪麗—勞爾.瑞安(Marie-Laure Ryan)說:「虛構是進入文本空間的一種旅行模式,而敘事則是在該空間範圍內的旅行。」然而VR空間的旅行卻沒那麼簡單,一旦體驗者進入之後,他就是這齣劇的導演,要用自己的眼睛來運鏡,有時甚至還找不到方向,不知道要往哪裡看。因此,畫面和聲音的引導就很重要了,創作者必須運用一些巧思,體驗者才不會錯過故事的精采片段。

例如《印象太陽》以淡入淡出、黑幕的方式切換林良自宅與臺大醫院產房的場景,加上浮空的引導球與旁白文字,讓體驗者的視線隨之轉移至門口、牆壁、廚房、臥室等位置,即便在同一個空間裡,也不致感到乏味。

《病玫瑰》則使用三階Ambisonic的3D音效技術,從16個方位傳遞聲音,讓觀眾可以聽音辨位;此外,場景中還安排了一些可愛的小物件來吸引觀眾的注意力,例如草叢裡的三座小地藏像,巧妙引導觀眾回到主角身上,繼續故事的主線,不至於在空間中迷失。

在敘事節奏設計上,現代的影像作品多半快速緊湊,但VR敘事可千萬不能比照辦理,否則體驗者會急於捕捉動態訊息,而忽略了作者所要表達的文意。所以創作者的敘事速度必須清楚和緩,而且要有適度的「留白」,不做任何視覺導引與安排,讓體驗者有餘裕去探索周遭空間,所得到的經驗既可呼應故事的內容,同時也喚起自己的回憶,或是創造新的故事。

如《印象太陽》VR在12分鐘半的內容中,就安排了長達18秒的「留白」,沒有任何旁白與導引,給觀眾自由探索的時間。體驗者可以在這段時間內環顧四周,看著角落堆疊的書籍、桌上的雜物,以及板牆旁的衣帽架、裁縫機、日曆等細節,體驗林良文章中所描述的「一間房的家」有多麼窄小!


▲2019年「印象太陽:林良作品虛擬實境VR互動展示計畫」,林良坐於書桌前,體驗者坐在林良後方,牆上有結婚照與當年的《LIFE》雜誌封面。(國家圖書館提供)


▲《捕蝶人》AR小書。(盧家珍攝影)

是閱讀,還是遊戲?—非線性敘事的新可能

也正因為虛擬空間可以隨意觀看的特性,閱讀的「順序」也被打破!傳統閱讀講究「開頭→經過→結尾」的線性邏輯,虛擬實境則像是「點狀」的探索。你可以自由地轉頭,想看什麼就看什麼,甚至跳過部分劇情。雖然主劇情有明確的起承轉合,但每次觀賞都可能因為探索角度不同,而有了不同的閱讀順序,還多了遊戲的趣味。

例如《捕蝶人》和《病玫瑰》結合繪本、拼圖與AR,每個頁面或拼圖都是獨立的AR場景,觀者可以選擇自行探索不同順序,從而拼湊出屬於自己的故事理解。這樣的設計既有「非線性」的趣味,又有「線性」的效果,對於文字閱讀不敏感的孩子而言,也能透過實際操作來增強閱讀理解。

此外,由於繪本的頁數和字數不多,承載的內容有限,AR恰好可以補其不足。如《捕蝶人》就將蝴蝶完全變態的過程,設計成AR動畫藏在書頁裡,孩子們透過數位載具就能翻閱這些「藏書」,驚喜之餘,還加深閱讀記憶。

而在情境的展現上,VR/AR更可以透過空間的建置,達到「資料重現」與「理解當代」的效果。例如《印象太陽》VR的兩篇文章撰寫於民國45年左右,年輕讀者可能無法想像當時的場景,但透過團隊的考究和還原,年輕讀者便可親身經歷那個年代;同時,VR中還運用了林良於國家圖書館的典藏,如紅格子稿紙、手繪圖等等,這些藏品平日並不輕易示人,但透過VR卻可以近距離觀察。

至於《病玫瑰》VR就更不用說,在故事主線之外,那些耗費十多個月所建立起來的城市場景,是如何運用傳統的捏麵人技藝,追求極致美感。這些都是紙本看不到,卻值得在空間裡駐足良久的。


▲《病玫瑰》VR動畫劇照。(HTC VIVE提供)

趨勢與反思—科技是否取代閱讀?

當我們說「故事是通往未來的橋梁」,在今日的臺灣,這座橋正悄悄升級為立體、可互動的奇幻通道。從《捕蝶人》的紙本躍出,到《印象太陽》的時光倒流,再到《病玫瑰》的沉浸式冒險,兒童文學正在透過跨媒介敘事與數位技術,重新思索說故事的方法與可能性。

透過虛擬空間的建置,孩子不只能理解文字所描繪的世界,更能「體驗」故事中的人物情緒與歷史場景等。它激發了全感官的參與感,不只是眼睛看到,還有耳朵聽到、身體所在的方位感、與角色的情緒共鳴。這種「沉浸感」不再只是虛擬,而是一種真實的情感共振。

當然,這樣的跨媒介轉譯也並非萬能。例如VR體驗受限於設備與空間,操作門檻也高;AR應用需依附app與載具,版本更新更是一大挑戰。這些限制都提醒我們:科技應是輔助而非替代,故事仍應回歸文本的深度與情感。

讓我們放下「文字是否會死」的焦慮,思考一個更重要的問題:「故事,能如何更好地與孩子對話?」在這場文學與科技的邂逅中,孩子的閱讀旅程,正悄悄翻開嶄新的一頁。

盧家珍,臺東大學兒童文學研究所碩士,現為教育家網站主編、《蓺類》雜誌特約主編。曾任《中央日報》採訪組文教記者、《勁報》消費旅遊生活中心組長暨家庭版主編。目前為「布瓜兒童閱讀帶領人讀書會」專案組組長,推廣兒童閱讀二十多年。 閱讀完整內容
文訊雜誌 2025/9月 第479期

本文摘錄自‎

兒童文學中的跨媒介實驗——AR/VR如何打造新閱讀

文訊雜誌

2025/9月 第479期