外語數字教材的多模態符號設計研究

　　〔摘要〕 數字教材是教育信息化革命的產物，是外語教學的重要資源載體。研究以國家開放大學公共英語課程多媒體數字教材《人文英語》為語料，運用社會符號學和多模態話語分析的相關理論，圍繞多模態語篇作者的符號實踐、外語教學語境中的社會實踐兩個維度，從概念意義建構、人際意義建構、模態間關系三個方面進行深入闡釋，并提出研究對我國 EFL 教學的啟示。

　　本文源自王琴， 北京科技大學學報(社會科學版) 發表時間：2021-04-23《北京科技大學學報》(月刊)創刊于1955年，是由北京科技大學主辦的專業性學術科技期刊。本刊旨在推動國內外學術界的交流與合作，主要刊登礦業與環境、冶金與材料、設備與能源(冶金)、控制與決策(鋼鐵企業)等領域的最新研究成果。為冶金工業類中文核心期刊、中國科技論文統計源期刊和中國科學引文數據庫統計源期刊。

　　〔關鍵詞〕 數字教材; 社會符號學; 多模態話語分析; 設計; 多元讀寫教學法

　　數字革命始于 20 世紀 50 年代末，信息技術的日益廣泛應用改變了傳統的思維模式和交際方式，也因此對教育產生深遠的影響，數字教材應運而生。從紙質教材到數字教材的演變，不僅印證了教育信息化發展進步的軌跡，也反映了人類社會知識觀和學習理論的演進史。從 20 世紀 60 年代的行為主義到 80 年代的認知主義，直至 80 年代中期以后向社會建構主義轉型，都推動了數字教材的不斷開發和完善[1]。

　　數字教材是集合了教科書、音聲、靜物畫、動畫和影片等多種表達方式的多媒體信息形態的教材，綜合了旨在實現教育目標而數字化的學習素材與管理學習過程的信息學習系統[2]。數字教材是教育信息化革命的產物，是外語教學的重要資源載體。迄今，數字教材呈現靜態媒體、多媒體及富媒體三種發展形態，它具有直觀性、即時性、多模態、開放共享和動態交互等特性。從靜態超文本的教育信息化 1. 0，過渡到社交媒體的網絡計算和社會參與網絡為主的教育 2. 0 時代，直至邁入以云計算和全球互聯網為特征的教育 3. 0 ，數字教材的開發和研究引發學界的廣泛關注和興趣。

　　本研究聚焦國家開放大學英語教研團隊編寫的全媒體數字教材———公共英語系列教材之《人文英語》( 1 ～4 冊) ，該教材主要面向開放大學系統、職業院校的在校生和職場人士。團隊開發并推出數字閱讀云平臺———“開放云書院”，學習者下載客戶端掃描二維碼，即可獲取數字教材和學習資源，體驗移動學習的魅力。本文擬從多模態社會符號學的理論視角對數字教材進行多模態話語分析，并借鑒“新倫敦學派”( 以下簡稱 NLG) 的多元讀寫教學法，提出對外語教學實踐的指導建議。本研究擬回答以下問題:

　　( 1) 數字教材多模態語篇作者的符號實踐如何建構學科知識? 建構了怎樣的社會關系?

　　( 2) 語篇作者運用了哪些模態和符號資源? 不同模態間的關系怎樣?

　　( 3) 如何利用數字教材的技術優勢開展 EFL 教學?

　　一、文獻回顧

　　( 一) 數字教材的國內外研究現狀

　　筆者梳理現有文獻發現，國外學者著重從教學改革、學習者、教師和教育技術四個維度開展研究。Kim & Jung [3]探討了教育技術融合背景下韓國數字教材的教學改革面臨的機遇、挑戰及教改實施模式，研究表明教材對學生的影響與地域、學習者的學業水平相關。歐洲和亞洲學者主要從學習者的視角出發，圍繞數字教材的學習效果[4-8]和學習策略[9-10]展開討論，也有歐美學者從教師維度開展研究[11-12]。Railean [13]博士在他的專著 User Interface Design of Digital Textbooks 中，從回顧教育技術的發展歷程入手，運用數字學習理論探討了數字教材用戶界面的設計原則和模式，對推動數字教材的開發應用有較強的指導和應用價值。相比之下，國內學者更偏重于從教材的數字化出版[14-15]、教材開發建設與發展[16-18]、教師的技術接受度[19-20] 和 教 學 改 革 實 踐[21] 等 方 面 進 行 探 討。 Gu [22]采用文獻研讀法，對數字教材的國內外研究、各國項目報告和使用案例、使用影響因素和學習效果研究等進行了較全面的回顧、梳理和展望，該綜述性研究具有較高的學術價值和較強的實踐指導意義。

　　綜上，國內外學者在對數字教材的研究總體上呈平穩上升趨勢，研究興趣既涵蓋共同關心的熱點領域，如教學改革、教師研究等，又表現出各自的偏好和側重。從研究方法看，既有偏理論的思辨性研究，也有重實踐應用的實證性研究，但缺乏從社會符號學角度對數字教材多模態語篇的意義建構及符號實踐進行探究，且對我國外語教師使用數字教材開展 EFL 教學方法的探討也語焉不詳，這正是本研究亟待解決的問題。

　　( 二) 英語教材的多模態話語研究

　　Bezeman & Kress [23]運用歷時研究方法，分析了國外中學英語教材的多模態設計，并從社會符號學視角闡 釋 了 70 年 間 英 語 教 科 書 發 生 的 深 刻 變 化。 Chen [24]運用多模態話語分析和評價語義系統框架，分析中小學 EFL 課程大綱中的情感、態度的多模態符號意義建構及個體語義發生的“再語境化”; 王琴[25]以美國語文教材———《Treasures》為語料，運用系統功能語言學和社會符號學理論，探討教材中的人際符號資源及符號設計原則，揭示教材編寫者如何挖掘多模態意義潛勢與讀者互動; Feng [26]在社會符號學和評價系統的框架下，探討香港中小學 EFL 教材中道德價值觀的多模態話語建構及道德價值觀在教材中的分布規律。

　　上述文獻中英語教材的多模態研究均以傳統紙質教材為研究對象，而對數字教材鮮有關注; 教材的受眾也多以中小學生為主，而對以成人 EFL 學習者為受眾的教材研究少有涉足。本文將從社會符號學的理論視角審視數字教材的多模態話語建構，并結合多元讀寫教學法，探討數字教材對我國 EFL 教學的啟示。

　　二、理論基礎

　　( 一) 社會符號學: 意義、符號和模態設計

　　社會符號學是對符號系統如何在社會語境中生成意義的功能研究，它關注在特定社會文化語境的社會交際中生成的意義。符號是符號學的核心單位，是形式和意義的融合。區別于皮爾斯的普通符號學和索緒爾的符號觀，Kress 的社會符號學[27]10 認為，符號是社團成員在社會交際中產生的，符號的形式和意義之間的關系不是任意的，而是由符號制造者的興趣決定。符號的形式和意義之間存在“動機”( motivated) 關系，并強調兩者之間的適合性( aptness) 。符號系統是交際過程中意義生成的資源。處在一定社會語境中的個體，利用特定社會文化中可資獲得的符號資源，主動參與符號制造和社會交際過程。

　　Kress 的社會符號學理論融合了 Halliday 關于 “語言作為社會符號的觀點”，發展并創立旨在解釋所有符號意義生成和傳播的符號學理論。根據 Halliday [28]的符號學方法，一個完整的交際理論需要表征概念功能( ideational function) ，即經驗世界的行為、狀態和事件; 人際功能( interpersonal function) ，即交際參與者的社會關系; 以及組篇功能( textual function) ，語篇局部以及語篇與語境之間的整體連貫。每種符號資源所做的選擇同時實現三大元功能并整合其意義。所有模態，如姿勢、動作和視覺模態等，如同語言，都是在社會使用過程中形成社會資源的模態[29]。每個模態系統在整個話語意義表達中都扮演著獨特角色，它們在交際過程話語整體意義的建構中是互補的[30]。

　　設計是社會符號學的核心概念。在語篇交際中，設計可理解為“修辭者把自己對交際環境的評估轉化為符號學塑造的物質的過程”。Kress 以“土豆削皮器”為例，提出“設計是對一系列社會關系、社會實踐以及目的、任務、目標、情感組成的結構體集合的安排”的觀點。設計體現、投射和建構社會關系，每一個語篇的設計都是從符號資源意義潛勢構成的意義網絡中選擇的結果[27]132-137 。

　　多模態設計，是指運用不同符號模態，如圖像、文字、色彩和布局去展現、體現及重新語境化社會關系和社會地位，為特定受眾呈現關于經驗世界的知識體系。設計體現和投射社會關系，并受社會和技術變化的影響和塑造[27]139 。本文所指的多模態設計主要是從數字教材開發者及設計者的視角，故下文采納 Kress 的定義。

　　( 二) 多模態話語分析( MDA)

　　MDA 主要是在 Halliday 創立的系統功能語言學理論基礎上發展起來的。具體地說，系統功能語言學關于“語言是社會符號、語言是意義潛勢( Meaning Potential) 系統、純理功能假說( Metafunction Hypothesis) 、語篇是語言系統的實例化、語言層級間的‘體現’以及語境思想”的論述，對于多模態話語分析理論框架的不斷完善具有十分重要的借鑒意義。因篇幅所限，此處不再累述。

　　朱永生[31]84-85 認為，要正確解讀多模態話語的意義，至少須要厘清兩方面的關系: 一是確定不同成分之間的語法關系，如從三大元功能分析圖像等視覺符號的語義關系; 二是要弄清不同模態，例如文字、圖像、動畫和音樂之間的關系。Barth [32]認為圖文之間有錨定、闡釋和接續三種關系，Martinec& Salway [33]在相互依賴關系上區分平等與不平等關系、圖文邏輯語義關系被概括為投射和擴展兩類，Royce [34]從概念意義和人際意義關系的角度研究不同意義間的互補關系。然而，上述的研究框架只適用于圖文關系，且較為粗略，在分析中難免會出現模棱兩可、難以界定的情況。張德祿[35-36]對多模態話語中模態間關系進行了更加深入的研究，認為還需區分互補關系和非互補關系。在互補關系中，區分強化關系和非強化關系，前者包括突出、主次和擴充; 后者包括交叉、聯合和協調。而非互補關系可區分為交疊、內包和語境交互三子類，該分析框架詳見圖 1 [35]27 。

　　三、數字教材的多模態話語分析

　　筆者選取國家開放大學英語教研團隊編寫的公共英語多媒體數字系列教材之《人文英語》( 1 ～ 4 冊) 為語料。語料采用“冊-單元-頁碼”的順序標注，例如“B1 -U1 -P4”，即“第 1 冊第 1 單元第 4 頁”( 下同) 。下面將圍繞多模態語篇意義制造者的符號實踐、教學語境中的社會實踐兩個維度，從教育多模態語篇的概念意義建構、人際意義建構、模態間關系三個方面進行深入分析和闡釋。

　　( 一) 數字多模態教育語篇的學科知識建構

　　學科是知識和經驗的結合，學科知識建構離不開對經驗世界的行為、狀態和事件的描寫與闡釋，知識和經驗兩者相互交織，共同作用于學科體系的構建。下文所討論的數字教材多模態語篇的概念意義將聚焦語篇作者如何建構語言學科知識。

　　傳統紙質教材的編排依據話題內容將學科知識按學習時間的先后順序進行線性排列，傳統的語言教學通常也是遵循紙質教材的編寫順序開展教學。就概念意義而言，數字教材突出每個單元主題知識結構的層級性，字體、字號和顏色都成為符號設計可資利用的資源。

　　學習界面顯示，粗體文字用來表示每一單元的根目錄，如“Learning Objectives”“Listening & Speaking” “Reading & Writing”，根目錄下面的子目錄字體相對較細，字號略小; 知識結構的排列呈橫向和縱向排列，橫向排列的項目在任務類型和難度上具有相似性，均屬于同一語言技能導向的語篇，如聽說技能、閱讀技能等; 縱向排列由上至下按照語言知識從抽象到具體、從輸入性到輸出型語言技能的順序排列，學習任務難度依次遞增。

　　讀者點擊橙色按鈕，即可打開下拉菜單，瀏覽具體語言功能對應的句法結構，符號設計者將語言系統的語義層與詞匯語法層的抽象“體現”( Realization) 關系以下拉菜單式嵌入結構方式呈現。此外，顏色也是具有概念意義表征的模態，紫色代表一級目錄或根目錄，如篇章標題或題目說明以及語言文化方面的核心知識點; 黑色表示根目錄下面的子目錄或二級目錄，如文章正文、功能句型范例和語法講解，是更詳細具體的知識點; 鮮艷的橙色用來表達“可選擇”“可參考”或者“可控制”的概念意義，主要交際目的在于提醒、提示和啟發學習者。

　　( 二) 數字多模態教育語篇的人際關系建構

　　教育技術重塑了數字教材的多模態話語。傳統紙質課本為載體的課堂教學主要以教師為中心，教師主導學習進度、掌握學生的學習情況，統一步調; 而數字教材的設計更加符合“以學生為中心”的教學組織原則，學生可以自由選擇學習內容、學習進度和閱讀路徑，以及學習互動和評價方式，有助于最大限度激發學習者的學習自主性，發揮學習者主觀能動性。

　　從話語意義的人際功能看，多模態符號系統建構了師生之間新型的人際關系。學習者界面的多模態話語意義的人際互動主要表現為三個方面: 學習者與移動學習終端的互動、學習者與數字教材學習資源的互動以及學生之間、師生之間的互動。以與移動學習終端，如手機、pad 或電腦屏幕的互動為例，學習者點擊菜單按鈕，自由選擇閱讀路徑，也可以點擊“索引” 圖標，定位導航學習內容，用橫屏式翻頁模式進行閱讀。再者，學習者與數字學習資源的互動包括對話框、自主反饋和系統即時反饋三種方式。

　　學習者在閱讀材料過程中，可以點擊“錄音機” 功能按鈕進行自主朗讀訓練，當對話框彈出“是否保存錄音”問話時，學習者單擊“確定”，即可保存朗讀學習記錄。當學習者聽完對話錄音后，需將備選詞組或者短語拖動到相應的句子中方可完成練習，學習點擊“key”，屏幕上即刻彈出正確的答案或選項，學習者通過屏幕的自動反饋了解學習效果。此外，系統具有即時反饋的功能，答案在學習者提交作業的同時即刻彈出，學習者可選擇反復多次練習。

　　同時，借助網絡學習社群，在學習者之間以及師生之間開展以線上答疑、學習反饋、小組討論等多種形式的互動交流，便于教師及時了解學習者的學習進展和學習效果，從而構建了以多媒體數字學習資源為依托的開放、民主、和諧、平等的新型師生關系。

　　( 三) 模態間關系

　　多模態語篇的語篇意義指語篇與語境之間，語篇內部不同部分之間的關系。模態間關系也是語篇意義的重要方面。語料分析顯示，語篇作者調用了書面文字、口語聲音、靜態圖像、動畫、顏色和布局六種主要模態，模態間關系可大致概括為以下幾種類型:

　　1. 互補—非強化—協調關系

　　所謂模態互補，是指一種模態的話語不能充分表達完整的意義，需要借助另外一種模態來補充。互補關系又可細分為強化和非強化兩類; 在強化關系中，一種模態是主要的交際形式，而另一種或者多種模態形式是對它的強化或者輔助，如只提供背景信息; 而非強化關系中兩種模態缺一不可，互為補充。

　　在電子教材中，語言模態通常用于描述學習任務的具體要求和指令，圖像和文字模態協同補充新的語境信息。例如“贍養”“原告、被告”等詞匯向讀者暗示交際角色之間的人物關系( 父子、父女、兄妹、姐弟關系等) 、起訴的緣由( 子女拒絕承擔贍養父母的義務) 等語境要素，法官手上的法槌以及圖像中各個參與者的位置關系暗示人物身份地位及權力關系。法官位于圖像的中心位置，是審理訴訟案件的核心關鍵人物，法官是“法律”“正義公平”的象征，在法庭交際語境中，其權力地位遠遠高于“原告”和“被告”雙方，且雙方在法庭審判語境中所處的身份地位是處于有矛盾沖突的平等雙方。在教學語境中，語言模態和圖像模態協同作用，兩者缺一不可，目的在于幫助學習者充分理解學習任務的細節信息，以確保其順利完成學習任務，這對學習者的多模態讀寫能力提出了更高要求。

　　2. 非互補—內包關系

　　非互補關系表示第二種模態對第一種在意義的體現上并沒有大的貢獻，但仍然作為一種模態出現。非互補關系下面又可分為三大子類: 內包、交疊和語境交互。內包關系即多種不同或者同種模態，對整體意義的表達沒有新的貢獻，而只給予更加具體的信息。內包又可細分為整體與部分和抽象與具體兩種關系。

　　以“提倡人們將廢物循環再利用”為環保主題的語篇為例，位于圖像顯著位置的是一只用廢棄垃圾做成的花瓶，整篇文章是而圖像與文中的“vases made from glass bottles”這個名詞短語形成“語義同指關系 ( semantic co-reference) ”。圖像模態提供的只是部分信息，對語篇整體意義的表達沒有貢獻。下面舉一個內包關系的例子，如當前的學習任務是“要求為人力資源部經理寫一份英語會議紀要”，書面文字仍是主要交際模態，語篇作者調用語言文字和圖像模態為學習者創設虛擬的目的語交際語境，即圖像模態沒有附加任何語義信息，而是將交際場景和交際目的更加具體化，用寫作工具( 紙、筆、電腦) 和寫作環境( 咖啡杯、辦公室) 來隱喻表征寫作過程和寫作結果，屬于從抽象到具體的內包關系。

　　3. 非互補—依賴型情境交互關系

　　文字與圖像也會呈現“非互補”關系。語篇在結尾段落中提出論點，“hard work and relaxation make a well-balanced lifestyle”，而“天平”圖像與文章整個段落在語義上構成同指呼應，與“天平”相關的語義要素進入語篇的整體語義域中，語篇呈現出較強的情境依賴性; 而圖片下方的瑜伽運動是對文段中“relax”詞匯的具體實例化，也與左圖中的部分圖像信息形成語義的上下義關系。

　　4. 互補關系與非互補關系的矛盾共現

　　研究發現，互補關系與非互補關系也會出現在同一語篇中。例如第四冊教材第七單元的聽力材料是一篇有關“法律訴訟案件”的對話，整個多模態語篇運用了文字、聲音和圖像三種模態。書面文字仍是主要的交際模態，圖像顯示的是被告與律師之間的交談現場，用于輔助書面文字和對話聲音的口語材料，提供交際語境要素，如交際環境( 律所辦公室) 、法官判案工具( 法典和法槌) 等，因而圖像與文字之間，以及圖像與聲音模態之間都表現為“互補—強化—突出” 關系，即突出文字模態，而圖像只是提供背景信息。

　　然而，聲音與書面文字模態使用不同的模態表達相同的語義，兩者呈現“非互補—交疊—冗余”關系，若任去其一，都可以與圖像模態完整地表達意義。但是從二語學習和外語教學的角度來看，語篇作者將兩種冗余的模態用于教學多模態語篇，其目的可能在于對二語學習者進行聽覺語音、視覺圖像、視覺文字的多感官協同刺激，提供豐富的語言交際情境，有助于強化學習者對語篇的理解和意義建構，從而間接影響二語輸出質量和二語學習效果。

　　四、教學啟示

　　當今世界，隨著經濟貿易全球化、交際媒介多元化、語言文化多樣化趨勢的日益加劇，培養掌握多種語言、具備多元讀寫能力、跨文化視野和國際競爭力的專業人才是我國當下外語教育的使命和擔當。

　　1996 年《多元讀寫教育學: 設計社會未來》 ( New London Group，以下縮寫為 NLG) 發表以來，多元讀寫成為教育學與多模態研究的熱點。多元讀寫教學法包含四個要素: 實景實踐( situated practice) ，即英語教學應置于真實的語境中; 明確指導( overt instruction) ，即課堂上教師應使用多模態設計的元語言系統對學生進行明確指導，解釋如何運用語言、手勢、聲音和圖像等符號設計資源，在真實語境中創造性地建構意義; 批評框定( critical framing) ，即教師運用有效的語言學理論和方法，培養學生理性分析教材中蘊含的文化、價值和意識形態; 轉換實踐( transformed practice) ，即學生在新的社會文化語境中，熟練運用所學知識、創造性地解決新問題，并在此過程中培養獨立建構多模態語篇的能力，即多元讀寫能力[36]88 。

　　多元讀寫教學法所主導的課程設計不僅包括教師的言語、語言、肢體、手勢語及書面語言，還包括使用道具、圖像、PPT 等非言語資源，數字教材也是課程設計的重要組成部分。NLG 認為，“任何制造意義的過程，都是設計行為”[36]65 。教學過程中，教師和學生都是意義的制造者，他們既是符號實踐活動的設計者，也是教學實踐活動的參與者。閱讀、寫作、教材編寫過程都被視為多模態設計過程，也是社會實踐的反映。數字教材編寫者及開發團隊在符號設計方面，應充分挖掘不同模態的符號“供用特征”( affordances) ，即分析它們在意義表達方面的優勢、特長和局限性，為學習者創設貼近真實生活體驗的交際語境和學習情境，構建開放、民主、平等、和諧的新型師生關系，為學習者開展自主學習搭建“腳手架”。

　　在導學環節，建議教師有必要給學習者講解教材中不同符號模態的概念表征意義、人際互動意義、組篇意義以及不同模態間的相互關系，運用“元語言” ( metalanguage) 系統加以明確指導，幫助學生迅速把握課程的學科知識結構，以便開展個性化自主學習; 教學過程中應注重培養學習者的批評分析能力，辨別教材中的價值觀和意識形態; 培養閱讀各種媒體和模態信息，如互動的多媒體教材，并能循此生成相應的多模態文本的能力，掌握不同模態符號的設計原則，利用可資獲得的設計資源，生成新的設計和意義。

　　隨著教育信息化 3. 0 的不斷深入和媒體技術發展的日新月異，數字教材的開發和研究也會朝著進一步智能化、多元化的方向延伸和發展，我國外語教師應不斷提升自身利用現代教育技術開展教學的能力，更要加強多模態符號設計能力和語言學、社會符號學等多學科理論的學習和提升，注重培養學習者的多元讀寫能力，迎接數字革命給我們帶來的機遇和挑戰。