面向?qū)W生過程表現(xiàn)的協(xié)作問題解決能力評估研究

　　來源：中國電化教育 2022年7期

　　作者：吳斕; 余勝泉; 駢揚(yáng); 劉陽

　　摘要：立德樹人，促進(jìn)學(xué)生全面發(fā)展是新時代教育評價改革的宗旨，踐行全面發(fā)展評價觀基于學(xué)生全學(xué)習(xí)過程數(shù)據(jù)，為此需要借助信息技術(shù)實現(xiàn)對過程行為數(shù)據(jù)的自動采集和分析，提高評估的效率和準(zhǔn)確性。該研究以協(xié)作問題解決能力為評估對象，探索信息技術(shù)創(chuàng)新評估工具的實踐路徑。在“評估三角”理論的指導(dǎo)下，首先從協(xié)作問題解決能力“多維-交互”的本質(zhì)出發(fā)構(gòu)建三維能力評估框架;其次，依托PSAA平臺設(shè)計和開發(fā)基于過程數(shù)據(jù)流的協(xié)作問題解決能力自動化評估系統(tǒng)，實現(xiàn)集觸發(fā)行為、采集行為、編碼行為、推斷能力和報告結(jié)果于一體的評估流程，并設(shè)計了對過程行為數(shù)據(jù)特別是會話內(nèi)容質(zhì)性特征的自動編碼模型;最后，以B市140名初中生為實驗對象驗證了該評估系統(tǒng)的有效性、有用性和易用性。未來還需不斷融合新理論和新技術(shù)改進(jìn)和創(chuàng)新測評方法和工具，助推面向?qū)W生過程表現(xiàn)的核心素養(yǎng)評估的落地。

　　關(guān)鍵詞：協(xié)作問題解決能力評估;人人協(xié)作;過程數(shù)據(jù)流

　　* 本文受北京市教育科學(xué)“十四五”規(guī)劃優(yōu)先關(guān)注課題“人工智能教育應(yīng)用體系構(gòu)建研究”(課題編號：3020-0058)資助。

　　一、引言

　　2020年10月，中共中央、國務(wù)院印發(fā)《深化新時代教育評價改革總體方案》明確指出新時代教育評價改革方向，要以立德樹人為主線，扭轉(zhuǎn)不科學(xué)的教育評價導(dǎo)向，關(guān)注學(xué)生全面發(fā)展[1]。2021年7月，教育部等多部門聯(lián)合印發(fā)《關(guān)于推進(jìn)教育新型基礎(chǔ)設(shè)施建設(shè)構(gòu)建高質(zhì)量教育支撐體系的指導(dǎo)意見》，其中強(qiáng)調(diào)要利用大數(shù)據(jù)、人工智能等新一代信息技術(shù)創(chuàng)新評價工具，尤其在評價手段、內(nèi)容等方面作出明確指示，包括開發(fā)能夠記錄學(xué)生學(xué)習(xí)過程表現(xiàn)，支撐學(xué)生德智體美勞全要素評價的工具[2]。

　　破除“五唯”，立足全面發(fā)展評價觀，其背后的邏輯思路是將評價工作融入育人的每個環(huán)節(jié)，全方位記錄不同場景下學(xué)生日常行為表現(xiàn)，基于過程數(shù)據(jù)的分析與挖掘評估學(xué)生各項能力的發(fā)展?fàn)顩r。由于數(shù)據(jù)來源豐富，數(shù)據(jù)量龐大且結(jié)構(gòu)復(fù)雜，對評價技術(shù)也提出較高要求。因此，需要以信息技術(shù)為支撐實現(xiàn)評價工具的數(shù)字化和智能化，實現(xiàn)自動采集過程行為數(shù)據(jù)、實時分析數(shù)據(jù)和產(chǎn)生可視化評估報告等[3]，是新時代教育評價改革的重要突破口。

　　本研究將以協(xié)作問題解決能力作為研究對象，探索如何借助信息技術(shù)創(chuàng)新育人評價工具。首先，協(xié)作問題解決能力(Collaborative Problem Solving， CPS)是人類學(xué)習(xí)、工作和生活中不可或缺的一項重要技能，被世界各國列入21世紀(jì)學(xué)生核心素養(yǎng)框架中[4]。為此，有必要開展常態(tài)化、大規(guī)模的評估，有效測量學(xué)生此項能力發(fā)展水平，支持教師進(jìn)行針對性反饋與干預(yù)，助力學(xué)生協(xié)作問題解決能力水平的提升[5]。其次，PISA(Programme for International Student Assessment，以下簡稱 PISA)和ATC21S(Assessment and Teaching of 21st Century Skills，以下簡稱 ATC21S)率先于2015年發(fā)起面向全球中學(xué)生的大規(guī)模測評項目，正式推動基于計算機(jī)的協(xié)作問題解決能力評估實踐。隨著實踐深入，一些影響評估過程和結(jié)果的關(guān)鍵問題亟待解決，包括如何在多維度上輸出結(jié)果以表征能力的復(fù)雜結(jié)構(gòu)、如何降低協(xié)作過程中同伴對被試真實水平產(chǎn)生影響、以及如何實現(xiàn)對過程行為數(shù)據(jù)(特別是協(xié)作會話質(zhì)性特征)的自動編碼等等[6][7]。

　　基于此，本研究試圖探索基于過程數(shù)據(jù)流的協(xié)作問題解決能力自動化評估方法，實現(xiàn)從個體在測評系統(tǒng)中產(chǎn)生的過程行為數(shù)據(jù)(點(diǎn)擊流數(shù)據(jù)和會話數(shù)據(jù))中自動抽取評估證據(jù)，結(jié)合該能力的復(fù)雜結(jié)構(gòu)在多維度上輸出個體的能力表現(xiàn)，并采取措施控制同伴對個體的影響，保證評估結(jié)果的科學(xué)性和有效性。該研究是助推全面發(fā)展評價觀落地，創(chuàng)新育人評價工具方面的一個典型實踐案例，為后續(xù)實現(xiàn)面向?qū)W生過程表現(xiàn)的德智體美勞全要素的評價提供了可借鑒的實踐經(jīng)驗。

　　二、協(xié)作問題解決能力評估研究進(jìn)展及關(guān)鍵問題

　　(一)協(xié)作問題解決能力

　　協(xié)作問題解決能力是個體與同伴協(xié)作解決復(fù)雜問題過程中所展現(xiàn)的能力[8]，是一個由多種子技能組成的復(fù)雜技能集[9]，包括認(rèn)知的、社會的、動機(jī)情感等多方面技能[10]。因此，該能力具有復(fù)雜性和多維性特征[11]。大多數(shù)研究將協(xié)作問題解決能力作為認(rèn)知性和社會性兩方面技能的交互結(jié)果。最早由O’Neil等人于2003年確定了協(xié)作問題解決能力評估框架的兩大維度——“問題解決”(Problem Solving)和“協(xié)作”(Collaboration)，其中“問題解決”維度包括內(nèi)容理解、問題解決策略和自我調(diào)節(jié)，“協(xié)作”維度包括適應(yīng)能力、協(xié)調(diào)能力、決策能力、人際交往能力、領(lǐng)導(dǎo)力和溝通能力[12]，該框架為后續(xù)一系列研究奠定理論基礎(chǔ)。PISA2015項目通過四種問題解決技能(Problem-Solving Proficiency)(探究和理解、表征和系統(tǒng)化、計劃和執(zhí)行、監(jiān)控和反思)與三種協(xié)作技能(Collaboration Proficiency)(建立和維持共識、采取合適的行動解決問題、建立和維持團(tuán)隊的組織形式)的交叉，生成4*3矩陣形式的協(xié)作問題解決能力評估框架。ATC21S項目也將協(xié)作問題解決能力劃分為“社交技能”(Social Skills)和“認(rèn)知技能”(Cognitive Skills)[13]，其中“社交技能”包括參與、觀點(diǎn)獲取和社會調(diào)節(jié);“認(rèn)知技能”包括任務(wù)調(diào)節(jié)、學(xué)習(xí)與知識建構(gòu)。

　　目前為止，協(xié)作問題解決能力評估框架主要以“認(rèn)知-社會”二維結(jié)構(gòu)為主，近年來隨著對學(xué)生非認(rèn)知表現(xiàn)的關(guān)注，不少研究指出動機(jī)情感、自我調(diào)節(jié)等會影響個體的協(xié)作問題解決能力[14][15]，因此該能力的評估框架有待進(jìn)一步拓展。由于該能力具有復(fù)雜結(jié)構(gòu)，如果只生成單一維度的能力值會過分窄化評估信息[16]，不利于指導(dǎo)教育教學(xué)，而且協(xié)作問題解決過程中，各能力維度之間可能存在交互作用[17]，因此，在評估協(xié)作問題解決能力時需要綜合考慮“多維-交互”特點(diǎn)，這為評估工作帶來一定的挑戰(zhàn)性。

　　(二)基于過程數(shù)據(jù)流的協(xié)作問題解決能力評估

　　基于計算機(jī)的測評方式能夠創(chuàng)設(shè)豐富的協(xié)作型任務(wù)情境，以非侵入方式采集學(xué)生自然狀態(tài)下的過程行為表現(xiàn)，并以過程數(shù)據(jù)流的形式存儲在日志文件中，支持面向?qū)W生過程表現(xiàn)的核心素養(yǎng)和關(guān)鍵能力的評估[18][19]，因而在教育評估領(lǐng)域內(nèi)備受關(guān)注。根據(jù)協(xié)作同伴的類型不同，基于計算機(jī)的協(xié)作問題解決能力評估主要包括兩種形式——人機(jī)協(xié)作和人人協(xié)作，分別以PISA2015和ATC21S兩大項目為典型代表。國內(nèi)有學(xué)者已從合作方式、對話交流類型、合作證據(jù)等方面進(jìn)行了對比和闡述[20]，本研究主要聚焦于兩種評估形式中采用的基于過程數(shù)據(jù)流的評估方法。

　　人機(jī)協(xié)作中的同伴是基于腳本的計算機(jī)代理，學(xué)生與計算機(jī)代理的交流過程是預(yù)先定義的，以PISA2015項目為例，每次任務(wù)包括多道試題，為完成每道試題，學(xué)生需要與代理進(jìn)行多輪會話，每個話輪以單選題形式呈現(xiàn)，學(xué)生需選出自己認(rèn)為最適合的選項，代理則根據(jù)學(xué)生選擇結(jié)果提供不同回復(fù)。測試系統(tǒng)包括“會話區(qū)”和“任務(wù)區(qū)”，“會話區(qū)”記錄學(xué)生每輪會話的選擇結(jié)果，“任務(wù)區(qū)”會記錄學(xué)生的點(diǎn)擊行為，例如是否點(diǎn)擊了正確的鏈接，拖拽圖標(biāo)的先后順序等。評估系統(tǒng)會事先確定編碼規(guī)則，將每一輪會話的不同選項和“任務(wù)區(qū)”的點(diǎn)擊行為進(jìn)行組合，關(guān)聯(lián)到不同的評估指標(biāo)以及獲得相應(yīng)的分值，根據(jù)學(xué)生在“會話區(qū)”和“任務(wù)區(qū)”的作答結(jié)果，自動獲取關(guān)聯(lián)的評估指標(biāo)及分?jǐn)?shù)，學(xué)生完成測試后系統(tǒng)自動統(tǒng)計所有評估指標(biāo)的總分，最后線下基于心理測量模型估計能力值[21]。人機(jī)協(xié)作的評估方法通過事先定義會話內(nèi)容以及每一輪會話關(guān)聯(lián)的評估指標(biāo)，實現(xiàn)基于學(xué)生的過程表現(xiàn)自動化累積不同評估指標(biāo)的得分，便于操作和支持大規(guī)模應(yīng)用。此外，基于腳本定義虛擬同伴的性格特點(diǎn)，能夠有效控制評估過程和消除同伴對個體表現(xiàn)的影響[22]。但不足之處是由于技術(shù)所限，虛擬同伴還無法真正替代真實的人類伙伴，難以保證獲得的是個體在真實情境中的表現(xiàn)，進(jìn)而影響評估結(jié)果的準(zhǔn)確性。

　　人人協(xié)作中的同伴是真實的人，這種評估方式更接近真實生活，但難以控制，協(xié)作過程中會涌現(xiàn)大量豐富的過程行為數(shù)據(jù)，尤其是在線會話類數(shù)據(jù)，機(jī)器難以理解會話內(nèi)容，使得從過程數(shù)據(jù)流中抽取評估證據(jù)存在較大困難。以ATC21S項目為例，測試系統(tǒng)包括“會話區(qū)”和“任務(wù)區(qū)”，“會話區(qū)”實時記錄學(xué)生與同伴在線交流的消息，以文本形式存儲在日志文件中，“任務(wù)區(qū)”中以“行為事件”形式記錄學(xué)生各類操作行為，包括輸入、點(diǎn)擊、拖拽、移動、懸停等，以事件的形式存儲在日志文件中。基于預(yù)先設(shè)計的編碼規(guī)則，系統(tǒng)將不同類型的事件轉(zhuǎn)化為具有評估意義的行為指標(biāo)，并基于事件發(fā)生的次數(shù)或時長等為行為指標(biāo)賦予分值，最后將行為指標(biāo)關(guān)聯(lián)到不同的評估指標(biāo)上，這些行為指標(biāo)就好比傳統(tǒng)測試中的試題，每個行為指標(biāo)基于編碼規(guī)則得到分值，類似于學(xué)生在每道測試題上的得分，最后也是在線下利用心理測量模型估計能力值。由于ATC21S項目是跨國性測評，需要進(jìn)行不同國家語言的轉(zhuǎn)換，因此沒有考慮會話內(nèi)容的分析，導(dǎo)致大量有價值的評估證據(jù)流失。此外，在小組構(gòu)成方面較為單一，該項目采取的是兩兩協(xié)作的方式，學(xué)生自始至終和同一位同伴完成四個不同的評估任務(wù)，協(xié)作情境具有一定的局限性，難以平衡不同類型同伴對個體表現(xiàn)的影響[23][24]。

　　目前，面向大規(guī)模的評估工具主要以記錄學(xué)生在測評系統(tǒng)中產(chǎn)生的點(diǎn)擊流數(shù)據(jù)和會話數(shù)據(jù)為主。要實現(xiàn)基于計算機(jī)的自動化評估包括三個關(guān)鍵環(huán)節(jié)：創(chuàng)設(shè)協(xié)作任務(wù)情境觸發(fā)個體產(chǎn)生表征能力的行為數(shù)據(jù)，從過程性數(shù)據(jù)中抽取評估證據(jù)以及基于心理測量模型估計能力值。由于人機(jī)協(xié)作和人人協(xié)作各自的測試結(jié)構(gòu)不同，導(dǎo)致基于過程數(shù)據(jù)流的評估思路完全不同。人機(jī)協(xié)作需要預(yù)先定義會話路徑，以及每輪會話和任務(wù)作答結(jié)果關(guān)聯(lián)的評估指標(biāo)，而人人協(xié)作則需要預(yù)先在系統(tǒng)中進(jìn)行數(shù)據(jù)埋點(diǎn)以實時記錄個體的過程行為表現(xiàn)，基于預(yù)先定義的編碼規(guī)則從過程數(shù)據(jù)流中抽取行為指標(biāo)，并關(guān)聯(lián)不同的評估指標(biāo)。但是，PISA2015和ATC21S項目沒有完全實現(xiàn)基于過程數(shù)據(jù)流的自動化評估，其中基于心理測量模型估計個體能力值是在線下完成的，這樣容易導(dǎo)致評估周期拉長，評估結(jié)果反饋延時，不利于支持教師及時改進(jìn)教學(xué)和促使學(xué)生自我反思。因此，需要減少評估流程中的人工干預(yù)，實現(xiàn)數(shù)據(jù)的自動化采集和分析。

　　本研究將探究人人協(xié)作評估模式下，基于過程數(shù)據(jù)流的協(xié)作問題解決能力自動化評估方法。打通評估過程中的數(shù)據(jù)流回路，串起“線上數(shù)據(jù)編碼”和“線下估計能力值”的環(huán)節(jié)，打造“測試-報告-改進(jìn)”一體化評估系統(tǒng)，提高評估效率和實現(xiàn)及時反饋。此外，在線會話內(nèi)容中蘊(yùn)含著大量能夠表征個體團(tuán)隊意識、認(rèn)知水平的評估證據(jù)，如果在評估過程中增加會話內(nèi)容的分析能夠極大提高評估結(jié)果的科學(xué)性和準(zhǔn)確性。本研究將結(jié)合我國學(xué)生的協(xié)作特點(diǎn)增加對會話數(shù)據(jù)質(zhì)性特征的分析，以期提高評估結(jié)果的科學(xué)性和準(zhǔn)確性，更加全面細(xì)致地反映個體的過程表現(xiàn)。

　　三、基于過程數(shù)據(jù)流的協(xié)作問題解決能力自動化評估方法

　　為保證評估流程的科學(xué)性和有效性，本研究依賴能力評估的基礎(chǔ)——“評估三角”(Assessment Triangle)，該理論強(qiáng)調(diào)“基于證據(jù)進(jìn)行推理”。三角形的三個頂點(diǎn)分別代表能力評估的三個核心環(huán)節(jié)——認(rèn)知、觀察和解釋(Cognition， Observation， Interpretation)。“認(rèn)知”即明確能力評估框架;“觀察”即在特定情境中獲取表征個體能力水平的外顯行為;“解釋”即基于心理測量模型或統(tǒng)計方法推斷個體能力水平 [25][26]。

　　基于“評估三角”理論，本研究設(shè)計了基于過程數(shù)據(jù)流的協(xié)作問題解決能力自動化評估框架。如圖1所示，首先，構(gòu)建協(xié)作問題解決能力評估框架，明確評估對象;接著，基于能力評估框架設(shè)計評估任務(wù)，在評估系統(tǒng)中進(jìn)行數(shù)據(jù)埋點(diǎn)，確保能夠采集個體在任務(wù)過程中產(chǎn)生的一系列行為表現(xiàn)[27];在評估過程中實時采集個體產(chǎn)生的點(diǎn)擊流數(shù)據(jù)和會話數(shù)據(jù);然后，基于預(yù)先定義的證據(jù)編碼規(guī)則，從原始數(shù)據(jù)中抽取具有等級意義的評估指標(biāo);最后，基于心理測量模型推斷個體能力值，以可視化報告形式輸出評估結(jié)果。下面從評估框架、系統(tǒng)設(shè)計、評估方法三個方面介紹如何實現(xiàn)基于過程數(shù)據(jù)流的協(xié)作問題解決能力自動化評估。

　　推薦閱讀：電化教育期刊有哪些