科學文章摘要自動化概念比對計分方式的發展與應用.pdfVIP

數位學習科技期刊 民國 100 年，第三卷第一期，1-28 科學文章摘要自動化概念比對計分方式 的發展與應用 黃彥博 洪碧霞 (通訊作者) 蘇義翔 國立臺南大學測驗統計研究所 國立臺南大學測驗統計研究所 國立臺南大學測驗統計研究所 碩士班研究生 教授 博士班研究生 E-mail: E-mail: E-mail: yanbo0917@ hungps@.tw .tw 摘 要 本研究目的在發展國小六年級學生適用的科學文章摘要自動化概念比對評 分系統，文中以科學文章摘要人工評分為效標，同時以科學閱讀理解和在校學 科成績為相關變項，比較概念比對（ ）、潛在性語意分析（ ）和關鍵詞比 CS LSA 對（KWC ）三種自動化計分方法與關聯變項的關連組型，作為科學文章摘要自 動化概念比對評分機制的效度討論依據。研究結果顯示以人工評定為效標，CS 法表現較佳。如果看摘要能力與科學閱讀理解表現的相關，LSA 評分結果與理 解相關略高於 CS 。以在校成績為關聯變項，其相關組型顯示CS 與 LSA 與在校 國語與自然相關較高，呈現合理的幅合和區別效度。整體而言，CS 法呈現經濟 的優勢和文章特定的限制，相反地，LSA 需要龐大的資料庫但應用的類推潛力 可能較佳。 關鍵詞：摘要能力、科學文章、自動化計分、概念比對、潛在性語意分析 壹、研究背景與目的 線上閱讀摘要能力同時包含文章重點掌握和文句組織表達的能力，明顯影響個體的新知 轉化和問題解決效能，是數位化紀元個體重要基本能力之一。讀、寫教學融入特定學科 如科 ( 學 學習內容，通常能更為真實而有意義 。國內 ) (National Reading Panel, 2001; Goldman, 1997) 在科學寫作的研究側重科學學習的效益，主要探討科學寫作對於科學教育意涵，比如說科學 知識與概念藉由科學寫作，更能產生認知的遷移、轉化，使學習者有效學習科學。而科學寫 2 黃彥博 洪碧霞 蘇義翔 作的評量方法面臨一般寫作評量經常遭遇的第一個問題是評量比較費時，由於開放式的科學 寫作目前仍然由教師逐一閱讀以進行評量，相較於選擇題式的評量，教師必需花費更多的時 間進行評分。第二個問題是評分的信、效度議題，除了的概念的正確性外，學生的文句表達 及段落邏輯，往往也會影響分數高低。電腦化的自動化評分機制，能提供線上標準化的評定 與回饋，因此，頗具研發應用的潛力。 和 （ ）列出文獻上七種自動化計分（ ）的方法，包 Zenisky Sirec (2002 automated scoring 括專題論文計分（ ）、 評分者（ ）、潛在性語意分析（ project essay grade e e-rater latent semantic