國中教育會考之標準設定說明題庫組

前言

國中教育會考(以下簡稱教育會考)為我國國中畢業生學力檢定之機制,作為了解及確保國中畢業生學力品質。各科計分採標準參照方式,以事先制定的標準作為評斷學生能力表現的依據,各科評量結果分為「精熟」、「基礎」及「待加強」3個等級,學生透過評量結果可具體了解自己的學習成就。整體來說,成績「精熟」表示學生精通熟習該科目國中階段所學習的知識與能力;「基礎」表示學生具備該科目國中階段之基本學力;「待加強」表示學生尚未具備該科目國中階段之基本學力,各科目等級描述如表一所示。

表一 教育會考各科目「精熟」、「基礎」及「待加強」3 個等級描述
精熟 基礎 待加強
國文 能具備與教材相關的語文知識,並能深入的理解文本內容、評鑑文本的內容與形式。 大致能具備與教材相關的語文知識,並能大致理解文本內容、評鑑文本的內容與形式。 僅能具備部分與教材相關的語文知識,並有限的理解文本內容、評鑑文本的內容與形式。
英語 聽力 能聽懂主題熟悉、訊息稍為複雜、段落較長的言談,指出言談的主旨與結論等重要訊息,並從言談中言語及其他如語調與節奏等線索做出推論;能理解短片及廣播節目的大意。 能聽懂日常生活主題、訊息單純的短篇言談,指出言談的主旨與結論等重要訊息,並從言談中明顯的言語及其他如語調與節奏等線索做出簡易推論。 僅能聽懂單句及簡易問答;僅能有限的理解短篇言談。
閱讀 能整合應用字詞、語法結構及語用慣例等多項語言知識;能理解主題較為抽象、訊息或情境多元複雜、語句結構長且複雜的文本,指出各類文本的主旨、結論與作者立場等重要訊息,並從文本結構、解釋或例子等做進一步的推論或評論。 能理解字詞基本語意及語法概念;能理解主題具體或貼近日常生活、訊息或情境略為複雜、語句結構略長的文本,指出文本主旨、結論與作者立場等重要訊息,並從文本的解釋或例子做出推論。 僅能理解主題貼近日常生活、訊息或情境單純且明顯、語句結構簡單的文本或語句,僅能指出文本明白陳述的主旨、結論與作者立場等重要訊息,僅能藉文本明顯的線索做出簡易的推論。
數學 能作數學概念間的連結,建立恰當的數學方法或模式解題,並能論證。 理解基本的數學概念、能操作算則或程序,並應用所學解題。 認識基本的數學概念,僅能操作簡易算則或程序。
社會 能廣泛且深入的認識及了解社會科學習內容,並具有運用多元的社會科知識之能力。 能大致認識及了解社會科學習內容,並具有運用基礎的社會科知識之能力。 能約略的認識及了解社會科學習內容。
自然 能融會貫通學習內容,並能運用所培養的能力來解決需要多層次思考的問題。 能知道及理解學習內容,並能運用所培養的能力來解決基本的問題。 能部分知道及理解學習內容。

各等級描述乃依據「國民中小學九年一貫課程綱要」的能力指標及學科內涵,諮詢學科教授、測驗專家及現場國中教師後,參考歷屆國中基測考生答題反應資料所顯示出之學生能力而制定。這些描述代表依據課綱所揭櫫的課程目標下,我們預期國中畢業生在各學科不同能力等級的表現水準。

為了將學生分為3個能力等級以具體評估國中畢業生在各科的能力分布情況,以102年試辦國中教育會考各科為例(國文科選擇題48題;英語科閱讀選擇題40題;數學科選擇題25題;社會科選擇題63題;自然科選擇題54題),各科皆需要判斷基礎與待加強、基礎與精熟等級的「切點」題數。而各科「切點」題數設定係由臺師大心測中心廣邀學科教授、中學教師及測驗專家等,依據表一當中事先制定的各能力表現描述,針對各科學生能力做「精熟」與「基礎」等級的門檻切點設定,將學生能力表現分為「精熟」、「基礎」及「待加強」3 個等級。

標準設定(切點題數設定)方法

為設定基礎與精熟能力等級之通過門檻,心測中心採用 Yes/No Angoff 法進行三回合的標準設定(切點題數設定)。在開始設定前,會對於所有設定小組成員進行專家訓練,使其具體了解各表現水準定義,及如何判定學生在三個成就水準的預期表現,並詳細說明 Yes/No Angoff 法實際進行之程序。在進行第一回合設定時,提供設定者一本含有題目、內容、選項、答案的題本,設定者需獨立完成該科題本,目的在使設定者熟悉評量內容。每位設定者逐題判斷在「基礎」等級的最低能力者(基礎門檻)能否答對該題,判斷完所有試題後,再逐題判斷在「精熟」等級的最低能力者(精熟門檻)能否答對該題。完成第一回合的設定之後,統整所有設定者的結果,並針對結果及疑義進行交流與討論。在進行討論時所提供的回饋結果,每題各層級設定小組之選擇百分比如表二所示。

表二 每題各層級設定小組之選擇百分比
題號 基礎門檻答對 精熟門檻答對 連精熟門檻也無法答對
1 100% 0% 0%
2 90% 10% 0%
3 55% 45% 0%
44 10% 70% 20%
45 0% 40% 60%

如果所有設定者共識度很高,一致認為該題基礎門檻就可答對,如題號1。各題進行討論時,設定者皆可提出看法,而針對共識度不高的題號進行較多討論以凝聚共識。例如題號3:有55%設定者認為該題基礎門檻就可答對,為最多設定者的選擇但仍低於60%。或是題號44:雖然有70%設定者認為該題精熟門檻就可答對,為最多的設定者的選擇已經超過60%,但因三種樣態皆有設定者選擇,設定者間認知差異過大,有10%設定者認為該題基礎門檻就可答對,另也有20%設定者認為該題連精熟門檻也無法答對。

其他回饋結果,各個設定者設定結果描述統計分析如表三所示,及各等級考生通過百分比如表四所示。依據這些回饋結果來進行討論以凝聚共識。

表三 各個設定者設定結果描述統計分析
測驗等級 回合 最小值 最大值 平均數 標準差 切點答對題數 答對比例
基礎門檻 1 17 23 20 3.92 21 43.75%
2            
3            
精熟門檻 1 37 43 41 3.07 41 85.42%
2            
3            
表四 各等級考生通過百分比
等級 各等級人數比例
待加強 24.49%
基礎 60.38%
精熟 15.13%

完成討論後再進行第二回合的設定,提供設定者一本含有題目、內容、選項、答案的題本外,另外提供古典測驗理論的通過率與鑑別度。每位設定者逐題判斷在該表現等級門檻能否答對該題。設定完成後,依據第一、二回合設定結果的回饋訊息,透過小組討論建立共識。完成討論後,再進行第三回合設定,所得結果便是最終設定結果。標準設定會議的流程圖如圖一所示。

102年試辦教育會考標準設定(切點題數設定)結果分析

本次能力等級的設定結果英語科不包含聽力測驗,數學科不包含非選擇題。各科答對題數與能力等級對照表與各科各能力等級比例統計表如表五、表六所示。

表五 102 年試辦教育會考各科答對題數與等級對照表
  國文 英語 數學 社會 自然
精熟 41-48 34-40 21-25 53-63 46-54
基礎 20-40 14-33 9-20 24-52 20-45
待加強 0-19 0-13 0-8 0-23 0-19
表六 102 年試辦教育會考各科各等級人數比例
  國文 英語 數學 社會 自然
精熟 14.42% 15.42% 14.45% 15.78% 13.74%
基礎 64.55% 55.86% 59.26% 68.21% 65.73%
待加強 21.03% 28.72% 26.29% 16.01% 20.53%

本次能力等級的設定結果,英語科不包含聽力測驗,數學科不包含非選擇題。且表六中各科各等級人數比例係依據表五的設定結果,來計算本次有效考生人數中各等級所占百分比。換言之,先確定各等級的題數範圍後,再依照此題數範圍計算人數百分比。

此次試辦教育會考計分結果顯示各科「精熟」等級的學生答對題數比例約為84%~85%,「基礎」等級的學生答對題數比例至少約占整份測驗的35%~42%。以國文科為例,總題數為48題,計分結果顯示考生答對41題可達到「精熟」等級,答對題數比例約為85.42%;答對20題就能達到「基礎」等級,答對題數比例約為41.67%。另外,依照此次計分結果,各科「精熟」的人數比例為13.74%~15.78%,「基礎」的人數比例為55.86%~68.21%,而「待加強」的人數比例為16.01%~28.72%。但考量此次試辦教育會考的缺考人數較多,以及未來學生能力可能變化等因素,103年各科各等級人數比例可能會不同。