數學科有約 從測驗理論談數學科命題國立高雄師範大學數學系教授 左太政

壹、緒言

教師的任務絕離不開兩件事:其一是「教學」(teaching or instruction),另一是「評量」(assessment or evaluation)。因此「教學」與「評量」是各級教師必備的專業知識之一。Kibler(1974)提出了教學的基本模式,把教學分為教學目標、學前評估、教學活動與評量等四部分。


資料來源:Kibler, R. J., Cegala, D.J., Barker, L.L., and Miles, D.T. Objectives for instruction and evaluation. Boston: Allyn and Bacon, Inc., 1974.

教師可依據教材各單元的具體教學目標,運用適合的教學方法來進行完整教學活動,再利用恰當的評量工具來了解教學上的成效,透過評量結果的分析,一來可了解學生的學習情況,二來可作為自我教學的檢視及日後調整教學的參考。

貳、成就測驗的編製

教師編製一份成就測驗可考慮下列五步驟:

一、準備測驗編製計畫

一份周詳而具體可行的成就測驗編製計畫至少包括下列三大項目:

(一)確立測驗的目的和目標

(二)設計雙向細目表

以能力層次(可考慮分概念性理解、程序性執行、思考解題三層次)為橫軸,以教材內容為縱軸規劃之,畫出一個二向度的分類表,將試題平均分配於表中的每個細目裡,以作為編擬成就測驗試題的設計藍圖,這樣的分類表便叫做「雙向細目表」(two-way specification table)。

(三)選定測驗的題型

二、編製測驗試題

一般而言,無論編擬何種類型的試題,均須注意下列幾項共同的命題原則:

    (一)試題的取材宜均勻分配,且具有教材內容的代表性。
    (二)試題的敘述宜力求簡明扼要,題意明確。
    (三)試題宜彼此獨立,互不牽涉,並避免含有暗示答案的線索。
    (四)試題宜有公認的正確答案或相對較佳的答案。
    (五)試題中的某些錯誤,雖不影響正確答案的選擇,亦宜避免。
    (六)若要測量學生的高層次認知能力,則試題不一定要有固定的答案。
    (七)試題的敘述宜重新組織,避免直接抄襲原來的教材。
    (八)試題宜重視重要概念或原理原則的理解與應用,避免偏重瑣碎及零碎知識的記憶。
    (九)避免使用與測驗無關的敘述,增加作答困難。
    (十)命題勿超過單元教學的評量目標。
    (十一)提早命題,以預留時間進行試題審查或修正。

三、試題的審查

教師必須針對自己所編擬的試題進行審查(review),以編製成一份正式成就測驗。試題與測驗的審查工作主要可分成兩方面來進行:

(一)邏輯的審查

主要是在審查測驗試題是否具有一致性(consistency)和適當性(adequacy),以確保測驗試題都能測量到所要測量的教學目標。邏輯審查的目的,至少可以幫助教師做到「表面上看起來,試題可以測量到我們所要的教學目標或學習成果」。

(二)實證的審查

在標準化成就測驗的編製過程中,經學科與測驗專家編擬好測驗試題後,通常會透過預試(pilot test)的方式進行實證的試題審查,以確保測驗試題都具有良好的品質特徵。

四、個別試題與整份測驗的分析

一般而言,教師自編成就測驗可以不必經過嚴謹的試題分析和測驗分析就直接使用,但是標準化成就測驗就必須經過嚴謹的試題分析和測驗分析後才能使用。教師自編成就測驗在完成預試之後,下一步的分析工作即是進行試題分析與測驗分析。個別試題分析主要在分析難度指標(difficulty index)、鑑別度指標(discrimination index)、誘答力(distraction)與注意係數指標(caution index);而整份測驗分析主要在分析信度係數(reliability coefficient)、效度係數(validity coefficient)與差異係數指標(disparity index)。

五、新測驗的編輯

教師在編擬好測驗試題後,經過初步的試題形式審查和客觀審查(包含試題分析),便可以進行新測驗的編輯工作,教師可以考量下列四個要素:

(一)測驗的長度

測驗長度(length of test)是指測驗試題的數量。

(二)試題的難度

測驗試題的難度取決於進行測驗的目的。

(三)試題的排列

在選好一定的測驗長度和試題難度後,教師可以挑選下列四種排列方式之一或混合數種方式,來進行試題的編輯工作。

  1. 根據試題難度來排列。
  2. 根據試題類型來排列。
  3. 根據教材內容來排列。
  4. 根據教學目標或測驗能力來排列。

(四)編製測驗指導語

教師在編妥試題的排列順序後,可於測驗卷上載明施測指導說明,至少應該包括下列幾項事項:

  1. 測驗目的。
  2. 作答時間。
  3. 計分方式。
  4. 是否必須列出計算過程。
  5. 說明不同題型的總分各是多少。
  6. 答錯是否倒扣分數。

參、選擇題的編製

選擇題(multiple-choice item)是指從多項選擇中挑選一項正確選項或最佳選項的試題。選擇題是當今客觀測驗中,被認為是最基本、使用最廣、影響最深遠的一種選擇型試題(selection-type item),茲說明選擇題的編製如下:

一、選擇題的性質

選擇題的基本架構包括兩個部分:一為「題幹」(stem),採直接或間接方式陳述問題;另一為「選項」(options),提供數種可能是問題解答的選擇。緊接著在題幹之後出現的是三至五個不等的選項,其中只有一個選項是「正確答案」或「最佳答案」,其餘的選項則為錯誤的選項,稱作「誘答選項」(distracter)。

二、選擇題的命題原則

(一)試題部分

    1. 試題的設計應該能夠測量到重要的學習成果。選擇題的目的是用來幫助了解學習內容已達精熟的程度,因此,所編擬的試題內容與結構應該以重要的學習成果為主。
    2. 盡可能不要依照教科書內容的順序來排列試題,以免學生產生序列記憶的效應。一般而言,試題的排列依照各試題的難度由簡單到困難為最佳。
    3. 試題的數量要適中,一份測驗的試題數量應以學生在一堂課中可以作答完畢的數量為考量依據。
    4. 以變化題幹或改變選項來控制試題的難度。
    5. 試題必須確定只有一個清楚表達的正確答案或最佳答案,以免引起糾紛或爭議。
    6. 題幹和選項中的敘述應該避免暗示正確答案的線索出現。
    7. 保持同一份測驗中的每個試題各自獨立,可以避免試題題幹與選項間的敘述提供暗示答案的線索。

(二)題幹部分

    1. 題幹的敘述宜清楚表達題意,避免過短或過長。
    2. 題幹的敘述宜保持完整,避免被選項分割成兩個部分或段落。
    3. 題幹宜避免產生暗示作答的線索。
    4. 盡量在題幹中使用肯定句的敘述,避免使用否定句的敘述。如果否定句的敘述方式仍有其必要性,此時必須在題幹中特別強調這些否定敘述的字眼或字詞(在印刷時將這些否定字眼或字詞劃雙底線或以粗體印刷)。

(三)選項部分

    1. 選項的代號宜視科目和學生年齡層次而有所不同,以免與題幹中的敘述文字混淆。
    2. 使用有效的垂直排列格式。每個選項的敘述以各占一列印刷篇幅為原則,以方便學生閱讀與比較各選項間的差異。
    3. 以隨機方式排列及調整正確答案出現的位置和次數,避免正確答案集中於某些特定選項或正確答案的選項產生規則性的排列,以降低被輕易猜中正確答案的機會。
    4. 選項的敘述宜力求簡短。
    5. 每道試題的選項數目應該保持一致,一般以四個選項為主。
    6. 一道選擇題試題的優劣與否,關鍵不在正確答案或最佳答案的撰寫良好與否,反而是在誘答選項的設計是否有誘答力及有區別力,好讓選擇題發揮「多選一」的區辨功能。
    7. 盡量避免使用「以上皆非」和「以上皆是」作為選項。

三、選擇題選項檢核表

選項檢核表是用來檢查試題是否符合命題原則及測驗目標的檢核表。表中包含一系列的檢查項目,經過對照來檢視命題的過程是否符合命題的原則,如:題幹的敘述、試題的編排、選項的誘答……等,使命題者可以很清楚地知道命題的要訣,作為命題的依據,以及檢視命題的內容是否符合測驗的目標,以做為進行試題評鑑時的效度指標,試題選項檢核表如下表所示:

試題選項檢核表

檢核項目
1、選擇正確選項是否基於受試者具備該題評量目標上之能力?    
2、無法答對選項是否基於受試者不具備該題評量目標上之能力?    
3、選項的用詞是否與題幹一致?    
4、選項是否符合題幹問法的邏輯?    
5、選項之表達方式是否保持一致?    
6、選項的內容是否避免重疊的現象?    
7、選項內容是否按邏輯順序排列?    
8、錯誤選項是否具有誘答力?    
9、是否已避免「以上皆是」、「以上皆非」的選項?    
10、正確答案是公認的而且不具爭議性的?    
11、每一題的選項數目是否一致?    

肆、從試題分析與測驗分析觀點檢視教師命題

教師在自編成就測驗施測完畢後的工作,即是進行試題分析與測驗分析,以獲得一些比較客觀的量化指標(quantitative index),作為教師改進教學與命題技巧之參考。

一、測驗理論

測驗理論是一種解釋測驗資料間實證關係的有系統的理論學說,通常劃分成二大類:一為古典測驗理論,主要是以真實分數模式為骨幹;另一為當代測驗理論,主要是以試題反應理論為架構。

(一)古典測驗理論

古典測驗理論衍生出試題分析時的重要指標,如:難易度(difficulty)、鑑別度(discrimination)和信度(reliability)等。

(二)試題反應理論

試題反應理論(Item Response Theory,簡稱IRT)主要是以個別試題的觀點,來解釋測驗分數的涵義。它認為學生在某一試題上的表現情形,與其背後的某種潛在特質(即能力)之間具有某種關係存在,該關係可以透過一條連續性遞增的數學函數來加以表示和詮釋,這個數學函數便稱作「試題特徵曲線」(Item Characteristic Curve,簡稱 ICC)。

二、試題分析

試題是構成一份測驗的基本單位,有良好的試題才有良好的測驗。一個試題的優劣分析,應包括試題內容的品質分析(qualitative analysis)和試題統計特徵的量化分析(quantitative analysis),以作為選取、修改或刪除試題的依據。

(一)試題內容的品質分析

品質分析可由試題的內容審查、有效命題原則及教學目標等評鑑工作來進行,能確保試題具有一定的內容效度。

(二)試題統計特徵的量化分析

試題分析主要包括難度指標(difficulty index)、鑑別度指標(discrimination index)及選項誘答力(distraction)。選項誘答力的檢驗根據以下兩項原則:

  1. 每個錯誤選項至少要有一位低分組的學生選擇它。
  2. 就任何一個錯誤選項而言,低分組的選答人數應該高於高分組的選答人數。

(三)試題分析的功能

    1. 作為改進學生學習的參考。
    2. 作為實施補救教學的依據。
    3. 增進教師編製測驗的經驗。
    4. 增進測驗題庫運用的效能。

三、測驗分析

信度和效度是測驗的兩大特徵,一份優良的測驗都具有較高的信度與效度值。測驗分析是使教師自編成就測驗具有優良教育測驗的特徵,使之成為一份公正、客觀且優良的教學評量工具的必要步驟。測驗分析的主要對象為信度係數(reliability coefficient)與效度係數(validity coefficient)。

伍、結語

教育部十二年國民基本教育課程篇裡特別強調,評量是老師運用適當方法,來檢驗學生的學習成果,除了協助學生學習,也用來調整後續教學;教育部也規劃「國民中學學生學習成就評量標準」,以「國民中小學九年一貫課程綱要能力指標」開發相對應的評量標準,提供學生、家長、教師及學校,檢視學生每階段學習成就的參照依據。基於此,教師更必須了解學生的學習情況,才能對學生提供適當且有效的教學,而了解學生學習情況的最主要方法之一就是評量。教學評量的方式有很多種,包括:紙筆測驗、學生實作、問答或課堂表現,都可是評量的一環,教師需根據各單元的教學目標,選擇最適合的評量方式,才更能適切評量出學生的學習成效。

參考文獻

  • 余民寧(2002)。教育測驗與評量-成就測驗與教學評量。臺北市:心理。
  • 余民寧(2009)。試題反應理論(IRT)及其應用。臺北市:心理。
  • Kibler, R. J., Cegala, D. J., Barker, L. L., & Miles, D. T. (1974). Objectives for  instruction and evaluation. NY: Allyn and Bacon.
  • Polya, G. (1957). How to solve it. NJ: Princeton University Press.
  • Schoenfeld, A. (1985). Mathematical problem solving. FL: Academic press.