2011年2月7日

我們的教師專業社群-試題分析與審題

去年,2010年,我在本校生物科老師之間組了一個教師專業社群,我們做了試題審題和試題分析。以前我覺得這些事好像沒什麼特別,不過後來我發現這是一件偉大的事情啊。
試題分析我以前就在做了,而試題審題也早就是本校的制度了,這些本來就在做的事情怎麼讓它變成一個社群的運作呢?

開始分析你的試題吧

我教學生涯裡的第一次試題分析,是在開始教書後第一次出段考的題目的時候,那時候我好想知道自己的考卷到底出得怎麼樣。在大三的時候修過的「教育測驗與評量」剛好派上用場,那門課的鄭老師給了我們一個小程式,是他兒子作的,可以用來分析試題的難度和鑑別度,我那時就用這個軟體好好分析了一下我的考卷。

那時候我們沒有用讀卡機,所以我是把好幾個班級的考卷收來,親手把所有幾百個學生的答案打進電腦,然後再作分析,現在想起來,真是覺得那時候太了不起了。假設一張考卷有40題,每個班有40人,然後一個年級有8個班,喔,天啊,這至少要敲鍵盤12800次耶。

雖然教育測驗與評量這門課裡告訴我們,試題經過測驗之後,還應該經過分析得到難度和鑑別度之後,再經過整理做成試題卡,建立成題庫。
這件事知道是知道,可是到底有誰能做到全套呢?

後來我也還是有作試題分析,但只侷限我自己的班級而已,而分析的軟體與方法就改用余民寧在《教育測驗與評量-成就測驗與教學評量》(心理出版社2002年出版)裡的軟體,後來我也有自己寫Excel VBA來做學生問題分析表

一個題目出得難或簡單,是不是有好的鑑別度,光是老師自己說,其實不夠客觀,一定得作了試題分析才知道。

要做試題分析的大前提是試卷得出單選題,因為目前絕大多數的分析方法和軟體都是針對單選題來做的。有了學生作單選題的答案之後,第二個重要的事情就是最好用電腦讀卡,除非你有時間和力氣,可以像我一樣把學生幾千幾萬個選項答案一個個鍵入電腦。

過去我們學校的生物科考卷都是教師自己批改,所以我在開始要求學校改用電腦讀卡時,遭遇過一點點挫折,因為有行政人員認為這只是我們為了要便宜行事,省去改考卷的時間和力氣。不過後來教務主任黃主任很挺我,覺得試題分析這件事很對,所以我們就開始改用讀卡的了。

也因此,我做試題分析的次數,就從自己每年出題一次的考卷,延伸到每年六次的每次考試。我在每次考試之後,都會把學生作答反應作分析,然後寄給每位生物老師該次考試的「問題分析」以及「每一位學生的個別分析」。

用共同審體減少出題者也會有的輕忽

去年年底參加2010思源高中基礎教學研習會的時候,意外知道原來我們學校一直在作一件很了不起的事情。會議裡很多老師提出了一個問題:「課程範圍這麼大,怎麼拿捏教學的內容,才不會在段考考出問題」,我那時候問,這不是透過教師們考試前先溝通出題範圍,彼此審閱過試題不就解決了,後來得知,原來很多學校並沒有試題審題的機制。常常都是段考考完之後,才知道出題超過教學範圍、題目考太難、語意不清...。

我們學校在好幾年之前,就已經有試題審題的機制,每位老師出完題目之後,要找另外一位老師看過試題之後,然後在試卷審題的單子上簽名,再把單子和出好的試卷送教務處,這樣才能送印,這樣的審題機制非常有效地減少了出題者的不經意出錯。

在我們生物老師群中,有些人為了謹慎,會給不只一位老師審試卷。給一位審題和給兩位是差不多的,給兩位審體跟給三位也是差不多的,所以久而久之,在沒有規定之下,我們開始變成了集體審題。在考卷送印之前,拿到試卷的老師會找時間一起討論,看看哪一些題目需要更改,或是重新描述題意。

開始組成社群吧
當我們開始可以用電腦讀卡得到全體學生的作答反應之後,而大家也開始有非制式的共同審題習慣之後,正好教務主任黃主任來問有沒有興趣申請教師專業社群,我想也正是時候,所以我們就開始了正式的校內教師專業社群。

我們的運作很簡單,每次段考送印試卷之前,出題老師就需要先把試卷先送給每個老師看,然後我們選定每週五上午的共同時間一起討論,看看試卷有什麼問題需要修改。出題目的只有一個老師,可是卻有六個老師可以一起盯著題目,這樣的試題品質自然不會差到哪裡囉。和過去比較不一樣的事情是,考卷得早點出好。有多早呢?我們學校的試卷是在段考前兩週前交出送印的,而我們審題會在送印前一週就進行,也就是出題老師必須在段考前三週就把考卷出好。

等到考完試之後,我們就會去把全部的卡片都拿去電腦閱卷,然後我會用得到的作答資料作試題分析,在段考完之後一週內立刻進行試題分析與討論。我們會討論在經過sp table分析之後,那些被歸類為A' 、B 、B'的題目,也就是比較困難的題目,或是具有異質性的題目,看看這些題目為什麼被歸類為比較特殊的題目,然後我們可以從中得到學生可能的迷思概念是什麼,怎麼去修改我們的教學。

過去一年的300多道題目,經過試卷的共同審題控制品質,然後經過試題分析之後。我們的題目絕大多數都是屬於判定類別為A的優良試題。

投影片4



而在鑑別度的部份,通常的標準是這樣:

0.40 以上    極佳的試題
0.30-0.39    尚可的試題,可能需要稍加改進
0.20-0.29    不佳的試題,必須加以改進或棄卻
0.19 以下    極差的試題,應棄卻

從下面這張圖可以看到,我們大多數的題目都屬於高鑑別度的題目。


投影片1



而在難度的部份,我們的試題屬於中等偏易(難度指數越高,代表越簡單)

投影片2


如果把每一題的難度和鑑別度做成XY散布圖,也可以發現我們這些題目的趨勢。

投影片3



當我秀出這樣的統計圖表之後,我說我們的試題有一定的品質,這就有科學依據了,這不是只是靠我們的自我感覺呦。

分析完每次的試題之後,我就開始動腦筋,這些題目經過大量人次的施側(至少900人),得到的數據是很可觀的,如果只是看看哪裡錯,豈不是浪費。所以我就用MS ACCESS把這些題目做成了資料庫,也就是題庫。

題庫2



然後再用Access的報表功能,製成了非常豐富的試題資料本,這包括了試題的題幹、難度、鑑別度、選項率等。這就是教育測驗與評量的書上都會說的試題施測完,經過分析要製成的試題卡啊。

題庫

這在日後出題的用處是:例如這次我要出生殖單元的試卷時,我就可以去翻過去這個單元的測驗中,有哪些題目具有較高的鑑別度,而且難度適中,我只要再把試題做修改,就可以在這次施測中使用,好讓這次的施測成為一個好的學習成就評量。而這些新的題目,在未來也可以再進入題庫,成為未來出題的參考。


後續

教師社群這個概念,其實過去我一直覺得很模糊,不過在2010年開始進行「生物趴辣客」和玩噗浪之後,我才發現原來我已經在開始創造社群以及經營社群了,甚至早在剛畢業沒多久,就在bbs上弄「生物教師討論區」,這也是一項社群的創造與經營。

不過那些做的事情都是屬於校外的社群,是跨校、跨縣市,甚至跨領域的。其實我覺得,社群應該是雙向的,有校外的方向,也應該有校內的方向。校外的社群可以幫我們跨出自己的小圈圈,了解哪邊還有很棒的資源;而校內的社群可以讓校內共同的事務(試題、教學內容、實驗室...)有更好的發展。

我們這個校內社群會進行多久呢?我想可以很久很久,雖然我沒有繼續去申請100年度的社群,因為覺得還要寫計畫,而且花錢很麻煩。不過在沒有這些既定規定的限制下,也許反而會有更多的發展呢。

一件事情如果是對的,就應該堅持繼續做下去。