去年，2010年，我在本校生物科老師之間組了一個教師專業社群，我們做了試題審題和試題分析。以前我覺得這些事好像沒什麼特別，不過後來我發現這是一件偉大的事情啊。
試題分析我以前就在做了，而試題審題也早就是本校的制度了，這些本來就在做的事情怎麼讓它變成一個社群的運作呢？
開始分析你的試題吧
我教學生涯裡的第一次試題分析，是在開始教書後第一次出段考的題目的時候，那時候我好想知道自己的考卷到底出得怎麼樣。在大三的時候修過的「教育測驗與評量」剛好派上用場，那門課的鄭老師給了我們一個小程式，是他兒子作的，可以用來分析試題的難度和鑑別度，我那時就用這個軟體好好分析了一下我的考卷。
那時候我們沒有用讀卡機，所以我是把好幾個班級的考卷收來，親手把所有幾百個學生的答案打進電腦，然後再作分析，現在想起來，真是覺得那時候太了不起了。假設一張考卷有40題，每個班有40人，然後一個年級有8個班，喔，天啊，這至少要敲鍵盤12800次耶。
雖然教育測驗與評量這門課裡告訴我們，試題經過測驗之後，還應該經過分析得到難度和鑑別度之後，再經過整理做成試題卡，建立成題庫。
這件事知道是知道，可是到底有誰能做到全套呢？
後來我也還是有作試題分析，但只侷限我自己的班級而已，而分析的軟體與方法就改用余民寧在《教育測驗與評量-成就測驗與教學評量》(心理出版社2002年出版）裡的軟體，後來我也有自己寫Excel VBA來做學生問題分析表。
一個題目出得難或簡單，是不是有好的鑑別度，光是老師自己說，其實不夠客觀，一定得作了試題分析才知道。
要做試題分析的大前提是試卷得出單選題，因為目前絕大多數的分析方法和軟體都是針對單選題來做的。有了學生作單選題的答案之後，第二個重要的事情就是最好用電腦讀卡，除非你有時間和力氣，可以像我一樣把學生幾千幾萬個選項答案一個個鍵入電腦。
過去我們學校的生物科考卷都是教師自己批改，所以我在開始要求學校改用電腦讀卡時，遭遇過一點點挫折，因為有行政人員認為這只是我們為了要便宜行事，省去改考卷的時間和力氣。不過後來教務主任黃主任很挺我，覺得試題分析這件事很對，所以我們就開始改用讀卡的了。
也因此，我做試題分析的次數，就從自己每年出題一次的考卷，延伸到每年六次的每次考試。我在每次考試之後，都會把學生作答反應作分析，然後寄給每位生物老師該次考試的「問題分析」以及「每一位學生的個別分析」。
用共同審體減少出題者也會有的輕忽
去年年底參加2010思源高中基礎教學研習會的時候，意外知道原來我們學校一直在作一件很了不起的事情。會議裡很多老師提出了一個問題：「課程範圍這麼大，怎麼拿捏教學的內容，才不會在段考考出問題」，我那時候問，這不是透過教師們考試前先溝通出題範圍，彼此審閱過試題不就解決了，後來得知，原來很多學校並沒有試題審題的機制。常常都是段考考完之後，才知道出題超過教學範圍、題目考太難、語意不清...。
我們學校在好幾年之前，就已經有試題審題的機制，每位老師出完題目之後，要找另外一位老師看過試題之後，然後在試卷審題的單子上簽名，再把單子和出好的試卷送教務處，這樣才能送印，這樣的審題機制非常有效地減少了出題者的不經意出錯。
在我們生物老師群中，有些人為了謹慎，會給不只一位老師審試卷。給一位審題和給兩位是差不多的，給兩位審體跟給三位也是差不多的，所以久而久之，在沒有規定之下，我們開始變成了集體審題。在考卷送印之前，拿到試卷的老師會找時間一起討論，看看哪一些題目需要更改，或是重新描述題意。
開始組成社群吧
當我們開始可以用電腦讀卡得到全體學生的作答反應之後，而大家也開始有非制式的共同審題習慣之後，正好教務主任黃主任來問有沒有興趣申請教師專業社群，我想也正是時候，所以我們就開始了正式的校內教師專業社群。
我們的運作很簡單，每次段考送印試卷之前，出題老師就需要先把試卷先送給每個老師看，然後我們選定每週五上午的共同時間一起討論，看看試卷有什麼問題需要修改。出題目的只有一個老師，可是卻有六個老師可以一起盯著題目，這樣的試題品質自然不會差到哪裡囉。和過去比較不一樣的事情是，考卷得早點出好。有多早呢？我們學校的試卷是在段考前兩週前交出送印的，而我們審題會在送印前一週就進行，也就是出題老師必須在段考前三週就把考卷出好。
等到考完試之後，我們就會去把全部的卡片都拿去電腦閱卷，然後我會用得到的作答資料作試題分析，在段考完之後一週內立刻進行試題分析與討論。我們會討論在經過sp table分析之後，那些被歸類為A' 、B 、B'的題目，也就是比較困難的題目，或是具有異質性的題目，看看這些題目為什麼被歸類為比較特殊的題目，然後我們可以從中得到學生可能的迷思概念是什麼，怎麼去修改我們的教學。
過去一年的300多道題目，經過試卷的共同審題控制品質，然後經過試題分析之後。我們的題目絕大多數都是屬於判定類別為A的優良試題。
而在鑑別度的部份，通常的標準是這樣：
0.40 以上 極佳的試題
0.30-0.39 尚可的試題，可能需要稍加改進
0.20-0.29 不佳的試題，必須加以改進或棄卻
0.19 以下 極差的試題，應棄卻
從下面這張圖可以看到，我們大多數的題目都屬於高鑑別度的題目。
而在難度的部份，我們的試題屬於中等偏易（難度指數越高，代表越簡單）
如果把每一題的難度和鑑別度做成XY散布圖，也可以發現我們這些題目的趨勢。
當我秀出這樣的統計圖表之後，我說我們的試題有一定的品質，這就有科學依據了，這不是只是靠我們的自我感覺呦。
分析完每次的試題之後，我就開始動腦筋，這些題目經過大量人次的施側（至少900人)，得到的數據是很可觀的，如果只是看看哪裡錯，豈不是浪費。所以我就用MS ACCESS把這些題目做成了資料庫，也就是題庫。
然後再用Access的報表功能，製成了非常豐富的試題資料本，這包括了試題的題幹、難度、鑑別度、選項率等。這就是教育測驗與評量的書上都會說的試題施測完，經過分析要製成的試題卡啊。
不過那些做的事情都是屬於校外的社群，是跨校、跨縣市，甚至跨領域的。其實我覺得，社群應該是雙向的，有校外的方向，也應該有校內的方向。校外的社群可以幫我們跨出自己的小圈圈，了解哪邊還有很棒的資源；而校內的社群可以讓校內共同的事務（試題、教學內容、實驗室...）有更好的發展。
我們這個校內社群會進行多久呢？我想可以很久很久，雖然我沒有繼續去申請100年度的社群，因為覺得還要寫計畫，而且花錢很麻煩。不過在沒有這些既定規定的限制下，也許反而會有更多的發展呢。
一件事情如果是對的，就應該堅持繼續做下去。
試題分析我以前就在做了，而試題審題也早就是本校的制度了，這些本來就在做的事情怎麼讓它變成一個社群的運作呢？
開始分析你的試題吧
我教學生涯裡的第一次試題分析，是在開始教書後第一次出段考的題目的時候，那時候我好想知道自己的考卷到底出得怎麼樣。在大三的時候修過的「教育測驗與評量」剛好派上用場，那門課的鄭老師給了我們一個小程式，是他兒子作的，可以用來分析試題的難度和鑑別度，我那時就用這個軟體好好分析了一下我的考卷。
那時候我們沒有用讀卡機，所以我是把好幾個班級的考卷收來，親手把所有幾百個學生的答案打進電腦，然後再作分析，現在想起來，真是覺得那時候太了不起了。假設一張考卷有40題，每個班有40人，然後一個年級有8個班，喔，天啊，這至少要敲鍵盤12800次耶。
雖然教育測驗與評量這門課裡告訴我們，試題經過測驗之後，還應該經過分析得到難度和鑑別度之後，再經過整理做成試題卡，建立成題庫。
這件事知道是知道，可是到底有誰能做到全套呢？
後來我也還是有作試題分析，但只侷限我自己的班級而已，而分析的軟體與方法就改用余民寧在《教育測驗與評量-成就測驗與教學評量》(心理出版社2002年出版）裡的軟體，後來我也有自己寫Excel VBA來做學生問題分析表。
一個題目出得難或簡單，是不是有好的鑑別度，光是老師自己說，其實不夠客觀，一定得作了試題分析才知道。
要做試題分析的大前提是試卷得出單選題，因為目前絕大多數的分析方法和軟體都是針對單選題來做的。有了學生作單選題的答案之後，第二個重要的事情就是最好用電腦讀卡，除非你有時間和力氣，可以像我一樣把學生幾千幾萬個選項答案一個個鍵入電腦。
過去我們學校的生物科考卷都是教師自己批改，所以我在開始要求學校改用電腦讀卡時，遭遇過一點點挫折，因為有行政人員認為這只是我們為了要便宜行事，省去改考卷的時間和力氣。不過後來教務主任黃主任很挺我，覺得試題分析這件事很對，所以我們就開始改用讀卡的了。
也因此，我做試題分析的次數，就從自己每年出題一次的考卷，延伸到每年六次的每次考試。我在每次考試之後，都會把學生作答反應作分析，然後寄給每位生物老師該次考試的「問題分析」以及「每一位學生的個別分析」。
用共同審體減少出題者也會有的輕忽
去年年底參加2010思源高中基礎教學研習會的時候，意外知道原來我們學校一直在作一件很了不起的事情。會議裡很多老師提出了一個問題：「課程範圍這麼大，怎麼拿捏教學的內容，才不會在段考考出問題」，我那時候問，這不是透過教師們考試前先溝通出題範圍，彼此審閱過試題不就解決了，後來得知，原來很多學校並沒有試題審題的機制。常常都是段考考完之後，才知道出題超過教學範圍、題目考太難、語意不清...。
我們學校在好幾年之前，就已經有試題審題的機制，每位老師出完題目之後，要找另外一位老師看過試題之後，然後在試卷審題的單子上簽名，再把單子和出好的試卷送教務處，這樣才能送印，這樣的審題機制非常有效地減少了出題者的不經意出錯。
在我們生物老師群中，有些人為了謹慎，會給不只一位老師審試卷。給一位審題和給兩位是差不多的，給兩位審體跟給三位也是差不多的，所以久而久之，在沒有規定之下，我們開始變成了集體審題。在考卷送印之前，拿到試卷的老師會找時間一起討論，看看哪一些題目需要更改，或是重新描述題意。
開始組成社群吧
當我們開始可以用電腦讀卡得到全體學生的作答反應之後，而大家也開始有非制式的共同審題習慣之後，正好教務主任黃主任來問有沒有興趣申請教師專業社群，我想也正是時候，所以我們就開始了正式的校內教師專業社群。
我們的運作很簡單，每次段考送印試卷之前，出題老師就需要先把試卷先送給每個老師看，然後我們選定每週五上午的共同時間一起討論，看看試卷有什麼問題需要修改。出題目的只有一個老師，可是卻有六個老師可以一起盯著題目，這樣的試題品質自然不會差到哪裡囉。和過去比較不一樣的事情是，考卷得早點出好。有多早呢？我們學校的試卷是在段考前兩週前交出送印的，而我們審題會在送印前一週就進行，也就是出題老師必須在段考前三週就把考卷出好。
等到考完試之後，我們就會去把全部的卡片都拿去電腦閱卷，然後我會用得到的作答資料作試題分析，在段考完之後一週內立刻進行試題分析與討論。我們會討論在經過sp table分析之後，那些被歸類為A' 、B 、B'的題目，也就是比較困難的題目，或是具有異質性的題目，看看這些題目為什麼被歸類為比較特殊的題目，然後我們可以從中得到學生可能的迷思概念是什麼，怎麼去修改我們的教學。
過去一年的300多道題目，經過試卷的共同審題控制品質，然後經過試題分析之後。我們的題目絕大多數都是屬於判定類別為A的優良試題。
而在鑑別度的部份，通常的標準是這樣：
0.40 以上 極佳的試題
0.30-0.39 尚可的試題，可能需要稍加改進
0.20-0.29 不佳的試題，必須加以改進或棄卻
0.19 以下 極差的試題，應棄卻
從下面這張圖可以看到，我們大多數的題目都屬於高鑑別度的題目。
而在難度的部份，我們的試題屬於中等偏易（難度指數越高，代表越簡單）
如果把每一題的難度和鑑別度做成XY散布圖，也可以發現我們這些題目的趨勢。
當我秀出這樣的統計圖表之後，我說我們的試題有一定的品質，這就有科學依據了，這不是只是靠我們的自我感覺呦。
分析完每次的試題之後，我就開始動腦筋，這些題目經過大量人次的施側（至少900人)，得到的數據是很可觀的，如果只是看看哪裡錯，豈不是浪費。所以我就用MS ACCESS把這些題目做成了資料庫，也就是題庫。
然後再用Access的報表功能，製成了非常豐富的試題資料本，這包括了試題的題幹、難度、鑑別度、選項率等。這就是教育測驗與評量的書上都會說的試題施測完，經過分析要製成的試題卡啊。
後續
教師社群這個概念，其實過去我一直覺得很模糊，不過在2010年開始進行「生物趴辣客」和玩噗浪之後，我才發現原來我已經在開始創造社群以及經營社群了，甚至早在剛畢業沒多久，就在bbs上弄「生物教師討論區」，這也是一項社群的創造與經營。不過那些做的事情都是屬於校外的社群，是跨校、跨縣市，甚至跨領域的。其實我覺得，社群應該是雙向的，有校外的方向，也應該有校內的方向。校外的社群可以幫我們跨出自己的小圈圈，了解哪邊還有很棒的資源；而校內的社群可以讓校內共同的事務（試題、教學內容、實驗室...）有更好的發展。
我們這個校內社群會進行多久呢？我想可以很久很久，雖然我沒有繼續去申請100年度的社群，因為覺得還要寫計畫，而且花錢很麻煩。不過在沒有這些既定規定的限制下，也許反而會有更多的發展呢。
一件事情如果是對的，就應該堅持繼續做下去。
