上週從簡欲尋老師的臉書,看到了她分享的過去幾年由心測中心提供的會考各科各題答題率的資料。
心測中心公佈的都是一群數字的「資料」,真要從裡頭看出端倪,還需要透過整理與視覺化才能成為有意義的「資訊」,再經過學科專家的判斷解讀成為「知識」,然後才能運用知識解決實際問題,形成「智慧」。
資料長什麼樣呢?一群數字,實在看不出什麼東西對吧?
為了把資料轉成資訊,我寫了幾支程式,為各科做出了像這樣的PDF檔,每頁的順序是通過率由低到高。每頁包含了三張圖,分別是各選項答題率、該題在整體的通過率和鑑別度的位置,另外就是題目圖檔。
在各選項答題率的圖中,X軸的排序規則是:第一個是標準答案,以這題來說,就是D選項。接下來的排序為ACB,代表扣掉標準答案後,全體回答率的順序為ACB。
以下圖的解讀就是「此題標準答案為D,而『基礎』的學生群體,大多回答A選項,『待加強』的學生群體則是大多回答C選項」,而在通過率和鑑別度的圖中,紅點為此題的分佈位置,代表「本次會考自然科中,此題是通過率最低,鑑別度也最低的題目。」
再來看一題,是111年會考自然科的第一題。從左下圖可以看出,無論基礎或待加強的學生,對此題的作答反應都相似,而這樣的答題曲線也反映在右下圖,此題的鑑別度不高(因為高分低分都可以答對)
我製作了兩種版本的PDF檔案,分別是以題號排序和以通過率排序,你可以從這裡看到這些檔案。
https://drive.google.com/drive/folders/1lGwWoDVc5P8RNIn5y16-U33w38b6cIct?usp=sharing
你可以怎麼用?
- 開啟通過率排序的檔案,檢視前10頁,那代表前十大難題。使用全螢幕檢視或是簡報模式觀察這個PDF,看看這些題目的答題曲線有什麼特徵?看看待加強的學生最常答哪些選項?分析看看他們為什麼這麼作。
- 看看最簡單的題目答題曲線(最後一頁),如果把它當作基本的圖形,它像是個反J型。去找找看哪些題目的圖形不是反J型,例如下圖。通常代表某些選項有強的誘答力,思考看看為什麼?想想學生是怎麼想的?