97年度上半年各受评学校系所认可结果统计-财团法人高等教育评监.docVIP

【財團法人高等教育評鑑中心基金會新聞稿】 一份「張冠李戴」、用技職教師來「魚目混珠」的 調查結果能信嗎？ 發稿日期：101.9.25 高等教育產業工會9月25日發表問卷調查結果，卻出現調查方法嚴重弄錯調查母體與對象、用技職教師來「魚目混珠」、「張冠李戴」的離譜錯誤！該問卷本欲調查大學教師對於第一週期系所評鑑的看法，但工會卻將問卷發給根本未參與第一週期系所評鑑的科技大學與技術學院教師填答；且問卷採用毫無防堵重複填寫功能的Google Docs來設計表單，致使任何有心人士都可以上網無限次的重複填寫、灌水操作。此種不當的調查方法，在在顯示出該項調查的結果毫無信度與效度可言，不足採信。 ◎系所評鑑只評鑑高教體系大學 問卷卻發給技職體系教師填答 高等教育評鑑中心指出，第一週期系所評鑑的受評對象僅限全國高教體系（不含技職）79所大學，並未涵蓋技職體系學校（科技大學與技術學院）。而教育部統計，100學年度全國高教體系大學教師人數為26,433人，科技大學與技術學院教師人數為21,805人，合計全國大學教師數共48,238人，但根據高教工會所公布的報告書，該問卷調查的抽樣母體卻將全國48,238名大學教師一網打盡，亦即該工會將問卷毫無篩選的也發給技職體系教師填答。此舉就如同調查公共場所女性洗手間的數量是否充足，卻將問卷發給男性填答一樣的離譜與不可思議！因許多科技大學與技術學院教師並不了解技職體系的評鑑並非高教評鑑中心所做（高教評鑑中心經常接獲技職體系教師來電詢問技職評鑑問題），故收到調查後照實填答的機率相當高，而問卷中也無調查填答者是否來自技職體系或高教體系的問項，以致701份回收的問卷中，究竟有多少份來自技職體系的錯誤問卷，多少份才是真正有效可以採計的正確問卷，完全無法得知與篩選出來，造成調查結果「用技職來魚目混珠」的重大錯誤！如此事實不分、「張冠李戴」的離譜調查，其結果如何能夠取信於民？更遑論干預政策之實施。 ◎網路問卷無灌水防堵機制 也沒有剔除篩選功能 另一項調查方法的錯誤，為該問卷使用Google Docs來設計問卷表單，除了以email將問卷網址寄給包含技職體系在內的大學教師，邀請其上網填答外，也放在該工會的網站上供訪客任意填寫；但眾所皆知，Google Docs沒有防堵重複填寫的功能，導致任何人都可能蓄意灌水操作，造假資料，影響調查結果；且該問卷也沒有鎖IP或要求登入帳號密碼，亦未強制填答者填寫email信箱以供查核，等於毫無確認填答者身分是否為真以及剔除重複填答的篩檢功能！學者指出，這種不夠客觀的抽樣過程，已大大減低資料可信度與結果的真實性。 ◎八點研究方法質疑 請問高教工會 高教評鑑中心綜合歸納高教工會的調查報告內容，列舉出下列與調查研究方法有關的八大疑點，不僅讓人不敢承受此份問卷竟是以社會學者為首的團體所做（調查方法是社會學系必修課程），恐怕也會讓修過研究法的大學生目瞪口呆： 問卷要問填答者對高教評鑑中心辦理的高教體系一般大學校院系所評鑑意見，為什麼也寄給不是由高教評鑑中心辦理評鑑的技職校院教師填答？ 網路問卷寄發18,000人，回收701人，調查回收率為何是51.24%？不應該是3.89%嗎？誠實報導而非玩弄數字，是不是研究的基本精神？ 為何有近半開啟問卷的人不願填答？為何有16,114名專任教師（占調查對象的89.5%）連調查問卷都不開啟，都不理會？ 未回應者誤差（non-response error）如何考慮？填答的701人和不填答的17,299人有何不同？701人如何代表18,000人？甚至如何代表全體教師（含高教體系與技職體系）48,238人？ 既是抽樣調查，不需考慮加權的問題嗎？既求代表性，為何又立意抽樣？還是名為立意抽樣，實為方便取樣，又無篩選機制？是用錯了名詞？還是用錯了抽樣方法？ 自由選答的開放題答案可以作分析，但可以用量化方式處理嗎？可以聲稱其代表性嗎？還是只能視為個別意見的表達？基本上只有200多人填答開放式問題，若真的要以量化處理計算比例，是除以701人，還是除以200多人？移花接木式的灌水好嗎？ 台灣高等教育學會所辦理的後設評鑑調查是二分量表嗎？還是五分量表但轉為二分法分析？沒有質性部分嗎？批評者看過該後設評鑑調查之量表嗎？（看來沒有）看過整份調查報告嗎？如果沒有，這樣的評論是不是過度一廂情願？或另有目的？ 高教工會網路問卷有任何第三方認證機制嗎？ ◎由真出發 追求卓越 高教體系一般大學校院第二週期系所評鑑已經啟動，這701份意見，不論是否偏頗，是否具有代表性，高教評鑑中心都會認真研究，也期盼高教社群發揮求真求是的精神，先了解高教評鑑的精神與內容，並惠賜改進意見，對於高等教育發展，才能帶來正向改進的力量，建立社會大