校务研究之资料爬梳清理及工具运用-中国文化大学校务研究办公室.PDFVIP

校務研究之資料爬 梳清理及工具運用 大同大學校務研究專案研究室陳明賢 緣起–個人申請分析 • 競爭(標竿)系組第一階段都檢定什麼科目? 篩選 什麼科目、倍率? • 競爭(標竿)系組甄試費訂多少? • 哪些系組有原住民(離島)外加名額? 全國共有多 少?競爭(標竿)系組有多少? 公私立分佈? • … 緣起– 個人申請分析 • 未報名第二階段分析、第二階段缺考分析 • 同校重榜、同系重榜分析 • 以正、備取分發分析 • 正、備取未分發之流失去向分析 • 同校內部分發競爭分析 • … 「爬梳」網頁 • 資料以半結構化、嵌在網頁中 • 因此，需要「爬梳」網頁 內部資料vs 外部資料 • 內部資料 • 外部資料 • 可完全掌控 • ? • 可DB-to-DB匯入 • ? • 知道欄位意義 • ? • 知道欄位值域 • ? • … • ? 爬梳有什麼難 • 爬一頁vs 爬很多頁 • 1964系組 • 18萬多人次 • 在系列網頁中，找出其間共用的樣板構造 爬梳程序 • 爬取網頁 • 剖析網頁標籤 • 淬取出資料 • 初步的資料再格式化 • 存入ODS ，待後序清理、轉換 爬梳工具 • 自行撰寫爬梳程式 • Java, PHP, Node.js … 都有函式庫 • jsoup: Java HTML Parser • scrape and parse HTML from a URL, file, or string • find and extract data, using DOM traversal or CSS selectors • … 爬梳工具 • Google試算表: formula importhtml() 爬梳工具 • Chrome store裡有一大堆 爬梳工具 • import.io: 爬蟲服務 • 號稱不會寫程式也能爬網頁 • 試用期過後要收費 爬梳工具 • data miner: 爬蟲服務 爬梳工具 • 不同工具各有特長及進入門檻 • 沒有一樣工具能應付所有網站、網頁 • 混搭 爬梳不友善的網頁 • 表面上一樣，背地裡的源始碼卻不用同一個樣 板 • Eg: 故意用不同的class value 為何要資料清理 • 爬梳進來的資料，通常會有錯誤，原因可能是 • 來源網頁有誤 • 對資料認識不完整 ，致使爬梳程序有誤解資料 • … • 通過資料清理程序，以確保資料品質! 資料特徵 (Data Profiling) • data’s content, consistency, structure … • 包含幾個層次 • 欄位值的值域(合理性) • 多重欄位值的一致性 • 多重欄位值之間更複雜的商業規則 • 透過自動化、半自動化程序，甚至人工介入、 判斷 • 不能沒有領域知識 資