地质数据处理基础课件.pptx

地質數據處理基礎統計數據的採集與預處理1、地質數據的採集2、數據的預處理3、數據的計量尺度1數據的採集以某化探數據的採集為例，步驟：採樣設計(按國家、行業規範);採樣(保證質和量、記錄規範、必要的備註)；加工(防止污染和編號錯亂)；送樣化驗分析(根據研究目的和研究對象的內在關聯性來確定分析專案、選擇分析方法、儀器類型)。遙感數據是常用的地質數據之一，訂購數據要選擇航天器的類型、波段的特點，產品的級別等等。2數據預處理數據預處理的必要性沒有乾淨的數據不可能獲得好的處理結果；任何數據都是有污染的、有冗餘的；數據一般有多種格式的，要進行統一格式或格式規範化；空間數據要進行必要的幾何(變形)校正；數據的度量單位要匹配處理；任何數據都是有誤差的，要進行誤差處理；數據總體空間與數據樣本空間的一致性(或＝)；數據讀寫(IO)與處理軟體之間的轉換；數據預處理數據預處理(datapreprocessing)或數據清洗(datascrubbing)或數據清理(datacleaning)或數據淨化(datacleansing)是數據處理的第一步。目的：使數據適合於後續的處理工作，提高數據的準確度、整體性、可用性，有助於提高數據處理的品質。數據預處理的基本方法不同類型的數據有不同的預處理方法，不同學科的數據有不同的預處理內容。如遙感數據，要進行輻射校正、幾何校正、系統誤差的補償、隨機誤差的平滑等等。對化探數據，要進行完整性檢查、數據冗餘檢查、不同批次或不同儀器之間的數據進行系統誤差的處理等等。對礦石品位數據要進行樣品的厚度、長度加權、特高品位的處理等等。預處理的主要內容完整性：空間的分佈、線距點距的規律性；合規性：滿足規範要求；冗餘與缺失的處理；系統誤差的補償；隨機誤差的平滑；數據預處理方法1.對於地質數據，可以作出各種圖件進行直觀判斷：如做樣品空間(採樣)分佈圖，檢查樣品的缺失和重複；等值線平面圖，等等；如果出現樣品缺失時，採取線性插值或近鄰窗口插值的方法，用手工補全數據，如果樣品重複，手工處理(剔除)；樣品空間分佈平面圖預處理方法2.平面等值線圖：對一些冗餘的數據進行必要的剔除。預處理方法3.統計法：如頻數分佈圖。統計法的理論基礎是客觀世界中絕大部分的實體屬性數據為正態分佈。預處理方法4.三維可視化：去除不合理的數據。3數據的計量尺度定類尺度定序尺度定距尺度定比尺度四種計量尺度數據的計量尺度定類尺度(概念要點)計量層次最低對事物進行平行的分類各類別可以指定數字代碼表示使用時必須符合類別窮盡和互斥的要求數據表現為“類別”具有=或?的數學特性定序尺度(概念要點)對事物分類的同時給出各類別的順序比定類尺度精確未測量出類別之間的準確差值數據表現為“類別”，但有序具有或的數學特性定距尺度(概念要點)1. 對事物的準確測度2. 比定序尺度精確3. 數據表現為“數值”4.沒有絕對零點5. 具有+或-的數學特性定比尺度1. 對事物的準確測度2. 與定距尺度處於同一層次3. 數據表現為“數值”4.有絕對零點5. 具有?或?的數學特性四種計量尺度的比較四種計量尺度的比較定類尺度定序尺度定距尺度定比尺度分類（＝，≠）排序（，)間距（+，-）比值（×，÷）√√√√√√√√√√計量尺度數學特性“√”表示該尺度所具有的特性定類數據定序數據定距數據定比數據品質數據數量數據非參數方法參數方法數據類型與統計方法數據類型與統計方法數字變數定類變數定序變數離散變數連續變數變數及其類型變量總量指標相對指標平均指標比例時期指標比率時點指標統計指標及其類型統計指標數據的品質要求1.精度：最低的抽樣誤差或隨機誤差；2.準確性：最小的非抽樣誤差或偏差；3.關聯性：符合數據間的內在關聯性，同時滿足用戶決策、管理和研究的需要；4.及時性：在最短的時間裏取得並公佈數據；5.一致性：數據屬性的可比性；6.最低成本：以最經濟的方式取得數據。原始數據的檢查邏輯檢查從定性角度，審核數據是否符合邏輯，內容是否合理，各項目或數字之間有無相互矛盾的現象；主要用於對定類數據和定序數據的審核；計算檢查檢查調查表中的各項數據在計算結果和計算方法上有無錯誤；主要用於對定距和定比數據的審核；第二手數據數據的檢查1.適用性審核弄清楚數據的來源、數據的口徑以及有關的背景材料；確定數據是否符合自己分析研究的需要；2.時效性審核適用於有時效性的樣品分析數據，如水樣品；應盡可能使用可靠的數據；3.確認是否必要做進一步的加工整理；數據的篩選對審核過程中發現的錯誤應盡可能予以糾正當發現數據中的錯誤不能予以糾正，或者有些數據不符合調查的要求而又無法彌補時，需要對數據進行篩選數據篩選的內容包括：將某些不符合要求的數