一種氣象數據質量控制處理方法及系統的制作方法
【專利摘要】本發明適用于數據處理領域，提供了一種氣象數據質量控制處理方法及系統，所述方法包括如下步驟：接收原始氣象數據；判斷所述原始氣象數據是否存在異常數據；當判定所述原始氣象數據存在異常數據時，對所述異常數據進行校正處理；將校正了異常數據的氣象數據輸出。本發明實施例，通過對采集的氣象數據進行填充、修正，提高氣象數據的準確度，為氣象預報工作帶來方便。
【專利說明】一種氣象數據質量控制處理方法及系統
【技術領域】
[0001] 本發明屬于數據處理領域，尤其涉及一種氣象數據質量控制處理方法及系統。
【背景技術】
[0002] 由于目前國內的氣象觀察站具有站點分布密集、地形差異大、測站環境惡劣、數據 采集和傳輸自動化程度高、資料實時性強、中小尺度天氣現象明顯等特點，而且觀測的個體 較多，如溫度、濕度、不同的污染性氣體的含量、污染型顆粒物的含量等，這些個體間的觀測 及數據的處理又存在一定的差異，所以其觀測數據的質量問題比人工常規地面觀測資料顯 得更為復雜和嚴重，再加上觀測過程中斷電、儀器的性能因素影響以及周邊環境的突發情 況會造成氣象數據出現非正常值，現有技術中，并沒有對這些出現問題的數據進行檢測和 處理，因此可能使這些未經處理的原始觀測數據出現較大的偏差。
【發明內容】
[0003] 本發明實施例提供一種氣象氣象數據質量控制處理方法，旨在解決采集的氣象數 據出現缺測、負值或異常情況，降低了氣象數據準確度的問題。
[0004] 本發明實施例是這樣實現的，一種氣象數據質量控制處理方法，所述方法包括如 下步驟：
[0005] 接收原始氣象數據；
[0006] 判斷所述原始氣象數據是否存在異常數據；
[0007] 當判定所述原始氣象數據存在異常數據時，對所述異常數據進行校正處理；
[0008] 將校正了異常數據的氣象數據輸出。
[0009] 本發明實施例還提供一種氣象數據質量控制處理系統，所述系統包括：
[0010] 數據接收單元，用于接收原始氣象數據；
[0011] 異常數據判斷單元，用于判斷所述原始氣象數據是否存在異常數據；
[0012] 異常數據處理單元，用于當判定所述原始氣象數據存在異常數據時，對所述異常 數據進行校正處理；
[0013] 校正數據輸出單元，用于將校正了異常數據的氣象數據輸出。
[0014] 本發明實施例，通過對采集的氣象數據進行填充、修正，提高氣象數據的準確度， 為氣象預報工作帶來方便。
【專利附圖】
【附圖說明】
[0015] 圖1為本發明實施例提供的氣象數據質量控制處理方法的實施環境圖；
[0016] 圖2為本發明實施例提供的氣象數據質量控制處理方法的流程圖；
[0017] 圖3為本發明實施例提供的對異常數據的校正處理的流程圖；
[0018] 圖4為本發明實施例提供的對缺測值處理的流程圖；
[0019] 圖5為本發明實施例提供的對負值處理的流程圖；
[0020] 圖6為本發明實施例提供的對異常值處理的流程圖；
[0021] 圖7為本發明實施例提供的氣象數據質量控制處理系統的結構圖。
【具體實施方式】
[0022] 為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對 本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并 不用于限定本發明。
[0023] 本發明實施例通過對采集的氣象數據進行填充、修正，提高氣象數據的準確度。
[0024] 為了說明本發明所述的技術方案，下面通過具體實施例來進行說明。
[0025] 圖1示出了本發明實施例提供的氣象數據質量控制處理方法的實施環境，該實施 環境包括：大氣成分觀測站110、中心站服務器120和氣象局信息綜合顯示平臺130。
[0026] 大氣成分觀測站110采集大氣成分觀測原始氣象數據，并存儲。環境氣象中心服 務器120在每時間段內讀取的大氣成分觀測站110采集的大氣成分原始氣象數據，進行篩 選和修正后生成小時平均數據上傳到氣象局信息綜合顯示平臺130上。
[0027] 在本發明實施例中，篩選可以為對原始氣象數據的進行判斷是否為缺測值、負值 和異常值并作出標識。
[0028] 修正可以為對原始氣象數據中缺測值、負值和異常值進行數據處理。
[0029] 圖2示出了本發明實施例提供的氣象數據質量控制處理方法的實現流程，祥述如 下：
[0030] 在步驟S201中，接收原始氣象數據；
[0031] 以預設時間段為單位接收大氣成分觀測站傳輸的觀測原始氣象數據。
[0032] 在本發明實施例中，預設時間段可以是每5分鐘作為一次收集的時間段。
[0033] 在本發明其他實施例中，預設時間段還可以是15分鐘或者一個小時作為一次收 集的時間段。
[0034] 在步驟S202中，判斷所述原始氣象數據是否存在異常數據；
[0035] 異常數據可以為缺測值、負值或異常值。其中缺測值是指在數據采集過程中，因發 生異常，使某一預設時間段應采集的數據沒有采集，導致該對應時間段的數據缺失。負值是 指觀測到的大氣成分數據小于零的值。異常值指由于觀測過程中儀器的性能因素影響以及 周邊環境的突發情況影響，造成觀測數據出現異常情況，即連續觀測的氣象數據中不符合 氣象數據變化規律的數據，因此需要對原始觀測數據做進一步的異常數據判定與修正。
[0036] 在步驟S203中，當判定所述原始氣象數據存在異常數據時，對所述異常數據進行 校正處理并輸出；
[0037] 數據校正處理包括：填充缺測值、更新負值、修改異常值和線性偏移校準。
[0038] 在步驟S204中，計算大氣成分觀測平均數并輸出。
[0039] 待所有原始氣象數據校正處理完成后，讀取一小時內已校正了異常數據的不包含 異常數據標識的氣象數據，然后計算其平均值輸出。
[0040] 圖3示出了本發明實施例提供的對異常數據的校正處理流程，詳述如下：
[0041] 在步驟S301中，判斷原始氣象數據是否存在缺測值；
[0042] 在步驟S302中，當判斷缺測值存在時，統計缺測值個數，并根據統計的缺測值個 數進行數據處理；
[0043] 根據缺測值的個數可以進行數據填充處理，還可以進行數據異常標識處理。
[0044] 在步驟S303中，當判斷不存在缺測值或者對存在的缺測值進行處理后，進一步判 斷原始氣象數據是否為負值；
[0045] 通過缺測值的處理方法填充的數據，有可能存在為異常數據的情況，仍需要參與 判斷是否為負值或者異常值。
[0046] 例如：缺測值處理方法為取缺測值前面和后面兩個數據的平均值來填充缺測值。 如果前后兩個數據為負值或者異常值，則平均得到的數據仍可能出現負值或者異常值的情 況，所以，不僅需要對非缺測值而且需要對已進行缺測值處理的數據，均進一步參與是否為 負值的判斷。
[0047] 現由于觀測儀器的噪音和靈敏度問題，易出現數據負值，但需要根據不同的大氣 要素針對所采集的數據負值范圍做相應的處理，提高數據的精確度。
[0048] 在步驟S304中，當判斷數據為負值時，通過負值處理算法將出現的負值進行更 新；
[0049] 在設定范圍內的負值，將負值更新為指定值，不在設定范圍內的負值，作出數據異 常標識。
[0050] 在步驟S305中，當判斷數據不為負值或對已判定的異常進行處理后，進一步判斷 原始氣象數據是否為異常值；
[0051] 異常值指由于觀測過程中儀器的性能因素影響以及周邊環境的突發情況影響，造 成觀測數據出現異常情況，即連續觀測的氣象數據中不符合氣象數據變化規律的數據。
[0052] 在步驟S306中，當判斷數據為異常值時，通過異常值處理算法對異常值進行修 改；
[0053] 當判定為異常值時，通過異常值出現前后臨近數據的平均值來替換出現的異常 值。當判定為非異常值即有效值時，保留該有效數據不變。
[0054] 在本發明實施例中，對異常數據的校正處理流程可以為：首先對原始氣象數據判 斷是否存在缺測值，然后進一步判斷是否為負值，最后對原始氣象數據是夠為異常值進行 判斷。
[0055] 在本發明其他實施例中，對異常數據的校正處理流程還可以為：首先對原始氣象 數據判斷是否存在缺測值，然后進一步判斷是否為異常值，最后判斷是否為負值；或者首先 對原始氣象數據判斷是否為負值，然后進一步判斷是否為異常值，最后判斷是否存在缺測 值等流程。
[0056] 圖4示出了本發明實施例提供的對缺測值的處理流程，詳述如下：
[0057] 在步驟S401中，統計缺測值的個數；
[0058] 預設時間段內出現某一時刻數據缺失或某幾個時刻數據缺失的情況，并統計在該 時間段內對應時刻數據缺失的個數。
[0059] 在本發明實施例中，預設時間段可以為每35分鐘作為一次數據收集的時間段。將 該時間段內收集的數據作為滑動窗數據塊。
[0060] 在本發明其他實施例中，預設時間段還可以為不超過一小時的時間作為一次數據 收集的時間段。
[0061] 在步驟S402中，當缺測值的個數〈設定值時，通過平均值來填充缺測值；
[0062] 當預測值前后的數據不為缺測值時，通過缺測值前后數據的平均值來填充該缺 測值，來保證曲線的連續性。
[0063] 當缺測值前面或者后面為缺測值時，通過預設時間段內的數據（即整個滑動窗數 據塊）平均值填充。
[0064] 本發明實施例中，可以設置缺測值個數〈3,當缺測值前后的數據不為缺測值時，將 該缺測值的前一時刻對應的采集數據值與后一時刻對應的采集數據值，取兩者的平均值作 為缺測值的值進行填充。
[0065] 當缺測值前面或后面的數據為缺測值時，通過預設時間段內數據（即整個滑動窗 數據塊）的平均值填充。
[0066] 在步驟S403中，當缺測值個數 >=設定值時，將缺測值作數據異常標識并保留。 [0067] 在此情況下，缺測值不能作填充處理，保留缺測值的數據異常標識為了最終不參 與小時平均值的計算。
[0068] 圖5示出了本發明實施例提供的對負值的處理流程，在原始大氣成分觀測數據 中，針對反應性氣體設定的負值范圍，不同于針對顆粒物質量濃度設定的負值范圍，但在不 同設定范圍內判定為負值的數據處理方式相同，具體流程詳述如下：
[0069] 在步驟S501中，設定原始大氣成分觀測數據的負值范圍，并判斷負值是否在該范 圍內；
[0070] 原始大氣成分觀測的數據可以分為兩類，其中一類氣象數據針對反應性氣體，如： 03、N0-N0 2-N0x、CO、S02等，另一類氣象數據針對顆粒物質量濃度，如：PM2. 5、PM1(I等。
[0071] 在本發明實施例中，當反應性氣體對應的數據大于-2且小于0時，判定為負值，當 顆粒物質量濃度對應的數據大于-20且小于0時，判定為負值。
[0072] 在本發明其他實施例中，當反應性氣體對應的數據小于等于_2時，判定為負值， 當顆粒物質量濃度對應的數據小于等于-20,均判定為負值。
[0073] 在步驟S502中，當判定負值在設定范圍內時，將負值更新為指定值；
[0074] 在本發明實施例中，負值需要替換的確定值可以為0. 5。
[0075] 在步驟S503中，當判定負值不在設定范圍內時，對負值作出數據異常標識。
[0076] 圖6示出了本發明實施例提供的對異常值的處理流程，詳述如下：
[0077] 在步驟S601中，讀取滑動窗數據塊的值；
[0078] 滑動窗的大小可以為7,該滑動窗數據塊的值對應7個5分鐘數據的平均值。滑動 窗中心位置的數據為當前觀測的5分鐘內數據，并設定當前觀測的5分鐘數據為第i個數 據，然后讀取當前觀測數據及當前觀測數據的前面3個5分鐘數據和后面3個5分鐘數據 組成滑動窗數據塊。若在滑動窗數據塊中，第i個數據前面或者后面不足3個數據時，讀取 位置i的數據及前面或者后面的全部數據組成滑動窗數據塊。
[0079] 在步驟S602中，計算滑動窗數據塊的平均值和標準差；
[0080] 平均值1的計算公式為：
【權利要求】
1. 一種氣象數據質量控制處理方法，其特征在于，所述方法包括如下步驟： 接收原始氣象數據； 判斷所述原始氣象數據是否存在異常數據； 當判定所述原始氣象數據存在異常數據時，對所述異常數據進行校正處理； 將校正了異常數據的氣象數據輸出。
2. 如權利要求1所述的氣象數據質量控制處理方法，其特征在于，所述異常數據包括： 缺測值、負值或異常值； 缺測值為數據采集過程中，對應時刻的數據缺失； 負值為所述原始氣象數據中小于零的數據； 異常值為不符合氣象數據變化規律的數據。
3. 如權利要求2所述的氣象數據質量控制處理方法，其特征在于，所述判斷所述原始 氣象數據是否存在異常數據具體包括： 按照預設順序依序判斷所述原始氣象數據是否為缺測值、負值和異常值，若所述原始 氣象數據為缺測值，或者負值，或者為異常值，則判定所述原始氣象數據為異常數據，其中 預設順序可任意設置。
4. 如權利要求3所述的氣象數據質量控制處理方法，其特征在于，所述按照預設順序 依序判斷所述原始氣象數據是否為缺測值、負值和異常值具體包括： 判斷預設時間段內的所述原始氣象數據是否存在缺測值，若是，則判定所述原始氣象 數據為異常數據； 當判定預設時間段內的所述原始氣象數據不存在缺測值或者對存在缺測值的所述原 始氣象數據進行處理后，進一步判斷所述原始氣象數據是否為負值，若是，在判定所述原始 氣象數據為異常數據； 當判定所述原始氣象數據不為負值或者對判定為異常數據的所述原始氣象數據進行 處理后，進一步判斷所述原始氣象數據是否為異常值，若是，則判定所述原始氣象數據為異 常數據，否則，判定所述原始氣象數據為非異常數據。
5. 如權利要求4所述的氣象數據質量控制處理方法，其特征在于，當判定預設時間段 內的所述原始氣象數據存在缺測值時，所述對所述異常數據進行校正處理具體包括： 統計預設時間段內的氣象數據中存在缺測值的氣象數據的個數，當存在缺測值的氣象 數據的個數小于設定值時，所述缺測值前后的兩個數據不為缺測值時，通過所述缺測值前 后數據的平均值來填充存在缺測值的氣象數據，所述缺測值前面或后面為缺測值時，通過 預設時間段內的全部數據的平均值來填充存在缺測值的氣象數據； 當存在缺測值的氣象數據的個數大于或者等于設定值時，對所述缺測值作數據異常標 識。
6. 如權利要求4所述的氣象數據質量控制處理方法，其特征在于，當判定所述原始氣 象數據為負值時，所述對所述異常數據進行校正處理具體包括： 若為負值的所述原始氣象數據的負值在預設的負值范圍內，則將所述原始氣象數據的 負值更新為指定值； 若為負值的所述原始氣象數據的負值不在預設的負值范圍內，則對所述負值作出數據 異常標識。
7. 如權利要求4所述的氣象數據質量控制處理方法，其特征在于，所述判斷所述原始 氣象數據是否為異常值具體包括： 讀取滑動窗數據塊的值； 計算所述滑動窗數據塊的平均值和標準差〇 i ; 根據所述平均值7和標準差〇 i，當
判定Xi為異常值； 其中，滑動窗數據塊由Xi、前m個和后m個數據組成，平均值的計算公式為：
，標準差〇 i的計算公式為：
為當前檢測數據，；^為整個滑動窗數據塊的平均值，m為自然數；n為正整數。
8. 如權利要求7所述的氣象數據質量控制處理方法，其特征在于，當判定所述原始氣 象數據為異常值時，所述對所述異常數據進行校正處理具體包括： 通過公式& = U進行異常值的修改；
其中，Xi為當前檢測數據，平均值；7的計算公式為 x i 7為整個滑動窗數據庫不包含g的平均值。
9. 如權利要求1所述的氣象數據質量控制處理方法，其特征在于，所述將校正了異常 數據的氣象數據輸出的步驟之后，所述方法還包括以下步驟： 讀取一小時內所述校正了異常數據的不包含異常標識的氣象數據； 計算平均值輸出。
10. -種氣象數據質量控制處理系統，其特征在于，所述系統包括： 數據接收單元，用于接收原始氣象數據； 異常數據判斷單元，用于判斷所述原始氣象數據是否存在異常數據； 異常數據處理單元，用于當判定所述原始氣象數據存在異常數據時，對所述異常數據 進行校正處理； 校正數據輸出單元，用于將校正了異常數據的氣象數據輸出。
11. 如權利要求10所述的氣象數據質量控制處理系統，其特征在于，所述異常數據包 括：缺測值、負值或異常值； 缺測值為數據采集過程中，對應時刻的數據缺失； 負值為所述原始氣象數據中小于零的數據； 異常值為不符合氣象數據變化規律的數據。
12. 如權利要求11所述的氣象數據質量控制處理系統，其特征在于，所述異常數據判 斷單元包括： 缺測值判斷單元，用于判斷預設時間段內的所述原始氣象數據是否存在缺測值，若是， 則判定所述原始氣象數據為異常數據； 負值判斷單元，用于當判定預設時間段內的所述原始氣象數據不存在缺測值或者對存 在缺測值的所述原始氣象數據進行處理后，進一步判斷所述原始氣象數據是否為負值，若 是，在判定所述原始氣象數據為異常數據； 異常值判斷單元，用于當判定所述原始氣象數據不為負值或者對判定為異常數據的所 述原始氣象數據進行處理后，進一步判斷所述原始氣象數據是否為異常值，若是，則判定所 述原始氣象數據為異常數據，否則，判定所述原始氣象數據為非異常數據。
13. 如權利要求12所述的氣象數據質量控制處理系統，其特征在于，所述異常數據處 理單元包括： 缺測值處理單元，用于當判定預設時間段內的所述原始氣象數據存在缺測值時，對所 述缺測值進行校正； 負值處理單元，用于當判定預設時間段內的所述原始氣象數據存在負值時，對所述負 值進行校正； 異常值處理單元，用于當判定所述原始氣象數據為異常值時，對所述異常值進行校正。
14. 如權利要求13所述的氣象數據質量控制處理系統，其特征在于，當判定預設時間 段內的所述原始氣象數據存在缺測值時，所述缺測值處理單元包括： 缺測值統計單元，用于統計存在缺測值的氣象數據的個數； 缺測值填充單元，用于當存在缺測值的氣象數據的個數小于設定值時，取存在缺測值 的氣象數據的前后兩個位置的氣象數據的平均值來填充存在缺測值的氣象數據； 缺測值標識單元，用于當存在缺測值的氣象數據的個數大于或者等于設定值時，對所 述缺測值作出數據異常標識。
15. 如權利要求13所述的氣象數據質量控制處理系統，其特征在于，當判定所述原始 氣象數據為負值時，所述負值處理單元包括： 負值更新單元，用于若為負值的所述原始氣象數據的負值在預設的負值范圍內，則將 所述原始氣象數據的負值更新為指定值； 負值標識單元，用于若為負值的所述原始氣象數據的負值不在預設的負值范圍內，則 對所述負值作出數據異常標識。
16. 如權利要求12所述的氣象數據質量控制處理系統，其特征在于，所述異常值判斷 單元包括： 滑動窗存儲單元，用于讀取滑動窗數據塊的值； 滑動窗運算單元，用于計算所述滑動窗數據塊的平均值和標準差〇 i ;
異常值判定單元，用于根據所述平均值7和標準差Xi為異常值； 其中，滑動窗數據塊由Xi、前m個和后m個數據組成，平均值Z的計算公式為：
j ，標準差〇 i的計算公式為：
為當前檢測數據，A為整個滑動窗數據塊的平均值，m為自然數；n為正整數。
17. 如權利要求16所述的氣象數據質量控制處理系統，其特征在于，當判定所述原始
18.如權利要求10所述的氣象數據質量控制處理系統，其特征在于，所述系統還包括： 數據平均單元； 所述數據平均單元包括：數據存儲單元和數據求值單元； 數據存儲單元，用于讀取一小時內所述校正了異常數據的不包含異常標識的氣象數 據； 數據求值單元，用于計算平均值輸出。
【文檔編號】G01W1/00GK104280791SQ201410504083
【公開日】2015年1月14日 申請日期:2014年9月26日 優先權日:2014年9月26日
【發明者】王偉, 邵飛, 林嘉成 申請人:寧波綺耘軟件有限公司
專業數控銑床產品供應商
20年生產經驗，實力工廠，精工品質，質量有保障
