适用于温度和气压秒级数据的质量检查方法初探

doi:10.3969/j.issn.1673-503X.2022.04.014

摘要/Abstract

摘要：

利用自动气象站秒级观测数据, 应用一种基于百分位阈值法的界限值检查算法, 对温度、气压2种秒级数据进行了界限值检查试验。结果表明: 针对试验站温度、气压秒级数据进行质量检查, 采用百分位(p=99.9%和p=0.1%)阈值法的检查效率较高, 且具有误判率较低的特点。采用6种百分位阈值法系数组合方案以及2种标准差法进行检查试验, 其中有3种方案的“标记”率低于给定的统计预期值, 误检率较低, 检查结果较好, 检查出的“标记”数据分别为33个、3个和0个, 标记率分别为0.076%、0.007%和0.000%。综合分析, 以1 min滑动窗口结合30 min时间区间系数组合方案的百分位阈值法检查效率最优, 具有“标记”数据少, 误判率低, 且计算机运算负荷小的特点。对连续30 d的温度和气压秒级数据运用该算法检查, 结果均较好。对人工构造的错误数据, 能准确检出。该质量检查算法可应用到无长年代历史观测资料的气象站、缺少临近站对比的气象站以及新建气象站使用, 对于地处偏远、条件恶劣的气象站也同样适用。

关键词: 界限值检查, 质量控制, 秒级数据, 百分位阈值法

Abstract:

Based on the high frequency observation data obtained from the automatic weather station, a threshold check algorithm developed using the percentile threshold method (PTM) was used to conduct a detection test to seconds temperature and pressure data.Specifically, six coefficient combination schemes for PTM and two standard deviation methods were adopted to conduct the detection test.Results show that the developed method has higher efficiency and lower misjudgment rate.In these tests, three schemes indicate better test results with a lower flagging percentage relative to the given statistical expected value.The number of "flagging" data for three schemes are 33, 3, and 0, the flagging percentage are 0.076 %、0.007 %, and 0.000 %, respectively.Among three schemes, the scheme combining 1-minute sliding window with a 30-minute time interval is optimal with the features of the least "flagging" data, the lowest misjudgment rate, and a small computation burden for the computer.The continuous 30-day seconds' temperature and pressure data were tested with this method, and the results are satisfying.Besides, this method is also able to test artificially constructed incorrect data.This algorithm could be applied to check those meteorological data at stations that had a short history, are newly constructed or outlying, and have bad conditions and therefore is helpful to identify the emergent problems in the data collection phase and to improve the automation level of data quality check.

Key words: Threshold check, Quality control, Seconds data, Percentile threshold method

中图分类号:

P413

廖荣伟, 房小怡, 刘怀玉, 曹玉静, 张冬斌, 朱玉周. 适用于温度和气压秒级数据的质量检查方法初探[J]. 气象与环境学报, 2022, 38(4): 118-126.

Rong-wei LIAO, Xiao-yi FANG, Huai-yu LIU, Yu-jing CAO, Dong-bin ZHANG, Yu-zhou ZHU. Quality control of seconds temperature and pressure data[J]. Journal of Meteorology and Environment, 2022, 38(4): 118-126.

图/表 9

表1

表2

图1

表3

图2

图3

表4

图4

图5

参考文献 40

1	陈柏堃, 许嘉玲, 方婉珍. 分钟观测数据文件质量控制初探[J]. 气象研究与应用, 2011, 32 (3): 76- 78. doi: 10.3969/j.issn.1673-8411.2011.03.022
2	王海军, 闫荞荞, 向芬, 等. 逐时气温质量控制中界限值检查算法的设计[J]. 高原气象, 2014, 33 (6): 1722- 1729.
3	廖捷, 周自江. 全球常规气象观测资料质量控制研究进展与展望[J]. 气象科技进展, 2018, 8 (1): 56- 63. doi: 10.3969/j.issn.2095-1973.2018.01.006
4	任芝花, 许松, 孙化南, 等. 全球地面天气报历史资料质量检查与分析[J]. 应用气象学报, 2006, 17 (4): 412- 420. doi: 10.3969/j.issn.1001-7313.2006.04.004
5	任芝花, 刘小宁, 杨文霞. 极端异常气象资料的综合性质量控制与分析[J]. 气象学报, 2005, 63 (4): 526- 533. doi: 10.3321/j.issn:0577-6619.2005.04.014
6	Qi Y C , Martinaitis S , Zhang J , et al. A real-time automated quality control of hourly rain gauge data based on multiple sensors in MRMS system[J]. Journal of Hydrometeorology, 2016, 17 (6): 1675- 1691. doi: 10.1175/JHM-D-15-0188.1
7	Cheng A R , Lee T H , Ku H I , et al. Quality control program for real-time hourly temperature observation in Taiwan[J]. Journal of Atmospheric and Oceanic Technology, 2016, 33 (5): 953- 976. doi: 10.1175/JTECH-D-15-0005.1
8	Wan H , Wang X L , Swail V A . A quality assurance system for Canadian hourly pressure data[J]. Journal of Applied Meteorology and Climatology, 2007, 46 (11): 1804- 1817. doi: 10.1175/2007JAMC1484.1
9	任芝花, 熊安元. 地面自动站观测资料三级质量控制业务系统的研制[J]. 气象, 2007, 33 (1): 19- 24.
10	任芝花, 熊安元, 邹风玲. 中国地面月气候资料质量控制方法的研究[J]. 应用气象学报, 2007, 18 (4): 516- 523. doi: 10.3969/j.issn.1001-7313.2007.04.012
11	任芝花, 赵平, 张强, 等. 适用于全国自动站小时降水资料的质量控制方法[J]. 气象, 2010, 36 (7): 123- 132.
12	王海军, 杨志彪, 杨代才, 等. 自动气象站实时资料自动质量控制方法及其应用[J]. 气象, 2007, 33 (10): 102- 109.
13	王海军, 刘莹. 综合一致性质量控制方法及其在气温中的应用[J]. 应用气象学报, 2012, 23 (1): 69- 76.
14	Xu Z F , Wang Y , Fan G Z . A two-stage quality control method for 2-m temperature observations using biweight means and a progressive EOF analysis[J]. Monthly Weather Review, 2012, 141 (2): 798- 808.
15	Roh S , Genton M G , Jun M , et al. Observation quality control with a robust ensemble kalman filter[J]. Monthly Weather Review, 2013, 141 (12): 4414- 4428. doi: 10.1175/MWR-D-13-00091.1
16	Houchi K , Stoffelen A , Marseille G J , et al. Statistical quality control of high-resolution winds of different radiosonde types for climatology analysis[J]. Journal of Atmospheric and Oceanic Technology, 2015, 32 (10): 1796- 1812. doi: 10.1175/JTECH-D-14-00160.1
17	陶士伟, 仲跻芹, 徐枝芳, 等. 地面自动站资料质量控制方案及应用[J]. 高原气象, 2009, 28 (5): 1202- 1209.
18	周青, 张乐坚, 李峰, 等. 自动站实时数据质量分析及质控算法改进[J]. 气象科技, 2015, 43 (5): 814- 822. doi: 10.3969/j.issn.1671-6345.2015.05.007
19	于杨, 朱晨, 赵琦, 等. 全球地面气温和降水定时值数据整合与初步质量控制[J]. 气象与环境学报, 2016, 32 (6): 94- 101.
20	许沛华, 陈正洪, 李磊, 等. 深圳分钟降水数据预处理系统设计与应用[J]. 暴雨灾害, 2012, 31 (1): 83- 86.
21	黄琳, 王超球, 韦覃武. 自动气象站分钟数据质量控制系统的建设与应用[J]. 气象研究与应用, 2011, 32 (4): 72- 73.
22	孙娟, 胡平, 谢媛, 等. 上海气象梯度塔观测数据质量控制与运行效能评估[J]. 安徽农业科学, 2016, 44 (8): 228- 233.
23	吴书成, 魏爽, 王丽吉, 等. 自动气象站降水实时快速质控算法设计[J]. 气象科技, 2016, 44 (6): 882- 888.
24	刘雨佳, 陈洪滨, 金德镇, 等. 加密自动气象站雨量计资料的质量控制及其相关关系的研究[J]. 大气科学, 2014, 38 (1): 159- 170.
25	Jiménez P A , González-Rouco J F , Navarro J , et al. Quality assurance of surface wind observations from automated weather stations[J]. Journal of Atmospheric and Oceanic Technology, 2010, 27 (7): 1101- 1122.
26	Hasu V , Altonen A . 2011.Automatic minimum and maximum alarm thresholds for quality control[J]. Journal of Atmospheric and Oceanic Technology, 2011, 28, 74- 84.
27	李雁, 周青, 周薇, 等. 中国不同气候区高、低温及强降水阈值[J]. 高原气象, 2013, 32 (5): 1382- 1388.
28	王咏薇, 王雪倩, 胡楠, 等. 城市地表湍流观测数据的后处理及质量控制[J]. 气象科学, 2013, 33 (2): 153- 159.
29	李茂善, 杨耀先, 马耀明, 等. 纳木错(湖)地区湍流数据质量控制和湍流通量变化特征[J]. 高原气象, 2012, 31 (4): 875- 884.
30	马小红, 苏永红, 鱼腾飞, 等. 荒漠河岸胡杨林生态系统涡度相关通量数据处理与质量控制方法研究[J]. 干旱区地理, 2015, 38 (3): 626- 635.
31	彭记永, 张晓娟. 麦田通量数据质量控制及能量闭合性分析[J]. 气象与环境科学, 2016, 39 (4): 68- 72.
32	Vickers D , Mahrt L . Quality control and flux sampling problems for tower and aircraft data[J]. Journal of Atmospheric and Oceanic Technology, 1997, 14, 512- 526.
33	张烺, 李跃清, 李英, 等. 青藏高原东部草甸下垫面涡旋相关观测数据的质量控制及评价研究[J]. 大气科学, 2010, 34 (4): 703- 714.
34	Ye X L , Kan Y J , Xiong X , et al. A quality control method based on an improved kernel regression algorithm for surface air temperature observations[J]. Advances in Meteorology, 2020, 6045492.
35	Hubbard K G , Guttman N B , You J S , et al. An improved QC process for temperature in the daily cooperative weather observations[J]. Journal of Atmospheric and Oceanic Technology, 2007, 24 (2): 206- 213.
36	熊雄, 叶小岭, 张颖超, 等. 基于空间观测差异的地面气温资料质量控制算法研究[J]. 地球物理学报, 2017, 60 (3): 912- 923.
37	杜明哲, 鲁坦, 朱玉周, 等. 1961—2019年河南秋季连阴雨天气气候特征分析[J]. 气象与环境学报, 2021, 37 (4): 54- 62.
38	郑小华, 娄盼星, 马永永. 1961—2018年陕西极端气温时空变化特征[J]. 气象与环境学报, 2021, 37 (3): 81- 87.
39	Bonsal B R , Zhang X , Vincent L A , et al. Characteristics of daily and extreme temperatures over Canada[J]. Journal of Climate, 2001, 14 (9): 1959- 1976.
40	翟盘茂, 潘晓华. 中国北方近50年温度和降水极端事件变化[J]. 地理学报, 2003, 58 (Z1): 1- 10.

站点	要素	经度/°E	纬度/°N	海拔高度/m	时间段	每分钟数据量/个	总数据量/个	响应时间/s
天津空港	温度、气压	117.3964	39.1091	5	4月30日至5月29日	30	1296000	≤15
天津苏庄子	温度、气压	117.4708	39.0306	3	5月23日	30	43200	≤15
沈阳	温度	124.0017	40.9278	53	4月30日至5月9日	30	1296000	≤15

方案编号	滑动窗口/min	时间区间/min	标记数据/个	标记率/(%)
1	1	60	2	0.006
5	1	30	0	0.000

要素	方案编号	检出数据/个	标记率/(%)
温度	1	1	0.002
温度	5	0	0.000
气压	1	1	0.002
气压	5	1	0.002

[1]	刘志刚,吴东丽,邵长亮,吴丽侠,胡树贞,宋树礼. 2019年辽宁及内蒙古冻土自动观测及其分钟数据的时间一致性检测[J]. 气象与环境学报, 2022, 38(2): 97-104.
[2]	王栋成, 邱粲, 董旭光, 曹洁. 偏离度法确定济南夏季对流边界层高度研究[J]. 气象与环境学报, 2019, 35(3): 29-36.
[3]	刘丹妮, 吴杨, 王颖. 舟山跨海大桥夏季路表温度特征及统计模型[J]. 气象与环境学报, 2018, 34(5): 86-92.
[4]	闫荞荞;王海军;严靖. 逐时本站气压数据分阶段空间一致性检查方法研究[J]. 气象与环境学报, 2018, 34(4): 36-44.
[5]	于杨, 朱晨, 赵琦, 徐文慧, 杨溯, 江慧, 李庆祥, 沈秋宇. 全球地面气温和降水定时值数据整合与初步质量控制[J]. 气象与环境学报, 2016, 32(6): 94-101.
[6]	张志富,任芝花,张强,邹凤玲,杨燕茹. 自动站小时气温数据的质量控制系统研究[J]. 气象与环境学报, 2013, 29(4): 64-70.
[7]	宗蓉,刘春云. 雷达反射率数据质量控制方法初探[J]. 气象与环境学报, 2009, 25(2): 62-67.