最终的地理空间数据验证清单

FME 2003海报:数据就是力量。与伟大的数据来自伟大的责任。

套用斯坦·李:伟大的数据来自伟大的责任。作为业内专业人士,的一部分责任是确保我们的数据是好的质量。根据工作的性质决策基于错误数据可能极端后果。

之前试图使用一个数据集对于一些重要的任务,应该检查所有方面的完整性、正确性、一致性和遵从性。好的质量数据意味着检查它所满足的需求,然后修复它,它不通过。

下面是数据质量检查表可以帮助你验证和修复你的地理空间数据。验证步骤将在某种程度上取决于不同类型的数据(2 d、GIS、光栅等),但是这个列表将提供一个很好的指南。您可以使用手动验证和即时可用的工具来验证你的数据,你也可以利用FME自动检测和修复问题。

检查模式

第一步是确保数据模型或模式,为你的目标系统是正确的。这包括执行正确的:

☑功能类型(即层,水平,表,功能类)的名字。

☑属性名称和类型。

☑坐标系统。

☑允许几何图形。

检查数据值

检查属性的内容,特征,功能,行,和/或其他特定于您的数据集属性。

☑这个字段的数据类型是正确的?

☑有效范围内的值或域或枚举列表的一部分吗?

☑检查副本,例如一个唯一键。

☑检查零位。有强制性的值,或者是null或空值允许吗?空类型一致(NaN,无穷,空字符串,等等)?

验证几何

无效的几何形状有多种形式。问题可能包括:

☑Self-intersections。

☑退化或腐败的几何图形。例如,一个甜甜圈没有一个洞,一个多没有零件,终点的位置定义的电弧与实际不一致。

☑零几何图形。

☑顶点法线与失踪。

☑的几何结构,检查相关的纹理坐标。

☑无效的固体边界(可能包括未关的边界,无效的投影,不正确的面对方向,未使用的顶点,免费的脸)。

☑无效的固体的空洞。例如,一个断开连接的外壳内部。

☑Non-planar表面,即顶点不在同一个平面3 d空间。

☑连续重复的点,在2 d或3 d。

符合标准

共享数据通常意味着确保它符合一组标准,或执行其符合一项计划。例如:

☑[合规检查包括自交,重复点,是否几何等等。

☑激励合规是几件事。值得庆幸的是,我们有一个博客和其他资源帮助你完成这项工作。

☑其他特定国际标准或行业标准为数据。

☑贵公司的标准。例如,您可能需要设计自己的测试,以确保你的拓扑结构或属性建立满足您的设计结构。

特定于格式的QA / QC

你应该执行质量检查,根据你的目标系统的格式,特别是如果你从另一个数据类型转换。例子包括:

☑计算机辅助设计数据:确保健壮的提取层、几何、文本、线路类型、模块、扩展实体数据,等等。

☑XML/JSON:验证语法或模式。

☑表格数据:确保值通过逻辑测试;检查与空间信息的集成。

☑数据库:检查数据和几何之前将它加载到一个中央存储库。

☑点云:检查正确的组件和价值观。

亚搏在线Workflow-based验证

如果您使用数据的环境中,要求一个工作流-亚搏在线实时,自我服务数据、自动上传,否则你可能会受益于其他验证技术。例如:

☑发现差异更新版本的相同的数据。

☑验证提交的数据(通过电子邮件、上传、目录表,计划任务),并立即反馈给阻止坏数据处理。

☑检查包包含提交所需的文件和格式,执行检查模式和数据级检查,然后压缩和加密方案为客户下载一个自助工作流。亚搏在线你可能有其他需求。

修复和报告错误数据

当然,发现矛盾、错误和/或贫穷合规在任何上述检查,下一步是修复数据集,它没有通过。修复可能包括:

☑地图模式以适应目标数据模型。

☑几何操作。例如:快速晃来晃去的行关闭,剪辑交叉线,填写裂片,去除峰值,将顶点点的功能联系在一起,如果他们是彼此的一定距离内。

☑执行符合贵公司的标准。例如:删除重复的功能,过滤掉错误的几何、测试特定的属性值或值的范围。

☑只是国旗坏人类分析数据并返回它。

无论怎样的结果验证检查,应该创建一个直观的报告,可以与相关各方共享。最后的步骤是:

☑测量和描述数据的质量标准化的方式,例如数据下载或PDF。

☑报告通过发送电子邮件、短信、形式等。

可打印的图形

点击图片放大,最终的地理空间数据验证清单的打印版本。

FME自动质量控制

很容易就会被上面的列表的大小,但我想强调的是,重要的事情FME帮助你做所有这一切自动。例如,上面列出的所有几何验证可以通过使用一步GeometryValidator变压器,自定义检查反对自己的标准也可以使用直观的设置测试人员变压器。浏览这些幻灯片看到哪些变压器可以帮助您验证上述清单的不同部分。

以下报告和案例研究提供一些实际数据验证工作流的好例子。亚搏在线

• 殖民管道自动检查CAD图纸反对他们起草的标准,并提供一个详细的错误日志和合规问题。
• 国家土地管理局操作中心(NOC)评估数据的准确性和标准化。
• 产后子宫炎AB创建自动化质量控制系统,数据验证服务的形式从任何地方,任何人都可以使用。
• ins发起FME基于云平台提供在线数据验证服务,对于那些需要一个友好的方式来处理格式、坐标系统、数据模型和数据的质量。
• 阿尔伯塔省资源的可持续发展一个自动化的、基于web的CAD系统验证。

你采取什么步骤来验证您的数据吗?你能添加到上面的列表吗?

FME开关广告——启发艾伦Feiss

蒂安娜华纳

蒂安娜是资深营销专家安全软件。亚搏在线她的背景在计算机编程和创造性的爱好,使她成为一个创造性的内容安全软件的主要生产商。亚搏在线蒂安娜她空闲时间写幻想小说,骑着马,和探索自然和她营救小狗,乔伊。