概观

数据验证是任何数据处理任务,无论你在现场收集信息,分析数据,或准备您的数据提供给利益相关者的重要组成部分。如果您的数据从一开始是不准确的,你的结果肯定会不准确或者。这就是为什么有必要验证并在使用前检验数据。

尽管数据验证是任何数据工作流程的关键一步,它经常被跳过。亚搏在线它可能看起来好像数据验证是一步减慢您的工作速度,但是,它是至关重要的,因为它会帮助你创建最佳效果。这些天来的数据验证可以提供非常快的过程可能比你曾想过。与可以合并和自动化验证过程的数据集成平台,验证可以被视为一个重要组成部分,以您的工作流程,而不是额外的步骤。亚搏在线

为什么要验证?

验证准确度,清晰度和数据的细节是必要的,以减轻任何项目的缺陷。如果没有验证您的资料,您运行的是不准确代表当时的情况不完善的数据基础决定的风险。

虽然验证您的数据输入和价值观是很重要的,还需要验证数据的数据模型本身。如果您的数据模型是不规整或正确构建,你会尝试使用各种应用程序和软件的数据文件时遇到的问题。

这两个数据文件的结构和内容将决定究竟你可以用你的数据做。使用验证规则来清洁您的数据之前使用有助于减轻“在垃圾=垃圾出”的情况。确保您的数据的完整性,有助于确保结论的合法性。

数据验证的类型

验证规则的一致性

最简单的(甚至可以说是最重要的)的数据验证规则中使用的是确保数据的完整性规则。你可能熟悉这些类型的行为。拼写检查?数据验证。最小密码长度?数据验证。

每个组织都有数据应该如何存储和维护它自己独特的规则。设置基本数据验证规则将帮助您的公司,将有效地使你的数据更高效的工作秉持组织的标准。的数据验证规则,有助于保持完整性和清晰度其他一些常见的例子包括:

  • 数据类型(例如:整数,浮点,字符串)
  • 范围(35-40之间前,一批)
  • 唯一性(例如,邮政编码)
  • 一致地表达(例如,使用圣,STR,街之一)
  • 没有空值

格式标准

验证您的数据的结构是一样重要的,因为验证数据本身。这样做将确保你使用的是合适的数据模型与您所想在使用您的数据的应用程序兼容的格式。

文件格式和他们的标准是由非营利组织,政府部门,行业咨询小组,和私人公司维持。在他们的协助,帮助他们不断开发,文档,定义保存数据文件结构。

当您验证的数据模型,数据集中存储在应该很好理解的数据,标准和结构。如果不这样做可能会导致在与应用程序和您可能要整合你的数据的其他数据集不兼容的文件。

如何执行数据验证

验证通过脚本

根据在编码语言流利的,编写脚本可以用于验证数据的选项。您可以比较反对您定义的规则的数据值和结构,以确认所有必要的信息是所要求的质量参数范围内。根据数据的复杂性和规模设置您要验证,数据验证这种方法可以说是相当费时。

通过验证程序

许多软件程序可用来为您执行数据验证。验证这种方法是非常简单的,因为这些计划已经发展到理解你的规则,你正在使用的文件结构。理想的工具是一个可以让你建立验证到工作流程中的每一步,而不需要底层格式的深入了解。亚搏在线

FME数据验证

像FME软件,可以精确地定义你的数据验证工作流程为您的需求。亚搏在线您可以创建特定于数据验证工作流亚搏在线程,或添加数据验证其他数据集成工作流程中的一个步骤。此外,还可以自动按计划运行(或点播),这意味着你可以建立一个工作流一次,一遍又一遍重复使用的任何数据验证工作流程。亚搏在线

为了确保您的数据是适合最有效地发挥其作用,还可以将基于验证,“变形金刚”到您的工作流程。亚搏在线例如,FME的GeometryValidator,AttributeValidator和测试变压器所有帮助您确认您的数据进行格式化,并根据您的具体数据验证规则结构。这些变压器可以在工作流程的开始被用来验证这些数据,您正在阅读的是正确的,或在工作流程的结束,确定您的数亚搏在线据已被转换并适当改造。

FME支持通过所谓的读者和作家工具超过450格式和应用程序。每个读写器的设计是为了了解您的数据格式的特殊性质在验证过程中提供帮助。读者和作家超越只是了解文件扩展名。他们理解基础上的功能,太多。例如,不是所有的.xml文件是相同的。你可能会使用XML来存储数据CityGML,GPX,的LandXML或微软MapPoint网络。每个FME的读者和作家将需要解释你的数据,而不仅仅是格式。

当你运行你的工作流程,如果你的数据是亚搏在线无效的或者如果有与您的工作流程的任何其他问题,您将在报告的细节通知。这些信息将帮助你回溯步骤,并重新配置您的工作流程,以解决您的数据。亚搏在线

随着FME可以确保您的数据正确(不包含任何矛盾或错误)完成(没有在需要值缺少的字段),并且兼容(符合的数据模型标准规格)。

什么是FME?

FME是公认的数据集成平台支持最好空间数据全世界。但是,它可以处理的不仅仅是空间数据更多。FME可以帮助你整合在同一个平台中的业务数据,3D数据和应用程序。FME有一系列的支持数据转换所谓变压器的工具,可以很容易地集成超过450格式和应用程序。随着FME您可以灵活改造和整合正是你想要的方式。

亚搏在线安全软件,FME的厂商,都是在技术世界领导人努力留下的数据整合趋势领先一步。FME不断升级,以确保它已经适应,以支持新的数据格式,现有的数据格式的更新版本,以及大量的数据。飘的理念是个别部门必须在其数据孤岛工作,具有IT结构限制了公司的潜力,真正的工作为一体。数据应该能够无论身在何处,何时,或如何它的需要自由流动。

相关资源

数据验证和QA与FME

提示更好的数据质量

终极地理空间数据验证清单

为什么要关心空间数据

什么是数据转换?

什么是应用集成?