斯潘8
斯潘4
看看attributevalidator如何在一个保护伞下执行许多属性验证任务。它的作用是确保属性数据将加载到目标格式数据模型中。
attributevalidator示例2018-begin.fmwt(启动工作区)
属性验证示例2018.fmwt(已完成的工作区)
attributevalidator示例2018-pivot.fmwt(已完成的工作区)
为了配合视频,请下载并打开attributevalidatorexample-begin.fmt。
属性验证是质量数据的基石。任何软件都可以充当放大器。如果是FME,如果您将质量差的数据分发给广泛的用户或格式,那么您就扩大了质量差的数据问题。如果在将数据加载到数据存储库之前验证数据,然后你放大了单一真理来源的好处。
FME始终能够使用变压器(如测试仪)验证您的数据属性,AttirbuteCreator(带条件值)Joiner(使用验证查找表)等。但这有点乏味和特别。FME 2016推出了一种新的变压器,属性计算器,在一个保护伞下,许多属性验证任务,正如属性管理器合并许多属性处理任务。
attributevalidator可以与geometryvalidator一起使用,以确保加载前所有数据都符合目标数据模型,从而减少因数据质量问题而可能被拒绝的功能的数量。
attributevalidator的作用是确保将属性数据加载到目标格式数据模型中。
由attributevalidator处理的一些验证运算符包括:
检查AttributeValidator验证操作员完整列表的用户文档
我们将处理一些手机信号数据,并验证它是否可以加载到一个简单的数据库中,并生成一个作为csv文件的验证报告。
以下是源数据:
使用attributevalidator,我们将验证以下属性:
打开附加的FME工作区模板。它从一个csv文件中读取并写出两个验证报告。工作区已完成并已添加注释。
以下描述了工作区的一些关键方面:
AttributeValidator:显然是这个工作区的关键部分。验证测试的配置如attributevalidator注释所示,如下所示:
大多数测试都是不言而喻的。
语法为“[”表示包含(大于或等于),“(”表示独占(大于)。所以[0,10]表示“大于或等于0小于10”。相同的sytax可以与in运算符一起使用以设置范围。
attributevalidator针对所有测试进行验证,因此在本例中,num_度量值必须同时验证为整数并且在范围[0,10]内。
如果功能上的所有属性都通过了验证测试,则该功能将通过通过端口。如果任何测试失败,然后通过失败端口。
如果测试失败,attributevalidator将向功能添加两个属性:
在本例中,其中一个特性未能通过三次测试,因此,添加到该功能的失败消息是:
错误属性 | 错误信息 |
_ FME验证消息 |
值为“abe”的属性“codeprefix”无法检查是否匹配正则表达式“'[abcd]3” |
_ FME_验证_消息_列表0_ |
值为“abe”的属性“codeprefix”无法检查是否匹配正则表达式“'[abcd]3” |
_ FME_验证_消息_列表1_ |
值为“12”的属性“num_measures”无法检查范围“[0,10]”中的 |
_ FME_验证_消息_列表1_ |
值为“abe”的属性“codeprefix”在“abc,abd,txu,txv”中检查失败 |
配置完attributevalidator后,可以配置工作区以生成验证报告或统计信息。引用工作区中的书签:
数据验证报告:这个书签中的转换器创建一个列表,列出所有错误消息并写入一个csv文件。如果有多条错误消息,如上,然后,ListExploder将为每条消息将该功能拆分为一个功能(为上面所示的错误创建三条记录)。
验证统计信息:此书签使用统计计算器.ISO19000标准讨论数据集的数据质量。此书签说明了如何开始将FME配置为符合ISO19114,其中标准讨论了如何使用数据质量测试根据不同的数据质量度量(如:
在这个例子中,我们正在计算失败的百分比。
attributeValidator可以与几何验证程序以完全验证您的空间和非空间数据。您可以将AttirbuteValidator与FeatureWriter结合使用。如果数据未通过验证,如果数据集未能满足所设置的传递条件,则有机会回滚数据加载。通常,您的工作区中每个功能类型都有一个attributevalidator。
运行工作区并检查结果。来自attributevalidator失败端口的输出如上图所示。工作区的输出是两个csv文件:
使用FME Excel编写器是创建更全面的数据质量报告的好选择。
就像几何验证器一样,attributeValidator一次验证一个功能,并验证每个功能的属性。attributeValidator不检查功能之间的关系。
此刻,attributeValidator不验证日期字段。您可以使用数据时间转换器变压器。
第二个示例工作区(attributevalidatorexample_pivot.fmw)引入了另一种报告格式。此工作区透视错误报告,以便每个功能都具有所有属性错误的摘要(为了清晰起见,某些列已隐藏):
?2019安全亚搏在线软件公司|合法的