主题“验证”中的问题 https://knowledge.亚搏在线safe.com/questions/topics/single/41832.html网站 “验证”主题的最新问题 UKgemini2元数据验证 https://knowledge.亚搏在线safe.com/questions/72486/ukgemini2-metadata-validation.html

嗨,朋友们,

我想构建一个工作区来生成和验证UK Gemini 2.2元数据。我可以使用模板生成XML,并从该特性更新所需的元素。然而,验证它正是我被困住的地方。XML使用两个iso19139模式和gemini模式进行验证。这些在Github上提供:

ISO 19139 XSD模式(Eden 2009-03-16)

ISO 19139表A.1约束示意图(Medin/Parslow 1.4)

双子座2.1 Schematron 1.3

我对XML模式和Schematrons非常陌生。我认为一系列的XML验证器可以做到这一点,但我不知道如何配置它们。

FME Land以前有人完成过吗?

多谢,

戴维·麦克德莫特

XML 元数据 验证 XML验证程序 架构验证 FRI,2018年6月15日09:58:19格林尼治标准时间 戴姆麦克德莫特
属性验证器 https://knowledge.亚搏在线safe.com/idea/60363/attribute-validator-1.html

提供复制规则的能力。

属性 验证 属性验证程序 星期二,2017年12月19日16:20:15格林尼治标准时间 流星雨
根据现有架构验证属性 https://knowledge.亚搏在线safe.com/questions/60046/validating-attributes-against-existing-schema.html网站

我每晚都从JSON服务中提取数据,而JSON服务没有验证。这些数据集有100多列。是否有方法将架构导入到属性验证器中,以便对每一列测试数据类型和最大长度?测试数据类型需要花费很长时间,每个数据集中每列的结构和最大长度,但是我的FME过程一直失败。

验证 清华大学,2017年12月14日16:29:23格林尼治标准时间 Rracknxf
针对geodatabase xml工作区文档的shp属性验证 https://knowledge.亚搏在线safe.com/questions/57474/shp-attribute-validation-against-geodatabase-xml-w.html

你好,

我需要验证SHP(或具有属性的dwg块)属性值反对字段数据类型领域在模板gdb或xml工作区文档中指定。
读者ESRI小水电
作家ESRI GDB
问题:如果shp属性值与gdb字段数据类型不匹配,翻译失败。
我需要验证这些值并写入失败。

我想使用“attributevalidator”,但必须手动指定验证规则。
是否有任何方法可以从模板(gdb或xml工作区文档)中读取验证规则并自动写入它们?

例子:

读卡器SHP功能“pipe”具有具有属性值的字段“material”UPVC
写入程序gdb功能“pipe”具有具有指定域值的字段“material:”PVC-U,高密度聚乙烯体育课
没有匹配项,所以翻译失败

谢谢。

地理数据库 Shape文件 小水电 验证 结婚,2017年11月8日14:52:41格林尼治标准时间 斯坦尼斯拉夫维斯科克
验证TIFF和TFWS文件的最佳方法是什么? https://knowledge.亚搏在线safe.com/questions/56053/what-is-the-best-way-to-validate-tifs-and-tfws-fi.html(https://knowledge.safe.com/questions/56053/what-is-the-best-way-to-val

TIFF和TFW文件验证

这是一个有点呼救,因为我仍然是相当新的处理故障模式。

我希望创建一个FME工作台,它可以验证TIFF和TFW文件的某些特定参数。

  • 这是一个TIFF文件
  • TIFF文件大小–应等于或大于46MB–等于或小于47MB
  • TIFF尺寸-尺寸应为4000*4000像素
  • 它有三个色带
  • 它有一个关联的,有效的TFW文件

我大概要检查一下ATIME的100个TIFF和100个TFW文件。TIFF和TFW文件以相应的1公里网格引用作为其名称,例如,我有TQ7926.tif和TQ7926.tfw。

在FME中,最好的方法是什么?我很乐意回答任何问题来帮助回答我的问题。

光栅 口角 验证 文件大小 TFW 结婚,2017年10月18日15:52:23格林尼治标准时间 吉格列斯皮
将FME与ARCGIS数据审查扩展集成。 https://knowledge.亚搏在线safe.com/questions/54639/integration-of-fme-with-arcgis-data-reviewer-extn.html(https://knowledge.safe.com/questions/54639/integration-of-fme-with-arcgi

我正在研究使用他们的数据审查产品为Arcgis开发一个数据验证系统。一些测试将需要创建临时和永久数据集,这些数据集最好用FME完成。SAFE是亚搏在线否有白皮书或任何有关如何将FME与Arcgis数据审查员产品联合使用的文件?以前有人尝试过吗?

我认为可以通过从数据审查员到操作系统调用Python来调用工作台,然后解释FME日志和输出表,并写入相应的数据审查表。

蟒蛇 验证 ARCGIS数据审查员 星期二,2017年10月3日18:07:20格林尼治标准时间 TTR711
我正在尝试测试整个字段,看看是否有填充的值。 https://knowledge.亚搏在线safe.com/questions/53846/i-am-trying-to-test-an-entire-field-to-see-if-ther.html

它是一个大数据集。如果没有值,我想把数据发给一个作家,如果有任何值,我想去看终结者。我的问题是数据集太大,使用测试仪或attributevalidator不起作用,因为在验证完成之前,值会传递给我的编写器。

验证 终止符 FRI,2017年9月22日16:27:14格林尼治标准时间 杰克逊德
验证日期字段 https://knowledge.亚搏在线safe.com/questions/51230/validate-date-field.html网站

我在我的Excel文档中有一个日期字段,我正在读FME,它包含dd/mm/yy yy和dd/mm/yy的混合。不幸的是,有些领域只有一年,例如1951。没有日期或月份。

我想知道的是,如何在日期字段中仅查找那些具有一年时间的特性,然后将它们返回给检查器。

我查看了attributevalidator,但我发现它在type下没有作为规则配置的日期。

日期 验证 星期二,2017年8月22日01:19:50格林尼治标准时间 拉克拉肯斯
如何提高属性验证器的唯一性能? https://knowledge.亚搏在线safe.com/questions/48974/how-to-improve-attribute-validator-unique-performa.html

你好,

我正在处理超过30个属性的近20万条记录,在我的工作流程中,我会验证这些记录是否是具有attributevalidator的某个属性的唯一记录。亚搏在线验证大约需要4020秒。

有没有其他比这个更快的转换器来进行这样的验证?

我在运行工作区之后添加了配置文件结果。

CSV

谢谢

更新:@ MattA亚搏在线tSafe

我添加的工作区仅通过验证进行简化。这一过程仅用了17分钟就完成了198000条记录。

性能

这里:我上传了我在谷歌硬盘上测试的文件,因为它太重了。

https://drive.google.com/open?打开?ID=0B44BAUSLMR8ZVKXRGL6SGTONGC

任何帮助都将不胜感激

独特的 性能优化 验证 清华大学,2017年7月27日格林尼治标准时间19:21:13 RRDLPL
正在验证AutoCAD版本 https://knowledge.亚搏在线safe.com/questions/47561/validating-autocad-version.html

我已经看到保存了一个dwg文件的autocad版本可以按照这个链接,不过,我一直在追求好的想法,快速验证方法-例如版本必须是2007或更高版本。我正在使用realdwg阅读器,工作区必须在FME服务器上工作。

我试过暴露AutoCADJ版格式属性,但在我正在测试的文件中,没有任何值可以用于此。我注意到FME在读取日志时能够进行版本检查,在这种情况下,该文件被发现是AutoCAD2007。

我想把文件保存到一个临时位置,用文本阅读器读回它,然后通过它找到版本,但是我希望在工作区内有一个稍微整洁的解决方案。

还要求验证维度类型,但又一次AutoCAD_Dimension_类型遗失了。也许只是我的源数据让我失望了!

AutoCAD DWG 验证 DWG版本 周一,2017年7月10日04:17:33格林尼治标准时间 克里斯堡
参数验证 https://knowledge.亚搏在线safe.com/idea/46817/parameter-validation.html网站

FME目前有属性激光雷达变压器。如果这个变压器也能验证参数,那就太好了。目前有必要使用参数蚀刻器/属性移动组合(因为我不需要保留参数)。如果不需要的话那就太好了

我的用例:

一种让用户通过参数输入各种公差的宁静服务。因为它使用的是REST,所以我们不能依赖接口来处理验证,所以我们明确地证实了这一点。

FME越来越致力于提供服务,因此输入(参数)验证变得越来越重要。

参数 验证 结婚,2017年6月28日14:50:11格林尼治标准时间 乔纳森
如何使用XSD动态读取非GML XML? https://knowledge.亚搏在线safe.com/questions/41833/how-to-read-non-gml-xml-dynamically-using-xsd.html

我需要简单的阅读,非GML XML数据集动态(单个合并的功能类型)并根据XSD文件验证它们(请参见消息底部)。

  • 如果我使用XML阅读器,我不能使用xsd(xfmap,和XRS只)。
  • 如果我使用GML阅读器,我得到:

       
        -在一组XML架构中找不到GML功能,确保至少有一个模式是用户,特定于域或社区的“G亚搏国际在线官网ML应用程序模式”。
       

问题:如何使用XSD动态读取此类非GML XML数据集?

以下是我的一个XSD示例:


http://www.w3.org/2001/xmlschema >























































下面是上面XSD的一个简单的XML文件示例:



64/02/00127
托贝尔·塔格尔森
六十四
塔格森
02
00127
沃恩豪斯汽车库


Muenchwilerstrasse公司
十七
九千五百五十四
塔格森


吉尔斯特拉斯


八千二百七十四
哥特瓦尔德夫


一千九百七十五
2.719693694000000E+006
1.26312523亿E+006
二十九
德维森大学

现实主义者
2011-02-03

477 611Y10107
465 1A 1 000 000 68


XML 动态 验证 XSD FRI,2017年3月24日15:54:40格林尼治标准时间 弗兰茨
使用attributevalidator转换器验证数据的属性 https://knowledge.亚搏在线safe.com/articles/22668/validate-your-data-attributes-with-the-attributeva.html

看看attributevalidator如何在一个保护伞下执行许多属性验证任务。它的作用是确保属性数据将加载到目标格式数据模型中。

下载

attributevalidator示例2018-begin.fmwt(启动工作区)

attributevalidator示例2018.fmwt(已完成的工作区)

attributevalidator示例2018-pivot.fmwt(已完成的工作区)

为了配合视频,请下载并打开attributevalidatorexample-begin.fmt。


介绍

属性验证是质量数据的基石。任何软件都可以充当放大器。如果是FME,如果您将质量差的数据分发给广泛的用户或格式,那么您就扩大了质量差的数据问题。如果在将数据加载到数据存储库之前验证数据,然后你放大了单一真理来源的好处。

FME始终能够使用变压器(如测试仪)验证您的数据属性,AttirbuteCreator(带条件值)Joiner(使用验证查找表)等。但这有点乏味和特别。FME 2016推出了一种新的变压器,属性计算器,在一个保护伞下,许多属性验证任务,正如属性管理器合并许多属性处理任务。

attributevalidator可以与geometryvalidator一起使用,以确保加载前所有数据都符合目标数据模型,从而减少因数据质量问题而可能被拒绝的功能的数量。

attributevalidator的作用是确保将属性数据加载到目标格式数据模型中。

由attributevalidator处理的一些验证运算符包括:

  • 属性类型(整数,飘浮,烧焦,XML杰森等)
  • 在–列表或范围–适合域验证
  • 正则表达式
  • 独特的
  • 不允许为空
  • ……还有更多…

检查属性计算器验证操作员完整列表的用户文档

源数据

我们将处理一些手机信号数据,并验证它是否可以加载到一个简单的数据库中,并生成一个作为csv文件的验证报告。

以下是源数据:

使用attributevalidator,我们将验证以下属性:

  • codeprefix:确保值与域列表匹配
  • stationid:确保stationid唯一且为整数
  • 质量:确保值在指定范围内
  • 功率:确保值在指定范围内
  • num_度量值:确保值在指定范围内并且是整数
  • codeValue:确保值是整数
  • json:检查属性是否包含有效的json字符串

步骤

打开附加的FME工作区模板。它从一个csv文件中读取并写出两个验证报告。工作区已完成并已添加注释。

以下描述了工作区的一些关键方面:

属性计算器:显然是这个工作区的关键部分。验证测试的配置如attributevalidator注释所示,如下所示:

大多数测试都是不言而喻的。

  • 代码前缀:我们已经创建了两个测试,或多或少地执行相同的操作,只是为了说明。第一个使用in操作符(确保代码名在abc列表中,ABDtxu,txv)和正则表达式(确保codeprefix只有3个字符,可以是abc或d)
  • 质量,功率:范围测试。范围分配对话框有助于设置范围:

语法为“[”表示包含(大于或等于),“(”表示独占(大于)。所以[0,10]表示“大于或等于0小于10”。相同的sytax可以与in运算符一起使用以设置范围。

  • 驻地:检查该值是否唯一。

attributevalidator针对所有测试进行验证,因此在本例中,num_度量值必须同时验证为整数并且在范围[0,10]内。

属性激光雷达输出

如果功能上的所有属性都通过了验证测试,则该功能将通过通过端口。如果任何测试失败,然后通过失败端口。

如果测试失败,attributevalidator将向功能添加两个属性:

  • _ fme_validation_message-测试属性的第一条失败测试消息
  • _ fme_validation_message_list–包含所有失败测试消息的列表属性。

在本例中,其中一个特性未能通过三次测试,因此,添加到功能的失败消息是:

错误属性 错误信息

_ FME验证消息

值为“abe”的属性“codeprefix”无法检查是否匹配正则表达式“'[abcd]3”

_ FME_验证_消息_列表0_

值为“abe”的属性“codeprefix”无法检查是否匹配正则表达式“'[abcd]3”

_ FME U验证U消息U列表1_

值为“12”的属性“num_measures”无法检查范围“[0,10]”中的

_ FME U验证U消息U列表1_

值为“abe”的属性“codeprefix”在“abc,abd,txu,txv”中检查失败

配置完attributevalidator后,可以配置工作区以生成验证报告或统计信息。引用工作区中的书签:

数据验证报告:这个书签中的转换器创建一个列表,列出所有错误消息并写入一个csv文件。如果有多条错误消息,如上,然后,ListExploder将为每条消息将该功能拆分为一个功能(为上面所示的错误创建三条记录)。

验证统计信息:此书签使用统计计算器.ISO19000标准讨论数据集的数据质量。此书签说明了如何开始将FME配置为符合ISO19114,其中标准讨论了如何使用数据质量测试根据不同的数据质量度量(如:

  • 布尔值:任何错误都会导致数据集失败
  • 佣金数量:特定数量的测试失败导致数据集失败
  • %佣金:导致数据集失败的测试失败百分比

在这个例子中,我们正在计算失败的百分比。

attributeValidator可以与几何验证程序以完全验证您的空间和非空间数据。您可以将AttirbuteValidator与FeatureWriter结合使用。如果数据未通过验证,如果数据集未能满足所设置的传递条件,则有机会回滚数据加载。通常,工作区中的每种功能类型都有一个attributevalidator。

结果

运行工作区并检查结果。来自attributevalidator失败端口的输出如上图所示。工作区的输出是两个csv文件:

  • 详细的失败消息(某些列已隐藏)

  • 摘要统计

使用FME Excel编写器是创建更全面的数据质量报告的好选择。

属性计算器限制

就像几何验证器一样,attributeValidator一次验证一个功能,并验证每个功能的属性。attributeValidator不检查功能之间的关系。

此刻,attributeValidator不验证日期字段。您可以使用数据时间转换器变压器。

例2

第二个示例工作区(attributevalidatorexample_pivot.fmw)引入了另一种报告格式。此工作区透视错误报告,以便每个功能都具有所有属性错误的摘要(为了清晰起见,某些列已隐藏):

属性计算器 验证 星期二,2016年1月26日23:05:43格林尼治标准时间 MARKAT亚搏在线ABLE