嗨,朋友们,
我想构建一个工作区来生成和验证UK Gemini 2.2元数据。我可以使用模板生成XML,并从该特性更新所需的元素。然而,验证它正是我被困住的地方。XML使用两个iso19139模式和gemini模式进行验证。这些在Github上提供:
ISO 19139 XSD模式(Eden 2009-03-16)
ISO 19139表A.1约束示意图(Medin/Parslow 1.4)
我对XML模式和Schematrons非常陌生。我认为一系列的XML验证器可以做到这一点,但我不知道如何配置它们。
FME Land以前有人完成过吗?
多谢,
戴维·麦克德莫特
提供复制规则的能力。
我每晚都从JSON服务中提取数据,而JSON服务没有验证。这些数据集有100多列。是否有方法将架构导入到属性验证器中,以便对每一列测试数据类型和最大长度?测试数据类型需要花费很长时间,每个数据集中每列的结构和最大长度,但是我的FME过程一直失败。
你好,
我需要验证SHP(或具有属性的dwg块)属性值反对字段数据类型和领域在模板gdb或xml工作区文档中指定。
读者ESRI小水电
作家ESRI GDB
问题:如果shp属性值与gdb字段数据类型不匹配,翻译失败。
我需要验证这些值并写入失败。
我想使用“attributevalidator”,但必须手动指定验证规则。
是否有任何方法可以从模板(gdb或xml工作区文档)中读取验证规则并自动写入它们?
例子:
读卡器SHP功能“pipe”具有具有属性值的字段“material”UPVC
写入程序gdb功能“pipe”具有具有指定域值的字段“material:”PVC-U,高密度聚乙烯体育课’
没有匹配项,所以翻译失败
谢谢。
TIFF和TFW文件验证
这是一个有点呼救,因为我仍然是相当新的处理故障模式。
我希望创建一个FME工作台,它可以验证TIFF和TFW文件的某些特定参数。
我大概要检查一下ATIME的100个TIFF和100个TFW文件。TIFF和TFW文件以相应的1公里网格引用作为其名称,例如,我有TQ7926.tif和TQ7926.tfw。
在FME中,最好的方法是什么?我很乐意回答任何问题来帮助回答我的问题。
我正在研究使用他们的数据审查产品为Arcgis开发一个数据验证系统。一些测试将需要创建临时和永久数据集,这些数据集最好用FME完成。SAFE是亚搏在线否有白皮书或任何有关如何将FME与Arcgis数据审查员产品联合使用的文件?以前有人尝试过吗?
我认为可以通过从数据审查员到操作系统调用Python来调用工作台,然后解释FME日志和输出表,并写入相应的数据审查表。
它是一个大数据集。如果没有值,我想把数据发给一个作家,如果有任何值,我想去看终结者。我的问题是数据集太大,使用测试仪或attributevalidator不起作用,因为在验证完成之前,值会传递给我的编写器。
我在我的Excel文档中有一个日期字段,我正在读FME,它包含dd/mm/yy yy和dd/mm/yy的混合。不幸的是,有些领域只有一年,例如1951。没有日期或月份。
我想知道的是,如何在日期字段中仅查找那些具有一年时间的特性,然后将它们返回给检查器。
我查看了attributevalidator,但我发现它在type下没有作为规则配置的日期。
你好,
我正在处理超过30个属性的近20万条记录,在我的工作流程中,我会验证这些记录是否是具有attributevalidator的某个属性的唯一记录。亚搏在线验证大约需要4020秒。
有没有其他比这个更快的转换器来进行这样的验证?
我在运行工作区之后添加了配置文件结果。
谢谢
更新:@ MattA亚搏在线tSafe
我添加的工作区仅通过验证进行简化。这一过程仅用了17分钟就完成了198000条记录。
这里:我上传了我在谷歌硬盘上测试的文件,因为它太重了。
https://drive.google.com/open?打开?ID=0B44BAUSLMR8ZVKXRGL6SGTONGC
任何帮助都将不胜感激
我已经看到保存了一个dwg文件的autocad版本可以按照这个链接,不过,我一直在追求好的想法,快速验证方法-例如版本必须是2007或更高版本。我正在使用realdwg阅读器,工作区必须在FME服务器上工作。
我试过暴露AutoCADJ版格式属性,但在我正在测试的文件中,没有任何值可以用于此。我注意到FME在读取日志时能够进行版本检查,在这种情况下,该文件被发现是AutoCAD2007。
我想把文件保存到一个临时位置,用文本阅读器读回它,然后通过它找到版本,但是我希望在工作区内有一个稍微整洁的解决方案。
还要求验证维度类型,但又一次AutoCAD_Dimension_类型遗失了。也许只是我的源数据让我失望了!
FME目前有属性激光雷达变压器。如果这个变压器也能验证参数,那就太好了。目前有必要使用参数蚀刻器/属性移动组合(因为我不需要保留参数)。如果不需要的话那就太好了
我的用例:
一种让用户通过参数输入各种公差的宁静服务。因为它使用的是REST,所以我们不能依赖接口来处理验证,所以我们明确地证实了这一点。
FME越来越致力于提供服务,因此输入(参数)验证变得越来越重要。
我需要简单的阅读,非GML XML数据集动态(单个合并的功能类型)并根据XSD文件验证它们(请参见消息底部)。
-在一组XML架构中找不到GML功能,确保至少有一个模式是用户,特定于域或社区的“G亚搏国际在线官网ML应用程序模式”。
问题:如何使用XSD动态读取此类非GML XML数据集?
以下是我的一个XSD示例:
下面是上面XSD的一个简单的XML文件示例:
看看attributevalidator如何在一个保护伞下执行许多属性验证任务。它的作用是确保属性数据将加载到目标格式数据模型中。
attributevalidator示例2018-begin.fmwt(启动工作区)
attributevalidator示例2018.fmwt(已完成的工作区)
attributevalidator示例2018-pivot.fmwt(已完成的工作区)
为了配合视频,请下载并打开attributevalidatorexample-begin.fmt。
属性验证是质量数据的基石。任何软件都可以充当放大器。如果是FME,如果您将质量差的数据分发给广泛的用户或格式,那么您就扩大了质量差的数据问题。如果在将数据加载到数据存储库之前验证数据,然后你放大了单一真理来源的好处。
FME始终能够使用变压器(如测试仪)验证您的数据属性,AttirbuteCreator(带条件值)Joiner(使用验证查找表)等。但这有点乏味和特别。FME 2016推出了一种新的变压器,属性计算器,在一个保护伞下,许多属性验证任务,正如属性管理器合并许多属性处理任务。
attributevalidator可以与geometryvalidator一起使用,以确保加载前所有数据都符合目标数据模型,从而减少因数据质量问题而可能被拒绝的功能的数量。
attributevalidator的作用是确保将属性数据加载到目标格式数据模型中。
由attributevalidator处理的一些验证运算符包括:
检查属性计算器验证操作员完整列表的用户文档
我们将处理一些手机信号数据,并验证它是否可以加载到一个简单的数据库中,并生成一个作为csv文件的验证报告。
以下是源数据:
使用attributevalidator,我们将验证以下属性:
打开附加的FME工作区模板。它从一个csv文件中读取并写出两个验证报告。工作区已完成并已添加注释。
以下描述了工作区的一些关键方面:
属性计算器:显然是这个工作区的关键部分。验证测试的配置如attributevalidator注释所示,如下所示:
大多数测试都是不言而喻的。
语法为“[”表示包含(大于或等于),“(”表示独占(大于)。所以[0,10]表示“大于或等于0小于10”。相同的sytax可以与in运算符一起使用以设置范围。
attributevalidator针对所有测试进行验证,因此在本例中,num_度量值必须同时验证为整数并且在范围[0,10]内。
如果功能上的所有属性都通过了验证测试,则该功能将通过通过端口。如果任何测试失败,然后通过失败端口。
如果测试失败,attributevalidator将向功能添加两个属性:
在本例中,其中一个特性未能通过三次测试,因此,添加到功能的失败消息是:
错误属性 | 错误信息 |
_ FME验证消息 |
值为“abe”的属性“codeprefix”无法检查是否匹配正则表达式“'[abcd]3” |
_ FME_验证_消息_列表0_ |
值为“abe”的属性“codeprefix”无法检查是否匹配正则表达式“'[abcd]3” |
_ FME U验证U消息U列表1_ |
值为“12”的属性“num_measures”无法检查范围“[0,10]”中的 |
_ FME U验证U消息U列表1_ |
值为“abe”的属性“codeprefix”在“abc,abd,txu,txv”中检查失败 |
配置完attributevalidator后,可以配置工作区以生成验证报告或统计信息。引用工作区中的书签:
数据验证报告:这个书签中的转换器创建一个列表,列出所有错误消息并写入一个csv文件。如果有多条错误消息,如上,然后,ListExploder将为每条消息将该功能拆分为一个功能(为上面所示的错误创建三条记录)。
验证统计信息:此书签使用统计计算器.ISO19000标准讨论数据集的数据质量。此书签说明了如何开始将FME配置为符合ISO19114,其中标准讨论了如何使用数据质量测试根据不同的数据质量度量(如:
在这个例子中,我们正在计算失败的百分比。
attributeValidator可以与几何验证程序以完全验证您的空间和非空间数据。您可以将AttirbuteValidator与FeatureWriter结合使用。如果数据未通过验证,如果数据集未能满足所设置的传递条件,则有机会回滚数据加载。通常,工作区中的每种功能类型都有一个attributevalidator。
运行工作区并检查结果。来自attributevalidator失败端口的输出如上图所示。工作区的输出是两个csv文件:
使用FME Excel编写器是创建更全面的数据质量报告的好选择。
就像几何验证器一样,attributeValidator一次验证一个功能,并验证每个功能的属性。attributeValidator不检查功能之间的关系。
此刻,attributeValidator不验证日期字段。您可以使用数据时间转换器变压器。
第二个示例工作区(attributevalidatorexample_pivot.fmw)引入了另一种报告格式。此工作区透视错误报告,以便每个功能都具有所有属性错误的摘要(为了清晰起见,某些列已隐藏):