题目中的问题:“性能” https://knowledge.亚搏在线safe.com/questions/topics/single/29919.html “绩效”主题的最新问题 更新的FME和现在的MS访问读取真的很慢 https://knowledge.亚搏在线safe.com/questions/86529/updated-fme-and-now-ms-access-reading-is-really-sl.html

我刚从2018.0更新到2018.1,现在的微软Access阅读器非常非常慢。在更新之前,几秒钟后就会读出来,现在同样的文件只需要几分钟。

我已经检查,可以确认FME和MS访问都是64位的,我有正确的链接文件,然而阅读仍然很慢。

有人能建议检查其他元素吗?

性能 阅读 访问读卡器 星期四,2019年2月7日15:08:25格林尼治标准时间 gavinvanderhout
在物理或虚拟机上安装FME服务器应该具有不同的性能? https://knowledge.亚搏在线safe.com/questions/82128/installing-fme-server-on-a-physical-or-virtual-mac.html

我已经在虚拟机上安装了fme服务器,并测试了一些繁重的fme工作,花了很长时间才完成。约20小时。

然后我在一台物理机器(服务器)上安装了相同版本的fmeserver。(两台机器具有相同的配置(相同的CPU内核,内存相同等)。

我在物理机器上测试了繁重的工作空间,性能也大大提高了。整个过程花了4个小时。

我的问题是:物理机器比虚拟机好吗?为什么?它们都是相同的构型。


问候,

萨曼

fmeserver 性能 虚拟机 physicalmachine 星期四,2018年11月08日10:42:31格林尼治时间 SAMANAZIZEGMAMP
想法-发现性能瓶颈在工作台 https://knowledge.亚搏在线safe.com/idea/79946/idea-discover-performance-bottle-necks-in-workbenc.html

希望有一种简单的方法来显示每个变压器的处理时间,从而快速识别出性能瓶颈所在的变压器。

数字将是由该转换器处理的特性的处理时间。

不管是通过报告,在特性缓存模式下运行时,在工作台上进行日志记录或可视化记录。

这将极大地帮助对性能/工作台计时工作进行优先级排序,从而按时安排数据流程。

性能 周五,2018年10月5日16:40:43格林尼治标准时间 rclarknxf
特性缓存和性能 https://knowledge.亚搏在线safe.com/articles/79739/feature-caching-and-performance.html

问题

功能缓存如何影响FME工作区的性能?

回答

这是个很好的问题。功能缓存影响工作区性能的方式有很多种。

注意:关于特性缓存功能的更新,请查看下面的FME工作台文档关于功能检查.

创建缓存数据

当工作空间在FME Workbench中运行时,如果启用了特性缓存选项,就会缓存特性。缓存用绿色图标表示,当工作空间运行并缓存特性时,它们将被动画化。

上图中,工作区已运行,并在每个步骤缓存数据。

性能的影响:当工作区在初始运行时激活了特性缓存,那么性能就会受到影响。这是因为创建这些缓存并用数据填充它们需要时间和系统资源。

然而,其目的是,缓存数据所损失的时间比重新运行工作区时节省的时间要多。将缓存的功能作为源数据读取,以避免重新运行整个工作区。

读取缓存数据

在设计和测试工作空间的过程中,通常没有必要重新运行整个翻译。缓存功能后,可以将其用作数据源,忽略先前未受编辑影响的转换器。

上图中,已在此工作区中编辑了StatisticsCalculator。图标颜色的变化表明后续的变压器也会受到变化的影响。要创建正确的输出,而不是再次运行整个工作区,缓存在AreaCalculator中的功能可以用作数据源。这是通过从统计员开始运行工作空间来实现的:

性能的影响:因为编辑后的StatisticsCalculator之前的工作区不需要重新运行,整体性能要快得多。性能的提高直接与跳变所做的工作有关。例如,通过缓存地理编码转换器的结果可以节省很多时间,以避免随后调用同一Web服务。

其目的是在“部分运行”期间获得的时间,补偿在初始执行工作区期间所损失的时间。

折叠的书签

在运行工作区时,数据被缓存,特性类型或转换器的每个输出端口都被缓存。

上图中,例如,这个扩展书签中的每个转换器都缓存其特性。

然而,在设计和测试工作区期间,并不是所有的特性都需要缓存。经满意测试的部分,不会被进一步编辑,因此不需要缓存。在这种情况下,通过折叠每个转换器所在的书签,可以防止每个转换器的缓存。

现在,当工作区运行时,只缓存折叠书签的输出端口。不会为其中的转换器缓存功能。

性能的影响:通过折叠书签以排除工作区的部分,减少了特性的缓存,因此可以更快地执行,并使用更少的系统资源。

未连接的输出端口

FME中的一些变压器被设计成可以产生多个输出。一般来说,FME仅为连接的输出端口创建输出。

上图中,例如,工作区使用表面调制变压器将轮廓变成锡表面。因为只有t表面输出端口连接,只创造了一个锡表面。

然而,当特性缓存被激活时,则所有输出端口均视为已连接,以及所有生成的输出。

上图中,功能缓存已导致生成所有输出,即使只有TINSurface是连接的。

性能的影响:一方面,这是一个有用的特性,允许用户在不连接输出端口的情况下查看不同的结果。另一方面,该过程耗时较长,使用的系统资源较多;不仅仅是因为缓存了更多的数据,但因为更多的计算正在进行,以产生所有不同的输出。

并行处理

并行处理是一种使用多个进程来提高性能的技术。这通常是使用自定义转换器实现的。然而,激活功能缓存时,不允许在自定义转换器中进行并行处理。

性能的影响:尽管特性缓存可以使用“部分运行”节省时间,它会导致通过并行处理获得的任何性能收益的损失。工作区作者必须平衡每种技术的优点,并选择产生最佳性能的技术。

大型数据集缓存

缓存时的性能降低在涉及的数据量非常大时尤其明显。例如,给定多个光栅文件,每一个都很大,缓存所有这些数据会消耗大量的系统资源。所以,在激活缓存之前,考虑是否真的需要缓存。也,确保在属性方面执行一般的最佳实践;也就是说,使用attributereMover尽可能早地在工作区中删除多余的属性(如果不必读取,则根本不读取这些属性),尤其是在不再需要列表属性时删除这些属性。

另一个建议是只使用一小部分数据设计和测试工作区,当完整数据集准备好投入生产时关闭缓存。

性能的影响:特性缓存背后的思想是通过使用“部分运行”来节省时间和资源。如果最初缓存数据所用的时间和资源,大于部分运行节省的时间,那么不应该应用功能缓存。大型数据集可能导致过多的缓存,因此应尽可能避免这种情况。

结论

通过允许工作区的部分运行,就性能而言,特性缓存可以带来非常大的好处。然而,也有一些情况下它会产生负面影响。必须小心避免缓存不必要的数据,必要时使用折叠书签。这包括带有多个未使用输出端口的变压器,在功能缓存模式下,这可能会生成比预期更多的数据。

性能 缓存功能 结婚,2018年10月3日19:11:58格林尼治标准时间 Mark2At亚搏在线Safe
强制写入器或featureWriter在结束前将数据写入文件 https://knowledge.亚搏在线safe.com/questions/77521/force-writer-or-featurewriter-to-write-data-to-fil.html

你好,

我有一个工作空间,我使用postGIS reader从数据库中获取大量数据。然后我尝试根据fanuexpression将其保存到不同的文件,如:output\@value(myattribute).gml

在DB中,我有20gb的数据,所以在某个时候,我就会出现内存异常。
我的想法是首先使用FeatureReader只读myattribute,然后使用duplicate atefilter,然后使用FeatureReader和where语句:myAttribute = @Value(myAttribute)

但结果只有在读取所有数据时才会保存到文件中,所以我得到相同的结果:“内存不足异常”。

有没有办法:

首先从给定的表中读取所有唯一的myattribute,然后关闭连接(因为连接超时也可能是一个问题)

接下来,对于每个唯一的myAttribute值,从给定的表中读取数据并保存到单独的文件中?这样我就不会出现内存不足或连接超时异常。

谢谢你的提示!

读者 性能 作家 内存 性能优化 星期四,2018年8月30日14:25:25格林尼治标准时间 智慧
使用临时固定许可证而不是浮动许可证的慢故障模式 https://knowledge.亚搏在线safe.com/questions/75581/slow-fme-using-temporary-fixed-license-instead-of.html

因为我是客户,无法通过vpn连接我们的许可证服务器,我安装了一个临时的固定许可证。使用许可证管理器安装时没有问题,然而,我的FME速度太慢了!我指的是一切:打开FME桌面,打开FME检查员,加载数据,运行一个模型,…我真的不能这样工作。有人知道这是怎么回事吗?

性能 许可证 星期四,2018年8月02日08:30:47 GMT bakkermans
如何在FME中使用并行处理 https://knowledge.亚搏在线safe.com/articles/74703/how-to-use-parallel-processing-in-fme.html网站

通过并行执行多个过程,可以设置FME以利用多个核心处理器。与单流程转换相比,并行处理具有提高性能的潜力。

本文提供了并行处理的基本介绍,包括一个循序渐进的教程练习。有关并行处理的更深入信息,包括各种技巧和技巧,以及一系列可能使用并行处理的示例场景,参见标题简单的文章并行处理.


并行处理设置

FME中的每个并行进程都使用自己的一组数据,并且数据不能在进程之间传递。因此,必须使用group by参数将数据分组,并将每个组设置为由不同的进程处理。


用户正在计算温哥华市公园游客数量的统计数据,使用FME的统计计算器变压器。每个公园都有一个属性来定义它所居住的社区。邻域属性用于对数据进行分组,通过设置并行处理级别,每组由一个单独的过程处理,可能会提高性能。

下载

将工作区作为模板启动

源数据集

例子

以下步骤是如何在变压器上使用并行处理的示例。

1。启动FME Workbench并打开附加的工作区模板:

请注意,工作区读取一个包含违规停车计时器的CSV文件。AttributeValueMapper转换器为每一种攻击提供一个货币值。

其任务是计算每项附例所记录的罪行数目和罚款总额。

2。在AttributeValueMapper后面加一个统计测量变压器:

打开统计计算变压器的参数对话框。在Group By参数下,选择属性规则。这将确保每个不同的规章制度生成自己的统计数据集。选择FineAmount作为要分析的属性:

现在设置如下:

  • Total Count属性:bylawinfraction
  • 和属性:BylawTotalFines
  • 平均属性:BylawAverageFine

清空任何其他参数字段:

三。将inspector transformer添加到statisticscaleculator:summary输出端口(或打开feature caching)并运行工作区。在我的电脑上,有了监控器变压器,运行完成大约需要53秒。

然而,因为我们使用的是数据组,所以我们有能力启用并行处理。

4.为统计计算变压器重新打开参数对话框。将并行处理参数设置为中等。在四核计算机上,这将同时运行四个进程。

可选地,打开任务管理器窗口,然后重新运行工作区:

fme workbench.exe是fme workbench用户界面的过程。

exe是FME翻译的主要流程,exe进程是一个并行的计算统计量的进程。

在我的电脑上,整个翻译现在只需要29秒就能完成,演示并行处理如何缩短翻译时间。

数据属性

此处使用的数据源于温哥华市,不列颠哥伦比亚省。它包含根据开放政府许可证(温哥华)获得许可的信息。

猪瘟病毒 性能 statisticscalculator 并行处理 并行处理 结婚,2018年7月18日格林尼治标准时间22:32:32 Mark2At亚搏在线Safe
用户反馈请求:溶解器性能 https://knowledge.亚搏在线safe.com/questions/74524/user-feedback-request-solver-performance.html

尊敬的FME用户:

你用过溶解变压器吗?这是否符合目的?

我们的几何小组正在研究溶解器性能改进项目。他们有很多绝妙的想法——尽管我不了解所有的细节,这个团队是如此的兴奋,我毫不怀疑溶解者会取得显著的进步。

团队希望收到用户的来信。如果你的工作流程涉及到溶解器亚搏在线,并且对其性能不满意,请让我们知道。如果你有一个数据集溶解器正在努力溶解,请与我们共享数据集-我们希望确保测试所有边缘情况。如果你有一个数据集分解器是非常有效的,请毫不犹豫地提及它-我们希望更新的溶解器与当前版本一样快,或者在处理数据集时更快。

请在下面添加评论,通过共享数据集报告问题,或者在dissolver@safe.com给我们留言。亚搏在线

谢谢,
FME蜥蜴

几何学 性能 溶解器 性能优化 周一,2018年7月16日格林威治标准时间22:34:06 FMELizard
如何加速attributeValueManager? https://knowledge.亚搏在线safe.com/questions/70052/how-to-speed-up-the-attributeValueMapper.html(https://knowledge.safe.com/questions/70052/how-to-speed-up-the-attributeValueMapper.

嗨,大家好,

我们刚刚从2017.1.x升级到2018.0.0.2,一个过去运行5分钟的工作台现在以每秒1条记录的速度运行,我有62000条记录需要处理。瓶颈出现在具有140个查找值的AttributeValueMapper。FileGDB和AttributeRemover在几乎没有时间的情况下读取了所有62,000条记录,然后它们撞上了AVM,所有东西都立刻慢了下来。

我们尝试了一个FeatureWriter(对于使用duplicate ateremover的CSV)来获取一个唯一值的文件,并使用新的映射值更新这个文件,然后使用DatabaseJoiner,但速度仍然很慢,每秒2个特性。

对于如何加快速度有什么建议吗?

工作台接收一个filegdb表,并使用databasejoiners连接另外两个filegdb表(每个表中都有一个公共关键字字段),以在PostgreSQL中构建一个输出表,每个表中都有选定的字段。

谢谢

罗斯

性能 属性值管理器 优化 星期四,2018年5月10日格林尼治时间11:29:09 混合布雷迪
通过更新检测器和功能合并增强性能 https://knowledge.亚搏在线safe.com/questions/68769/performance-enhancements-with-updateddetector-and-f.html(https://knowledge.safe.com/questions/68769/performance-enhancements-with

我有一个工作台,它必须处理大约600000行,并将更新应用于主数据集(.gdb)。所附的工作台是必须完成的工作的一个非常小的示例。我遇到的主要问题是更新检测器非常慢。大约1000行代码的示例运行花费了2个多小时。因此,任何建议,我可以做的事情,以加快它将非常感谢。
我还发现,当我试图用完整的数据集运行整个工作台时,FeatureMerger使用EXTRA_REFERENCEE_FEATURE拒绝代码拒绝供应商。这似乎只有在供应商数量相当大时才会发生。我已经看到了在副本中提到的相同的拒绝代码,但是在完整的供应商数据集中我没有任何副本。

任何问题上的帮助都将不胜感激。

样本的长椅上演示.fmwt

全台Piccapture1.png

性能 featuremerger updatedetector 周一,2018年4月23日09:53:04格林尼治标准时间 中华人民共和国
为什么LineOnLineOverlayer比inter扇区慢? https://knowledge.亚搏在线safe.com/questions/65579/why-is-the-lineonlineoverlayer-slower-than-the-int.html

我的输入和输出是一样的,但是,LineOnLineOverlayer明显比inter扇区慢。为什么相同的过程在一个vs中花费的时间更长。其他的?交叉线优于直线重叠线吗?

几何学 性能 部门间 lineonlineoverlayer 星期四,2018年3月08日23:08:47 GMT FMELizard
FME云:如何用临时磁盘加速工作流程亚搏在线 https://knowledge.亚搏在线safe.com/articles/65205/fme-cloud-how-to-speed-up-your-亚搏在线workflows-with-the.html

我们在2017年推出了下一代FME云实例未来与NGINX反向代理配置,更多的可用区域,新实例类型和临时磁盘。

为了能够充分利用临时磁盘的强大功能,我们需要研究和理解3种不同的概念或机制:

  1. 哪些数据应转到临时磁盘
  2. FME何时使用临时磁盘?
  3. 临时磁盘的大小和性能之间的关系

在理解了这三个方面的含义和影响之后,我们将能够利用FME云上的临时磁盘来提高我们的工作流的性能。亚搏在线

哪些数据应转到临时磁盘

在主磁盘上,我们存储FME服务器安装和FME服务器共享资源,只有一个例外,临时文件夹。FME服务器资源中的临时文件夹是到FME云实例的临时磁盘的资源连接。

顾名思义,temp文件夹只能用于不需要在FME云实例上持久化的数据。不需要持久化的数据通常是在某个工作区中处理的上载用户数据,您可能从AWS S3之类的云资源下载数据以在FME云上处理,而数据FME在转换期间需要写到磁盘上(我们将很快对此进行详细讨论)。这些数据应该转到临时磁盘而不是主磁盘的原因有两个:

1。稳定性:当主磁盘已满时,即使在实例重新启动之后,Web应用服务器也可能会关闭并无法正确启动。通常恢复的唯一方法是回滚到以前的备份。如果我们不存储难以控制和估计的数据,如用户数据或临时FME输出,就可以避免这种风险。在主磁盘上。

2。灵活性:每次重新启动FME云实例后,将清除临时磁盘。这允许我们以比主磁盘更灵活的方式调整临时磁盘的大小。主磁盘只能增加大小,而临时磁盘的大小可以随时增加或减少,以满足您的需求。

三。可利用性:由于每次重新启动FME云实例时都会清除临时磁盘,确保有足够的磁盘空间可用的开销要低得多,因为您可以轻松地清除整个磁盘,例如在周末重新启动。

4.可购性:临时磁盘不包含在FME云备份中,因此您可以通过将将来不需要的数据存储在临时磁盘上,显著降低备份成本。

FME何时使用临时磁盘?

使用FME进行的许多转换都需要将数据写入磁盘,以便将来进行处理。最常见的原因之一是内存不足,FME服务器试图优化内存。有些人可能还记得,几年前,日志文件中的一条这样的消息意味着您的工作空间基本上已经失败了,即使它仍然在尝试:

资源管理器:优化内存使用。请等待…

但从那以后,我们取得了长足的进步。我们的开发人员对内存利用率进行了相当大的优化,而且快速SSD磁盘的可承受性也有所提高,这使得这种场景不再像以前那样无望。

内存密集型转换的常见疑点是带有合并或覆盖后缀的变形金刚(例如FeatureMerge或PointOnAreaOverlayer)。点云相关变压器出于排序或分组目的而需要“保留特性”的转换器。

磁盘大小与性能的关系

FME云在AWS ec2实例上运行,使用AWS通用SSD (gp2)卷。要了解这些卷的两个重要细节是I/O信用和突发性能。一般来说,我们可以说磁盘越大,每秒的最小输入/输出操作(IOPS)就越高。

此外,对于基线性能,AWS GP2卷小于1000 GB,也能够基于信用系统的3000 IOPS的性能突发,这同样是基于磁盘的大小:磁盘越大,最大突发性能持续时间越长。关于AWSs gp2卷的所有性能细节,请确保查看此AWS日志:

了解突发事件与Amazon RDS和GP2的基本性能

结论

简单来说,这意味着我们的临时磁盘越大,我们对它的读写速度就越快。现在我们知道FME正在利用临时磁盘在转换期间写入临时数据并且我们更喜欢将来自用户或云服务的输入数据存储在临时磁盘上,很容易理解,根据我们的需要调整磁盘大小的能力不仅是一种增加存储空间的工具,也是一种提高性能的好方法。

请查看我们的文档和教程,了解更多关于如何调整临时磁盘大小的细节:

文档:调整实例的大小
开始使用FME Cloud:实例调整大小

性能 fmecloud 内存消耗 效率 可用磁盘空间 临时磁盘 周五,2018年3月02日19:42:28格林尼治时间 GerhardAt亚搏在线Safe
在包含自定义循环变压器的工作台中,性能速度较慢 https://knowledge.亚搏在线safe.com/questions/64426/slow-performance-speed-in-workbench-containing-cus.html

你好,

我有一个FME 2016.1工作台,它包含一个定制的循环转换器,其中还包含一个Python调用程序和一些Python代码。

工作台输出预期的结果,但是运行需要一个多小时。我需要它在20分钟内理想地运行。

我附加了一些主工作台和自定义转换器的屏幕截图。有没有人知道我可以做些什么来加快进度?

谢谢,

性能 循环 自定义转换 巨蟒召唤者 速度 星期二,2018年2月20日12:14:33格林尼治标准时间 海蓝宝石
为什么我的工作台这么慢 https://knowledge.亚搏在线safe.com/questions/63894/why-is-my-workbench-so-slow.html

我和我的同事都有FME许可证。我们使用工作区根据时间将图片(jpg)绑定到gps (gpx)的跟踪点。

当他运行工作区时,5000张照片大约需要10分钟。

当我运行工作区时,100张图片大约需要10分钟。

我们的电脑都很好。类似的CPU(I7 5930)。我有64gb内存。他有32GB的内存。我有英伟达Quadro K4200。他有GTX 1080。

工作台 性能 问题 星期二,2018年2月13日07:59:40格林尼治标准时间 Koenvdw公司
将数据从SQL数据库移动到另一个SQL数据库的最快方法是什么? https://knowledge.亚搏在线safe.com/questions/63544/what-is-the-fastest-way-to-move-data-from-sql-data.html

关于我的问题的更多信息。我们的系统不使用SQL AG,理想情况下,我们将转向这一点。就目前而言,我在一个数据库中有75个表,大约有300个表。在这个数据副本中,我只想要75个表。我们正在构建这个新的数据库,作为一个“datamart”,用于报告和其他工具从这个数据源提取数据,不影响我们的生产系统。我今天正在测试,发现数据从一台服务器复制到另一台服务器所花费的时间比我预期的要长。我现在正在使用工作台测试这个,但是一旦我有了好的结果,我将把工作台推到FME服务器来安排这项工作。我的第一个测试,我提取了所有的数据,我看到一次提取2500个特征。我使用的是静态阅读器而不是动态阅读器。对于我的第二次测试,我将从较大的表(超过100万条记录)中精炼数据,以添加where条件来限制提取记录的数量。我正试图在5分钟内完成这项工作。我正在寻找SAFE将数据从一个数据亚搏在线库拉到另一个数据库的最快方法。工作台上没有变压器,只需读取和写入数据。我很好奇安全团队会做什么来尝试在5分钟的时间亚搏在线框架内构建它(如果可能的话)。数据存储在我们的网络中,并且都位于同一地理位置。该数据也没有几何数据类型。

数据库 性能 SQL 拷贝文件 结婚,2018年2月7日格林尼治时间16:45:30 铁木