斯潘8
斯潘4
很多次,我有一个从一个数据亚搏在线库读取多个表的工作流,分别执行几个简单的任务,并写入另一个数据库。如果有10张桌子,在继续下一个之前,它完成了一个。这最终可能会增加较长的处理时间。然而,如果我把作业分成10个独立的工作台,并在FME服务器上同时运行它们,由于它们是并行运行的,所以总处理量大大减少。不幸的是,这种方法会造成数据管理的噩梦。
我的建议是允许在一个工作台内并行读写(当这些读/写不依赖于同一工作台中的其他读/写时)。
显然,如果存在表连接或任何包含特性的变压器,这将不适用。
示例:下面的屏幕截图是一个由于大量数据而运行近24小时的作业。然而,没有一张桌子需要几个小时以上。但是,由于FME在“串行”模式下运行,所有这些小时最后加在一起。
达莱特保险箱亚搏在线评论·
您好!杰罗德斯图茨曼--分析工作区以寻找独立的流,然后并行运行它们的想法是非常好的。AS@ RylanA亚搏在线tSafe提到,与此同时,如果你的输出完全是针对不同的作者,那么使用FeatureWriter至少可以提高效率。然而,我们将继续考虑进行图形分析和拆分(如果工作区作者同意)块的想法,以便并行运行。
布鲁塞哈德评论·
另一种模式是使用不等待完成的WorkspaceRunner。例如,如果数据在目录中,请使用路径读取器,处理路径“windows inputs and write with dataset fanout@value(fme\u basename)”。
数据可交互性用户的一个警告;过程限制代码似乎没有被实现,您得到的过程和输入的过程一样多,这太令人兴奋了!
分享你的好主意,或者投票支持别人的想法。
?2019安全亚搏在线软件公司|合法的