关于并行处理
每个FME翻译通常是为您的计算机上一个进程中运行。这意味着,通常,FME顺序处理在指定的每一组的特征分组依据参数。FME 2012+的版本可以使用多核心处理器,其中,在现代个人电脑,允许并行执行多个任务。FME还采用了超线程,用于使每个物理核心表现为两个逻辑处理器的主机操作系统的技术。通过分裂核心/处理器之间的工作负载,性能FME可以提高。
在支持此功能的变压器,并行处理,您可以运行转换为几个并发进程。该集团通过参数可以让你的功能分配给进程。并行处理参数,可以定义不同的层次的处理,从不平行至极端的。
在这里的例子,该集团通过参数设置为国家根据读者的数据集。通过设置并行处理水平,可以FME作为单独的,同时处理每个运行状态。
并行处理水平
例如,一个四核机,最小的并行将导致两个同时FME过程。一个8芯机上极端并行将导致16个同步过程。您可以使用此功能试验,并查看Windows任务管理器和工作台登录窗口中的信息。欲了解更多信息,请参阅并行处理级参数,以下。
注:FME许可证:还有就是要的过程可用于FME许可证数量的限制:基本版:4;专业版:8;所有其他版本:16。
任务管理器进程
当启用并行处理,通过FME产生一个新的处理的并行特征组fmeworker.exe
实例为每个组的特征。
- 在任务管理器中,流程作为附加的fmeworker.exe实例:
工作台日志
在工作台日志,信息消息表明许可限制(如果适用的话),该请求,进程的内存使用为每个“工人”,以及关于每个-WORKER_KEY识别信息:
|
注:当FME产卵额外的过程中,需要发送的输入功能,以新的程序,并获得来自过程的输出功能。相比于单进程模式时,该增加额外的CPU开销。
并行处理参数
使用并行处理,工作流应该具有的特征的几个基团可以各自独立地进行处亚搏在线理。每个组将成为一个独立的(并行)处理。一些分组技术将在下面讨论。
并行(有多少处理可以在一个单一的时间被执行)的水平取决于并行处理参数,其具有五种模式:
- 不平行
- 最小值
- 适度
- 好斗的
- 极端的
取决于所执行的操作中,一个模式可以比另一个更有利的,并且攻击或极端并不总是提供最佳的性能:在一些工作空间,并行处理不提供任何优势;在其它工作空间,平行的最小或中等水平是最佳的选择(例如,表面相关变压器如表面改进剂要么发电机平时工作最好使用这些选项)。
并行处理纳入一些变压器,并且还可以通过定制变压器公开其功能。
要在自定义的变压器使用并行处理,单击变压器参数在导航窗格:
与并行处理的定制变压器不必局限于在其中一个变压器:您可以使用多个变压器。
有关使用并行处理与定制变压器的更多信息,请参阅FME福音传道者。
使用注意事项
并行处理可提高性能FME;但它也可能会降低,或有很少的效果。当使用并行处理,重要的是,处理(CPU)时间对于每个组预计为显著超过启动一个新进程和发送特征来回的进程之间的开销。如果不是这种情况,那么启用并行处理会比不使用并行慢。
尝试在多处理模式数据的一小部分将帮助您确定是否有优势,使用它的整个数据集。
许多人,小团体
不建议使用并行处理,当你有很多组,每组有一小部分功能。每个组产卵的FME过程并且需要时间。例如,具有10,000个组的10个大功能,你会发现它的成本更高的性能来启动和停止FME 10000倍比你在并行处理保存。相反,10组的10,000个可能更有价值。
数据量
并行处理仅提供当数据量是足够大的优点:对于较小的数据集,运行多个进程的开销可以很容易地使译文慢于一个单一的过程。
其它系统资源
您需要确保其他系统资源,如内存是足够的任务。当你有八个核时,启动八个进程来进行重多边形分解是很好的,但是如果你只有2GB的内存,那么你实际上可能会减慢转换速度。
当任务被转移到其他地方时,并行处理非常有效。例如,如果有多个请求要通过HttpCaller程序,使用并行处理可能是值得的,因为对系统资源的影响很小。
写入磁盘
当任务涉及到磁盘写入时,生成多个进程不会加快任务的速度。