关于并行处理

每个FME翻译通常是为您的计算机上一个进程中运行。这意味着,通常,FME顺序处理在指定的每一组的特征集团参数。FME 2012+的版本可以使用多核心处理器,其中,在现代个人电脑,允许并行执行多个任务。FME还采用了超线程,用于使每个物理核心表现为两个逻辑处理器的主机操作系统的技术。通过拆分核心/处理器之间的工作负载,性能FME可以提高。

在支持此功能的变压器,并行处理,您可以运行转换为几个并发进程。该集团通过参数可以让你的功能分配给进程。并行处理参数,可以定义不同的层次的处理,从没有并行性极端的

在这里的例子,该集团通过参数设置为状态根据读者的数据集。通过设置并行处理水平,可以FME作为单独的,同时处理每个运行状态。

并行处理水平

参数 的进程数量
没有并行性 1
最小的 处理器(CPU)是计算机执行数学计算的物理部分。它是计算机系统中最重要的部分。传统处理器上只有一个核心,这意味着在任何给定时间,只执行一组计算。如果一个处理器是双核的,这意味着单片机包含两个处理器的硬件,现在称为核心,以区别于单片机,同时并行运行。(来源:http://www.ehow.com/facts_5730257_computer-core-processors_.html)/ 2
温和的 岩心确切数目
咄咄逼人的 核心x 1.5
极端的 核心x 2

例如,一个四核机,最小的并行将导致两个同时FME过程。一个8芯机上极端并行将导致16个同步过程。您可以使用此功能试验,并查看Windows任务管理器和工作台登录窗口中的信息。欲了解更多信息,请参阅并行处理级参数,以下。

注意:FME许可证:有以可用于FME许可证进程的数量限制:基本版:4;专业版:8;所有其他版本:16。

任务管理器进程

当启用并行处理,通过FME产生一个新的处理的并行特征组fmeworker.exe实例为每个组的特征。

  • 在任务管理器中,进程作为附加的可见fmeworker.exe实例:

工作台日志

在工作台日志,信息消息表明许可限制(如果适用的话),该请求,进程的内存使用为每个“工人”,以及关于每个-WORKER_KEY识别信息:

| 2.0| 0.0|通知|当前的FME许可证将工人数量限制在' 16'

| 2.0| 0.0|通知|区域onareaoverlayer:‘MODERATE’的并行处理级别已请求‘8’工人

| 0.0| 0.0|通知|11>启动进程d: 6852,峰值进程内存使用量:26384 kB,当前进程内存使用量:26384 kB

| 0.0| 0.0|通知|11> FME配置:命令行参数为“C:\apps\FME_2013\fmeworker”“C:\Users” 当地\ AppData \ \ Temp \ childProcMap1353957917240_7552。fme' `LOG_STANDARDOUT' `YES' `-WORKER_CAPABILITY' `215L804U4L92U1L10U1L5U1' `-WORKER_KEY' `4120345835'

注意:当FME都创建一个额外的过程,它需要从过程发送输入功能,新流程和接收输出的功能。相比于单进程模式时,该增加额外的CPU开销。

并行处理参数

使用并行处理,工作流应该具有的特征的几个基团可以各自独立地进行处亚搏在线理。每个组将成为一个独立的(并行)处理。一些分组技术将在下面讨论。

并行(有多少处理可以在一个单一的时间被执行)的水平取决于并行处理参数,其具有五种模式:

  • 没有并行性
  • 最小的
  • 温和的
  • 咄咄逼人的
  • 极端的

取决于所执行的操作中,一个模式可以比另一个更有利的,并且攻击或极端并不总是提供最佳的性能:在一些工作空间,并行处理不提供任何优势;在其它工作空间,平行的最小或中等水平是最佳的选择(例如,表面相关变压器如SurfaceModeller要么TINGenerator通常这些选项的效果最好)。

并行处理纳入一些变压器,并且还可以通过定制变压器公开其功能。

要在自定义的变压器使用并行处理,请在导航窗格中的变压器参数:

与并行处理的定制变压器不必局限于在其中一个变压器:您可以使用多个变压器。

有关使用并行处理与定制变压器的更多信息,请参阅FME传道者的:

使用注意事项

并行处理可提高性能FME;但它也可能会降低,或有很少的效果。当使用并行处理,重要的是,处理(CPU)时间对于每个组预计为比启动一个新进程和发送特征来回的进程之间的开销显著更多。如果不是这种情况,那么启用并行处理会比不使用并行慢。

尝试在多处理模式数据的一小部分将帮助您确定是否有优势,使用它的整个数据集。

许多人,小团体

不建议使用并行处理,当你有很多组,每组有一小部分功能。每个组派生的FME过程并且需要时间。例如,具有10,000个组的10个大功能,你会发现它的成本更高的性能来启动和停止FME 10000倍比你在并行处理保存。相反,10组的10,000个可能更有价值。

数据量

并行处理仅提供了一个优势,当数据量足够大:对于较小的数据集,运行多个进程的开销可以很容易地使译文比单个过程比较慢。

其它系统资源

您需要确保其他系统资源,如内存是足够的任务。当你有8个核的时候,启动8个进程来做重多边形的溶解是可以的,但是如果你只有2GB的内存,那么你可能会减慢转换的速度。

当任务被转移到其他地方时,并行处理是非常有效的。例如,如果您有多个请求要通过HTTPCaller,可能值得使用并行处理,因为它对系统资源的影响很小。

写入磁盘

当任务涉及写入磁盘时,生成多个进程不会加快任务的速度。

附加信息和示例

FME社亚搏国际在线官网区:并行处理

FME传道者的: