主题问题:“分布式” https://knowledge.亚搏在线safe.com/questions/topics/single/153.html网站 “分布式”主题的最新问题 一个FME服务器2018.1安装场景 https://knowledge.亚搏在线safe.com/articles/81263/an-fme-server-20181-installation-scenario.html

脚本

我刚买了带五个引擎的FME服务器2018.1。I want to use the新的2018.1容错配置,以及我自己的数据库和文件共享。


For more information ondeploymentandfault tolerance请看我们的文档.

多核系统

该系统提供了一个简单的FME服务器部署,并具有处理硬件和软件故障的灵活性。在这种情况下,核心,网状物,and engine installed together in one process and can be added any number of times again without additional configuration.

注意:在一次部署中,每个额外的核心不需要新的核心许可证。

Benefits

  • 高可用性:如果一个系统故障,您有多个仍在运行的节点。
  • Engine Numbers: In the event of a machine failure the engine license will be returned to the active core,and through the Web Interface you can add those engines to an active machine.
  • 高容量:七台独立的机器意味着一个CPU繁重的作业不会影响其他作业。
  • 易于安装核心,网状物,同时还有发动机
  • 易于添加其他机器或更换机器
  • 发动机可以安装在数据旁边。

缺点

  • 与仅引擎安装相比,需要稍微多一些CPU和内存(Web和核心安装大小为1.15 GB)
  • You have to have,安装在x台机器上

大型机器部署

系统部署需要更少的机器和简单的安装。然而,in the event of a hardware failure on a core machine,第二个内核必须具有CPU和内存容量,才能从故障机器上运行额外的引擎。

Benefits

  • Engine Numbers: In the event of a machine failure the engine license will be returned to the active core,and through the Web Interface you can add those engines to an active machine.
  • 仅使用两个核心/发动机机器即可轻松安装

缺点

  • Requires much more CPU and Memory to deal with multiple engines on one machine

分布式发动机系统

此方案将发动机部署在单独的机器上。这些引擎是用一个核心注册的,然而,the owner of the engine changes if the registered core goes offline and the new core will be able to send jobs to it.虽然这是与本文讨论的第一个场景非常相似的安装,但区别在于a)稍微复杂一点的安装b)仅用于引擎节点的较小安装c)更少的故障转移核心和Web应用程序。

Benefits

  • 高可用性:如果一个系统发生故障,则有多个节点仍在运行
  • Engine Numbers: In the event of a machine failure the engine license will be returned to the active core,and through the Web Interface you can add those engines to an active machine.
  • 高容量:七台独立的机器意味着一个CPU繁重的作业不会影响其他作业。
  • 发动机可以安装在数据旁边。

缺点

  • You have to have,安装在x台机器上

安装 分布式的 fault tolerance 故障转移 deployment 建筑学 Thu,2018年10月25日格林尼治标准时间22:18:16 理查德保险箱亚搏在线
端口和可执行文件以及FME服务器的防火墙例外 https://knowledge.亚搏在线safe.com/articles/45844/ports-and-executables-and-firewall-exceptions-for.html

此列表旨在提供创建入站/出站防火墙规则时的起点,以允许所有FME服务器组件之间进行通信。The FME Server Reference Manual has最新的端口列表that FME Server uses,但下表突出显示了各个可执行文件。

如果您的FME服务器架构分布式FME引擎,then please see the section "Distributed FME Server Engines" below.

*注:此列表可能并不详尽。If you have experienced any different,请在下面留言。

端口可执行文件 入站)

25 FMEPublisher.exe
465 FMEPublisher.exe
7069 fmeconnection.exe文件
7070 fmeserver.exe文件
7071 fmeserver.exe文件
7072 fmenotifier.exe文件
7073 fmescheduler.exe文件
7074 fmenotifier.exe文件
7075 fmerrelayer.exe文件
7076 FMERelayer.exe
7077 fmeconfiguration.exe文件
7078 fmewebsocket.exe文件
7079 fmemountpoint.exe文件
7081 fmecleanup.exe文件
7082 postgres.exe文件
7500个fmeprocessmonitorengines.exe
7501 fmeprocessmonitorcore.exe文件

端口可执行文件(出站)

25 none
465无
7069 FMEServer_ApplicationServer.exe,fmeconfiguration.exe文件,fmeconnection.exe文件,FMEEngine.exe
7070 fmeengine.exe文件
7071所有可执行文件
7072所有可执行文件
7073 fmeserver_applicationserver.exe,fmeconfiguration.exe文件,fmescheduler.exe文件
7074 FMESubscriber.exe
7075 fmeserver_applicationserver.exe,fmeconfiguration.exe文件,Felelayay.EXE
7076 fmepublisher.exe文件
7077 fmeserver_applicationserver.exe,fmeconfiguration.exe文件
7078无
7079 fmeserver_applicationserver.exe,fmeconfiguration.exe文件,fmemountpoint.exe文件
7081 FMEServer_ApplicationServer.exe,fmeconfiguration.exe文件,FEXCELANUP.EXE
7082 fmeconnection.exe文件,fmeprocessmonitorcore.exe fmeprocessmonitorengines.exe,FMESSEVE EXE
7500 fmeserver_applicationserver.exe,FMESSEVE EXE
7501 FMEServer_ApplicationServer.exe,fmenotifier.exe文件,Felelayay.EXE

分布式FME服务器引擎

分布式FME服务器引擎可能需要对fmeserverconfig.txt fil进行额外配置e,找到安装了FME服务器核心的位置(“ \Server \“)。

FME服务器引擎通过端口7070与FME服务器核心建立通信。Once this connection is established,另一个随机端口是为专用通信而打开的-这种情况发生时,端口7070再次对任何其他试图连接的服务可用。

我们观察到具有严格防火墙规则的环境(“不允许,除非XXXX”),否则必须为FME服务器定义专用端口池。

在fmeserverconfig.txt中,there is a parameter called服务器端口池.The default value is 0 - which means that the assigned dedicated port is random.尝试将此参数设置为有效范围可用端口数-例如-7100-7150.

在进行此更改之后-并保存文件-必须重新启动FME服务器核心,以及任何分布式FME引擎。

!!Make sure to also create the associated firewall exceptions for this FME_SERVER_PORT_POOL range.!!

*Note: You may experience a "stall",“冻结”,或者,如果分布式FME引擎无法通过随机分配的端口与FME服务器核心建立通信,或者如果您配置了一个无效的范围,则会出现FME服务器Web界面的“超时”。

关键词:FME服务器端口FME服务器端口

管理 发动机 分布式的 港口 防火墙 Tue,13 Jun 2017 14:44:17 GMT rylanat亚搏在线safe
File system requirement https://knowledge.亚搏在线safe.com/questions/43118/file-system-requirement.html

Hi i am new to FME,we are trying to set up 2 tier architecture.Is that mandatory to have the file system installed on a separate server (please refer the attached image for the instruction i found online) or it can be on the same web/Application server itself?我假设这个文件服务器是一个共享目录,可以在网络上的任何地方。

谢谢,

Mari…

fme-qtn.jpg

安装 目录和文件路径名 安装 分布式的 系统共享目录 FRI,21 Apr 2017 14:00:39 GMT 可达J
FME服务器架构/最佳实践 https://knowledge.亚搏在线safe.com/questions/30697/fme-server-architecturebest-practices.html(https://knowledge.safe.com/questions/30697/fme-server-architecturebest-pr

是否有人有关于培训或白皮书的建议,这些建议涉及FME服务器架构的要求和最佳实践?Looks like the training classes are geared towards building workspaces.

安装 FME服务器数据库 分布式的 结婚,2016年7月6日14:39:33格林尼治标准时间 安德鲁尔
将日志文件输出到分布式环境中的本地目录 https://knowledge.亚搏在线safe.com/articles/23073/outputting-the-log-file-to-a-local-directory-in-a.html

在FME服务器安装中,引擎分布在网络上的多台机器上,所有日志文件都会写入承载FME服务器核心的机器,默认情况下。This log activity may lead to slow network traffic and affect I/O on the core.为了解决这个问题,您可以将日志文件输出指向每个FME服务器引擎的本地文件系统。

  1. On the machine that hosts the FME Server core,copy the *.properties files,位于 /资源/*.properties。
  2. 在托管FME服务器引擎的每台机器上:
    1. Create a /Resources directory under ,并将*.properties文件粘贴到该目录中。
    2. 打开fmecommonconfig.txt,位于: 服务器/服务器/
    3. Update the RESOURCE_PATH directive to the newly-created local /Resources directory.For example:
      资源路径=c:/程序文件/fmeserver/resources
    4. Save and close the fmeCommonConfig.txt file.
    5. Restart the FME Server service.
管理 安装 日志文件 分布式的 周一,22 Feb 2016 05:33:08 GMT 戴维巴伯
Unable to Manage Engines from Web UI https://knowledge.亚搏在线safe.com/articles/20008/unable-to-manage-engines-in-a-distributed-installa.html

Symptom

“更改FME引擎数”对话框不会显示在Web用户界面的“引擎”页上。

原因

这种情况有两个原因:

1。最初,FME服务器安装为快速安装,然后将FME发动机添加到单独的机器上,但过程中缺少数据库更新步骤。

2。FME引擎机器向FME服务器核心报告FME服务器核心无法解析的主机名。

分辨率

1。完成中的数据库配置步骤在单独的机器上添加FME发动机.

2。确保FME服务器核心从FME引擎机器接收到的主机名将解析为FME引擎机器。FME引擎机器的主机名在processMonitorConfigEngines.txt文件中的参数节点“主机”中指定,该文件可在FME服务器的安装文件夹中找到。C:\Program Files\FMEServer\Server on Windows or /opt/fmeserver/Server on Linux,on the FME Engine machine.

安装 发动机 分布式的 Thu,2015年11月12日21:51:09格林尼治标准时间 rylanat亚搏在线safe
分布式部署不是从Express开始的。快速部署应准备好分发 https://knowledge.亚搏在线safe.com/idea/19043/distributed-deployment-doesnot-follow-from-express.html 安装 分布式的 Thu,29 Oct 2015 15:35:19 GMT fmelizard Ability to Share Storage across machine instances. https://knowledge.亚搏在线safe.com/idea/18983/ability-to-share-storage-across-machine-instances.html 安装 分布式的 Thu,2015年10月29日15:35:12格林尼治标准时间 fmelizard 数据下载结果未写入定义的目录 https://knowledge.亚搏在线safe.com/articles/538/data-download-results-are-not-written-to-the-defin.html(https://knowledge.safe.com/articles/538/data-download-results-are-not-written

Symptom

在分布式环境中运行FME服务器时,在Windows和应用服务器(即Tomcat)在Linux上,数据下载结果不会写入Linux上的数据下载结果文件夹。

原因

FME服务器完成作业后,the response is sent to the Data Download service.The Data Download services uses the parameters defined in the FME Engine configuration files.如果它使用的任何路径被定义为UNC路径,因为服务在Linux设备上,所以找不到路径

分辨率

为了解决这个问题,Linux路径需要在FME引擎配置文件中进行硬编码。( /Server/fmeEngineConfig.txt).

以下是我们在设置中使用的方法:

子节文件“下载服务\fme工作目录”\\bd-redhat4\datadownload\fmedatadownloadresults“\fme映射目录”c:/apps/fme server/server/repository/”\fme转换日志目录“\\bd-redhat4\datadownload\logs“\pre-command mkdir”!FME_auto_dir_name!“\宏定义FME服务器目标目录!FME_auto_dir_name!/\发布命令CD!FME_auto_dir_name!发布命令!继续不警告!“c:/apps/fmeserver//utilities/zip.exe”-rq“!FME_auto_file_name.zip!“*\发布命令!继续不警告!光盘。发布命令!继续不警告!RMIDR/S/Q“!FME_auto_dir_name!“\成功响应0:翻译成功outputlocation=/opt/apache-tomcat-6.0.18/webapps/root/fmedatadownloadresults/!fme_auto_file_name_simple.zip!|结果rootdir=/fmedatadownloadresults numFeaturesOutput=!FME_num_功能_输出!| logfilelocation=/opt/apache-tomcat-6.0.18/webapps/root/logs/!FME_auto_file_name_simple.log!| logfilename=datadownload/!FME_auto_file_name_simple.log!\失败\响应!故障模式与后果分析错误编号!:!谢谢!|日志文件位置=!FME转换日志目录!!FME_auto_file_name_simple.log!| logfilename=datadownload/!FME_auto_file_name_simple.log!

注:对于FME 2014 SP2及更早版本,您必须为正在运行的每个引擎更新一个日志文件。For example: /服务器/fmeengineconfig_n.txt。

错误 数据下载 分布式的 Thu,08 Oct 2015 19:13:48 GMT brianat亚搏在线safe
Service log folders don't get created in a distributed setup which causes jobs to fail https://knowledge.亚搏在线safe.com/articles/539/service-log-folders-dont-get-created-in-a-distribu.html网站

请注意:本文仅适用于FME Server 2011及更旧版本。此问题已针对FME Server 2012修复。

症状

When running a job in the web user interface you receive the error in the web browser:

无法完成转型无法运行奥斯汀市:公寓和其他(acad 2 kml)。数据流服务在传输过程中中止或没有响应。


如果在catalina日志中查找tomcat,您将看到类似以下内容的错误:


2011年6月8日上午9:30:19 org.apache.catalina.startup.hostconfig deploywar信息:部署Web应用程序存档fmedatadownload.war
2011年6月8日9:30:19 am org.apache.catalina.startup.tldconfig tldscanwebxml警告:处理tld失败,路径为[/WEB-INF/tlds/general]和uri[/WEB-INF/tlds/general.tld]java.net.MalformedureException

原因

在分布式环境中安装FME服务器时,一台服务器上有Tomcat,另一台服务器上有FME服务器,指导用户运行FME服务器安装程序,并且在运行安装程序时不检查“服务”。This correctly doesn't lay down any of the WAR files.


The problem is that it also does not create the log file sub-folders for each service i.e:


/日志/数据下载
/日志/数据流


一旦用户在服务器上运行了带有Tomcat的服务安装程序,如果他们尝试启动FME服务器并运行一个作业,日志中就会抛出一个错误,说明由于日志文件不存在,所以无法将其写入该文件夹。

分辨率

Note: This issue was fixed in FME 2012 - Build Number 12127.

手动创建日志文件子文件夹。这就是你应该拥有的:


/日志/数据下载
/日志/数据流
/Logs/dataupload
/日志/FME目录
/日志/作业提交者服务
/日志/kmlnetworklink
/Log/OGC
日志/休息
日志/调度程序
/日志/服务器作业提交者
/日志/服务器流
日志/肥皂
/Logs/token
管理 安装 Web应用服务器 分布式的 Thu,08 Oct 2015 19:13:48 GMT brianat亚搏在线safe
使用UNC路径时发生FME服务器日志错误存储库主目录不是目录 https://knowledge.亚搏在线safe.com/articles/433/fme-server-log-error-when-using-unc-paths-reposito.html

Symptom

如果您尝试使用存储库目录的网络共享(例如\\本地主机\repos)重新启动计算机后,FME引擎可能无法启动,您可能在fmeserver.log中看到以下错误:

存储库主目录不是目录:://localhost/repos

原因

The user that is running the FME Server Windows Service doesn't have permission to write to the repository directory.

分辨率

确保运行FME服务器Windows服务的用户具有读取/写入FME服务器系统共享目录的权限,并在重新启动服务后查看问题是否已解决。要更改运行服务的用户,看到这个guide.

验证安装.

管理 日志文件 分布式的 Thu,2015年10月8日19:13:31格林尼治标准时间 lauraat亚搏在线safe
FME Server Web UI: Error 500: Can't Find Bundle For Base Name (FME Server 2015 or Previous) https://knowledge.亚搏在线safe.com/articles/379/fme-server-web-ui-error-500-cant-find-bundle-for-b.html

Symptom

When connecting to the Web UI,显示错误:

HTTP状态错误500-找不到基名称的捆绑包

原因

设置文件系统位于单独计算机上的分布式系统时,权限不正确。

分辨率

打开该文件系统目录的权限,这样我们运行FME服务器服务的当前用户帐户就可以访问这个目录。或者,将运行FME服务器服务的用户更改为具有正确权限的用户。You can view a step by step guide to changing the service user here:在不同帐户下运行系统服务

它还可以帮助确保安装了FME服务器的计算机与文件系统位于同一域,并且用户帐户是本地管理员。

权限更正后,验证现在是否可以使用以下方法访问Web UI:http://。/ : .

管理 安装 分布式的 Thu,2015年10月8日19:13:23格林尼治标准时间 brianat亚搏在线safe
Notifications,订阅和主题安装不正确 https://knowledge.亚搏在线safe.com/articles/290/notifications-subscriptions-and-topics-not-install.html

Symptom

安装完FME服务器后,转到“管理Web用户界面”->“通知”选项卡。如果通知服务的设置失败,您将看不到任何默认设置。 订阅话题.如果您尝试添加新的 订阅there are no choices in the Type drop down.
在用自己的Web应用服务器或FME服务器数据库安装FME服务器时,似乎会出现此问题。The problem does not seem to occur with the Express install.迄今为止,此问题仅出现在Windows上。

原因

安装程序运行调用的脚本 \客户端\实用程序 called 添加订阅服务器.bat创建默认订阅和主题。安装程序在安装使用自己的应用程序服务器(例如an existing Apache Tomcat) or where you are using your own FME Server database (e.g.Oracle).

分辨率

按照以下步骤手动运行订阅服务器安装文件。

Steps
注意:请确保以管理员身份执行这些步骤。
  1. Ensure FME Server is running.如果你不确定,confirm by going to the Admin Web UI(http:// : /FMEServer管理 )如果FME服务器没有运行,可以转到“程序”->“FME服务器”->“Windows服务”->Start
  2. 打开新的命令窗口(开始->运行->命令
  3. 将目录更改为 /客户/公用设施
  4. Run the batch file添加订阅服务器.bat
  5. 刷新浏览器中的Web管理用户界面,然后单击通知标签。现在应该可以看到默认主题和订阅。
通知服务 安装 分布式的 Thu,2015年10月8日19:13:08格林尼治标准时间 KenAt亚搏在线Safe
Fault Tolerance Active/Passive More Information https://knowledge.亚搏在线safe.com/articles/155/fault-tolerance-activepartive-more-information.html(https://knowledge.safe.com/articles/155/fault-tolerance-activepartive-more-informatio
FME服务器2018.1+有一个新的容错配置系统,有关更多信息,请参阅 文档or the 引入新的2018.1容错架构article.

问题

您能告诉我更多关于您的主动/被动容错配置的信息吗?

回答

配置主动/被动容错时要考虑的FME服务器组件包括:

  • Java Web Application Server
  • Process Monitor
  • FME Core
  • FME发动机
  • 数据库存储库
  • 文件库

在为故障容限配置FME服务器时,Web应用服务器,数据库存储库和文件存储库与FME服务器过程(过程监视器,核心和引擎)。

Web Application Server

Web应用服务器必须检测FME服务器核心中的故障并故障转移到备用或辅助系统。换言之,如果群集中的单个JavaWeb应用服务器失败,故障转移系统将立即恢复,操作将继续。FME服务器管理员负责提供这部分环境,因为它需要额外的安装和配置,而不是FME服务器的容错配置。

服务器核心

在主动/被动容错环境中,一个FME服务器处于活动状态,另一个系统处于非活动状态,直到发生故障转移。A heartbeat between the systems monitors the health of the active system.如果检测到故障或心跳丢失,a failover initiates.Once the failover occurs,the inactive system assumes ownership of jobs from the FME Server Database Repository and processing continues,允许几乎不间断地访问FME服务器服务。

FME服务器数据库

数据库存储库,在FME服务器存储和检索作业信息的地方,必须为复制配置以防止硬件故障。默认情况下,FME服务器安装一个随时可用的数据库存储库,but when configuring for fault tolerance,存储库通常在单独的计算机上使用。有FME服务器数据库存储库的三种可能性,Oracle,SQL Server和PostgreSQL。Each of these databases has backup and restore capabilitiy to ensure 100% uptime.Some examples of these types of environments are Oracle's RAC,SQL Server的Alwayson和PostgreSQL的集群配置。FME服务器管理员有责任确保使用中的数据库正确配置为容错。

FME服务器文件系统

Any flat files that are intended to be shared between the different systems in an Active/Passive configuration should be on a separate machine.系统管理员有责任确保针对存储设备常见的硬件故障正确配置文件共享。

管理 安装 分布式的 fault tolerance Thu,08 Oct 2015 19:12:48 GMT 史蒂夫阿泰姆保亚搏在线险柜