你好,
我需要更新一个数据库模型,它有很多与之相关的FME作业。因此,我想提取所有工作区建立的所有连接,并对所有FME作业和相关连接建立一个小的数据模型。我从fmw阅读器中获得了一些信息,但是有一些由SQL语句(和pl/sql)所建立的连接,正如我现在看到的,这些连接需要SQL解析。
沿着python的路线还有其他选择吗?因为我需要学习一些我几乎不用的东西,从而忘记。通过这种方式管理FME作业,可以在数据模型更改后更快地收集更新FME作业的位置。有没有其他的转换程序来转换python调用程序?FMW阅读器有其他选择吗?你们有什亚搏在线么工作流程来组织这片工作森林吗?
愿一切都好!罗贝特
设置完https之后,我收到“提交作业时出错”的消息。FME引擎日志包含:FME引擎未能在端口7070上注册到FME服务器“localhost”。达到最大允许的FME发动机数量
在发动机列表中,只有一台发动机。
我遵循了以下步骤,生成的证书看起来很好。浏览器上没有错误。
有什么建议吗?
你好,我有一个工作区需要从网络共享目录中读取文件。我正在尝试通过FME服务器运行此工作区,由于无法访问网络路径,因此失败。
我想我必须在另一个帐户下运行FME引擎服务。我已经按步骤进去了
我有一个快速安装的FME服务器2018,都在同一台机器上。
到目前为止,我做了以下工作:
1)将服务帐户更改为非管理员域帐户。将登录作为服务授予此帐户
2)授予fme服务器安装目录C:\Program Files\FMEServer完全访问和fme服务器共享目录C:\ ProgramData \ \ fme服务器安全软件亚搏在线
3)授予我的域帐户对网络路径的读取权限
不幸的是,上述方法仍然行不通。FME服务器抱怨无法读取指定网络目录中的文件。
有什么想法吗?
亚搏在线安全软件使容错架构变得更好!从2018年1月开始,FME服务器生成的功能有助于创建一个更健壮和易于配置的容错体系结构。新的容错部署取代了传统的“主动/主动”和“主动/被动”架构,并创建一个单一的可扩展体系结构,以满足先前两个体系结构的需求。
本文详细介绍了FME服务器2018.1容错体系结构。有关的详细信息实现容错体系结构,请审阅此文档。如果你感兴趣的话升级改造对于容错体系结构,请参考升级到2018.1容错部署。
FME服务器随组件恢复一起出现。这意味着,即使在单一系统上,FME服务器监控,并可以重新启动组件变得无响应,包括FME引擎(引擎)和FME服务器核心(核心)。
除了组件恢复,FME服务器提供了在崩溃发生时重新启动翻译(作业)的能力。FME服务器将继续重新提交转换,直到配置的尝试次数。这就确保了那些遇到临时问题的工作,比如网络打嗝,重新提交并再次运行。翻译恢复是可配置的,可以完全关闭。在FME服务器中了解更多信息管理指南:作业恢复配置。
如果单个硬件组件出现故障,则第三方负载均衡器。(1)将流量重定向到其余在线组件,这些核心或引擎可以继续处理所有操作,而无需任何手动干预。这大大减少了停机的机会。容错系统的共享FME服务器数据库(数据库)和FME服务器系统共享(系统共享)意味着无论将请求发送到哪个核心或引擎,都可以将该请求提取并路由回客户端。
如果您需要比容错体系结构允许的更多的处理能力,您可以向新的分布式或现有计算机添加更多引擎。您还可以选择在每台机器上增加引擎进程的数量。此外,分布式引擎允许处理接近数据的作业,也可以通过特定的第三方集成进行设置。核心的工作管理功能允许将工作分配给引擎,这样当一个重要的工作出现时,您就不会等待一个免费的引擎了。
在FME服务器推荐的容错架构中,有两个或多个服务器,每个服务器包含FME服务器核心,FME发动机,以及FME Web应用程序。这些服务器都具有相同的功能(请参见下图)。
第三方负载均衡器将传入的流量导向核心,如果核心机器宕机,剩下的核心将接收到传入的请求。
组织需要在自己的容错服务器上维护FME服务器数据库和系统共享。这确保容错的FME服务器能够可靠地访问工作区,存储库,资源,以及其他项目。此外,共享数据库和系统共享的好处是,用户不必担心数据复制或需要粘滞会话。
FME引擎可以驻留在核心系统或作为分布式引擎的独立机器上。在分布式用例中,如果一个带有分布式连接引擎的核心出现故障,FME服务器将自动将发动机重新连接到下一个可用的核心。
2018.1容错示例部署
1)负载平衡器:第三方负载平衡器是必需的。它将传入的流量定向到冗余web组件之一。(1)
2)FME服务器Web应用:冗余Web服务可以与核心安装一起安装,或者如果您的组织需要这些应用程序的独立服务器,那么您也可以分发此组件。
3)FME服务器核心(核心):核心是FME服务器的核心:管理服务器,作业管理,通知,并处理与FME服务器组件的所有交互。像这样的,容错安装中必须有两个或多个内核。
4)FME服务器引擎:引擎可以安装在核心系统上,也可以分布在其他服务器上。如果与第三方软件的集成是您的环境的关键,分发引擎是一种可选配置,这使得引擎可以与供应商软件一起安装。
5) FME服务器系统数据库:在配置FME服务器时,您可以选择使用外部Oracle,用于承载FME系统数据库(数据库)的SQL Server或PostgreSQL数据库。此组件不是自动复制的,数据库管理员的工作是确保数据库是独立的配置容错消除单一故障点。
6) FME服务器系统共享:同样地,系统共享应该在单独的机器上。系统管理员有责任确保其文件共享系统针对存储设备常见的硬件故障进行正确配置。
(1)FME服务器不包括负载平衡组件。客户有责任提供自己喜欢的负载平衡选项。使用FME服务器容错测试的选项为:F5,恩吉克斯HAProxy,& AWS ELB。
FME服务器的容错方法过去有两种形式:主动/主动安装或主动/被动安装。从2018年1月开始,FME服务器具有新功能,可以帮助创建更健壮、更容易配置的容错体系结构。新的容错部署具有先前主动/主动和主动/被动架构的优点,它正在替换。熟悉新事物是个好主意容错体系结构。
本文的目的是介绍在准备迁移时需要做什么。它强调了系统的不同,并提供了一种迁移方法,该方法可应用于FME的遗留主动/主动和主动/被动体系结构。
如果你愿意的话了解更多关于容错架构的知识,请检查引入新的2018.1容错架构,和容错规划。
如果您使用的是主动-被动架构,并且您有两个或更多引擎,您可以使用当前的生产许可证信息在2018.1安装时生成新许可证。如果,然而,你有一个活跃/活跃的环境,任何其他环境,或有问题,请联系您的客户经理。(Sales@亚搏在线safe.com)或者你的FME分销商申请新的许可证。
将旧的主动/被动架构升级到2018.1容错架构
将旧的主动/主动体系结构升级到2018.1容错体系结构
注:以下是一个高层次的概述,有关详细说明,请参阅链接。
本教程适用于FME Server 2016+,最后一次是为FME Server 2018编辑的。对于早期版本的FME服务器,请参考这篇文章。
资源文件夹是方便上传和存储数据的存储区域,在发布或运行工作区时,可以使用存储在资源文件夹中的数据。此外,从FME工作台发布时,可以装载和使用现有目录(如UNC共享)。或在通过Web界面提交作业时浏览。
在开始下面的示例之前,请下载教程数据。
此示例将演示如何通过Web界面将数据上载到FME服务器上的资源文件夹。然后在从发布的工作区运行作业时使用数据
(1)通过Web界面上传数据到FME服务器
FME服务器Web界面资源页面
(2)生成一个简单的工作区
生成工作区向导
在“发布到FME服务器”向导中新建存储库
(3)浏览和使用上传至FME服务器的数据
此示例将演示如何在首次使用“选择文件”选项从FME工作台发布工作空间时将数据上载到资源文件夹。然后,其他已发布的工作区可以随时使用这些数据。
(1)生成简单的工作区
(2)发布工作区并上传数据
选择发布工作区时要上载到的文件的位置
这个例子演示了如何通过直接查看操作系统的文件系统,将数据上传到Resources文件夹,而不需要登录到FME Server Web界面。
(1)将数据复制到文件目录中的Resources文件夹中
在文件目录中查找隐藏项
通过FME系统共享将文件夹上载到FME服务器资源
这个例子演示了如何创建一个包含资源位置的宏,然后在FME工作区中使用它。注意:如果看到错误消息,如“未能打开…”,您可能需要更改FME服务器引擎服务正在使用的用户帐户。见指南在这里。
(1)创建允许直接访问资源的宏
macro_def fme_sharedesource_backup“c:/programdata/sa亚搏在线fe software/fme server///resources/backups/”。\
宏“定义FME”资源“我的数据”///数据/”
在fmeengineconfig.txt文件中添加宏
(2)添加资源文件夹作为网络位置
在FME服务器Web接口中创建一个新的资源连接
(3)宏测试
创建私有参数
将私有参数指定为阅读器源值
这个例子演示了读取数据,使用宏指定位置。
(1)将宏添加到简单的工作区阅读器中
$(fm_sharedesource_mydata)parks.tab
使用宏读取保存在FME服务器资源中的数据
使用“从Web选择文件”选项选择FME服务器资源
(2)发布并运行工作区
如果您已经使用本文中的其他示例之一将数据上载到了fme server>resources中的另一个文件夹,那么您可以通过将鼠标悬停在文件夹上或选择文件夹,然后选择操作>属性来查看要在fme workbench中使用的宏。然而,根据经验法则,它们遵循模式fm_sharedesources_
这个例子演示了如何编写数据,使用宏指定文件位置。
(1)将宏添加到简单的工作区编写器中
生成工作区w直接写入FME服务器的输出
(2)发布并运行工作区
运行包含新形状文件的工作区后创建的文件夹
此示例演示如何使用宏访问资源文件夹中的文件。此方法可用于允许在读写器参数中使用文件。例如种子,模板或SDE连接文件可以在工作区之间指定和共享。
(1)将宏添加到简单的工作区编写器中
添加一个值连接到FME服务器资源的私有参数
将私有参数链接到读卡器模板文件参数
(2)发布并运行工作区
与其为每个人更改全局配置文件,还不如能够在每个工作区中设置FME Server中的FME_TEMP文件夹。
一种方法是添加一个类似于web和数据库连接的“文件夹”连接存储库。这将允许指向任意文件位置(本地网络,云计算)并确保在添加前,FME服务器能够实际查看/使用它们。
如果您在FME Server 2017/2018中导入广告组,FME服务器创建该组并导入该组的每个用户。
如果稍后删除该组,它让您拥有所有必须手动删除的用户。
我认为两种更好的方法是:
如果要处理大型用户组,当前的过程相当繁琐……
如果您不确定哪种FME服务器安装方法适合您的情况,或者您正在寻找有关其他安装方法的信息,参观 推荐的安装情况文章。
组织通常希望将FME合并到当前的生态系统中。通过分离层,您可以允许将FME服务器合并到现有结构中,使用现有的安全措施,和软件。
如果您不确定哪种FME服务器安装方法适合您的情况,或者您正在寻找有关其他安装方法的信息,参观 推荐的安装情况文章。
此选项允许您简单地拥有一个控制中心,但可以利用独立机器快速处理大型数据集的能力。特别地,如果分布式引擎安装在数据中心旁边,那么它是有效的,并且可以进行专门配置,以最大限度地提高该数据类型的性能。
13。从FME服务器Web界面请求许可证
如果您不确定哪种FME服务器安装方法适合您的情况,或者您正在寻找有关其他安装方法的信息,参观 推荐的安装情况文章。
快速安装是最简单的安装,因为它在一台服务器上配置所有组件。这将允许所有FME组件在没有配置的情况下彼此通信,并为配置设置一个默认的PostgreSQL数据库。这个系统的好处是很容易替换,升级,并将网络连接问题的可能性降至最低。
注意:建议使用文件共享。快速安装允许您使用现有的文件服务器,以确保在应用程序服务器停机时文件不会丢失。您的IT可以帮助建立容错系统
注意:您可以选择在其他位置安装数据库文件,默认情况下,这些文件将上载到ProgramData文件夹中。然而,您可能希望将这些文件保存在不同的目录中,并在需要时进行备份。这些文件不应该放在可移动的文件共享中,因为它们需要从数据库中方便地访问。
本教程的概念适用于FME 2017.1,然而,安装步骤可能因操作系统和版本而异。
对于FME Server 2018,请参阅 这篇文章。
根据在文档。本文旨在对FME服务器体系结构进行扩展,并作为实用指南。 对于所有安装,最好检查安装中给出的选项文档。
下面是3种配置,它们可以使任何生产环境受益,并创建一个可以最小化数据丢失和停机时间的安全网。亚搏在线了解每种方法的局限性和优势是很重要的。
快速安装以下内容:这种方法将所有的FME服务器安装在一台机器上,需要运行安装程序一次。
使用分布式引擎进行表达以下内容:这个安装需要两台机器。一个为核心,网络,和数据库,另一个是你的发动机。你可以,然而,添加任意数量的引擎服务器。
3机器分布式安装(发动机,数据库,核心/Web服务器):此安装至少需要三台服务器。在这种情况下,我们建议您的网络服务器和核心安装在同一台机器上,但是您可以选择在自己的机器上安装Web服务器。
我想知道是否有人可以分享您将某些FME服务器日志放入ElasticSearch数据库并使用Kibana监控/分析日志中的活动的经验。
目前,FME服务器引擎的名字可以通过手动编辑processMonitorConfigEngines.txt文件。
但是请不要急着去试试这个!您将失去通过Web界面管理FME服务器引擎的能力。—例如,改变引擎数量。这也不是一个“功能”,因为它没有经过严格的测试!当进行此配置更改时,买方要小心。
这将是惊人的如果我们可以使用FME服务器Web界面来更改FME服务器引擎的名称-也许在引擎和许可页面。
你怎么认为?有什么缺点我没有考虑过吗?现在有人这样做吗?
等等,那么如何更改FME服务器引擎名呢?将node_overwrite=true添加到文件顶部,并在底部找到START_ENGINE行进行一些更改。确保保存和重新启动使更改生效的FME服务器。(记住,对FME服务器引擎计数的任何更改现在必须反映在这个文件中!)
例子……
原始:启动“引擎”myfmeserver_工程1号机=!模板启动引擎!
已重命名:启动\u引擎\u myfmeserver_LiDAREngine=!模板启动引擎!
此列表旨在提供创建入站/出站防火墙规则时的起点,以允许所有FME服务器组件之间进行通信。FME服务器参考手册最新的端口列表FME服务器使用的,但是下面的表突出显示了各个可执行文件。
如果您的FME服务器架构FME引擎分布:,然后请参阅下面的“分布式FME服务器引擎”一节。
*注:此清单可能并非详尽无遗。如果你经历过任何不同的事情,请在下面留言。
端口可执行文件 (入站)
25个fmepublisher.exe
465 fmepublisher.exe文件
7069年FMEConnection.exe
7070 fmeserver.exe文件
7071 fmeserver.exe文件
7072年FMENotifier.exe
7073 fmescheduler.exe文件
7074年FMENotifier.exe
7075 fmerrelayer.exe文件
7076 fmerlayer.exe文件
7077年FMEConfiguration.exe
7078 fmewebsocket.exe文件
7079年FMEMountPoint.exe
7081 fmecleanup.exe文件
7082年postgres.exe
7500个fmeprocessmonitorengines.exe
7501 fmeprocessmonitorcore.exe文件
端口可执行文件(出站)
25无
465无
7069 fmeserver_applicationserver.exe,fmeconfiguration.exe文件,FMEConnection.exe,FMEnEngE. EXE
7070年FMEEngine.exe
7071年所有可执行文件
7072年所有可执行文件
7073 fmeserver_applicationserver.exe,fmeconfiguration.exe文件,FMEScheduler.exe
7074 fmesubscriber.exe文件
7075 fmeserver_applicationserver.exe,fmeconfiguration.exe文件,Felelayay.EXE
7076 fmepublisher.exe文件
7077 fmeserver_applicationserver.exe,FMEConfiguration.exe
7078无
7079 FMEServer_ApplicationServer.exe,fmeconfiguration.exe文件,fmemountpoint.exe文件
7081 fmeserver_applicationserver.exe,fmeconfiguration.exe文件,FEXCELANUP.EXE
7082 fmeconnection.exe文件,fmeprocessmonitorcore.exe fmeprocessmonitorengines.exe,FMESSEVE EXE
7500 FMEServer_ApplicationServer.exe,FMESSEVE EXE
7501 fmeserver_applicationserver.exe,fmenotifier.exe文件,Felelayay.EXE
分布式FME服务器引擎可能需要对fmeserverconfig.txt fil进行额外配置E找到安装了FME服务器核心的位置(“
FME服务器引擎通过端口7070与FME服务器核心建立通信。一旦建立了这种联系,为专用通信打开另一个随机端口——这将使端口7070再次对任何试图连接的其他服务可用。
我们注意到有严格防火墙规则的环境(“不允许,除了xxxx”),必须为FME服务器定义专用端口池。
在fmeserverconfig.txt中,有一个参数调用FME_SERVER_PORT_POOL。默认值为0-这意味着分配的专用端口是随机的。尝试将此参数设置为a有效范围可用端口数-例如-7100-7150。
在做了这个更改之后-并且文件被保存了-必须重新启动FME服务器核心,以及任何分布式FME引擎。
!!确保也为这个FME_服务器_端口_池范围创建相关的防火墙例外。!!
*注意:您可能会遇到“失速”,“冻结”,或者,如果分布式FME引擎无法通过随机分配的端口与FME服务器内核建立通信,或者您配置了无效的范围,则FME服务器Web接口的“超时”。
关键词:FME服务器端口FME服务器端口