span8
span4
本文分为两个部分。在第一阶段,我们将演示如何在工作流程的端到端数据上传到Amazon S3。亚搏在线第二部分将介绍如何在新的数据S3变为可用触发工作流程。亚搏在线
FME Server的2019+
Amazon Web Services的Web控制台访问
AWS访问密钥ID
AWS访问密钥
*注意:S3Connector变压器S3-自动化PartB.fmw必须使用您的Amazon S3访问键手动配置。打开本地工作空间,然后重新发布到配置后FME Server中。*
从FME Server的Web界面,去自动化>建立创建一个新的自动化。
在自动化控制系统画布上,双击触发节点。下触发, 选择目录修改。单击省略号按钮右侧目录观看并选择或创建路径资源/数据/自动化控制系统的锻炼数据/亚马逊S3 / toUpload。
由于我们正在监视任何传入的数据,使在S3桶可用的副本,请选择是同时为观看子目录和收到通知的文件夹参数。觑创造和修改事件,但不能删除;我们希望在我们的S3存储桶,使所有可用的最先进的最新数据产品,但并不需要准确地反映被监控资源的内容。亚搏在线娱乐平台为了便于测试自动化,集轮询间隔至1分钟。
点击验证和(如果有效)应用。如果触发无法验证(在屏幕截图中的绿色条以上将是红色和包含描述性错误消息),则很可能根据指定的路径目录观看是不正确的;重新进入使用省略号(三个点)按钮参数。
下游方面,配置上传到Amazon S3对外行动。
如果您在引导模式,只需点击进入剪影下一步行动节点,向下滚动到外部动作。
否则,拖动对外行动节点出来到画布上,并将其连接到您的目录观看。
要上传的文件从FME Server的亚马逊S3,您必须已被授予您帐户管理员一个Amazon Web Services访问键ID和AWS访问密钥。中输入希望监视的S3 bucket的名称桶参数,然后将AWS访问密钥ID和AWS秘密访问密钥粘贴到各自的字段中。离开加密和权限默认参数(分别为None和Private)。
如果您希望观察S3桶的根,请离开目标路径(可选)空白的;Amazon S3支持在bucket中创建虚拟文件夹,您可以使用此参数上传特定文件夹下的文件,该文件夹由斜杠指定,例如。/自动化控制系统/ fromFMEserver /。
下源路径,点击向下箭头按钮并选择目录>文件路径以指示最初触发自动化的文件是要上传到S3的文件。
集启用文件版本至默认。这将导致从FME服务器上上载到S3 bucket的文件的行为与bucket中的任何其他对象相同。
点击验证和(如果有效)应用。如果触发器无法验证,请仔细检查bucket名称、路径和访问键。
点击菜单那么,在自动化画布之上另存为。选择一个名称并添加一些描述性标记,然后单击好。然后,启动自动化在右上角。
导航到您正在监控的资源文件夹(资源/数据/自动化控制系统的锻炼数据/亚马逊S3 / toUpload是建议以上),然后点击上传>档并导航到您希望上传的任何文件。等待至少一个轮询间隔(1分钟),然后转到自动化>管理,选中刚刚构建的自动化旁边的复选框,然后选择操作>查看日志文件。由于该自动化操作没有运行任何工作空间,因此不会触发任何作业,但是自动化日志文件将包括触发工作流的文件和文件操作的详细信息,以及它们存储在S3存储桶中的位置。亚搏在线
文件上传由FME服务器记录,但我们总是可以通过登录Amazon S3并检查文件夹路径(/自动化控制系统/ fromFMEserver /),我们指定的文件上传FME服务器较早。
做得好!您的自动化现在可以将文件上传到您指定的Amazon S3 bucket中,只要在FME服务器监视的文件夹中创建或修改文件即可。接下来,我们将监视S3 bucket,并在文件到达该bucket时触发FME服务器中的工作流。亚搏在线
在本练习的B部分中,我们将假设用户上传KML文件数字化的特性在谷歌地球一个Amazon S3 bucket,和我们希望监视桶新KML上传,把KML GML, reproject使用与其他项目数据。
在Amazon S3管理控制台中,创建一个新的文件夹来监控这个练习。下面,/自动化控制系统/ toFMEserver /已创建。
S3-自动化PartB.fmw在上面的下载小节中包含了KML-to-GML示例的工作空间。在FME工作台中打开它并填充S3Connector变压器与您的S3连接细节。选择Web连接下凭据来源,然后选择预配置的连接(如果有的话)或定义一个新的AWS S3连接。
的区域存储桶的位置可以在Amazon S3管理控制台接口中找到。
为请求操作, 选择下载,填写桶和路径(区分大小写!),然后选择下载为文件。
使用文本编辑器(可从向下箭头访问)设置下载到文件夹至$(FMESHAREDRESOURCE_TEMP)/ @值(orig.filename)。集如果文件存在至覆盖;我们希望捕获对现有文件的任何更新以及新上传的文件。
请注意,该工作区配置为监视在第B部分的说明的第1步中创建的S3路径。如果使用了不同数量的文件夹,则需要重新配置位于S3Connector上游的AttributeCreator转换器,使其文件路径更短或更长。
配置工作区后,将其发布到“自动化练习repository(如果它不存在,就创建它)。将您的S3连接信息上载到工作区,并将其注册到任务提交服务。您可能还会被提示上载带有S3Connector转换器的包;如果有提示,就这样做。
从FME Server的Web界面,去自动化>建立创建一个新的自动化。
在自动化控制系统画布上,双击触发节点。下触发, 选择亚马逊S3桶改性。指定桶名,然后粘贴AWS访问密钥ID和AWS访问密钥。下路径观看,填写在步骤1中创建的文件夹结构。选择没有下观看子目录,并删除删除活动以观察。设置一个轮询间隔的1分钟。
点击验证和(如果有效)应用。如果触发器未能验证(上面屏幕截图中的绿色栏将是红色的,并包含一个描述性错误消息),请检查您正在查看的S3文件夹路径,并尝试重新粘贴您的访问键,注意不要突出显示任何前边或后端空白。
在S3监视触发器之后添加一个动作,然后选择过滤从列表中。下值筛选,单击上游消息箭头按钮,并选择亚马逊S3>文件路径。当触发器在S3 bucket中注册一个创建或更新的文件时,它将读取文件路径。下包含字符串,输入.KML(不要使用通配符)。我们正在监控S3 bucket文件夹中来自谷歌Earth的数字化特性,我们需要对它们进行进一步的处理,使它们与我们项目的其他部分兼容。
添加过滤器上的成功端口下游的行动。选择一个运行工作空间行动,并选择S3-自动化PartB.fmw你的工作空间发布到FME Server的早期。
填充获取自动化的上游消息通过单击箭头菜单,一般>事件为JSON。事件为JSON将通过所有的自动化具有围绕上游工作流(在这种情况下,就在S3观看触发器)到工作区中的信息。亚搏在线工作区本身将解析出的路径,在桶中新创建的文件。
点击下的省略号按钮文件夹输出GML并导航到(或创建),你希望从这个工作空间容纳输出FME Server上的资源文件夹中。工作区将自动生成基于输入名称输出文件名;简单地指定的目录中,例如$(FME_SHAREDRESOURCE_DATA)/数据/自动化控制系统的锻炼数据/从S3亚马逊S3 / GML /
点击菜单那么,在自动化画布之上另存为。选择一个名字,并添加一些描述性标签(可选),然后单击好。最后,点击启动自动化在右上角。
在另一个浏览器选项卡,打开Amazon S3的Web界面,导航到您正在监控桶中,并上传VancouverNeighborhoods.kml从本文的下载部分(或您选择的另一个KML)。
稍等片刻自动化来触发,然后按Tab切换回正在运行的自动化。选择菜单>查看日志文件。你会看到与自动化初始化某些行,那么“发送对路径创建事件:
直接进入工作日志本身,而忽略了自动化的协调活动,转而选择菜单>查看触发职位从这个自动化的画布。
做得很好!你现在准备自动化,在亚马逊S3存储桶上传文件到文件夹,工作流或监控亚搏在线,并在S3存储桶的变化做出反应。
数据归属
这里使用的数据来自经提供开放的数据起源温哥华市, 不列颠哥伦比亚省。它包含了开放政府许可协议进行许可信息 - 温哥华。
©2019安全亚搏在线软件公司|法律