span8
span4
大家好,我希望我的问题能清楚明白。
我有一个工作空间,它从Postgres数据库中的多个表生成照片的单个列表CSV,每个表都有一个UUID来在bucket中标识它。它是这样的:
屏幕-射- 2018 - 07 - 92943 am.png - 23这个列表被输出到FME服务器上的(FME_SHAREDRESOURCE_DATA)目录,然后我希望从这个目录调用它,并使用它来解析来自S3 bucket的照片,并将它们移动到另一个S3 bucket。我需要使用云/服务器资源,因为这些照片的总大小可以达到多个GB,会在我的办公WAN上造成太多的延迟。
如何使用FME提供的S3转换器在S3桶之间移动对象而不需要在本地下载照片?或者这在一个或多个工作区中是可能的吗?
我还需要执行这个视频文件以及。
预先感谢你的帮助。
托德
你是正确的。如果您使用FME云和S3转换器,您需要确保FME云实例有足够的磁盘空间来下载这些文件,然后再将它们写入第二个S3 bucket。作为@redgeographics已经正确地提到,上传文件到第二个桶将是出站数据传输,这将收取费用(每GB 0.13美元,入站数据是免费的)。
如果选择这种方法,我建议使用FME云实例的临时磁盘,以确保在完成之后可以再次减小磁盘的大小。下面是关于临时磁盘的一些信息。
如果您希望使用AWS S3 REST API,您应该查看HTTPCaller。这是一个REST客户机,它允许您与REST API进行交互。看起来您不能使用AWS Web连接进行身份验证,因此需要进行研究身份验证请求并为REST请求设置正确的授权头。
我对AWS S3 REST API不是很熟悉,所以我不确定为您的转换设置正确的调用有多难。
我希望这能有所帮助
可以使用FME附带的S3转换器,特别是S3Downloader和S3Uploader,但是这样会使文件通过服务器,因此数据会进出传输。
或者,Amazon S3 REST API提供了在桶之间复制对象的工具,这可能不涉及双重数据传输。
©2019安全亚搏在线软件公司法律