斯潘8
斯潘4
什么是Amazon S3?
用户正转向将数据存储在云端,以利用其带来的好处(安全、耐久性,性能,可扩展性),通常以较低的成本进行现场存储。Amazon S3是最流行的对象存储服务。
Amazon Simple Storage Service(S3)是一种能够存储无限数量文件的云存储服务。每个都可以达到5TB。这使得S3成为在云端存储地理信息系统数据的一个很好的候选者。
它具有以下特点:
FME桌面包括几个变压器,用于处理S3上的文件:S3Uploader,S3下载器,S3ObjistListar和S3Delter.要使用这些变压器,您需要S3帐户的访问密钥ID和密码,桶名和对象键。截至2015年1月1日,所有AWS变压器支持多个区域。你不需要做任何事我们会自动检测这个区域。请看S3ObjistListar,S3下载器,S3上载器变压器有关如何设置这些变压器的详细信息。
上传时,可以指定文件/文件夹的路径,或者您可以上传表达式的结果——这当然可以包含属性的@Value()。
您可以下载到文件或属性。如果您正在下载一个属性,并且文件很大,那么请确保您有足够的内存。
如果您不熟悉桶的内容,这将非常有用。您可以列出所有对象,然后使用S3Downloader使用它返回的路径下载文件。
如果将安全桶策略设置为公共读访问,您可以简单地获取URL,然后将其用作任何基于文件的数据集的源。
FME Server 2014引入了一个Amazon Simple Storage Service publisher。这意味着您可以监视您拥有权限的任何S3 bucket,并在添加文件时触发事件,已更改和删除。发布者在bucket上轮询活动,并将关于该活动的消息发布到FME服务器主题。
S3存储桶现在本机支持事件通知,因此,您可以将消息配置为发送到SQS队列或Lambda函数,而不是使用FME S3订阅服务器轮询。Moe详细介绍了如何做到这一点在这里.当你想看一个你不拥有的公共桶或公共桶时,S3 Watch Publisher仍然很有用。
FME Server 2014引入了一个Amazon Simple Storage Service订阅服务器。这意味着任何通知都可以触发到S3的上载。和FME桌面变压器一样,您将需要帐户和bucket/key的凭据。上传的文件可以从FME Server配置的共享资源中选择,或者可以使用从通知内容中动态选择电子邮件模板语言.这些通知关键字特定于S3用户也可能有用。
在早期版本的FME(2013和更早版本)中,与S3交互的方法是将S3存储作为网络驱动器或本地驱动器安装在计算机上。
有各种第三方软件工具可以挂载驱动器。这些产品通常亚搏在线娱乐平台为您提供高级选项,如使用代理,设置最大上传或下载速率和最大并发传输数,等。
下面是我们尝试过的一些应用程序(当然也有其他的,我们并没有正式认可其中一个)。
TNT驱动器和Gladinet经测试与FME配合良好。设置步骤很简单:您可以将S3安装到特定的驱动器(例如z:\)通过提供S3访问密钥(即用户ID)和密钥(即密码)在这些应用程序中。
安装后,您可以选择挂载S3驱动器上的任何文件或文件夹,就像数据存储在本地一样。您可以使用挂载的S3驱动器作为数据集源,数据集目标,或两者兼而有之。唯一值得注意的区别是转换需要更长的时间来完成,因为数据必须从S3服务器下载或上传到S3服务器。
您需要使用fuse(用户空间中的文件系统)在系统上安装驱动器。有几个开源项目将S3挂载为本地文件系统。FME可以通过安装的文件系统访问S3上的数据。这些选项是S3FS熔断器和S3Bead。详细的安装说明可以在它们各自的源代码存储库中找到。
@洛维斯我们有一篇关于如何使用S3转换器的新文章!请看https://knowledge.亚搏在线safe.com/articles/24146/s3objectlister-s3downloader-and-s3uploader-transfo.html如果有用,请告诉我们。
?2019安全亚搏在线软件公司|合法的