斯潘8
斯潘4
什么是亚马逊S3?
用户正转向将他们的数据存储在云中,以充分利用它带来的好处(安全性,耐久性,性能,可伸缩性,通常以较低的成本进行现场存储。AmazonS3是最流行的对象存储服务。
Amazon Simple Storage Service(S3)是一种能够存储无限数量文件的云存储服务。每个都可以达到5TB。这使得S3成为在云端存储地理信息系统数据的一个很好的候选者。
它具有以下特点:
FME桌面包括几个变压器,用于处理S3上的文件:S3上载器,S3下载器,S3ObjistListar和S3Delter.要使用这些变压器,您需要S3帐户的访问密钥ID和密码,以及桶名和对象键。截至2015年1月1日,所有AWS变压器支持多个区域。您不必做任何事情,我们会自动检测该区域。请看S3ObjistListar,S3下载器,S3上载器变压器有关如何设置这些变压器的详细信息。
上传时,可以指定文件/文件夹的路径,或者您可以上传表达式的结果——当然,这可以包括属性的@value()。
您可以下载到文件或属性。如果您正在下载到一个属性,并且文件很大,请确保您有足够的内存。
如果您不熟悉桶中的内容,这将非常有用。您可以列出所有对象,然后使用S3Downloader使用返回的路径下载文件。
如果安全bucket策略设置为public read access,则只需获取URL,然后将其用作任何基于文件的数据集的源。
FME Server 2014推出了一个Amazon Simple Storage Service发行商。这意味着您可以观察任何您有权访问的S3 bucket,并在添加文件时触发事件,已更改和删除。发布者在bucket上轮询活动,并将有关该活动的消息发布到FME服务器主题。
S3存储桶现在本机支持事件通知,因此,您可以配置要发送到SQS队列或lambda函数的消息,而不是使用FMES3订阅服务器进行轮询。教育部详细介绍了如何做到这一点在这里.当你想看一个你不拥有的公共桶或公共桶时,S3 Watch Publisher仍然很有用。
FME Server 2014推出了一个Amazon Simple Storage Service订户。这意味着任何通知都可以触发到S3的上载。和FME桌面变压器一样,您需要帐户和bucket/key的凭证。要上传的文件可以从FME服务器配置的共享资源中选择。或者可以使用从通知内容中动态选择电子邮件模板语言.这些通知关键字特定于S3用户也可能有用。
在早期版本的FME(2013和更早版本)中,与S3交互的方法是将S3存储作为网络驱动器或本地驱动器安装在计算机上。
有各种第三方软件工具可以用来安装驱动器。这些产品通常亚搏在线娱乐平台为您提供高级选项,例如使用代理,设置最大上传或下载速率和最大并发传输数,等。
下面是我们尝试过的一些应用程序(当然可能还有其他应用程序,我们并没有正式认可其中一个)。
TNT驱动器和格拉迪内已经过测试,能很好地与FME配合。设置步骤很简单:您可以将S3安装到特定的驱动器(例如z:\)通过提供S3访问密钥(即用户ID)和密钥(即密码)在这些应用程序中。
安装后,您可以选择安装的S3驱动器上的任何文件或文件夹,就好像您的数据存储在本地一样。您可以使用挂载的S3驱动器作为数据集源,数据集目标,或者两者兼而有之。唯一值得注意的区别是,翻译需要更长的时间才能完成,因为数据必须从S3服务器下载或上载到S3服务器。
您需要使用fuse(用户空间中的文件系统)在系统上安装驱动器。有几个开源项目将S3安装为本地文件系统。FME可以通过安装的文件系统访问S3上的数据。这些选项是S3FS熔断器和S3Bead。详细的安装说明可以在它们各自的源代码存储库中找到。
@洛维斯我们有一篇关于如何使用S3变压器的新文章!请看https://knowledge.亚搏在线safe.com/articles/24146/s3objectlister-s3downloader-and-s3uploader-transfo.html如果有帮助,请告诉我们。
?2019安全亚搏在线软件公司|合法的