S3连接器
访问亚马逊的简单存储服务(S3)的文件存储服务的上传,下载或删除文件和文件夹或列表文件/从S3账户文件夹信息。
典型用途
- 通过上传、下载和删除文件和文件夹来管理S3上的数据集
- 传送文件的内容(如XML或光栅)进入或离开在FME的属性的
- 使用FeatureReader,或上载特写至S3
- 从S3检索文件和文件夹的名称、路径、链接和其他信息,以便在工作区的其他地方使用。
它是如何工作的?
S3Connector使用您的Amazon S3帐户凭据(通过先前定义的FME web连接,或通过从transformer设置新的FME web连接)来访问文件存储服务。
根据您选择的操作,它将上载或下载文件、文件夹和属性;列出服务中的信息;或从服务中删除项目。上传时,可以将链接属性添加到输出特性中。在列表操作中,文件/文件夹信息作为属性添加。
在本例中,S3Connector用于从S3下载Esri地理数据库。在创建到S3帐户的有效web连接(这可以在account参数中完成)并浏览到geodatabase文件夹后,将检索对象的Bucket和路径,并选择下载的目标。
一个FeatureReader添加以读取新下载的数据集。在这里,PostalAddress特性类型将在工作区的其他地方进一步处理。
通过在工作区中执行此处的下载,每次运行工作区时都将刷新geodatabase。
在工作区的这个示例部分中,S3Connector用于将光栅正交图像从S3下载到属性中。
文件从S3读取,内容存储为blob属性。然后a拉斯特雷普雷瑟用于将blob解释为可用的光栅格式。
这两个变压器的组合,避免了下载图片到本地存储和重新阅读。类似的技术可用于点云的文件,使用PointCloudReplacer变压器。
使用说明
此转换器不能用于在不同的S3位置之间直接移动或复制文件。但是,可以使用多个s3connector通过中间下载来移动或复制文件。
这个FeatureReader可以直接访问S3,无需使用S3连接器。在这种情况下,不会创建数据集的本地副本。
配置
输入端口
该变压器接受任何功能。
输出端口
此变压器的输出将根据执行的S3操作而变化。
- 之后上传action,指向文件的url可以保存到Direct Link属性,而指向对象的bucket和路径将保存到Full path属性。
- 一个下载行动将输出一个新的功能,并可以保存到任何一个文件,文件夹或属性。
- 一个删除操作将输出一个新功能。
- 一个列表操作将为在指定路径中找到的每个文件/文件夹输出新功能。这些新特性中的每一个都将具有列出有关对象的各种信息的属性。
参数
行动 | 要执行的操作类型。选择包括:
|
凭据源 | 该S3Connector可以使用来自不同来源的凭证。使用网络连接整合最好的FME,但在某些情况下,你可能希望使用其他来源之一。
|
帐户 | 当凭据源为Web连接. 若要创建S3连接,请单击“帐户”下拉框并选择“添加Web连接…”。 随后,连接将可以通过管理工具 - >选项FME ... - > Web连接。 |
地区 | 在AWS区域,其中规定水桶居住。如果是默认值,美国东部,弗吉尼亚州北部(US-East-1),如果指定的存储桶不在其中,则操作仍将成功。但是,要优化延迟,最好指定正确的区域。 |
访问密钥ID和访问密钥 | 当凭据源为嵌入的. 访问密钥ID和密钥访问密钥可以直接在转换器中指定,而不是在web连接中指定。 |
其余可用参数取决于Request>Action参数的值。每个操作的参数如下所示。
删除选项
水桶 |
桶中的文件或文件夹。如果有效凭证已作为Web连接提供了,你可以浏览桶。 |
路径 |
在S3文件或文件夹的完整路径删除。如果有效凭证已作为Web连接提供了,你可以浏览位置。 |
下载选项
水桶 |
桶中的文件或文件夹。如果有效凭证已作为Web连接提供了,你可以浏览桶。 |
路径 |
S3上要下载的文件或文件夹的完整路径。如果已将有效凭据作为web连接提供,则可以浏览位置。 |
S3加速度 |
如果是的,允许在桶Amazon S3的转移加速,如果启用。要启用加速,见http://docs.aws.amazon.com/AmazonS3/latest/UG/enable-bucket-transfer-acceleration.html. 当允许S3加速,请记住以下几点:
|
目的地
下载为 | 选择是否将下载的数据存储在文件、文件夹或属性中。
|
下载到属性 | 指定将存储下载文件内容的属性。仅作为属性下载有效。 |
响应体编码 | 对于“作为属性下载”,可以指定字符集编码,以确保输出为可读形式。 如果从HTTP头自动检测已指定,但与数据关联的内容类型元数据中没有编码,输出将作为原始字节返回。 |
下载到文件夹 | 指定的路径将存储下载文件的文件夹。有效期为下载文件或文件夹。 |
如果文件存在 | 指定如果文件已存在于本地时要执行的操作。可作为文件或文件夹下载。
|
包括子文件夹 | 选择是否下载S3源与否的子文件夹。适用于下载作为唯一的文件夹。 违约:没有. |
列表选项
水桶 |
桶中的文件夹。如果有效凭证已作为Web连接提供了,你可以浏览桶。 |
路径 |
要列出的S3上文件夹的完整路径。如果已将有效凭据作为web连接提供,则可以浏览位置。 |
包括子文件夹 |
如果设置为是的,则子文件夹递归遍历,和它们的内容都包括在结果中。 违约:没有. |
输出属性
提供默认的属性名称,并且可能会被覆盖。
文件或文件夹名 |
指定在S3上保存对象名称的属性。 |
斗名称 |
指定在S3上保存对象ID的属性。 |
完整路径 |
指定属性来保存的完整路径S3上的对象。 |
统一资源定位地址 |
指定要挺住S3对象的URL属性。 |
文件大小 |
指定在S3上保留文件对象大小的属性。 |
最后修改 |
指定要挺住S3对象的最后修改日期的属性。 |
文件或文件夹标志 |
指定在S3上保存对象类型(文件或文件夹)的属性。 |
相对路径 |
指定属性来保持相对路径上S3的对象。 |
数据源
上传 |
要上载的数据类型。
当使用大型对象,文件比属性更适合作为数据将直接从磁盘流,而不是需要将对象完全存储在内存中的一项功能。 S3对待上传文件同名,在一个特定的文件夹,为重复,但不允许在特定文件夹的多个实例。您必须将文件上传到不同的文件夹比现有的一个或原始将被覆盖。 当需要从文件夹上载内容时,最好以文件夹的形式上载,而不是设置固定路径并将多个功能发送到连接器中以作为文件上载。 |
文件上传 |
要上载到S3的文件,如果上传设定为文件. |
要上载的文件夹 |
要上载到S3的文件夹,如果上传设定为文件夹. |
包括子文件夹 |
选择是否上载要上载的文件夹或不。 |
属性上传为文件 |
要上载的数据,由属性提供,如果上传设定为属性. |
上载选项
水桶 | 桶中的文件夹。如果有效凭证已作为Web连接提供了,你可以浏览桶。 |
路径 | 要上载到的S3上文件夹的完整路径。如果已将有效凭据作为web连接提供,则可以浏览位置。 |
使用文件名上载 | 根据中提供的数据创建的文件的名称属性上传为文件. 名称必须包含文件扩展名(例如,.txt,.jpg,.doc)。 |
如果文件存在 | 指定在S3上已存在该文件时要执行的操作。
|
S3加速度 |
如果是的,允许在桶Amazon S3的转移加速,如果启用。要启用加速,见http://docs.aws.amazon.com/AmazonS3/latest/UG/enable-bucket-transfer-acceleration.html. 当允许S3加速,请记住以下几点:
|
加密 |
|
权限 | 与每个上载对象一起存储的预定义被授予者和权限集。有关详细信息,请参见http://docs.aws.amazon.com/AmazonS3/latest/dev/ACLOverview.html 35; CannedACL. |
元数据 | 您可以指定在HTTP上传请求头字段。下姓名,指定标题字段。您可以从包含元数据和ACL权限参数的预定义字段的下拉列表中进行选择。或者,手动输入字段。低于值,指定字段值。AWS将自动为自定义元数据字段添加前缀“x-amz-meta-”。 |
输出属性
文件或文件夹名 | 指定将存储文件或文件夹名称的输出属性。例如,属性可以包含'城市公园.gml’. |
完整路径 | 指定将存储刚上载的文件/文件夹的完整路径的输出属性。例如,该属性可以包含'city_data/GML/城市公园.gml’. |
斗名称 |
指定存储到文件上传桶的名称输出属性。 |
统一资源定位地址 |
指定将URL存储到S3上的文件或文件夹的输出属性。 |
编辑变压器参数
使用一组菜单选项,变压器参数可以通过引用在工作区中的其它元件来分配。更先进的功能,如高级编辑,算术编辑,也是一些变压器可用。要访问这些选项的菜单,点击适用的参数旁边。欲了解更多信息,请参阅变压器参数菜单选项.
定义值
有几种方法可以定义要在变压器中使用的值。最简单的方法是简单地输入一个值或字符串,它可以包括各种类型的函数,如属性引用、数学和字符串函数以及工作区参数。有许多工具和快捷方式可以帮助构造值,通常可以从值字段旁边的下拉式上下文菜单中获得。
使用文本编辑器
文本编辑器提供了一种从各种数据源(如属性、参数和常量)构造文本字符串(包括正则表达式)的方便方法,在这些数据源中,结果直接在参数内部使用。
使用算术编辑器
算术编辑器提供了一个方便的方法来构造从各种数据源,如属性,参数和特征函数,其中结果被直接使用的参数内的数学表达式。
条件值
根据通过或失败的一个或多个测试条件设置值。
内容
表达式和字符串可以包括多个功能,字符,参数,和更多 - 编辑是否直接在参数输入或构造使用一个。
参考
加工行为 |
|
特征保持 |
没有 |
依赖关系 | S3账户 |
FME许可级别 | FME基础版及以上 |
别名 | S3Deleter,S3Downloader,S3ObjectLister,S3Uploader |
历史 | 发布FME 2019.0 |
类别 |
FME社亚搏国际在线官网区
FME社区是演示亚搏国际在线官网、操作指南、文章、常见问题解答等的场所。获取问题的答案,向其他用户学习,并对新功能进行建议、投票和评论。
搜索有关S3Connector所有结果在FME社区。亚搏国际在线官网
示例可能包含根据开放式政府许可证获得许可的信息-温哥华