AzureBlobStorageConnector
访问Azure Blob存储文件存储服务来上传、下载或删除文件和文件夹,或列出Azure帐户中的文件/文件夹信息。
典型的使用
- 通过上传、下载和删除文件和文件夹管理Blob存储上的数据集
- 将文件的内容(如XML或栅格)转移到FME中的某个属性中或从该属性中移出
- 方法读取下载的Blob存储数据FeatureReader,或上载数据写入FeatureWriterBlob存储
- 从Blob存储中检索文件和文件夹名称、路径、链接和其他信息,以便在工作区的其他地方使用。
它是如何工作的?
AzureBlobStorageConnector使用您的Azure存储帐户凭据(通过以前定义的FME web连接,或者通过直接从转换器设置新的FME web连接)来访问文件存储服务。
根据您选择的操作,它将上载或下载文件、文件夹和属性;列出服务中的信息;或从服务中删除项目。上传时,可以将链接属性添加到输出特性中。在列表操作中,文件/文件夹信息被添加为属性。
在本例中,AzureBlobStorageConnector用于从Blob存储下载Esri地理数据库。在创建到Azure存储帐户的有效web连接(这可以在account参数中完成)并浏览到geodatabase文件夹之后,就会检索到对象的容器和路径,并选择下载的目的地。
一个FeatureReader添加以读取新下载的数据集。在这里,PostalAddress特性类型将在工作区的其他地方进一步处理。
通过在工作区中执行此处的下载,geodatabase将在每次运行工作区时刷新。
在工作区的这个示例部分中,使用AzureBlobStorageConnector将光栅正射影像从Blob存储下载到一个属性中。
文件从Blob存储中读取,内容存储为一个Blob属性。然后一个RasterReplacer用于将blob解释为可用的光栅格式。
这两个转换器的组合避免了将映像下载到本地存储并重新读取它。可以对点云文件使用类似的技术PointCloudReplacer变压器。
使用笔记
- 这个转换器不能用于在不同的Azure存储位置之间直接移动或复制文件。但是,可以使用多个AzureBlobStorageConnectors来完成这些任务。
- 的FeatureReader可以直接访问AzureBlob存储,而不使用AzureBlobStorageConnector。在这种情况下,将不会创建数据集的永久本地副本。
配置
输入端口
这个转换器接受任何特性。
输出端口
该变压器的输出将根据所执行的动作而变化。
- 后一个上传操作时,选中的文件信息将作为属性可用。
- 一个下载操作将输出传入的特性,并可以保存为文件、文件夹或属性。
- 一个删除操作将输出传入的特性。
- 一个列表操作将为指定路径中找到的每个文件/文件夹输出一个新特性。这些新特性中的每一个都将具有列出关于对象的各种信息的属性。
传入的特性通过该端口输出。
参数
凭证来源 | AzureBlobStorageConnector可以使用来自不同来源的凭据。使用web连接最好地与FME集成,但在某些情况下,您可能希望使用其他源之一。
|
账户 | 当凭据源为时可用网络连接。要创建Azure存储连接,单击“Account”下拉框,选择“Add Web connection…”。 然后可以通过工具管理连接-> FME选项…——>网络连接。 |
帐户名称和帐户密钥 | 当凭据源为时可用嵌入式。可以在transformer中直接指定帐户名和访问密钥,而不是在web连接中指定。 |
帐户名称和共享访问签名 | 当凭据源为时可用情景应用程序。可以在转换器中直接指定帐户名和共享访问签名。 |
行动 | 要执行的操作类型。选择包括:
|
其余可用的参数取决于请求>操作参数的值。下面详细介绍了每个操作的参数。
删除选项
容器 | 文件或文件夹所在的容器。如果有效凭据已作为web连接提供,您可以浏览容器。 |
路径 | Blob存储上要删除的文件或文件夹的完整路径。如果有效凭据已作为web连接提供,您可以浏览某个位置。 |
下载选项
容器 | 文件或文件夹所在的容器。如果有效凭据已作为web连接提供,您可以浏览容器。 |
路径 | Blob存储上要下载的文件或文件夹的完整路径。如果有效凭据已作为web连接提供,您可以浏览某个位置。 |
目的地
下载 | 选择是否将下载的数据存储在文件、文件夹或属性中。
|
下载到属性 | 指定将存储下载文件内容的属性。仅作为属性下载有效。 |
响应主体编码 | 对于Download as属性,可以指定字符集编码,以确保输出是人类可读的形式。 如果自动检测从HTTP头但是在与数据关联的内容类型元数据中没有编码,则输出将作为原始字节返回。 |
下载到文件夹 | 指定存储下载文件的文件夹的路径。作为文件或文件夹下载有效。 |
如果文件存在 | 指定如果文件已经在本地存在,要做什么。作为文件或文件夹下载有效。
|
包括子文件夹 | 选择是否下载Blob存储源的子文件夹。只能作为文件夹下载。 |
列表选项
容器 | 文件夹所在的容器。如果有效凭据已作为web连接提供,您可以浏览容器。 |
路径 | Blob存储上要列出的文件夹的完整路径。如果有效凭据已作为web连接提供,您可以浏览某个位置。 |
包括子文件夹 | 如果设置为是的,然后递归遍历子文件夹,并将其内容包含在结果中。 |
输出属性
选中的属性将被添加到输出特性中。
_name |
文件或文件夹的名称 |
_full_path |
文件或文件夹的完整路径 |
_url |
文件或文件夹的URL。 |
_file_or_folder |
项目是文件还是文件夹 |
_file_size |
文件大小(文件夹不存在) |
_created |
创建文件的日期和时间 |
_last_modified |
文件最后一次修改的日期和时间 |
_relative_path |
项相对于列表路径的路径 |
数据源
上传 |
要上传的数据类型。
在处理大型对象时,File是比Attribute更好的选择,因为数据将直接从磁盘流化,并且不需要将对象完全存储在内存中的某个特性上。 当希望从文件夹中上传内容时,最好将其作为文件夹上传,而不是设置固定路径并将多个特性发送到连接器中以文件形式上传。 |
文件上传 |
要上载到Blob存储的文件如果上传被设置为文件。 |
文件夹上传 |
如果要上载到Blob存储的文件夹上传被设置为文件夹。 |
包括子文件夹 |
选项的子文件夹文件夹上传与否。 |
属性为文件上传 |
要上传的数据,由属性提供上传被设置为属性。 |
上传选项
容器 | 文件夹所在的容器。如果有效凭据已作为web连接提供,您可以浏览容器。 |
路径 | Blob存储上要上载到的文件夹的完整路径。如果有效凭据已作为web连接提供,您可以浏览某个位置。 |
带文件名上传 | 中提供的数据创建的文件的名称属性为文件上传。名称必须包含一个文件名扩展名(例如,.txt、.jpg、.doc)。 |
如果文件存在 | 指定如果文件在Blob存储上已经存在时应该做什么。
|
最大块大小(MB) | 上传时要创建的块的大小(如果文件大于4MB)。Azure Blob存储支持的最大块大小是100MB。 有关块大小的详细信息,请参见https://docs.microsoft.com/en-us/rest/api/storageservices/understanding-block-blobs--append-blobs--and-page-blobs |
元数据
可以指定与上传特性相关联的自定义名称-值对。
生成共享访问签名
如果勾选此项,将为上载的文件生成共享访问签名(SAS)。的属性_sas_url和_sas_token将添加到输出特性中。此选项仅适用于文件和属性上传。有关SAS的更多信息,请参见微软Azure文档。
SAS令牌到期时间 | 令牌何时到期。 |
IP地址或范围 | 如果提供,限制对IP地址或IP地址范围的访问。范围以“203.0.113.0-203.0.113.255”格式给出。 |
限制HTTPS |
如果是,令牌只能通过HTTPS使用。 |
输出属性
选中的属性将被添加到输出特性中。仅可用于文件和文件夹上传。
_name | 文件或文件夹的名称。 |
_full_path | 文件或文件夹的完整路径。 |
_url |
文件或文件夹的URL。 |
编辑变压器参数
使用一组菜单选项,transformer参数可以通过引用工作区中的其他元素来分配。更高级的功能,如高级编辑器和算术编辑器,也可以在一些转换器中使用。要访问这些选项的菜单,请单击除了适用的参数。有关更多信息,请参见变压器参数菜单选项。
定义值
有几种方法可以定义在转换器中使用的值。最简单的方法是简单地输入一个值或字符串,它可以包括各种类型的函数,比如属性引用、数学和字符串函数以及工作区参数。有许多工具和快捷方式可以帮助构建值,通常可以从value字段旁边的下拉上下文菜单中获得。
使用文本编辑器
文本编辑器提供了一种方便的方法来从各种数据源(例如属性、参数和常量)构造文本字符串(包括正则表达式),其中结果直接在参数中使用。
使用算术编辑器
算术编辑器提供了一种方便的方法来从各种数据源(比如属性、参数和特性函数)构造数学表达式,其中结果直接在参数中使用。
有条件的值
根据通过或失败的一个或多个测试条件设置值。
内容
表达式和字符串可以包括许多函数、字符、参数等——无论是直接在参数中输入还是使用某个编辑器构造。
参考
处理行为 |
|
功能持有 |
没有 |
依赖关系 | Azure存储账户 |
FME授权级别 | FME基本版及以上 |
别名 | |
历史 | FME 2019.0发布: |
类别 |
FME社亚搏国际在线官网区
FME社区是演示亚搏国际在线官网、操作指南、文章、常见问题和更多内容的地方。获得问题的答案,向其他用户学习,并对新功能提出建议、投票和评论。
搜索关于AzureBlobStorageConnector的所有结果在FME社区。亚搏国际在线官网
示例可能包含根据公开政府牌照(温哥华)获发牌照的资料