span8
span4
在这个练习中,我们将展示如何在FME中处理多个CSV文件。我们将修改现有的FME工作区,将数据从一个CSV文件转换为Tableau。工作区已设置为处理来自单个CSV文件的业务许可数据。在将数据写入Tableau格式之前执行数据验证和清理。但是,还有许多其他CSV文件包含前几年的营业执照数据。我们将设置FME来处理所有这些文件。然后,我们将演示两个选项的书面到Tableau:
选项1:将所有数据写入一个表文件。我们将在Tableau文件中添加一个新字段,该文件保存了收集到的营业执照数据的年份。
选项2:将数据写入多个表文件。将为每个读取的CSV文件创建一个Tableau文件。
源数据:pastyears.zip
开始工作:exercise2-startingworkspace.fmwt
完成工作:exercise2-multiplesheets.fmwt
我们将使用前面练习中的工作区如何使用FME为Tableau准备数据(处理电子表格)。如果你还没有完成之前的练习,点击链接进入练习。如果你只对这个练习感兴趣,下载开始模板。在前面的练习中,我们已经创建了一个excel文件来存储所有需要清理的值,删除DataCleanup.xlsx写入器。
在Navigator窗格中,展开CSV阅读器。双击源CSV文件参数,然后打开高级浏览器。Click on "Select Multiple Folders/Files..." Navigate to the folder containing the four CSV files,并选择它。从该文件夹中读取扩展名为.csv的文件。删除.gz文件和.txt文件,之前的。csv文件,我们只对过去几年文件夹中的。csv文件感兴趣。
过去年份文件夹中的数据集:
在导航器中更改源CSV文件
选择多个文件夹/文件…然后单击PastYears文件夹添加它
既然我们已经设置好了阅读器,下一步是在画布上设置现有的源特性类型,以处理CSV阅读器读取的所有文件。打开写入器特性类型属性。它最初是用来读取单个业务许可证文件的。检查Merge Feature Type选项允许该特性类型处理所有读取的CSV文件。我们将使用默认通配符选项Merge Filter和Filter Type。需要注意的是,当我们切换到Merge Feature类型时,FME自动公开一个名为“fme_feature_type”的属性。每个读取的特性都带有这个属性,它保存每个特性读取的文件的名称。我们将很快使用这个属性。阅读器的名称将从business_licenses更改为
打开作者的属性,启用合并特性类型并接受默认值
确认FME已设置为处理该文件夹中的所有CSV文件。右键单击源特性类型并检查数据。确认该文件夹中的所有4个文件都已被读取。通过进一步检查单个特性,我们看到文件的名称(或特性类型)与特性一起存储。
将VertexCreator转换器连接到阅读器。这将使用纬度和经度属性创建点。的模式,确保选中“Add Point”,然后更改X值以读取经度属性,更改Y值以读取纬度属性,然后单击ok。
添加一个VertexCreator并设置X和Y值
如果我们现在运行这个工作区,所有数据将被写入一个表文件。在这种情况下,我们应该创建一个新的属性来存储使用SubStringExtractor收集的营业执照数据的年份。
在AttributeManager和writer特性类型之间放置一个SubstringExtractor。将其设置为提取fme_feature_type属性的前四个字符,也就是这一年。将year值存储在一个名为YearCollected的新属性中。
应该使用新属性更新目标表模式。
我们只需要来自fme_feature_type的年份,将起始索引设置为0,并将结束索引设置为3
创建一个Tableau文件,带有一个新的属性YearCollected。在Tableau中查看此文件,以确保填充了YearCollected字段
View the BusinessLicenses.tde in Tableau to ensure the YearCollected field is populated
很容易为每年的营业执照数据创建一个单独的Tableau文件。
如果在选项1中添加SubstringExtractor,为选项2禁用它,右击变压器并单击“禁用”
打开目标模式(写入器)的属性。单击表名旁边的下拉框,并选择fme_feature_type。我们指示FME使用这个属性的值作为输出表名,这意味着,对于每一个独特的价值,将创建一个单独的文件。我们知道fme_feature_type包含每个特性读取的文件的名称,因为我们要读取4个CSV文件,我们希望创建4个tableau文件。
打开.TDE编写器,将表名更改为属性fme_feature_type,以创建4个文件
导航到Output文件夹,确认创建了4个tableau文件。如果运行此翻译多次才能完成。在Writer属性中,在表设置>一般,用于表处理:删除和创建。
Windows资源管理器中的4个表格文件
©2019安全亚搏在线软件公司法律