span8
span4
你好,
我有一个有7万条记录的CSV文件。它在第一列中有一个由10标识的标题行。数据行在第一列有20个,页脚行在第一列有99个。我可以将这三种行类型分开,对数据行进行处理,然后将它们按正确的顺序重新组合在一起——10,20,99。
但是,输出文件太大,我们的第三方导入例程无法处理,所以我需要一种方法将数据分块到文件中,每个文件中有5,000条记录。每个文件需要原始标题行(4列)、5000数据行(15列)和更新的页脚行(2列),其中包含99和数据行数。导入器应该能够循环遍历这些较小的文件,而不需要消耗底层JVM的资源。
我主要使用了一个在数据集上使用@Count(fanout,1,10)的fanout,它创建了10个文件夹,每个文件夹中都有一个CSV文件。然而,页眉行被写入第一个文件,而页脚行只被写入最后一个文件。其他文件没有页眉或页脚行。我还尝试了放入ModuloCounter并在module_count属性上展开。同样,当每个文件需要一个页眉和页脚行时,第一个文件获取页眉行,另一个文件获取页脚行。
FME Hive Mind有什么建议吗?
提前谢谢。
©2019安全亚搏在线软件公司法律