我在想,分裂的过程,让我来报告更容易之所以要素类型作业失败或返回任何内容。我们发送电子邮件至与数据下载链接的用户和报告在电子邮件中的过程的结果。我在想,这会是有用的信息,对用户和我们自己(我们也捕捉迪纳摩分贝作业信息)。 p>
我会考虑使用FeatureWriter。也许我可以简化成一个工作空间。 P>
是否有特定的需要分裂处理?为什么不能有一个工作区读取所有要素类型,并将它们写出来?其实,为什么不一个工作区中读取数据并将其推到S3?该FeatureWriter和S3Uploader变压器会做到这一点很容易不够。它是一个性能问题? p>
我不认为这是可能的实际。你可以有单独的子进程写入正常(非压缩)文件,然后压缩起来之后将他们推向S3之前(有一个Python库为)? P>