span8号
第4排
第17层评论·
这将是非常具有挑战性的,但您的工作流程与S亚搏在线park/Hadoop中的“希望构建”极其相似。我认为能够在spark/hadoop中以本机方式使用fme gui设计工作流,并使用fme服务器启动/管理spark/hadoop作业,这将是令人惊讶的。亚搏在线
即。每个读写器都可以从Hadoop读写,就像现在从HDF读写一样(对于公共空间,XLS,ETC类型)除了支持更特定于Hadoop的类型文件(map,序列,阿夫罗,等)。然后每个变压器都可以是spark/hadoop工作流中的一个步骤。亚搏在线(有一个性能冲击,但是可以在spark/hadoop中直接运行python。似乎python支持相当多的FME。Java/Scala是最好的,但在大多数情况下,python都能完成任务…然后可以在本地优化部件,就像连接。)
我知道至少有一家大公司会购买FME,如果它以这种方式支持Hadoop…(我意识到这远远超出了地图空间,但我看到一家公司花费数百万美元试图创建FME所做的,但运行在Hadoop之上。我用的是从头算起的,数据阶段,和pentaho和none相比,FME的用户友好性。它们都太复杂了,他们应该把重点放在输入/简单的翻译/输出上,比如FME,而且他们会从根本上更好。如果您想要更复杂的字符串,可以将多个“工作区”放在一起。)
可能是tl;dr,但这项业务的多方面都有一些观察结果。
达赖安全亚搏在线评论·
这个想法现在有点宽泛,我建议将相关的Hadoop请求拆分为它们自己的想法。但是,HDFS读/写现在通过HDFSConnector Transformer进入了FME 2018 Betas。让它旋转通过网址:http://w亚搏在线ww.safe.com/beta告诉我们你的想法。
分享你的好主意,或者投票支持别人的想法。
?2019安全亚搏在线软件公司|法律