Hadoop簇强大无比,但往往缺乏FME的精度和空间处理能力。这篇问答文章将探讨如何利用FME的变革能力来增强Hadoop实例的能力。
对,FME有HDFS-连接器可以将文件上载到集群。您还可以通过执行来自Apache Hive阅读器连接中的SQL执行器或Sql创建者.
任何,你可以上传任何你想上传到你的HDF。如果你在找一个例子这个视频演示如何完成。
您可以使用hdfsconnector从集群下载数据,也可以使用Apache Hive阅读器阅读表格。
对,它确实支持Kerberos身份验证。
确保您的名称节点解析为实例,而且你的港口是开放的。
您需要复制Hive JDBC客户端驱动程序(一个.jar文件)从Hadoop安装到FME可以使用的位置。请看JDBC文档入门获取特定于操作系统的位置列表。完成后,您需要重新启动应用程序。然后您就可以使用ApacheHive阅读器了。
这些配置都不是现成的,但是你可以通过备用API从地图还原过程。此外,如果您愿意,大多数Hadoop系统将允许您在与Hadoop节点相同的机器上承载FME服务器。然而,如果要在多个节点上分发FME服务器,则需要一种方法来分解要在多个工作区中处理的工作。
虽然HDFS连接器和蜂窝读卡器很有用,HBase读写器是Hadoop工作流程的基础。亚搏在线
截至FME 2018.0版本,我们添加了HDFSConnectorTransformer作为技术预览。这意味着虽然还没有完全准备好迎接黄金时间,它可用于测试运行。
我们想请对这台新变压器感兴趣的人,特别是对任何HDF投票的人,Hadoop蜂巢对此的增强,以尝试这个变压器,让我们知道你的想法。
我们正在积极开发与Hadoop系统的更多集成,我们希望听到您的消息!
您希望如何在Hadoop设置中使用FME?您是如何使用Hadoop的?您使用什么格式来存储数据?HDFS连接器是否满足您的需要,或者您是否需要更多的功能,如蜂窝?HbaseOozie还是火花连接器?您想在上传完成后触发hadoop命令或执行查询吗?如果是这样,那会是什么样子?
请将您的反馈作为评论发回这个想法。
HDFSconnector使用您的HDFS帐户凭据(通过以前定义的FME Web连接,或者从变压器上建立新的FME网络连接)来访问文件存储服务。
根据你的行动选择,它将上传或下载文件,文件夹,属性;列出服务信息;或者从服务中删除项目。上传,路径属性将添加到输出功能中。列表上的操作,文件/文件夹信息作为属性添加。
嘿,大家好,
我使用HDF作为我的文件系统。
有没有读写Hadoop的FME解决方案?
或者在Hadoop环境中使用FME还有其他的实践吗?
谢谢你抽出时间。
你好,
我们使用HDF作为我们的一些文件的文件系统。我们能把Hadoop内部的FME解决方案整合到地图减少过程中吗?或者在Hadoop环境中使用FME还有其他的实践吗?谢谢你抽出时间,
凯蒂