主题:“HDF”中的问题 https://knowledge.亚搏在线safe.com/questions/topics/single/51325.html网站 “HDFS”主题的最新问题 FME和Hadoop常见问题 https://knowledge.亚搏在线safe.com/articles/80530/fme-hadoop-faq.html网站

介绍

Hadoop簇强大无比,但往往缺乏FME的精度和空间处理能力。这篇问答文章将探讨如何利用FME的变革能力来增强Hadoop实例的能力。

FME能帮助我自动将数据流导入Hadoop吗?

对,FME有HDFS-连接器可以将文件上载到集群。您还可以通过执行来自Apache Hive阅读器连接中的SQL执行器Sql创建者.

我可以上传什么格式到HDFS?

任何,你可以上传任何你想上传到你的HDF。如果你在找一个例子这个视频演示如何完成。

如何从Hadoop集群读取数据?

您可以使用hdfsconnector从集群下载数据,也可以使用Apache Hive阅读器阅读表格。

HDFS连接器是否支持Kerberos身份验证

对,它确实支持Kerberos身份验证。

使用HDFS连接器需要做什么?

确保您的名称节点解析为实例,而且你的港口是开放的。

使用Apache Hive阅读器需要做什么?

您需要复制Hive JDBC客户端驱动程序(一个.jar文件)从Hadoop安装到FME可以使用的位置。请看JDBC文档入门获取特定于操作系统的位置列表。完成后,您需要重新启动应用程序。然后您就可以使用ApacheHive阅读器了。

我们能把Hadoop内部的FME解决方案整合到地图减少过程中吗?

这些配置都不是现成的,但是你可以通过备用API从地图还原过程。此外,如果您愿意,大多数Hadoop系统将允许您在与Hadoop节点相同的机器上承载FME服务器。然而,如果要在多个节点上分发FME服务器,则需要一种方法来分解要在多个工作区中处理的工作。

哈多普 高密度纤维板 阿帕奇蜂巢 MapReduce 周一,2018年10月15日22:36:59格林尼治标准时间 理查德保险箱亚搏在线
添加HBase读写器 https://knowledge.亚搏在线safe.com/idea/77643/add-hbase-reader-and-writer.html

虽然HDFS连接器和蜂窝读卡器很有用,HBase读写器是Hadoop工作流程的基础。亚搏在线

数据库 哈多普 NoSQL 高密度纤维板 FRI,2018年8月31日格林威治标准时间22:06:37 法梅扎德
HDFS连接-允许多个名称节点主机 https://knowledge.亚搏在线safe.com/idea/69708/hdfs-connection-allow-for-multiple-namenode-hosts.html

我们的HDF是HA,有一个主动节点和一个被动节点。在Web连接中,能够将这两个服务器都设置为名称节点主机是很有趣的。

高密度纤维板 FRI,2018年5月4日15:00:49格林尼治标准时间 伊维斯多利安
与Hadoop HDFS合作:预览FME 2018 https://knowledge.亚搏在线safe.com/idea/54272/working-with-hadoop-hdfs-preview-fme-2018.html

连接到HDFS现在位于2018年FME桌面

截至FME 2018.0版本,我们添加了HDFSConnectorTransformer作为技术预览。这意味着虽然还没有完全准备好迎接黄金时间,它可用于测试运行。

我们想请对这台新变压器感兴趣的人,特别是对任何HDF投票的人,Hadoop蜂巢对此的增强,以尝试这个变压器,让我们知道你的想法。

给我们你的反馈

我们正在积极开发与Hadoop系统的更多集成,我们希望听到您的消息!

您希望如何在Hadoop设置中使用FME?您是如何使用Hadoop的?您使用什么格式来存储数据?HDFS连接器是否满足您的需要,或者您是否需要更多的功能,如蜂窝?HbaseOozie还是火花连接器?您想在上传完成后触发hadoop命令或执行查询吗?如果是这样,那会是什么样子?

请将您的反馈作为评论发回这个想法。

它是如何工作的?

HDFSconnector使用您的HDFS帐户凭据(通过以前定义的FME Web连接,或者从变压器上建立新的FME网络连接)来访问文件存储服务。

根据你的行动选择,它将上传或下载文件,文件夹,属性;列出服务信息;或者从服务中删除项目。上传,路径属性将添加到输出功能中。列表上的操作,文件/文件夹信息作为属性添加。

哈多普 高密度纤维板 蜂箱 清华大学,2017年9月28日格林尼治标准时间22:57:11 理查德保险箱亚搏在线
FME如何与Hadoop\HDFS数据库集成 https://knowledge.亚搏在线safe.com/questions/51126/how-fme-integration-with-hadoophdfs-database.html

嘿,大家好,

我使用HDF作为我的文件系统。

有没有读写Hadoop的FME解决方案?

或者在Hadoop环境中使用FME还有其他的实践吗?

谢谢你抽出时间。

哈多普 高密度纤维板 周一,2017年8月21日14:10:14格林尼治标准时间 马特瓦尔基
Hadoop HDFS集成。 https://knowledge.亚搏在线safe.com/idea/18934/hadoop-hdfs-integration.html网站 哈多普 高密度纤维板 清华大学,2015年10月29日15:34:59格林尼治标准时间 法梅扎德 哈多普 https://knowledge.亚搏在线safe.com/idea/18870/hadoop.html网站 支持读/写HDF、Hive等——在评论中指出你的想法。 哈多普 高密度纤维板 清华大学,2015年10月29日15:34:51格林尼治标准时间 法梅扎德