主题问题:“Hadoop” https://knowledge.亚搏在线safe.com/questions/topics/single/20957.html网站 “Hadoop”主题的最新问题 FME和Hadoop常见问题 https://knowledge.亚搏在线safe.com/articles/80530/fme-hadoop-faq.html网站

介绍

Hadoop簇强大无比,但往往缺乏FME的精度和空间处理能力。这篇问答文章将探讨如何利用FME的变革能力来增强Hadoop实例的能力。

FME能帮助我自动将数据流导入Hadoop吗?

对,FME有HDFS-连接器可以将文件上载到集群。您还可以通过执行来自Apache Hive阅读器连接中的SQL执行器Sql创建者.

我可以上传什么格式到HDFS?

任何,你可以上传任何你想上传到你的HDF。如果你在找一个例子这个视频演示如何完成。

如何从Hadoop集群读取数据?

您可以使用hdfsconnector从集群下载数据,也可以使用Apache Hive阅读器阅读表格。

HDFS连接器是否支持Kerberos身份验证

对,它确实支持Kerberos身份验证。

使用HDFS连接器需要做什么?

确保您的名称节点解析为实例,而且你的港口是开放的。

使用Apache Hive阅读器需要做什么?

您需要复制Hive JDBC客户端驱动程序(一个.jar文件)从Hadoop安装到FME可以使用的位置。请看JDBC文档入门获取特定于操作系统的位置列表。完成后,您需要重新启动应用程序。然后您就可以使用ApacheHive阅读器了。

我们能把Hadoop内部的FME解决方案整合到地图减少过程中吗?

这些配置都不是现成的,但是你可以通过备用API从地图还原过程。此外,如果您愿意,大多数Hadoop系统将允许您在与Hadoop节点相同的机器上承载FME服务器。然而,如果要在多个节点上分发FME服务器,则需要一种方法来分解要在多个工作区中处理的工作。

哈多普 高密度纤维板 阿帕奇蜂巢 MapReduce 周一,2018年10月15日22:36:59格林尼治标准时间 理查德保险箱亚搏在线
添加HBase读写器 https://knowledge.亚搏在线safe.com/idea/77643/add-hbase-reader-and-writer.html

虽然HDFS连接器和蜂窝读卡器很有用,HBase读写器是Hadoop工作流程的基础。亚搏在线

数据库 哈多普 NoSQL 高密度纤维板 FRI,2018年8月31日格林威治标准时间22:06:37 法梅扎德
与Hadoop HDFS合作:预览FME 2018 https://knowledge.亚搏在线safe.com/idea/54272/working-with-hadoop-hdfs-preview-fme-2018.html

连接到HDFS现在位于2018年FME桌面

截至FME 2018.0版本,我们添加了HDFSConnectorTransformer作为技术预览。这意味着虽然还没有完全准备好迎接黄金时间,它可用于测试运行。

我们想请对这台新变压器感兴趣的人,特别是对任何HDF投票的人,Hadoop蜂巢对此的增强,以尝试这个变压器,让我们知道你的想法。

给我们你的反馈

我们正在积极开发与Hadoop系统的更多集成,我们希望听到您的消息!

您希望如何在Hadoop设置中使用FME?您是如何使用Hadoop的?您使用什么格式来存储数据?HDFS连接器是否满足您的需要,或者您是否需要更多的功能,如蜂窝?HbaseOozie还是火花连接器?您想在上传完成后触发hadoop命令或执行查询吗?如果是这样,那会是什么样子?

请将您的反馈作为评论发回这个想法。

它是如何工作的?

HDFSconnector使用您的HDFS帐户凭据(通过以前定义的FME Web连接,或者从变压器上建立新的FME网络连接)来访问文件存储服务。

根据你的行动选择,它将上传或下载文件,文件夹,属性;列出服务信息;或者从服务中删除项目。上传,路径属性将添加到输出功能中。列表上的操作,文件/文件夹信息作为属性添加。

哈多普 高密度纤维板 蜂箱 清华大学,2017年9月28日格林尼治标准时间22:57:11 理查德保险箱亚搏在线
FME如何与Hadoop\HDFS数据库集成 https://knowledge.亚搏在线safe.com/questions/51126/how-fme-integration-with-hadoophdfs-database.html

嘿,大家好,

我使用HDF作为我的文件系统。

有没有读写Hadoop的FME解决方案?

或者在Hadoop环境中使用FME还有其他的实践吗?

谢谢你抽出时间。

哈多普 高密度纤维板 周一,2017年8月21日14:10:14格林尼治标准时间 马特瓦尔基
FME是否支持使用JDBC插入配置单元表? https://knowledge.亚搏在线safe.com/questions/48191/do-fme-support-inserts-into-hive-tables-using-jd.html

JDBC 哈多普 星期二,2017年7月18日格林尼治标准时间17:58:35 弗利斯瓦杰尔
FME和Hadoop-最佳实践 https://knowledge.亚搏在线safe.com/questions/24350/fme-and-hadoop-best-practice.html网站

你好,

我们使用HDF作为我们的一些文件的文件系统。我们能把Hadoop内部的FME解决方案整合到地图减少过程中吗?或者在Hadoop环境中使用FME还有其他的实践吗?谢谢你抽出时间,

凯蒂

哈多普 结婚,2016年3月9日07:48:24格林尼治标准时间 凯蒂
不仅与Hadoop集成,而且与用于RDD的Apache Spark集成 https://knowledge.亚搏在线safe.com/idea/19220/integration-not-just-with-hadoop-but-apache-spark.html 不仅与Hadoop集成,而且ApacheSpark尤其是用于读写RDD:S的集成对于任何拥有大数据Hadoop集群的人都非常有用。spark的机器学习算法和图形数据库功能将很好地补充FME。:smiley_cat: 数据库 格式 性能 哈多普 火花 清华大学,2015年10月29日15:51:06格林尼治标准时间 马特伯 Hadoop HDFS集成。 https://knowledge.亚搏在线safe.com/idea/18934/hadoop-hdfs-integration.html网站 哈多普 高密度纤维板 清华大学,2015年10月29日15:34:59格林尼治标准时间 法梅扎德 哈多普 https://knowledge.亚搏在线safe.com/idea/18870/hadoop.html网站 支持读/写HDF、Hive等——在评论中指出你的想法。 哈多普 高密度纤维板 清华大学,2015年10月29日15:34:51格林尼治标准时间 法梅扎德