本月早些时候,我的同事蒂娜概述了各组织正在采用NoSQL数据库进入他们的行动。在这篇文章中,我将介绍几种将FME与NoSQL数据库结合使用的方法,以充分利用它们的容量、性能和灵活性。

示例1:创建数据仓库

目标:将来自不同关系数据库的数据聚合到NoSQL中,并为您的组织创建一个中心的、可搜索的数据仓库。

一个组织内的不同部门经常使用关系数据库,这些数据库根据其业务的独特需求进行了微调。问题是:这些独立运行的系统可能会导致生产率下降的数据孤岛。

筒仓2

解决方案:聚合所有这些数据,并使用NoSQL数据库作为中央存储库。它们的容量、搜索性能和非结构化特性为来自不同关系数据库的大量结构化数据共存提供了完美的环境。要做到这一点,必须将数据转换为JSON这就是FME的巨大帮助。

创建一个FME工作区,从问题的企业关系数据库(Oracle, MS SQL Server, PostgreSQL, MySQL等)读取数据,并将其加载到您首选的NoSQL数据库(MongoDB, Elasticsearch, Azure DocumentDB, Amazon DynamoDB, IBM Cloudant,或CouchDB)。FME的NoSQL编写器将自动将表格数据转换为JSON文档。

Oracle-to-MongoDB-亚搏在线workflow2

将任何FME的JSON转换器添加到工作区,以构建更复杂的JSON文档。例如,更改内容、创建JSON列表,并重新组织JSON的结构以满足应用程序的需要。

为确保NoSQL数据库始终处于最新状态,请自动化您的工作流,使其以预定的时间间隔运行,或使用FME Server或FME Cl亚搏在线oud响应触发器。

提示:通过使用FME将元数据引入NoSQL数据库,创建可搜索的元数据目录。元数据可以包括文件的物理位置信息,如URL或所有者的电子邮件地址。

示例2:创建物联网数据的存储库

目标:自动将数据从物联网收集到NoSQL数据库。

通常,物联网(IoT)数据以时间序列的形式从传感器连续收集,并通过web服务作为JSON提供。出于第一个示例中概述的相同原因(大规模存储容量、敏捷模式),NoSQL数据库为物联网数据提供了强大的存储库。挑战是在收集数据后立即加载该数据。

创建一个FME工作区,从web服务提取IoT JSON,转换JSON,并将其加载到NoSQL数据库中。使用FME服务器或FME云部署此工作区,并将其配置为在传感器提供新数据时运行。

IIoT图

*

我希望这些示例启发您探索使用FME利用组织中的NoSQL数据库的方法。我们在最近的网络研讨会上通过演示更详细地解释了这些示例,使用FME采用NoSQL数据库的提示.

关于数据 数据集成 数据迁移 数据仓库 物联网 数据 Nosql 关系数据库

莱利格林

评论

留下一个回复

您的电子邮件地址将不会发布。已标记必填字段*

相关职位