指导创建、使用和维护门户开放数据

开放数据门户网站是什么?巨大的数据集存在网上充满了可能性和可供任何人使用。开放数据提供的价值超越了社区参与和改进产品。亚搏国际在线官网亚搏在线娱乐平台有充足数据的有关税收、房价、犯罪、导航、能源效率、,开辟了一个全新的水平的全球透明度和问责制。

政府、企业、研究机构和其他已经接受了开放数据运动和看到了巨大的利益。

开放数据是免费的,任何人都可以访问数据用于任何目标,公共利益是爆炸。,我们获得的信息的地方,我们关心企业和组织。这意味着透明度。它使协作、创新和科技进步。

表的内容

1. 谁生产开放数据?
2. 为什么开放数据很重要?
3. 创建您自己的数据门户
   • 共享优质数据
   • 提供格式选择
   • 经常更新的数据集
   • 为空间数据提供投影选项
   • 选择一个开放数据门户交付解决方案
   • 自动化的过程

谁生产开放数据?

各级政府的

政府目前的主要提供者开放数据和开放数据运动的前沿。提供各级政府的数据(如城市、州和联邦政府的)英国,美国,加拿大以及各种其他国家。

的原因吗?

• 提高透明度和问责制
• 公民的好处从创新的应用程序和服务使用公开数据是巨大的

许多政府现在规定(如。激励)为其公民提供开放数据和各种各样的其他国家,国家,省份,城市是沿着相同的路径。我们看到越来越多的重要性,尤其是COVID-19要求全世界每个人都做出贡献,共同朝着一个共同的目标。共享数据是一个巨大的这一过程的一部分。

的三县卫生部门过一个奇妙的工作不仅管理COVID-19数据,但也出版它的访问任何人,任何地方。

显示的是加州的州geoportal各种数据类别任何人都可以探索的。也鼓励公民请求数据集,提高透明度和参与更多。

当我们走向智能城市和获得的能力来衡量和控制几乎所有的物理对象,数据量呈指数增长。这意味着,保持低成本的重要性对开发人员是至关重要的。

非政府组织

非政府组织一直关注数据,因为他们工作的民主化提供更好的公共服务或计划开发项目。救援工作也能明显从公开数据中获益。

与众包和geomapping努力,非政府组织和其他非营利组织可以通过数据的力量帮助。我们看到这2015年尼泊尔地震4000年映射器绘制了13199英里的公路和110681栋建筑在48小时内的自然灾害。这些地图允许援助组织制定救援计划,找到最安全的和最快的路线,帮助那些需要帮助。亚搏在线

许多非政府组织也开始产生开放数据本身。例如,休利特基金会和盖茨基金会分享他们花了他们的援助资金增加透明度。数以百计的组织也发表数据的操作和支出通过国际援助透明度倡议。

学术机构

学术机构也开放了自己的数据。由于成功的共享数据在阿尔茨海默氏症更透明的研究,有一个运动开始实践。有很多复杂性分享研究数据,进步是缓慢的。尽管如此,越来越多的资助机构和学术出版商支持甚至强制数据共享。

可以公开获取研究数据也是欧盟的核心是€800亿地平线2020项目进一步,希望在不久的将来,引人注目的进步。

开放数据的最伟大的成就之一人类基因组计划。在这一壮举,人类基因组序列信息几乎立即被公诸于众。因此,基因组现在可以映射到几个小时,花费不到1000美元。

私营企业

尽管政府开放数据的主要提供者,有很大一部分的企业开始意识到,生产开放数据集可以改善他们的底线。本杰明•赫兹伯格称之为世界银行研究所的新边疆开放私人部门。

为什么开放数据很重要?

的争论这些数据是否应该向公众开放仍在进行中。传统上,许多国家的政府认为的销售数据作为一个收入来源。其他国家的政府认为免费开放数据的基础设施成本高昂。最后,原始数据可能不是以一种很容易共享。

作为数据爱好者,我们认为不应该锁在应用程序或数据格式。随时随地的数据应该免费使用,但是它需要的。通过开放数据,知识共享和创新。公开数据,市民可以选择检查数据并回答他们的问题,研究人员和记者收集和分析数据能告诉更强的故事,和开发人员可以使用数据来构建应用程序。

创建自己的公开数据门户

如果你想让你的数据公开,有一些事情需要考虑之前创建自己的公开数据门户。

1。只分享高质量的数据

决策基于错误数据可能会有极端的影响。前向公众共享一个数据集应该检查所有方面的完整性、正确性、一致性和遵从性。这包括验证几何、属性标准遵从性、特定于格式的XML / JSON结构等问题,等等。

好的质量数据意味着检查它所满足的需求,然后修复它,它不通过。使用手动验证和开箱即用的工具验证您的数据,或者使用FME自动检测和修复问题。

2。提供格式选择

数据如果没有人可以阅读它。

根据定义,为公众开放数据应该很容易使用。提供一个选择对格式和记住,数据应该是机器可读的和人类可读的。这里有一些格式我们建议开放数据门户网站:

其他有用的格式:

• GML——这是一个广泛使用[格式
• AutoCAD DXF / DWG——对计算机辅助设计用户
• PDF——它看起来不错,很容易共享。注意这应该是一个补充格式并不是你的焦点,PDF是那么有用的人打算自己处理和分析数据。

3所示。经常更新的数据集

开放数据,使用旧的数据是有问题的,当试图做出明智的决定。因此,重要的是定期更新数据在一个开放的门户。

帮助别人确保他们总是让你更新数据,值得提供您的数据提要(例如RSS)发表或API而不是静态可下载文件。这将允许人们使用的端点,如果你要更新他们将自动反映在用户的应用程序。

设置这一个伟大的方式是开放数据平台连接到你的主数据库。这样您的数据将被整合而不是直接复制在两个地点,避免可能发生的问题在未来当需要更新。

要做到这一点,FME入手。与数据库同步门户使用变压器像ChangeDetector可以留意更新数据库中的字段。然后,使用自动化在服务器更新,以确保门户FME尽快在幕后发生的任何更改。

4所示。为空间数据提供投影选项

提供您的数据在不同的格式是一个伟大的开始让你的各种用户数据访问。然而,当涉及到空间数据坐标系统的选择和预测应考虑。

空间数据时,用户应该能够选择自己的投影。地方(例如州飞机或英国国家电网)和全球应提供预测。为全球预测,我们建议:

• WGS 84 Lat /液化天然气(EPSG: 4326)
• Spherical Mercator (EPSG: 3857)

当使用FME管理开放数据门户,您可以通过发表参数提供坐标系统的选择。有一些路要走选择一个坐标系统。一种选择是使用Reprojector变压器利用CS-Map reprojection引擎,但其他人是可用的项目,Gtrans,Esri)。

5。选择一个开放数据门户交付解决方案

现在你的数据是可以共享的,你需要一个平台来提供数据。

这里介绍的每个解决方案为数据出版商提供了自己的优势。世界总是创造更多选项和每一个提供了新的东西。因此,重要的是要总是做你自己的研究为您和您的团队找到最好的解决方案。

ArcGIS公开数据

(许可:商业,交付模型:SaaS)

配置自己的品牌开放数据与ArcGIS的服务器或网站ArcGIS在线。ArcGIS开放数据将会特别感兴趣的,如果你目前使用Esri组织内。

Esri使得它很容易创建和配置一个开放数据网站,允许你专注于你的策略,政策,而不是采用的技术和操作问题。

例子:开放数据直流,本拿比市

的兰利的城市利用ArcGIS在线连同FME向本国公民提供开放数据精简。这使得他们保持开放数据通过ArcGIS在线REST API。了解更多关于他们是怎么通过的查看他们的演讲。

CKAN

(许可:开源,部署模型:自托管与SaaS产品基于CKAN技术)

CKAN是一个领先的开源数据门户网站拥有超过300的开源数据管理的扩展。它是一个功能强大的平台最适合大型组织,因为它是相对复杂的设置和维护。

例子:美国政府公开数据,英国公开数据,加拿大政府公开数据

的萨里市是一个很好的例子,政府利用CKAN和FME来管理他们的公开数据门户。通过使用这些技术,他们能供应的数据集,可以下载任何格式和投影。

Socrata

(许可:商业、部署模式:SaaS)

一个平台,把数据变成一个实用程序,可以发现,使用可视化分析和shared.AllSocrata技术开发开放的,公司的Github页面上,大多数人(包括核心API服务器和所有安装客户端)是开放源码许可和免费使用或修改。Socrata还组织大规模开放测试版程序征求输入世界各国政府在开发新服务。

例子:纽约OpenData,华盛顿州

Socrata自己利用FME帮助警察基金会在华盛顿他们需要自动化的入口和集中各种警察数据源到数据门户开放21世纪警务任务小组。了解更多关于如何Socrata FME用于任务。

亚马逊网络服务

(许可:商业、部署模型:PaaS)

通过利用AWS的低层服务(例如S3, EC2, RDS)和利用FME data-mover,可以产生非常容错、可伸缩、强大的服务易于维护和成本效益。广泛的格式和投影提取的选择可以通过FME基金支持。

灵活,现收现付价格AWS和FME基金是一个很好的选择,如果你意识到你的支出,但仍然想要丰富的功能。

笔记架构:

• 矢量数据:存储在数据库空间RDS PostGIS / SQL Server。FME可以连接到几乎所有的数据存储,所以你可以把你的数据的地方
• 光栅/激光雷达数据:存储在AWS S3中存储的足迹向量数据库进行快速查询

的阿肯色州GIS办公室开放数据门户网站托管在云中使用亚马逊和FME基金支持。7 + tb的数据迁移,他们开始FME和继续使用它作为一个正在进行的自动化工具。了解更多关于阿肯色州地理信息系统办公室是如何做到的。

免费托管

(许可:商业自由,部署模型:SaaS)

如果你正在寻找数据可视化或分析然后看前面的解决方案,但如果你想要的是一个简单的文件目录服务,免费托管可能是路要走。

免费托管DataHub等网站。io, FTP, Google Drive, GitHub是一个很好的起点。云端文件存储解决方案可用于存储和提供大量的数据。这是简单的上传数据,可以构建一个简单的web界面上的存储系统提供进一步的上下文。

如果与用户的合作是很重要的,看看GitHub。几个人已经成功地用它来主机开放数据,上传GeoJSON,你甚至可以在地图上可视化数据。

在所有情况下,FME可用于同步主数据库的存储服务,确保数据库是最新的。

6。自动化的过程

现在您已经将所有的数据门户放在一起,你要想保持功能。你可以手动,但收集的数据量,处理,并存储这些天,手动执行这些任务将获得压倒性的。快。

利用FME基金是一个伟大的方式把事情做好你所希望的方式,当你希望他们。构建工作流,亚搏在线连接主数据库,规范和验证各种数据集,将它们连接到您所选择的平台使用预构建的连接器或api,然后使用自动化,以确保当一个更新发生在其他地方,它反映在你的门户。

更好的是,使用FME定制开放数据的访问基于地图的数据分布。你FME工作流可以亚搏在线在幕后函数,这样当用户选择一个感兴趣的特定区域,数据集使用确切的形状剪。这节省了他们的努力改变数据,提供一个更好的、全功能服务。这是一种超越和自动化可以哇你的用户。

萨里市FME自动化使用CKAN和他们如何供应数据通过开放数据门户。为了了解更多,观察他们的表现。

释放的数据!

我们将会看到世界上更多的公开数据由于其压倒性的人气。另外,没有借口当涉及到技术方面。与云计算和自动化工具FME,它是简单和廉价的(和好玩!)来创建一个开放的数据门户。

当然,将会有更高质量的数据需求,不仅仅是更多的。开放数据必须容易发现、使用和协作。我们也希望看到开放数据变得更容易比较标准化全球城市。

提供免费访问数据,公民能够参与更广泛的社区和创新基于自己的利益。亚搏国际在线官网而开放数据的用户可以利用这一点,即使没有知识的公民开放的数据可以使用它。可能是研究犯罪率在购买新房子之前,找出他们的税金,或者找出多少国会议员。

通过保持开放数据活着,新趋势将开始在全球范围内发展。可能性是无限的。

阿曼达Schrack

虽然阿曼达的背景是在环境科学和GIS,她现在写内容为safe.com。亚搏在线看起来像写所有这些研究报告了回报!在她的空闲时间,阿曼达喜欢工艺品,看纪录片,了解错误(与六条腿的那种)。