注意: 虽然 JavaScript 不是本网站的必要组成部分,但您与内容的互动将受到限制。请开启 JavaScript 以获得完整体验。

使用开放数据和 Python 拯救世界

政策方面

虽然对于一些开发者来说,开放数据似乎已经存在很久了,而且我们可能不再需要谈论它了,但重要的是要记住为什么人们热衷于推动开放数据。

当创建和推广开放数据标准时,重要的是要思考为什么 - 这试图推动什么改变? 人们将利用这些数据做什么,而以前他们做不到?

例如,开放合同数据标准公开了政府将服务和项目外包给私营公司的详细信息。 它使数据可用并尝试帮助人们实际使用它。 通过这样做,目的是根除腐败、向更多投标人开放流程、提高效率并为政府节省资金。

在开放数据服务机构,我们致力于许多标准 - 例如,受益所有权数据标准公开了在世界各地拥有、控制或受益于公司的最终人员的数据。 随着越来越多的国家试图减少避税,这些数据真的很有帮助。

这也是我们工作的一部分 - 我们与客户合作制定他们的政策目标,并确保他们制定的开放数据标准与他们的政策目标相匹配并在此基础上构建。

这就是我们如何声称我们的工作正在拯救世界的原因 - 当我们看到像乌克兰的 ProZorro 使用开放合同数据打击腐败并为其政府节省了 12 亿英镑这样的人时,我们感到非常高兴。

Python 方面

我们使用 Python 作为我们的首选工具; 从在带有 Google Colab 笔记本的 Jupyter 中进行分析到完整的 Sphinx 网站和电子表格。 等等,电子表格?

是的 - 花一些时间在开放数据的世界中,您很快就会发现人们喜欢他们的电子表格。 虽然一些开发人员现在会翻白眼,但重要的是要记住,对于某些人来说,电子表格是一个非常强大的工具,使他们能够完成出色的数据工作,否则他们将无法完成。

因此,我们必须接受这一点,这导致我们发布为开源的 Python 工具之一 - Flatten Tool

Flatten Tool 获取 JSON 数据文件,并生成其内容的电子表格。 当然,JSON 数据文件可能不是平面结构,可能在列表中包含列表等等 - 我们通过在 Excel 文件中生成多个工作表或生成多个 CSV 文件来处理这种情况。

Flatten Tool 还接受一组电子表格并生成数据的 JSON 文件。 如果您有描述您的标准的 JSON Schema 文件,这将有所帮助。 最后,我们还可以使用 JSON Schema 文件生成一组电子表格模板。

这使得人们可以轻松地使用他们喜欢的工具 - 电子表格 - 而且我们仍然可以轻松地处理数据,无论是发送数据还是处理他们的数据。

感谢 Python 的 PyPi 和 pip,我们将其作为库包含在我们所做的其他项目中。 我们为我们工作的数据标准制作网站,人们可以在其中上传一些数据 - 以其官方 JSON 标准格式或以电子表格的形式 - 我们将获取数据,分析它并突出显示数据的问题和统计数据。 我们还提供转换 - 因此您可以上传电子表格,如果它很好,您可以下载正确格式的 JSON 文件。

感谢 Python!

在开放数据服务机构,我们的一些成员*是开发人员,一些是分析师 - 但即使我们的分析师也非常技术,并且能够深入了解我们开发人员的问题的本质。 我们毫不怀疑,受欢迎的 Python 语言和生态系统对此有所帮助 - 感谢 Python!

  • 成员? 我们也是一个工人合作社 - 但那是另一个故事了!