开源时序数据库（物联网大数据如何存储---时序数据库）

本文目录

• 物联网大数据如何存储---时序数据库
• 为什么只有阿里云和AWS拥有自研云数据库的能力
• 物联网时代的数据库如何选型

物联网大数据如何存储---时序数据库

DolphinDB是由智臾科技（www.dolphindb.cn）完全自主研发的新一代的高性能分布式时序数据库，集成了功能强大的编程语言和高容量高速度的流数据系统。其特点为一站式大数据解决方案、轻量级跨平台部署、安全可控、性能优异、综合使用成本低，特别适用于工业物联网的应用。

工业物联网一般使用大量设备高频率采集众多维度的数据，数据量极为庞大。目前制造业使用的MES系统大部分仍旧采用传统关系型数据库，往往只能保存短期工艺数据，无法保留全量高精度数据。数据库系统的限制，导致企业难以发掘历史数据的价值。

DolphinDB采用列式存储，支持数据压缩，最高支持纳秒精度的时间序列数据处理。单表支持百万级别分区，并可通过增加节点的方式水平扩展集群的存储能力和计算能力。传统关系型数据库（Oracle，SQL Server）可支持亿级的时序数据，而DolphinDB可支持万亿级甚至更多的时序数据。智能制造企业不必丢弃大量时序数据，可保存10年以上的高精度原始数据。DolphinDB集群支持多副本分布式存储和分布式事务，保证数据的高可用和强一致。企业可以利用长期历史数据进行深度数据挖掘和数据分析，如设备的预测性维护，工艺流程的改进，产品质量的提升，制造计划的优化等等。

有关DolphinDB如何存储物联网大数据的例子，可参看《DolphinDB在工业物联网的应用》（

为什么只有阿里云和AWS拥有自研云数据库的能力

很多国产数据库乘风破浪

我们正处在一个数据库技术大爆炸的时代。

这几年，NoSQL数据库、NewSQL数据库、时序数据库、图数据库、分布式数据库、超融合数据库等专业数据库技术发展势头很猛，国产数据库的表现也相当亮眼。

过去十年，是互联网发展的黄金十年。与此对应的是业务系统访问并发呈指数级上升，海量数据计算和分析需求越来越普遍，传统单机系统在业务支撑、成本、开放性等方面均面临巨大挑战，数据库垂直扩展模式难以维护等困境。

眼看着数据库性能瓶颈快要扼住发展的喉咙，摆在这些长久依赖Oracle、IBM等传统数据库的巨头们面前的，只有两条路：要么开启无限加量的PLUS模式，即更换更多更强的服务器、硬盘、内存、CPU等，要么自研能满足业务发展需求的数据库。

开拓者们的眼光一开始就聚焦在更长远的未来，他们发现即便是系统变成真正的“傻大粗”，也只是解了燃眉之急，不能从源头解决问题。

再看一眼像Oracle、IBM等传统数据库高昂的拓容价格，像阿里这样的富一代也吃不消哇！

那么，自研数据库，走起！

2010年后，云计算和开源社区兴起，国产数据库开始了弯道超车。

2019年被认为是国产数据库的元年。

这一年，众多国产数据库产品闯入了我们的视线，热度不断攀升；这一年，OceanBase登顶TPCC，并于一年后再次刷新自己的记录。

从刀耕火种到摘下Oracle在数据库领域的皇冠，国产数据库经历的是一段不被理解和不被看好的岁月。

在国外数据库先驱长期占据市场优势的情况下，国产数据库要想杀出重围，一是要付出多倍努力，二是要拿出更强的产品才能在客户面前更有底气。

当然，国产数据库发展至今，已然是百花齐放。未来，国产数据库的发展趋势相对也比较明显，即往云原生和分布式发展。

金融级分布式数据库应运而生

数字时代，数据成为各家必争之地。

在金融应用场景下，国内数据库市场于近几年开始发生变化。

随着应用层和业务层的压力加大，金融机构对分布式技术架构转型的需求应运而生。

作为软件系统的三大底层技术（操作系统、中间件、数据库）之一，数据库成为系统往分布式架构转型的枢纽。

不过，在早年国外传统数据库厂商盘根错节的“蚕食”下，这个核心变得又硬又难啃！

面对如今市场的需求变化，传统数据库系统呈现出一个通病：又笨重又贵。

再是，随着诸如2013年“棱镜门”事件的爆发，各界越来越重视数据安全和技术自主可控。

此外，金融机构对快速、灵活、可伸缩性、创新、敏捷等开发能力需求大大提升，出于对长期IT建设的成本考虑，自主可控更是成为他们出于自身长远发展考量的刚需。

数字化时代，金融机构的整体架构正处于往分布式、云原生、微服务等方向发展的关键时刻，数据库的选型便显得至关重要。

根据中国人民银行发布的《金融科技（FinTech）发展规划（2019-2021年）》，我国将有计划、分步骤地稳妥推动分布式数据库产品先行先试，形成可借鉴、能推广的典型案例和解决方案，为分布式数据库在金融领域的全面应用探明路径，确保分布式数据库在金融领域稳妥应用。

目前已有不少业界实践证明了分布式数据库应用于金融场景的可靠性。同时，金融级分布式数据库云化已经在路上。

物联网时代的数据库如何选型

物联网时代，大量的数据从不同的设备传感器产生，单机数据库系统肯定无法存储这么大量的数据，在选择数据库方面，肯定要选择具有分布式能力存储的数据库。

在物联网时代，数据之间还有一个非常重要的特性，那就是数据之间的关联性。不同的数据从相互连接的互联网设备传感器中产生，由于不同的传感器相互连接，协同工作和采集数据，如何将大量具有相互关联的数据保存在数据库，这里我推荐使用图数据库来进行存储。

图数据库相对于其他数据库来说，最大的优势就是查询数据之间的关联性会更加快速，消耗的时间会更短。打个比方，在社交网络中，我们想要查询在用户A的粉丝中，粉丝关注了B的用户。如果使用传统关系型数据库来存储用户的关注关系，在上面的数据统计中，要使用两层Join才能算出结果，而关系型数据库Join操作会很慢。使用图型数据库存储数据的话，图中的点为用户，边为用户的关注关系，在查询A的粉丝，同时粉丝也关注B的用户，只需要遍历两层关注关系就能很快查询到结果。

图数据库也属于NoSql数据库的一种，常用的图形数据库有，JanusGraph、Neo4j、Cayley、dgraph。不同的图数据库，底层实现也不尽相同。

JanusGraph是一种分布式图数据库，由Java语言开发，可以使用Hadoop生态存储系统作为数据源，构建出数据大图。是TiTan图数据库的开源版本，支持事务的ACID。

Neo4j是一种单机的图数据库，其优势就是能够快速安装并且使用，便于新同学上手。你的数据量一般不大的话，我推荐使用Neo4j，直接使用Neo4j相关的API就可以将数据模型图构建而出，然后使用 Neo4j Cypher查询语言，就可以分析数据，Cypher是一种类SQL的语言。

Cayley和Dgraph都是使用Go语言实现的图数据库，Go语言的最大特性就是其编译速度和开发便捷性，Cayley和Dgraph都支持分布式存储，不过都不支持SQL语言查询数据，Dgraph不支持事务，而Cayley支持事务，不过在开源社区，Dgraph比Cayley更加活跃，这里优先建议使用Dgraph作为物联网的存储数据库。

总体来说，在物联网时代，一定要学会使用图数据库，在分析大量数据之间的关联性时，图数据库就能够派上用场，图数据库最大的优势就是分析不同数据之间的关联性。