首页 > 消费 > 正文
Qzone
微博
微信

激流勇进,数据库替代比预想要快得多

消费 中国软件网 2020-05-12 16:38

激流勇进,数据库替代比预想要快得多

大家是否还记得那场惊心动魄的 删库 事件。 今年2月微盟因为 删库 而宕机,导致300万商家生意停摆。随后,微盟除了拿出包括1.5 亿元赔付拨...

大家是否还记得那场惊心动魄的“删库”事件。

今年2月微盟因为“删库”而宕机,导致300万商家生意停摆。随后,微盟除了拿出包括1.5 亿元赔付拨备金的商家赔付计划外,还决定支持数据库上云,逐步放弃自建数据库服务,增加数据库跨可用区和异地灾备能力。

在数据库领域,正在形成替换商业数据库Oracle的暗流。

早在20多年前,“去IOE”概念就在国内推进,成为IT国产化浪潮下的一个目标。其本意是在IT架构中,去掉IBM的小型机、Oracle的数据库、EMC的存储设备,采用国产化的IT产品,将数据安全牢牢掌握在国内企业手中。

从IT架构来看,“去IOE”行动希望由开放的x86服务器取代主机,传统商业数据库被开源和国产数据库替换,而SAN结构的高端存储被国产和云化的存储产品和体系取代。

其中的“O”,乃是真正实现国内IT技术独立的关键所在,即去除对以Oracle为代表的关系型数据库的依赖,如 Oracle、SQL Server、Sybase、Informix、Access、DB2、MySQL 等。从信息安全角度看,外国IT设备被国产的IT产品所取代。

当年有点痴人说梦的“去IOE”,已经取得了重要的突破。近几年来,大规模代替传统商业数据库,已成为行业内的共识,满足了企业业务快速发展的同时,还大幅降低了成本投入。

目前,数据库领域的替代正在如火如荼地推进,并形成了三道靓丽的风景线。

1.云上“下架”Oracle数据库

数据库上云已成业界共识。Gartner预测,到2023年,全球3/4的数据库都会跑在云上。

数据库上云,彻底改变了传统数据库的使用方式。云计算+数据库能带来更低的运营成本、更高的灵活性,以及与未来物联网、5G结合满足庞大而复杂数据需求的能力。

传统数据库巨头包括Oracle在内都无法抵挡这个趋势。

用酒瓶与酒做比喻,“云计算+数据库”竞争态势和未来挑战就浮出水面。

用云计算装载传统数据库产品,等于原来在本地部署的数据库,现在换个地方,移动到云上。

“云数据库”由于本身就原生于云环境下,是全新的数据库产品形态,所以应该属于“新瓶装新酒”。

激流勇进,数据库替代比预想要快得多

 

因此,在云计算时代,数据库的替代表现在两个方面:

一方面,云服务商将自己的业务从Oracle等商业数据库上转移。

去年10月15日,AWS的首席布道者Jeff Barr在官方博客发布文章宣称,亚马逊的消费者业务部全部业务已经迁移到自有的数据库上,并关闭最后的Oracle数据库。

亚马逊消费者业务替换和关闭了高达7500个Oracle数据库,并将存储在Oracle数据库中的75PB内部数据迁移到多项AWS数据库服务,包括Amazon DynamoDB、Amazon Aurora、Amazon Relational Database Service(RDS)和Amazon Redshift等。

迁移过程无需停机,覆盖面广泛,涵盖AWS全部的专有系统,如复杂采购、目录管理、订单执行、会计和视频流工作负载等。

根据介绍,亚马逊消费者业务部门的100多个团队参与了这项迁移工作,包括Alexa、Amazon Prime、Amazon Prime Video、Amazon Fresh、Kindle、Amazon Music、Audible、Shopbop、Twitch和Zappos等直面客户的团队,以及AdTech、Amazon Fulfillment Technology、消费者付款、客户退货、Catalog Systems、交付体验、数字设备、外部付款、财务、InfoSec、市场、订购和零售系统。

金融系统不能丢失任何一条数据,因此,以前金融系统包括蚂蚁金服只能用Oracle的数据库,没有办法采用开源的数据库。因此,阿里巴巴的去“IOE”的最后一个战役是蚂蚁金服。

阿里云技术专家杨传辉介绍说,2014年阿里金融业务蚂蚁金服支付宝开启去IOE征程,大胆尝试将10%的交易流量由Oracle切换到阿里自研的数据库OceanBase,这是全球第一次在金融系统核心业务中使用非Oracle数据库。

随后,支付宝向OceanBase的转移加速,2015年将100%的交易流量与50%的支付流量,2016年将100%的交易与100%的支付,以及30%的花呗的账目流量,到2019年将支付宝的每一笔操作都是迁移到OceanBase。

2019年双11期间,阿里旗下数据库OceanBase、PolarDB、RDS、AnalyticDB、TSDB等全线数据库产品,支撑阿里巴巴内外部客户顺利通过大考,保障了数亿消费者的购物体验,为54.4万笔/秒的订单创建峰值提供了强有力的技术支撑。

为什么要放弃Oracle数据库呢?

Barr称,多年来,亚马逊花费太多时间管理和扩展数千个陈旧的Oracle数据库。在事务速率不断攀升、存储数据总量节节增长的情况下,公司的数据库管理员(DBA),疲于保持系统的流畅运转,未将精力聚焦在高价值的差异化工作上。

同时,DBA还需将大量时间用于处理复杂且效率低下的硬件配置、许可证管理和许多其他本可以由现代化的托管数据库服务来处理的问题。

在完成迁移后,亚马逊在仔细分析了成本和性能,得出如下的结论:

降低成本,基于AWS的应用规模以及所享受的折扣率,将数据库成本降低了60%以上。从Oracle切换到AWS可使客户报告的成本节省90%。

提升性能,面向消费者的应用延迟降低40%。

激流勇进,数据库替代比预想要快得多

 

管理费用,切换到托管服务可将数据库管理支出减少70%。

而在阿里巴巴,在双11当天的交易中,OceanBase和PolarDB每秒处理峰值都远远超越传统Oracle数据库。前不久在全球权威TPC-C测试里面拿下全球第一的OceanBase每秒处理峰值更是达到6100万次,再次刷下自己创下的纪录。

另一方面,企业在上云后,将自己的业务迁移到云上的数据库,目前大部分迁移到云原生的数据库上。

目前,云数据库有两种类型,一种是将传统数据库搬到云上,以租赁方式为用户提供服务,即托管云数据库服务(RDS),这是大多数云厂商所提供服务的方式。此类数据库多为第三方商业数据库和开源数据库,如SQL Server、MySQL、PostgreSQL、MongoDB等。

另一种是专为“云”而生,全新设计的云原生数据库(Cloud Native),最大的特征就是计算与存储分离,多为头部云厂商自研数据库,也是以租赁方式提供服务,如阿里云PolarDB、腾讯云CynosDB、华为云TaurusDB等。

一方面,商业数据库市场进一步集中。随着Informix被收购、IBM DB2市场的萎缩、普通商业数据库市场(OLTP及OLTP/OLAP混合模式)进一步集中,Oracle逐渐一家独大,许多企业核心及主要的数据库系统基本由Oracle承担。

微软虽然推出Linux版本的SQL Server,但其份额很小,主要市场在Windows服务器上。

Oracle数据库在云计算时代的成本高、维护困难等弊端日益凸显,被替换在技术和实践两方面都开始变得可行。

另一方面,国内一家研究机构报告表明82%的企业表示已经部署或正在计划部署云数据库,其中已经部署、正在部署、正在计划部署的企业分别占39.7%、12.8%、29.5%,只有18%的企业表示没有任何计划。这说明,云数据库在中国企业中的应用是大势所趋。

激流勇进,数据库替代比预想要快得多

 

2.开源数据库替代潜移默化

根据2019年Gartner开源DBMS市场研究报告,预计到2022年,超过70%的内部应用程序都将建立在开源数据库管理系统(open-source database management system)之上,50%的现有商业关系数据库管理系统(RDBMS)都将被替换。”

从集中式到分布式,从SQL到NoSQL,从关系型到非关系型,从支持结构化数据到支持非结构化数据,从对象到事件和事件序列等,开源数据库遍地开花,更是出现了像MySQL、PostgreSQL、MongoDB和Apache Cassandra这样的明星数据库,得到了广泛的应用。

激流勇进,数据库替代比预想要快得多

 

开源软件的发展历程

开源数据库增长速度惊人。在过去两年中,开源数据库管理系统市场的平均增长率为75%,而整个数据库市场的增长率仅为7.7%。

Gartner分析师Merv Adrian就指出,Oracle从2013年起一直在丢失市场份额。显然,开放源代码对Oracle这家数据库巨头产生冲击是不容忽视的。

作为一个整体,排名最靠前的五大商业数据库供应商“俱乐部”总体占据的市场份额自2011年以来,从91%下降到了86.9%。

利用开源软件,多家公司成功IPO。过去30年,大约有200家公司以开源为核心技术,筹集了总共超过100亿美元的资本。Cloudera、MongoDB、Mulesoft、Elastic和 GitHub等都成为了数十亿美元IPO或者并购交易的一部分。

传统上,开源软件主要是围绕着企业基础架构来开发的,如数据库和操作系统如MySQL和Linux等。随着开源的复兴,几乎所有行业都在积极发展开源软件,如金融科技、电子商务、教育、网络安全等。

商业公司对开源公司的收购和开源商业化从来都没有断过。2008年,MySQL被以10亿美元的价格收购,随后Sun公司又被Oracle收购。

2015 年Apple公司收购了开源数据库提供商FoundationDB。而FoundationDB作为一款增强型NoSQL同时又能够运行ACID 交易的开源数据库,苹果可以借此提升自己云端服务能力。FoundationDB 随之从开源变为闭源。

而三年后,Apple 公司又在GitHub代码网站上重新将FoundationDB 云数据库列为开源项目。

2019年年初微软收购PostgreSQL初创公司Citus Data,发力开源数据库领域。

大量的商业公司开源其数据库产品,以增强其数据库产品的实力。同时,很多公司利用开发发展自己的数据库产品和服务。

瀚高CTO郑晓军告诉中国软件网记者,以开源为基础发展国产数据库系统,是一个切实可行的发展之路,也是符合市场规律的一个策略。它本质上并不依赖政策的扶植,本身就有明确的市场需求支撑。成效就是以合理的投入,自主地快速成长,而且掌握前沿数据库技术。

利用开源,成功实现盈利并发展成为独角兽企业在基础软件领域也不在少数,但是做法多有不同。有的企业通过订阅收费,有些通过提供实施、咨询培训等服务赚钱,有些提供商业组件等实现盈利和发展。这一切的关键在于是否拥有一个合适的开源商业模式。

那么开源数据库吸引用户的是什么?

因为市场需求多样化,开源产品也会变得更加多样化。首先,现在的需求非常碎片化,传统数据库不能很好的表达,如对Streaming 要求越来越高。关系型数据库肯定不会比专门的设计的数据库用起来顺畅,如图数据库等。

其次,当然是成本、可用性和方便性等方面的考虑,这是传统数据库所无法比拟的。

激流勇进,数据库替代比预想要快得多

 

开源数据库需要商业支持吗?

凡事都有两面性,开源数据库的流行恰恰是因为开源,开源数据库又具有商业应用的实力,那么就出现开源数据库商业模式的探索。

上云是大势所趋,云才是数据库的最佳落地平台。随着越来越多的企业上云,势能正一点点偏向云厂商,云服务商也在利用开源数据库提供服务而赚钱。

因此,云服务商与开源数据库服务公司之间的矛盾由此生产。MongoDB修改协议,不让AWS等大型云服务商“吸血”。而AWS拒绝从 MongoDB 购买商业许可证,还推出了替代品 DocumentDB。

2018年,包括MongoDB、Redis、Neo4J等多家开源数据库厂商为了维护自身的利益,纷纷宣布修改协议,其目的就是防止云服务供应商“薅羊毛”。

在一些业内人士看来,修改许可协议的几家开源数据库背后都有公司运营,需要商业化的支撑,这也反映了云计算厂商发展数据库给这些开源数据库带来了压力。

PG中文社区主席&太阳塔科技创始人赵振平认为,“这确实对整个开源界释放出一个新的信号,也就是开源除了精神上的支柱,其实也需要商业化的支柱,可能商业化反而会助推其开源的发展。”

3.国产自研数据库掀起奇幻之旅

云数据库代替传统大型商业数据库趋势,悄然间已经到了从量变到质变的拐点,阿里云OLAP产品团队高级产品专家韩锋认为。

国内企业对数据库的使用大致走过了“商业->开源->开源+定制->自研”逐步演进的道路。近些年来,随着技术、资本、人才的积累,国内在数据库领域不断突破,已成为全球数据库市场的重要组成部分。

韩锋认为,从数据库技术本身而言,随着分布式、云原生、软硬一体化、人工智能等技术的出现,为自研数据库代替大型传统商业数据库,实现弯道超车提供了可能。同时这些技术的出现,也解决了很多传统数据库固有的问题,突破了旧有架构的缺陷,更好地满足客户对海量、弹性、安全、性能等方面的要求。

没有传统数据库厂商的历史包袱,新兴厂商站在更高的起点上,实现对传统厂商的超越。在这一过程中,国产厂商特别是云厂商,无疑扮演着非常重要的角色。

此外,国内头部的云厂商,其数据库产品往往是经过了多年自有业务的锤炼,无论从功能、性能、稳定、安全、高可用等多个角度,可以较好地满足了业务需求。很多客户也正是看到了这一点,逐步选择接受国内厂商的产品。

国产自研数据库在数量和性能上都有质的飞跃。

激流勇进,数据库替代比预想要快得多

 

国产数据库排行榜

墨天轮的国产数据库排行榜中,就有很多国产的自研的数据库。

来自于阿里巴巴体系的 OceanBase和PolarDB占据前五的两个席位。PolarDB是阿里云自主研发的云原生数据库,采用存储计算分离、软硬件一体化设计,可以快速实现弹性缩扩容,完全满足大规模业务场景的需求。2019年7月,阿里云PolarDB重大升级,深度兼容Oracle的语法和数据类型,可实现一键迁移上云。

2019年10月,OceanBase在 “数据库领域世界杯”TPC-C基准测试中,打破了由美国公司Oracle(甲骨文)保持了9年之久的联机交易处理系统(OLTP)世界纪录,成为首个登顶该榜单的中国数据库产品,被评价为“中国基础软件取得的重大突破”。在测试期间, OceanBase性能提升了50%。

作为领先的国产分布式数据库,腾讯的TDSQL已经为500多家金融政企,包括多家头部银行机构、多家省部级政务机构提供金融级分布式数据库服务,其中几十家用户以私有云的方式部署,稳健支撑了超过200亿账户数据的运营和管理众多金融企业开展数字化转型升级。

事实上,TDSQL诞生自腾讯内部计费场景,历经多年海量金融级交易场景磨炼,适用于 TB或PB级的海量数据库场景,TDSQL提供的6大核心特性,能够解决单机数据库性能瓶颈、应用层分片开发工作量大等难题。

此外,经过多年发展,TDSQL支持灵活的全球部署架构及快速自动化交付:除了支持银行业标准的'两地三中心部署架构”外还支持“同城双中心”“两地四中心” 等架构。根据不同的机房建设预算,达到不同的容灾级别条件,实现不同模式的高可用容灾。

GaussDB数据库是华为从2011年开始投入研发,在全球布局8个研究所,持续进行大规模研发投入。GaussDB企业级分布式OLTP数据库,采用分布式架构,结合了传统的关系数据库管理系统和分布式的扩展处理能力,兼容SQL标准,具备强一致性和高可用性,提供百万级TPMC(transactions per minute每分钟内处理的新订单个数)的交易处理能力和企业级可靠性。

GaussDB分布式能力做到对业务透明,能替换传统OLTP数据库应用,也能替换数据库中间件、数据库分库分表等方案。同时它也让开发运维人员不用关注数据库数据分布和扩展的细节问题,专注于业务开发,极大的提升生产力。

GaussDB数据库产品也得到了电信、金融等金字塔尖客户核心系统的验证。

激流勇进,数据库替代比预想要快得多

 

在企业管理的核心软件ERP、CRM等关键应用方面,国产企业开始采用国产的数据库。

目前国内主流的ERP软件产品使用的数据库管理系统以微软的SQL Server和甲骨文的Oracle为主,基本没有使用国产数据库产品。

2020年3月,伯俊软件新一代ERP“云雀”已全面集成阿里云PolarDB数据库,助力数千家零售业客户向云上迁移,并实现数据库综合使用成本降低50%以上。

“传统数据库购买费用贵,后期维护和使用门槛高,应对创新业务不够灵活”,伯俊软件CEO孙一晖接受中国软件网采访时表示。公司新款ERP“云雀”全面集成阿里云PolarDB,成功帮助客户大幅降低数据库使用成本,简化甚至免去运维负担,让业务系统快速迁移上云,构建弹性基础设施,高效地解决业务峰值问题。

据介绍,通过全面集成PolarDB,伯俊软件最终客户数据库的管理复杂度大幅降低;利用分钟级伸缩功能,解决了客户业务高峰期的弹性扩展问题;在同样性能表现下,数据库综合使用成本降低50%以上。

3月,用友与华为合作,双方将基于用友企业云服务和华为GaussDB 数据库,打造国产化解决方案。华为提供基于鲲鹏的数据库产品,并协同用友完成大型企业数字化平台NC Cloud等产品对GaussDB的适配。预计今年9月推出成熟的NC Cloud+GaussDB的国产化解决方案。

目前国内ERP市场,国产软件和云服务商包括用友、浪潮、金蝶、鼎捷等都具备非凡的实力,也拥有越来越多的用户,完全可以借鉴用友与华为的合作经验,在ERP中推广使用国产数据库。

为了给企业提供更优质的服务,存放客户“攸关性命”的数据,销售易选择将基础服务交给腾讯云,并将关键业务数据迁移到腾讯云数据库MySQL (Tencent DB for MySQL)和Redis (TencentDB for Redis),从而保障客户数据安全,实现数据无损迁移。

在联合国75周年活动中,联合国将面向全球公民发起对话邀请,支持活动参与者通过腾讯会议、企业微信和腾讯同传,灵活组织和参与不同规模的在线会议。腾讯金融级分布式数据库TDSQL将助力腾讯会议为本次UN75周年活动灵活、稳定、安全的在线会议解决方案。

国产数据库高速发展,替代传统商业数据库正在形成一种趋势,一股清流,已然愈演愈烈,越来越多的企业正考虑或已经走上了替换之路。

相信,在不久的未来,将有更多的企业做出这样的选择,并享受到随之带来的红利。

在不知不觉之中,数据库行业正在掀起一场新的洗牌。

版权声明:

凡本网注明”来源:中国软件网(http://www.soft6.com)”的所有作品,版权均属于中国软件网或昆仑海比(北京)信息技术有限公司,未经本网书面授权,不得转载、摘编或以其它方式使用上述作品。

任何行业、传播媒体转载、摘编中国软件网(http://www.soft6.com)刊登、发布的产品信息及新闻文章,必须按有关规定向本网站载明的相应著作权人支付报酬并在其网站上注明真实作者和真实出处,且转载、摘编不得超过本网站刊登、转载该信息的范围;未经本网站的明确书面许可,任何人不得复制或在非本网站所属的服务器上做镜像。

本网书面授权使用作品的,应在授权范围内使用,并按双方协议注明作品来源。违反上述声明者,昆仑海比(北京)信息技术有限公司将追究其相关法律责任。

作者:刘学习
责任编辑: 3976DBC

责任编辑: 3976DBC
人家也是有底线的啦~
广告
Copyright © 2018 TOM.COM Corporation, All Rights Reserved 雷霆万钧版权声明
违法信息/未成年人举报:010-85181169     举报邮箱/未成年人举报:jubao@tomonline-inc.com