云计算中的分片关系数据库

云计算中的分片关系数据库

作者:梁英宗编译 2011-07-18 09:54:47

云计算 电子商务、社会媒体、移动通讯以及机器到机器的数据交换都制造着TB级乃至PB级的海量数据,它们是企业IT部门所必须存储和处理的。在用户处理面向云计算数据库的数据时,掌握分片最佳实践无疑是在云规划过程中迈出了重要的一步。

创新互联建站专注于东湖网站建设服务及定制,我们拥有丰富的企业做网站经验。 热诚为您提供东湖营销型网站建设,东湖网站制作、东湖网页设计、东湖网站官网定制、成都微信小程序服务,打造东湖网络公司原创品牌,更为您提供东湖网站排名全网营销落地服务。

电子商务、社会媒体、移动通讯以及机器到机器的数据交换都制造着TB级乃至PB级的海量数据,它们是企业IT部门所必须存储和处理的。在用户处理面向云计算数据库的数据时,掌握分片最佳实践无疑是在云规划过程中迈出了重要的一步。

  分片是指将表分割为可管理大小的磁盘文件的过程。一些高弹性的键值数据存储(如Amazon Simple DB、Google App Engine的数据存储或Windows Azure Tables)和文档数据库(像CouchDB、MongoDB或RavenDB)可以垂直处理表中的大数据。MongoDB内建的自动化分片特性,RavenDB也将在不久的将来增加该功能。自动化分片可以自动地平衡分片大小并消除对DevOps团队监控该过程的需要。自动化分片的MongoDB数据库可不是想象的那么简单,正如Todd Hoff在博客中贴出的有关分片疑难的博文所述。

  但仍有小部分键值和文档(被称为NoSQL)数据库缺少传统关系数据库管理系统(RDBMS)所提供的交易数据一致性功能。你可以在内存、处理器或是二者上砸钱来扩展RDBMS(垂直方向上)。你可以配置256GB的RAM到高端商用服务器,但本质上增加更多的CPU核心却并不实际。如果你的数据库在云中,你会受限于内存和处理器,而这都些取决于云供应商的报价单。

  扩展RDBMS(水平方向上)导致了一个本质上的技术挑战。2009年8月,Morgan Tocker详细地在博客中讨论了为什么你不会选择分片MySQL数据库。Tocker认为在遇到以下问题时,你可能才需要分片数据库表:

  过大的工作集:你的工作集,由频繁访问和更新的数据与索引构成,不适合RAM安装在本地服务器,不适合硬件预算或云服务供应商所能实现的硬件数量。解决方案就是分片。

  过度的写频率:你的数据库I/O系统不能处理由本地或是基于云的服务器请求所导致的每秒写次数。解决方案是分离读操作到读拷贝,这可能需要分片来实现分散I/O负荷到多个数据库服务器。

  AWS针对MySQL的关系数据库服务提供了其最大的High-Memory Quadruple Extra Large DB实例,该实例包含68GB的内存和26个ECUs。这些ECU们由8个虚拟核心构成,相当于每3.25个ECU拥有一个核心。其售价为每小时2.60美元(每月1872美元)。根据AWS的报价单,一个ECU所提供的性能相当于1.0-1.2 GHz 2007 Opteron或2007 Xeon处理器的性能。AWS RDS DB实例可选择从5GB到1TB的相关存储性能,价格为每GB每月0.1美元。数据传输费用为每GB0.12美元的数据输出,再加每百万次0.1美元的I/O请求。Amazon从7月1日起取消了数据输入的费用,并降低了数据输出的费用。

  为实现读拷贝进而实现高可用的商用服务器,你可能还需要额外的存储费用。幸运的是,ScaleBase提供了第三方Database Load Balancer 应用来自动化分片,并针对运行在Amazon EC2 或Amazon RDS的MySQL实现读、写分离。

  2009年8月在发布的“分片的麻烦事儿”博文中,Simon Munro总体上介绍了关系据库的分片问题,特别讨论了微软SQL Server 2008的SQL Azure定制化云实现。当时,SQL Azure的最大数据库大小仅为10GB,现如今已是50GB。

  微软Azure Application Platform团队的新公司副总裁Scott Guthrie在今年6月9日举行的Norwegian Developer Conference(NDC)2011大会上发言:

  “……我们同样将自动化分片作为SQL Azure的一部分,这意味着从扩展前景来看,我们可以处理超高负荷,并可为用户实现任何类型的负载平衡和扩展工作。”

  如今,SQL Azure对数据库的支持虽为50GB的关系型存储,但你却可以拥有任意数量的数据库。

  通过SQL Azure Federations自动化分片目前尚处于技术预览(Community Technical Preview)阶段,从Guthrie的发言还很难断定分片是否有望“支持百GB或TB级” 。此外,SQL Azure Federations还承诺可以出色地完成模式迁移。SQL Azure包含一个主要和两个次要的针对高可用性的备份,服务是即付即用的,1GB到5GB的(Web版)每GB每月9.99美元,以及10GB到50GB的(商业数据库)每10GB每月99.99美元。每月的固定费用不包括数据传输费用,在北美、欧洲的数据中心每GB输出费用为0.15美元,在亚洲每GB输出费用为0.2美元。微软从7月1日起取消了数据输入费用。与Amazon RDS不同,你不会产生SQL Azure的I/O费用。

  微软还没有透露有关SQL Azure的CPU和内存说明,但是公司表示它们与数据库的大小相当。你可以在Cihan Biyikoglu的博客上获得有关今年底SQL Azure Federations商业版发布的日程。

  Google在其5月的I/O 2011会议上宣布,下半年商业发布的Google App Engine Beta版将结合RDBMS,并将与商业版GAE一同包含在内,但公司没有透露有关性能和价格方面的细节。

  除非Google像变戏法似的实现RDBMS的高扩展性,否则还是准备好分片关系数据库才能处理好云计算中的大数据。

名称栏目:云计算中的分片关系数据库
标题URL:http://www.gawzjz.com/qtweb2/news5/26905.html

网站建设、网络推广公司-创新互联,是专注品牌与效果的网站制作,网络营销seo公司;服务项目有等

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联