开源分布式Key-Value存储系统 Cassandra 新特性:分层压缩

1
HTML JSON C/C++ Cassandra Go 15189 次浏览

Cassandra的 数据模型借鉴自Google的BigData模型,简单来说就是将写操作放在一个内存块中,当内存块大小达到一定大小时,将内存中的数据排序后写成一个 sstable文件,而这种方式会有一些问题,而前段时间Google的Chromium团队开发的一个开源的key-value存储以其分层压缩机制给了大家一种新的思路,Cassandra也适时的将这种思路引入到Cassandra中,也就是今天我们要介绍的Cassandra的分层压缩。

目前的压缩机制:Tiered Compaction

在讲分层压缩之前,我们先来看一下Cassandra目前的数据存储模型和数据压缩机制。

像我们上面说的一样,Cassandra在内存数据达到一定大小时,会将数据排序写入磁盘生成一个sstable文件块,当第一级的sstable 数目达到四个时,由于这四个sstable相当于是按时间划分的一段时间的数据快照,所以这四个块中会有一些相同的数据。我们将这四个sstable会进 行合并压缩,就可憎减小空间。具体过程如下图所未:

f1.png

上图绿色块就表示一个sstable,当第一级的sstable达到四个,就会合并成一个新的第二级的sstable。当然,当第二级的 sstable也达到四个,就会再进行合并生成第三级的sstable,以此类推。如果下图所未,当一二三四级sstable都已经有三个,可能这个合并 就会一直进行下去。

Cassandra 新特性:分层压缩

由于sstable之间可能有重复的数据,也就是同一个数据的不同版本可能存在在多个sstable中,所以上面的方式在更新比较频繁的系统中,可能会有下面一些问题:

  • 第一是性能的影响,由于一条记录可能存在在多个sstable中,最BT的情况下可能某一条记录会存在在所有sstable中,所以具体需要合并多个少sstable才能保证一条记录在所有sstable中只存了一次就变得不太确定了。
  • 这种方式在存储空间上也比较浪费,因为一个被删除的记录可能的老版本可能会一直存在在一些老的sstable中,直到进行一次完整的合并才行。这对于一个经常会有删除操作的系统来说会造成空间的极大浪费。
  • 在不怎么删除的系统上,也会造成一些空间的浪费,最坏的情况下,如果一条记录都没有重复,那么合并操作实际上完全是浪费时间,合并后的数据大小和合并前相比不会变,但是合并操作本身会需要和当前数据集一样大的空间成本。

新的压缩机制:Leveled Compaction

新的压缩机制借鉴自LevelDB, 这种机制最大的特点在于其同一层的各个sstable之间不会有重复的数据。所以在某一层和它上一层的数据块进行合并时,可以明确的知道某个key值处在 哪个数据块中,可以一个数据块一个数据块的合并,合并后生成新块就丢掉老块。不用一直到所有合并完成后才能删除老的块。

另外,新的分层式压缩方式将数据分成条个层,最底层的叫L0,其上分别是L1,L2….,每一层的数据大小是其上的那一层数据最大大小的10倍,其中最底层L0的大小为5M

如下图所未,当浅绿色的L0块生成时,它会马上和L1层的数据进行合并,并生成新的L1块(蓝色块),当L1的块越来越多,大于这一层的最大大小时,这些块又会和L2层的数据进行合并并生新的L2层的块(紫色块)

Cassandra 新特性:分层压缩

可以这样理解,层级越小的块,其保存的数据越少,也越新,比如L0层保存的就是最新的数据版本,但是其只会保存5M数据,其上的L1层会保存50M数据,但是并不是最新的。当一个系统运行的时间足够长,那么其数据结构可能会如下图所未:

Cassandra 新特性:分层压缩

这种方式的优点是块之间没有重复数据,带来的好处就是在合并操作的时候,并不需要扫描一层中的所有数据块。合并的开销变小了。具体能够保证以下一些优点:

  • 可以保证90%的读操作只需要对一个sstable进行随机读操作。而最坏情况下,也能保证读操作最大只会等于层数,如果10T数据的话,也只有七层,只需要七次随机读操作。
  • 在空间利用上,可以保证最多只有10%的空间会浪费在无用数据上。
  • 在压缩合并操作的开销上,也最多只会使用10倍于sstable大小的空间。

你可以通过在创建Column Family时指定compaction_strategy参数为LeveledCompactionStrategy来使用新的分层压缩策略。

当然,这种策略也不是万能的,对于一个更新操作和删除操作比较多的系统,使用分层压缩是比较合适的。因为这种系统会产生同一份数据的多个版本。但是由于这种压缩会在压缩中进行更多的IO操作,所以如果是一个主要是insert操作的系统,建议不要使用分层压缩方法。

来源: www.datastax.com
出处: http://blog.nosqlfan.com/html/3258.html


Apache Cassandra
是一套开源分布式Key-Value存储系统。它最初由Facebook开发,用于储存特别大的数据。Facebook目前在使用此系统

主要特性:

  • 分布式
  • 基于column的结构化
  • 高伸展性

Cassandra的主要特点就是它不是一个数据库,而是由一堆数据库节点共同构成的一个分布式网络服务,对Cassandra 的一个写操作,会被复制到其他节点上去,对Cassandra的读操作,也会被路由到某个节点上面去读取。对于一个Cassandra群集来说,扩展性能 是比较简单的事情,只管在群集里面添加节点就可以了。

Cassandra是一个混合型的非关系的数据库,类似于Google的BigTable。其主要功能比 Dynomite(分布式的Key-Value存 储系统)更丰富,但支持度却不如文档存储MongoDB(介 于关系数据库和非关系数据库之间的开源产品,是非关系数据库当中功能最丰富,最像关系数据库 的。支持的数据结构非常松散,是类似json的bjson格式,因此可以存储比较复杂的数据类型。)Cassandra最初由Facebook开发,后转 变成了开源项目。它是一个网络社交云计算方面理想的数据库。以Amazon专有的完全分布式的Dynamo为基础,结合了Google BigTable基于列族(Column Family)的数据模型。P2P去中心化的存储。很多方面都可以称之为Dynamo 2.0。

和其他数据库比较,有几个突出特点:

模式灵活 :使用Cassandra,像文档存储,你不必提前解决记录中的字段。你可以在系统运行时随意的添加或移除字段。这是一个惊人的效率提升,特别是在大型部 署上。
真正的可扩展性 :Cassandra是纯粹意义上的水平扩展。为给集群添加更多容量,可以指向另一台电脑。你不必重启任何进程,改变应用查询,或手动迁移任何数据。
多数据中心识别 :你可以调整你的节点布局来避免某一个数据中心起火,一个备用的数据中心将至少有每条记录的完全复制。

一些使Cassandra提高竞争力的其他功能:

范围查询 :如果你不喜欢全部的键值查询,则可以设置键的范围来查询。
列表数据结构 :在混合模式可以将超级列添加到5维。对于每个用户的索引,这是非常方便的。
分布式写操作 :有可以在任何地方任何时间集中读或写任何数据。并且不会有任何单点失败。


请尽量让自己的答案能够对别人有帮助

4个答案

默认排序 按投票排序