Memcached那些事

jopen 8年前

Memcached那些事

本文不是为了介绍Memcached是什么,而是讨论在使用Memcached的时候你必须知道的一些事情。以便于方便排查和更好的使用Memcached。本文主要围绕两个方面来讨论这个话题:Memcached的使用和监控。

如何更好的使用Memcached

这部分讨论的是如何能够合理有效的让Memcached为我们服务,通过什么方式来调控Memcached,让它工作的更好。下面进入这部分的内容:

Memcached如何存储我们的数据?

要很好的使用Memcached,那么必须知道我们的数据交给Memcached,它是怎么处理它们的。为了说明这个,需要先了解几个名词:slab class,page,chunk。它们三者之间的关系如下: Memcached那些事

  1. slab class :memcached会自动根据设置的chunk size以及当前分配给memcached创建一系列slab class,单个slab class中的chunk大小是一样的,而每个slab class中的chunk大小根据设置设置的chunk_size*growth_factor^(i-1),其中i表示第几个slab class(这里需要注意这里的chunk_size不只是item的数据大小,还包含memcached内部的一个item结构体大小,这个值一般是 48byte,默认的growth_factor是1.25)。
  2. chunk:可以理解为memcached中存储数据的最小单元,每个存储在memcached中的item都会分配一个符合它大小的chunk,chunk的数量决定了memcached存储item的数量,默认的chunk为48byte。
  3. page:memcached中的内存是已page为单位分配给每个slab class,然后每个slab class根据它的chunk大小,计算出各自能够存储的item的数量,默认page大小为1M。而每一页能够存放多少个item,这取决于 chunk_size的大小。

通过上面可以看到slab class 1中一个page能够存储的item数量是最多的,而最后一个slab class一个page只能存储一个item。这是由于第一个slab class 1的chunk大小是所有slab class中最小的,那么对于就导致了slab class 1的能够存储的item最多了。

memcached这样做的好处什么呢?memcached这样做将数据存储根据能够存储的大小归为几类,并且内存按照固定的大小来划分。相比于随 机分配内存大小,导致内存碎片难于回收来说,这种内存方案对内存的利用率更高,而且便于管理。这就是memcached的slab allocation。

对于memcached来说,如果一个item申请写入数据,会计算当前item的大小然后加上memcached的item结构体大小,判断具体 是存储在哪个slab class上面。判断的条件是item_size+item_structure_size<=某个slab class上的chunk大小。以上面的图来说,比如我需要写入一个54byte的数据(key+value),由于memcached的item结构体 大小是48,那么memcached对于这个item需要写入的总数据大小是100byte,于是就会写入slab class2的某个chunk里面。于是就会存在下面的情况:

Memcached那些事

由于slab class2的chunk大小是112byte,那么写入100byte数据,就会有12byte空间浪费。这就是下一个话题,如何能够让memcached充分使用内存。

让Memcached充分使用内存。

上面列举的例子可以看出如何chunk大小设置不合适会导致内存空间的浪费,如何让memcached合理的使用内存呢?下面将介绍设置哪些参数来达到根据具体的业务合理的使用内存。

  1. 通过上面可以知道,slab class 1中能够存储的item数量是所有slab class中最多的,那么如果能够调整slab class 1的chunk大小,就能够提高memcached存储的数据量,并且对内存的利用率也有很大的提高。可以通过在memcached的启动参数-n来设置 的slab class 1的chunk大小。由于后面的slab class都是在这个基础上递增,那么其实的slab class的chunk大小比较重要。比如你发现你们的业务存入memcached都是100byte的大小数据,那么可以将起始slab class的chunk设置为148byte(还要加上48byte的item结构体大小),例如memcached -n 148。这样就可以将数据基本上都会分布在slab class 1上面,而且在每一页上面能够创建的chunk数量也是最大的。
  2. 上面说通过调整slab class 1的chunk大小来提供能够存储的item数量,那么只是对于item大小比较固定的情况。如果对于item大小存在差异的时候呢?那么可以通过设置 growth_factor来控制后面的slab class中chunk递增的速度,可以控制slab class中chunk大小变化幅度,来提高memcached的利用率。比如你现在的数据基本上在100-200byte之间,如果让这些数据全部存储 在slab class 1那么有些item会只是占用chunk中的一半,这样对内存浪费比较大。所以可以条件growth_factor大小,来控制整个chunk大小在 slab class递增的速度。可以通过启动参数-f来指定growth_factor大小,比如memcached -f 1.01 -n 100 (growth_factor值必须大于1)这样可以让memcached在chunk为100的基础上增长速度比较缓慢,能够有多个slab class的chunk大小分布在100-200byte之间。具体设置什么,可以根据你的业务或者一定的公式来获得这个值。
  3. 除了上面几个参数之外,可以调节页面的大小,以及分配给memcached的总内存大小来控制memcached分配内存的策略。通过启动参数-m调节memcached总内存大小,以及-I调节页面的大小。

监控Memcached

如何监控memcached内存使用情况,以及每个slab classs当前状态这个对优化memcached也是一种重要的手段。memcached自身提供了对它监控的手段,也很简单。可以通过telnet链 接到memcached即可查看当前的memcached。下面是在我本机上通过telnet观察memcached的一个实例,下面主要是对返回的几个 参数进行说明。

<!--lang:shell-->  dev@codinglife:~$ telnet localhost 11211  Trying 127.0.0.1...  Connected to localhost.  Escape character is '^]'.  stats items  STAT items:1:number 64708  STAT items:1:age 32067  STAT items:1:evicted 0  STAT items:1:evicted_nonzero 0  STAT items:1:evicted_time 0  STAT items:1:outofmemory 0  STAT items:1:tailrepairs 0  STAT items:1:reclaimed 32828  STAT items:1:expired_unfetched 29979  STAT items:1:evicted_unfetched 0  END  stats slabs  STAT 1:chunk_size 688  STAT 1:chunks_per_page 1524  STAT 1:total_pages 43  STAT 1:total_chunks 65532  STAT 1:used_chunks 64708  STAT 1:free_chunks 824  STAT 1:free_chunks_end 0  STAT 1:mem_requested 5888428  STAT 1:get_hits 0  STAT 1:cmd_set 101909  STAT 1:delete_hits 0  STAT 1:incr_hits 0  STAT 1:decr_hits 0  STAT 1:cas_hits 0  STAT 1:cas_badval 0  STAT 1:touch_hits 0  STAT active_slabs 1  STAT total_malloced 45086016  END

上面主要执行了两个命令,一个是stats items和stats slabs。stats items是对当前memcached当前存储的item进行一个统计,可以看到item的数量,一些item的一些状态,比如是否有item被移除,是 否有超时等,注意上面更在STAT items后面的数字表示是在第几个slab class上,上面表示数据都是在slab class 1上面。而stats slabs是观察各个slab class的情况,比如某个slab class使用了多少page,当前slab class的chunk_size,以及使用了多少个chunk,剩余多少chunk,以及内存的使用情况,同时可以看到整个memcached但钱有多 少个slab class处于使用激活状态,以及总共使用了多少内存,重要的是可以看到某个slab class对数据的操作历史累计统计(比如get_hits,cmd_set,delete_hits等等),从而可以看到哪个slab class存储的数据是热点数据,从而可以更具上面的方法调整memcached参数,来提高memcached对内存的使用情况。

上面主要是对memcached使用内存方面调优的参数以及对memcached运行状态的监控进行了讨论,这两者其实是一个相互反馈的过程。通过 调整好了memcached相关参数,监控一下memcached运行情况,是否达到预期的效果,从而再对memcached进行调整,再进行监控。只有 反复进行调整才能将memcached对内存方面的使用达到最佳的效果。当然可以通过其他参数对memcached进行其他方面的调整,不然能够支持的最 大连接数量,处理请求的线程数量等,来提高memcached的整体处理能力。由于不是本文讨论的主题,所以这里就不做过多的描述,具体有哪些参数可以通 过memcached -h来获取所有参数列表。

来自:http://my.oschina.net/bieber/blog/505458