关于memcached out of memory这个错误

http://www.ooso.net/index.php/archives/444
提到的问题,如果我没记错的话,我们在07年初开始部署Memcache的时候确实也有。我斗胆放出当时的一些修改记录。发现这个问题的是我的BOSS, 当时还没开始部署Memcache,BOSS在阅读源代码的时候发现了其中的问题,就如这篇日志所描述的,内存分配问题。

当时和我一起参与项目2位C高手对Memcache的内存分配代码做了一些修改,将MC的内存不均,改为定长分配内存。不过每次使用MC的时候都要根据所 设置数据的大小进行合理的修改,并重新MAKE安装以便使MC的内存可以充分使用完所设置的,不会像这篇日志所说的会有使不完但内存又不足的情况。局限性 就是不同的项目不能混用MC,否则内存容量就乱了。参与修改的是小马哥,和奶瓶,我是项目负责人,在完成项目后将修改做了详尽记录以便在部署MC的时候不 会出现遗漏。

在我们部门后来做的MDB上已经没有这个问题了,因为用的是BDB的内存管理。这些老资料基本已经无用了,因为我们都在使用MDB,纯的MC业务应该是没有了。

2Memcached定长版修改细节

1.修改assoc.c

A.修改HASHPOWER常量为24,使HASH数组最大长度达到FFFFFF

#define HASHPOWER 24

2.修改slabs.c

A.增加单条记录长度常量VDIR_SIZE定义,该值需要根据不同项目的占用存储空间进行修改

#define VDIR_SIZE 90

B.修改slabs_clsid函数,返回虚拟目录字节单条记录长度常量VDIR_CLSID

unsigned int slabs_clsid(size_t size) {

return SLABS_CLSID;

#if 0

int res = 1;

if(size==0)

return 0;

size–;

while(size >>= 1)

res++;

if (res < POWER_SMALLEST)

res = POWER_SMALLEST;

if (res > POWER_LARGEST)

#endif

}

C.修改slabs_init函数

slabclass[SLABS_CLSID].size = VDIR_SIZE;

slabclass[SLABS_CLSID].perslab = POWER_BLOCK / VDIR_SIZE;

D.修改POWER_BLOCK常量定义,该值需要根据不同项目的占用存储空间进行修改

#define POWER_BLOCK 1474560

E.增加内存片常量定义SLABS_CLSID

#define SLABS_CLSID 7

使用的话,要对上面设置的2组变量做数值修改,数值就是你所需要消耗的内存

12数据存储空间计算

存储在memcached中一条记录所占存储空间的 = 单条记录value内容所占字节数+记录KEY值所占字节数+32+2

例如:

本次项目,value内容占字节数为:

uid(11字节)+”;”(1字节)+m_vipuser(11字节) +”;”(1字节)+serverid(8字节)=32字节

KEY值最长为24字节。

单条记录在memcached所占存储空间:32+24+32+2=90字节

13POWER_BLOCK计算

POWER_BLOCK用来计算内存分页数,该数值计算方法为单条记录所占字节数与内存分块数(8192)的公倍数,该倍数接近1M为好。

例如:

本次项目,单条记录所占空间为90字节,与8192的最小公倍数1474560,小于1M,则POWER_BLOCK值为1474560

启动时要先设置环境变量,表示不需要预分配内存,memcached版本是1.1.3。

 

export T_MEMD_SLABS_ALLOC=0

 

Tags:

Leave a Reply