Linux内存管理详解.ppt

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,Confidential,Linux Memory Manager,Actions Microelectronics Co.,Ltd.,柯锦玲,2009-10-21,Agenda,Linux,对外提供的内存管理接口,linux,内存镜像图,3,1,3,2,3,4,Linux,内存管理算法介绍,3,3,Linux,如何防止内存碎片,Linux Image,蓝色字体部分,可用空间,Linux,如何防止内存碎片,内存碎片,内部碎片,:,系统为了满足一小段内存区（连续）的需要，不得不分配了一大区域连续内存给它，从而造成了空间浪费,外部碎片,系统虽有足够的内存，但却是分散的碎片，无法满足对大块“连续内存”的需求,Linux,如何防止内存碎片,linux,减少外部碎片,伙伴系统,(buddy,算法,),把内存块按大小分组管理，一定程度上减轻了外部碎片的危害，因为页框分 配不在盲目，而是按照大小依次有序进行，不过伙伴关系只是减轻了外部碎片，但并未彻底消除,但是,伙伴系统同时又带来很多的内部碎片,linux,减少外部碎片,SLAB,SLUB,SLOB,分配器,使得一个页面内众多小块内存可独立被分配使用，避免了内部分片，节约了空闲内存,Linux,如何防止内存碎片,linux,内存管理层次关系图,1,Linux,如何防止内存碎片,linux,内存管理层次关系图,2,Linux,内存管理算法介绍,Buddy System,算法原理,Buddy System,是一种经典的内存管理算法。在,Unix,和,Linux,操作系统中都有用到。其作用是减少存储空间中的空洞、减少碎片、增加利用率。避免外碎片的方法有两种：,a.,利用分页单元把一组非连续的空闲页框映射到连续的线性地址区间。,b.,开发适当的技术来记录现存的空闲连续页框块的情况，以尽量避免为满足对小块的请求而把大块的空闲块进行分割。,基于下面三种原因，内核选择第二种避免方法：,a.,在某些情况下，连续的页框确实必要。,b.,即使连续页框的分配不是很必要，它在保持内核页表不变方面所起的作用也是不容忽视的。假如修改页表，则导致平均访存次数增加，从而频繁刷新,TLB,。,c.,通过,4M,的页可以访问大块连续的物理内存，相对于,4K,页的使用，,TLB,未命中率降低，加快平均访存速度。,buddy,算法将所有空闲页框分组为,11,个块链表，每个块链表分别包含,1,2,4,8,16,32,64,128,256,512,1024,个连续的页框，每个块的第一个页框的物理地址是该块大小的整数倍。如，大小为,16,个页框的块，其起始地址是,16*212,的倍数。,例，假设要请求一个,128,个页框的块，算法先检查,128,个页框的链表是否有空闲块，如果没有则查,256,个页框的链 表，有则将,256,个页框的块分裂两份，一份使用，一份插入,128,个页框的链表。如果还没有，就查,512,个页框的链表，有的话就分裂为,128,，,128,，,256,，一个,128,使用，剩余两个插入对应链表。如果在,512,还没查到，则返回出错信号。,回收过程相反,static inline struct page*,alloc_pages,(gfp_t gfp_mask,unsigned int order),void _free_pages(struct page*page,unsigned int order),分配内存的单位为页面数,分配时候传入,order,值,order,为,0,1,2,.,n,分别分配,1,2,4,2n,个页面,伙伴系统,(Buddy,算法,),分配的页面物理上是连续的,因此使用伙伴系统分配的内存大小最大为,210*PAGESIZE=4K*4K=4M,unsigned long _,get_free_pages,(gfp_t gfp_mask,unsigned int order),void free_pages(unsigned long addr,unsigned int order),Buddy,算法虽然能很好的减少外部碎片的产生,但是他却可用导致很多的内部碎片,slab/slob/slub,的作用,:,以页为最小单位分配内存对于内核管理系统物理内存来说的确比较方便，但内核自身最常使用 的内存却往往是很小（远远小于一页）的内存块,比如,存放文件描述符、进程描述符、虚拟内存区域描述符等行为所需的内存都不足一页,。这些用来存放描述符的 内存相比页面而言，就好比是面包屑与面包。一个整页中可以聚集多个这种这些小块内存；而且这些小块内存块也和面包屑一样频繁地生成,/,销毁。,为了满足内核对这种小内存块的需要，,Linux,系统采用了一种被称为,slab,分配器的技术。,Slab,分配器的实现 相当复杂，但原理不难，其核心思想就是“存储池”的运用。内存片段,(,小块内存,),被看作对象，当被使用完后，并不直接释放而是被缓存到“存储池”里，留做下 次使用，这无疑,避免了频繁创建与销毁对象所带来的额外负载,。,slab,分配器的主要结构,SLUB,2.6.22,中的,SLAB,内存管理代码将被,SLUB,代替。,SLAB,是经典的管理内核的内存的代码,但是,slab,维护了大量的对象队列，这些队列虽然可以很快地被分 配，但是过于复杂，而且维护所占用的空间会随着系统节点的增加而急剧增长。,slub,就是作为,slab,的可替代选项出现的。,slub,是一种不使用队列的分配器。,slub,取消了大量的队列和相 关维护费用，获得了极大的性能和伸缩性提高，并在总体上简化了,slab,结构，使用了基于每,CPU,的缓存，同时保留了,slab,的用户接口，而且,slub,还提 供了强大的诊断和调试能力,slob,slob,是一个相对简单一些的分配器，,主要使用在小型的嵌入式系统,。在选择了,CONFIG_EMBEDDED,后，就可以选用,CONFIG_SLOB,选项，使用,SLOB,分配器中。,slob,是一个,经典的,K&R/UNIX,堆分配器,(,想我们目前,ucos,上面的,malloc),，其具有一个,slab,模拟层，和被,slab,替代的,linux,原来的,kmalloc,分配器比较相似，,比,slab,更有空间效率，尺寸更小,，但是依然存在碎片和难于扩展,(,对所有操作都简单地上锁,),的问题，只适用于小系统。,slob,获得的是已经对齐的对象。,slob,在,MIPS,上的粒度是,4,字节。,slob,堆是一个单向列表，连接了从,get_free_page,获得的页面，从堆上按照,first-fit,的原则依照需求增长和分配。,vmalloc,避免外部分片的最终思路还是落到了,如何利用不连续的内存块组合成“看起来很大的内存块”,这里的情况很类似 于用户空间分配虚拟内存,，内存逻辑上连续，其实影射到并不一定连续的物理内存上。,Linux,内核借用了这个技术，允许内核程序在内核地址空间中分配虚拟地 址，同样也利用页表（内核页表）将虚拟地址影射到分散的内存页上。以此完美地解决了内核内存使用中的外部分片问题。,内核提供,vmalloc,函数分配内核虚拟内存,，该函数不同于,kmalloc,，它可以分配较,Kmalloc,大得多的内存空间（可远大于,128K,，但必须是页大小的倍数），但相比,Kmalloc,来 说,Vmalloc,需要对内核虚拟地址进行重影射，必须更新内核页表，因此分配效率上要低一些（用空间换时间,),）,Mips 32bit,存储器映射图,在,mips,底下使用,kseg2,1G,大小空间,从,0 xC000 0000 0 xFFFF FFFF,也就是说,vmalloc,返回的地址值,会落在,0 xC000 0000 0 xFFFF FFFF,上,Mips linux,使用的是二级映射将线性地址转换为物理地址,PGD(page direcory),页面目录表,占用,10bit,每一,PGD,项占用,4,字节,所以页表目录大小为,4KB,正好一页,PTE(page table entry),页面目录入口表,占用,10bit,每一,PTE,项占用,4,字节,所以页表,(PTE),大小为,4KB,正好一页,每一,PGD,项,(,需要有一个页表,(PTE),可以映射,222=4MB,的空间,每一,PGD,项,对应一个,PTE(page table entry),页面目录入口表,Vmalloc:,调用图,内核提供内存管理接口接口,:,gfp_mask:,GFP_ATOMIC,用来从中断处理和进程上下文,软中断,持有自旋锁以及其他不能睡眠,(,阻塞,),的地方分配内存,.,从不睡眠,.,GFP_KERNEL,内核内存的正常分配,.,可能睡眠,.,Slob/slab/slub,提供接口,:,static struct kmem_cache*skbuff_head_cache _read_mostly;,skbuff_head_cache=kmem_cache_create(skbuff_head_cache,sizeof(struct sk_buff),0,SLAB_HWCACHE_ALIGN|SLAB_PANIC,NULL);,SLAB_HWCACHE_ALIGN,:,指定,cache,对齐,(cache line,对齐,如,32,字节对齐,).,SLAB_PANIC,:,指示创建失败时候,系统,halt,除非你觉得分配的内存结构体会频繁地生成,/,销毁,否则 请直接使用,kmalloc,分配空间,.,除非你觉得分配的内存结构体会频繁地生成,/,销毁,否则 请直接使用,kmalloc,分配空间,.,例子,:,分配,:,skb=kmem_cache_alloc_node(cache,gfp_mask,node);,释放,:,kmem_cache_free(skbuff_head_cache,skb);,Vmalloc:,不能在中断中使用,:,void*vmalloc(unsigned long size),void vfree(const void*addr),Kmalloc:,static inline void*kmalloc(size_t size,gfp_t flags),void kfree(const void*objp),Thank You!,Actions Microelectronics Co.,Ltd.,end!,Actions Microelectronics Co.,Ltd.,