收藏 分销(赏)

linux内核-第四章 内存管理.ppt

上传人:xrp****65 文档编号:14015127 上传时间:2026-05-27 格式:PPT 页数:54 大小:971.50KB 下载积分:10 金币
下载 相关
linux内核-第四章 内存管理.ppt_第1页
第1页 / 共54页
linux内核-第四章 内存管理.ppt_第2页
第2页 / 共54页


点击查看更多>>
资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第四章 内存管理,Linux,的内存管理,进程的用户空间管理,请页机制,物理内存的分配与回收,交换机制,内存管理示例,内存的层次结构,虚拟内存的,基本思想,:在计算机中运行的程序,其代码、数据和堆栈的总量可以超过实际内存的大小,操作系统只将当前使用的程序块保留在内存中,其余的程序块则保留在磁盘上。必要时,操作系统负责在磁盘和内存之间交换程序块。,扩大了的记忆虚拟内存,虚地址到实地址转换,虚拟地址,虚拟内存、内核空间和用户空间,内核空间(1,GB),进程1的用户空间(3,GB),进程2的用户空间(3,GB),进程,n,的用户空间(3,GB),虚拟地址空,间,虚拟内存共,4,G,字节,分为,内核空间,(最高的,1,G,字节)和,用户空间,(较低的,3,G,字节)两部分,每个进程最大拥有,3,G,字节,私有虚存空间,地址转换通过页表把虚存空间的一个地址转换为物理空间中的实际地址。,虚拟内存、内核空间和用户空间,内核空间由所有进程共享,其中存放的是内核代码和数据,即“,内核映象,”,进程的用户空间中存放的是用户程序的,代码和数据,内核空间映射到物理内存总是从最低地址(,0,x00000000,),开始,使之在内核空间与物理内存之间建立简单的线性映射关系。,内核空间到物理内存的映射,0,3G,4G,0,X,虚拟地址空间,物理内存,图4.1,内核的虚拟地址空间到物理地址空间的映射,内核空间到物理内存的映射,Linux,虚拟内存的实现需要多种机制的支持,地址映射机制,请页机制,内存分配和回收机制,交换机制,缓存和刷新机制,虚拟内存实现机制,地址映射,图4.2,虚拟内存实现机制及之间的关系,虚拟内存实现机制及之间的关系,每个进程经编译、链接后形成的二进制映像文件有一个代码段和数据段,进程运行时须有独占的堆栈空间,进程的用户空间管理,堆栈段,空洞,数据段,代码段,进程的用户空间(,3,G),Linux,把进程的用户空间划分为一个个区间,便于管理,一个进程的用户地址空间主要由,mm_,struct,结构和,vm,_area_,structs,结构来描述。,mm_,struct,结构,它对进程整个用户空间进行描述,vm,_area_,structs,结构对用户空间中各个区间,(,简称,虚存区,),进行描述,进程用户空间,struct,mm_,struct,atomic_t count;,pgd,_t*,pgd,;,int,map_count;,struct,semaphore,mmap,_,sem,;,unsigned long start_code,end_code,start_data,end_data;,unsigned long start_,brk,brk,start_stack;,unsigned long,arg,_start,arg,_end,env,_start,env,_end;,unsigned long,rss,total_,vm,locked_,vm,;,unsigned long def_flags;,struct,vm,_area_,struct,*,mmap,*,mmap,_,avl,*,mmap,_cache;,unsigned long swap_,cnt,;,unsigned long swap_address;,;,mm_,struct,结构,域名,说 明,count,对,mm_,struct,结构的引用进行计数。为了在,Linux,中实现线程,内核调用,clone,派生一个线程,线程和调用进程共享用户空间,即,mm_,struct,结构,派生后系统会累加,mm_,struct,中的引用计数。,pgd,进程的页目录基地址,,当调度程序调度一个进程运行时,就将这个地址转成物理地址,并写入控制寄存器(,CR3),map_count,在进程的整个用户空间中虚存区的个数,semaphore,对,mm_,struct,结构进行串行访问所使用的信号量,Start_code,end_code,start_data,end_data,进程的代码段和数据段的起始地址和终止地址,start_,brk,brk,start_stack;,每个进程都有一个特殊的地址区间,这个区间就是所谓的,堆,,也就是图,4.4,中的空洞。前两个域分别描述堆的起始地址和终止的地址,最后一个域描述堆栈段的起始地址。,arg,_start,arg,_end,env,_start,env,_end,命令行参数所在的堆栈部分的起始地址和终止地址;,环境串所在的堆栈部分的起始地址和终止地址,rss,total_,vm,locked_,vm,进程贮留在物理内存中的页面数,进程所需的总页数,被锁定在物理内存中的页数。,mmap,vm,_area_,struct,虚存区结构形成一个单链表,其基址由小到大排列,mmap,_,avl,vm,_area_,struct,虚存区结构形成一个颗,AVL,平衡树,mmap,_cache,最近一次用到的虚存区很可能下一次还要用到,因此,把最近用到的虚存区结构放入高速缓存,这个虚存区就由,mmap,_cache,指向。,struct,vm,_area_,struct,struct,mm_,struct,*,vm,_mm;,unsigned long,vm,_start;,unsigned long,vm,_end;,pgprot,_t,vm,_page_,prot,;,unsigned short,vm,_flags;,struct,vm,_area_,struct,*,vm,_next;,short,vm,_,avl,_height;,struct,vm,_area_,struct,*,vm,_,avl,_left,*,vm,_,avl,_right;,struct,vm,_operations_,struct,*,vm,_ops;,struct,vm,_area_,struct,*,vm,_next_share,*,vm,_,pprev,_share;,unsigned long,vm,_offset;,struct,file*,vm,_file;,unsigned long,vm,_,pte,;,;,VM_AREA_STRUCT,结构,域名,说 明,Vm,_mm,指向虚存区所在的,mm_,struct,结构的指针。,Vm,_start,,,vm,_end,虚存区的起始地址和终止地址。,Vm,_page_,prot,虚存区的保护权限。,Vm,_flags,虚存区的标志。,Vm,_next,构成线性链表的指针,按虚存区基址从小到大排列。,vm,_,avl,_height,,,vm,_,avl,_left,,,vm,_,avl,_right,这3,个域在一起构成,AVL,树,其中,vm,_,avl,_height,是该节点距根节点的高度,,,vm,_,avl,_left,和,vm,_,avl,_right,分,别是该节点的左右两个子树。,Vm,_ops,对虚存区进行操作的函数。这些给出了可以对虚存区中的页所进行的操作。,进程控制块是内核中的核心数据结构。,在进程的,task_,struct,结构中包含一个,mm,域,它是指向,mm_,struct,结构的指针。,而进程的,mm_,struct,结构则包含进程的可执行映像信息以及进程的页目录指针,pgd,等。,该结构还包含有指向,vm,_area_,struct,结构的几个指针,每个,vm,_area_,struct,代表进程的一个虚拟地址区间。,相关数据结构间的关系,相关数据结构之间的关系示意图,fork(),系统调用在创建新进程时也为该进程创建完整的用户空间,具体而言,是,通过拷贝或共享父进程的用户空间来实现的,即,内核调用,copy_mm(),函数,为新进程建立所有页表和,mm_,struct,结构,Linux,利用“写时复制”技术来快速创建进程,创建进程用户空间,执行一个进程时,其可执行映像必须装入进程的用户地址空间,虚存映射:即把文件从磁盘映射到进程的用户空间,对文件的访问转化为对虚存区的访问,有共享的、私有的虚存映射和匿名映射,当可执行映像映射到进程的用户空间时,将产生一,组,vm,_area_,struct,结构来描述各虚拟区间的起始点和终止点,虚存映射,例:,exam.c,int,main(),printf,(“virtual area test!”);,进程的虚存区举例,地址范围,许可权,偏移量,所映射的文件,08048000-08049000,r-,xp,00000000,/home/test/exam,08049000-0804a000,rw,-p,00001000,/home/test/exam,40000000-40015000,r-,xp,00000000,/lib/ld-2.3.2.so,40015000-40016000,rw,-p,00015000,/lib/ld-2.3.2.so,40016000-40017000,rw,-p,00000000,匿名,4002a000-40159000,r-,xp,00000000,/lib/libc-2.3.2.so,40159000-4015e000,rw,-p,0012f000,/lib/libc-2.3.2.so,4015e000-40160000,rw,-p,00000000,匿名,bfffe000-c0000000,rwxp,fffff000,匿名,exam,进程的虚存区,与用户空间相关的主要系统调用,系统调用,描述,fork(),创建具有新的用户空间的进程,用户空间中的所有页被标记为,“,写时复制,”,,且由父子进程共享,当其中的一个进程所访问的页不在内存时,这个页就被复制一份。,mmap,(),在进程的用户空间内创建一个新的虚存区。,munmap,(),销毁一个完整的虚存区或其中的一部分,如果要取消的虚存区位于某个虚存区的中间,则这个虚存区被划分为两个虚存区。,exec(),装入新的可执行文件以代替当前用户空间。,Exit(),销毁进程的用户空间及其所有的虚存区。,进程运行时,,CPU,访问的是用户空间的虚地址,Linux,仅把当前要使用的少量页面装入内存,需要时再通过请页机制将特定的页面调入内存,当要访问的虚页不在内存时,产生一个页故障并报告故障原因,请页机制实现虚存管理的重要手段,缺页异常处理程序,这个虚地址属于进程的用户空间?,访问类型与这个虚存区的访问权匹配?,异常发生,在用户态?,合法访问:分配一个新的页面,非法访问:发送一个,SIGSEBV,信号,内核错误:杀死进程,否,是,是,是,否,否,总体方案,地址在中断中或内核线程中,地址在虚存区中,写访问,区是可写的,写时复制,地址可能属于用户态栈,页存在,区是可读或可执行的,在用户态,地址是一个错误的系统调用参数,请求调页,发送,SIGSEGV,信号,杀死进程,通常情况下发送,SIGSEGV,信号,缺页异常处理流程图,否,否,否,否,否,否,否,否,否,是,是,是,是,是,是,是,是,是,请求调页:,把页面的分配推迟到进程要访问的页不在物理内存时为止,由此引起一个缺页异常,引入原因:,进程开始运行时并不访问其地址空间中的全部地址,程序的局部性原理保证请求调页,从总体上使系统有更大的吞吐量,。,请求调页动态内存分配技术,写时复制技术可以推迟、甚至免除数据的拷贝,进程创建之初内核并不复制整个进程空间,而是使父子进程以只读方式共享同一个拷贝,数据只有在需要写入时才会被复制,从而使各个进程拥有各自的拷贝,写时复制(,copyonwrite),技术,在,Linux,中,,CPU,所访问的地址是虚拟地址空间的虚地址;,管理内存页面时,,,先在虚存空间中分配一个虚存区间,然后才根据需要为此区间分配相应的物理页面并建立起映射,Linux,采用著名的伙伴(,Buddy,),算法来解决外碎片问题,物理内存的分配与回收,保留 内核映象 动态内存,0 0,x100000 start_,mem,end_,mem,Linux,的伙伴算法把所有的空闲页面分为,10,个块链表,每个链表中的一个块含有,2,的幂次个页面(叫做“,页块,”或简称“块”,),大小相同、物理地址连续的两个,页块,被称为“伙伴”,工作原理:首先在大小满足要求的块链表中查找是否有空闲块,若有则直接分配,否则在更大的块中查找。其逆过程就是块的释放,此时会把满足伙伴关系的块合并,页面分配与回收算法伙伴算法,函数,_,get_free_pages,用于分配物理页块,该函数所做的工作如下:,检查所请求的页块大小是否能够被满足,检查系统中空闲物理页的总数是否已低于允许的下界,正常分配,。从,free_area,数组的第,order,项开始,这是一个,mem,_map_t,链表。,换页。通过下列语句调用函数,try_to_free_pages(),,启动换页进程,物理页面的分配,1),如果该链表中有满足要求的页块,则:,将其从链表中摘下;将,free_area,数组的位图中该页块所对应的位取反,表示页块已用;修改全局变量,nr_free_pages(,减去分配出去的页数);根据该页块在,mem,_map,数组中的位置,算出其起始物理地址,返回。,2),如果该链表中没有满足要求的页块,则在,free_area,数组中顺序向上查找。其结果有二:,a),整个,free_area,数组中都没有满足要求的页块,此次无法分配,返回。,b),找到一个满足要求的页块,则:,将其从链表中摘下;,将,free_area,数组的位图中该页块所对应的位取反,表示页块已用;修改全局变量,nr_free_pages(,减去分配出去的页数);因为页块比申请的页块要大,所以要将它分成适当大小的块。因为所有的页块都由,2,的幂次的页数组成,所以这个分割的过程比较简单,只需要将它平分就可以:,I.,将其平分为两个伙伴,将小伙伴加入,free_area,数组中相应的链表,修改位图中相应的位;,II.,如果大伙伴仍比申请的页块大,则转,I,,继续划分;,III.,大伙伴的大小正是所要的大小,修改位图中相应的位,根据其在,mem,_map,数组中的位置,算出它的起始物理地址,返回。,函数,free_pages,用于页块的回收,该函数所做的工作如下:,根据页块的首地址,addr,算出该页块的第一页在,mem,_map,数组的索引;,如果该页是保留的(内核在使用),则不允许回收;,将页块第一页对应的,mem,_map_t,结构中的,count,域减,1,,表示引用该页的进程数减了,1,个。,若,count,域的值不,为,0,,,有别的进程在使用该页块,不能回收,,仅,简单返回,清除页块第一页对应的,mem,_map_t,结构中,flags,域的,PG_referenced,位,表示该页块不,再,被引用;,将全局变量,nr_free_pages,的,值加上回收的物理页数,将页块加入到数组,free_area,的相应链表中,物理页面的回收,Slab,机制提出的原因:,为了减少对伙伴算法的调用次数,内核经常反复使用某一内存区,内存区可根据其使用频率来分类,硬件高速缓存的使用,为尽量减少对伙伴算法的调用提供了另一个理由,Slab,分配机制分配小内存,Slab,分配模式把对象分组放进缓冲区,Slab,缓冲区由一连串的“大块,(,Slab,)”,构成,每个大块中包含若干个同种类型的对象,这些对象或已被分配,或空闲,简言之,缓冲区就是主存中的一片区域,把这片区域划分为多个块,每块就是一个,Slab,,,每个,Slab,由一个或多个页面组成,每个,Slab,中存放的就是对象,Slab,分配机制分配小内存,缓冲区,slab,slab,对象,Slab,的组成,专用缓冲区主要用于频繁使用的数据结构,缓冲区是用,kmem,_cache_t,类型描述的,通过,kmem,_cache_create,(),来建立,函数,kmem,_cache_create(),所创建的缓冲区中还没有包含任何,Slab,,,因此,也没有空闲的对象。只有以下两个条件都为真时,才给缓冲区分配,Slab,:,已发出一个分配新对象的请求;,缓冲区不包含任何空闲对象;,Slab,专用缓冲区的建立和释放,创建缓冲区后,可通过函数,kmem,_cache_,alloc,(),从中获取对象,该函数从给定的缓冲区中返回一个指向对象的指针。如果缓冲区中所有的,slab,中都没有空闲的对象,则,slab,必须调用,_,get_free_pages(),获取新的页面,使用函数,kmem,_cache_,free(),可以,释放一个对象,并把它返回给原先,的,slab,Slab,专用缓冲区的建立和释放,在内核中初始化开销不大的数据结构可以合用一个通用的缓冲区。,通用缓冲区类似于物理页面分配中的大小分区,对通用缓冲区的管理采用,Slab,方式,当一个数据结构的使用不频繁、或其大小不足一个页面时,没有必要给其分配专用缓冲区,,可调用函数,kmallo,(),分配通用缓冲区,通用缓冲区,非连续内存处于,3,G,到,4,G,之间的内核空间,PAGE_OFFSET,为3,GB,high_memory,为保存物理地址最高值的变量,,VMALLOC_START,为非连续区的起始地址,内核空间非连续内存区的分配,high_memory,PAGE_OFFSET VMALLOC_START 4GB,物理内存区的映射,High memory,8MB,内存区,内存区,4MB,从,PAGE_OFFSET,开始的内核地址区间,vmalloc,(),与,kmalloc,(),都可用于分配内存,kmalloc,(),分配的内存处于,3,GB,high_memory,之间,这段内核空间与物理内存的映射一一对应,而,vmalloc,(),分配的内存,在,VMALLOC_START4GB,之间,这段非连续内存区映射到物理内存也可能是非连续的,vmalloc,(),分配的物理地址无需连续,而,kmalloc,(),确保页在物理上是连续的,vmalloc,(),与,kmalloc,(),之,区别,当物理内存不足时,,Linux,通过某种机制选出内存中的某些页面换到磁盘上,以便留出空闲区来调入需要使用的页面,交换的基本原理:当空闲内存数量小于一个固定的极限值时,就执行换出操作(包括把进程的整个地址空间拷贝到磁盘上)。反之,当调度算法选择一个进程运行时,整个进程又被从磁盘中交换进来,交换机制,在,Linux,中,进行交换的单位是页面而不是进程,在页面交换中,页面置换算法是影响交换性能的关键性指标,其复杂性主要与换出有关:,哪种页面要换出,如何在交换区中存放页面,如何选择被交换出的页面,页面交换,只有与用户空间建立了映射关系的物理页面才会被换出,内核空间中内核所占的页面则常驻内存,进程映像所占的页面,其代码段、数据段可被换入换出,但堆栈段一般不换出,通过系统调用,mmap,(),把文件内容映射到用户空间时,页面所使用的交换区就是被映射的文件本身,进程间共享内存区其页面的换入换出比较复杂,映射到内核空间中的页面都不会被换出,内核在执行过程中使用的页面要经过动态分配,但永驻内存,选择被换出的页面,交换区也被划分为块,每个块的大小恰好等于一页,,一块,叫做一个,页插槽,换出时,内核尽可能把换出的页放在相邻的插槽中,从而减少访问交换区时磁盘的寻道时间,若系统使用了多个交换区,快速交换区可以获得比较高的优先级,当查找一个空闲插槽时,要从优先级最高的交换区中开始搜索,如果优先级最高的交换区不止一个,应该循环选择相同优先级的交换区,在交换区中存放页面,策略,1,:需要时才交换,策略,2,:系统空闲时交换,策略,3,:换出但并不立即释放,策略,4,:把页面换出推迟到不能再推迟为止,页面换入换出及回收的基本思想,页面交换策略,释放页面。如果一个页面变为空闲可用,就把该页面,的,page,结构链入某个空闲队列,free_area,,同时页面的使用计数,count,减1,。,分配页面。调用,_,get_free_page(),从某个空闲队列分配内存页面,并将其页面的使用计数,count,置为,1,。,活跃状态。已分配的页面处于活跃状态,该页面的数据结构,page,通过其队列头结构,lru,链入活跃页面队列,active_list,,并且在进程地址空间中至少有一个页与该页面之间建立了映射关系。,不活跃“脏”状态。处于该状态的页面其,page,结构通过其队列头结构,lru,链入不活跃“脏”页面队列,inactive_dirty_list,,并且原则是任何进程的页面表项不再指向该页面,也就是说,断开页面的映射,同时把页面的使用计数,count,减1,。,将不活跃“脏”页面的内容写入交换区,并将该页面,的,page,结构从不活跃“脏”页面队列,inactive_dirty_list,转移到不活跃“干净”页面队列,准备被回收。,不活跃“干净”状态。页面,page,结构通过其队列头结构,lru,链入某个不活跃“干净”页面队列。,如果在转入不活跃状态以后的一段时间内,页面又受到访问,则又转入活跃状态并恢复映射。,当需要时,就从“干净”页面队列中回收页面,也就是说或者把页面链入到空闲队列,或者直接进行分配。,Linux,内核利用守护进程,kswapd,定期地检查系统内的空闲页面数是否小于预定义的极限,一旦发现空闲页面数太少,就预先将若干页面换出,kswapd,相当于一个进程,它有自己的进程控制块,task_,struct,结构,与其它进程一样受内核调度,但没有独立的地址空间,页面交换守护进程,kswapd,希望通过访问用户空间的内存达到读取内核数据的目的,这样便可进行内核空间到用户空间的大规模信息传送,从而应用于高速数据采集等性能要求高的场合,从用户空间直接读取内核数据,即利用内存映射功能,将内核中的一部分虚拟内存映射到用户空间,使得访问用户空间地址等同于访问被映射的内核空间地址,从而不再需要数据拷贝操作,内存管理实例,在内核空间中调用,kmalloc,(),分配连续物理空间,而调用,vmalloc,(),分配非物理连续空间。,我们把,kmalloc,(),所分配内核空间中的地址称为,内核逻辑地址,把,vmalloc,(),分配的内核空间中的地址称为,内核虚拟地址,vmalloc,(),在分配过程中须更新内核页表,相关背景知识,跨空间的地址映射主要包括:,找到内核地址对应的物理地址,这是为了将用户页表项直接指向物理地址;,建立新的用户页表项,代码体系结构介绍,用户虚存区虚拟,空间,Vm,_area_,struct,用户页表,Vk,空间,vm,_,struct,内核页表,物理内存,Vma,-,nopage,用户空间,内核空间,用户虚存区映射到,VK,对应的物理内存,mmap,系统调用,File-,mma,(,mapdrv,_,mmap,),Vma,-,nopage,(,map_,nopage,),获得,vm,_area,对应的内核逻辑地址,(,vaddr,_to_,kaddr,),得到内核逻辑地址对应的进程页框,(,virt,_to_page),获得,vm,_area,对应的内核页表项,(,pgd,_offset_k,pmd,_offset,pte,_offset),获,vm,_area,对应,的内核逻辑地址,(,page_address),获得,vm,_area,对应内核页表项指针,(,pte,_offset),任务的执行路径,编译,map_driver.c,为,map_driver.o,模块,具体参数见,Makefile,加载模块:,insmod,map_driver.o,生成对应的设备文件,在/,proc/devices,下找到,map_driver,对应的设备命和设备号:,grep,mapdrv,/proc/devices,建立设备文件,mknod mapfile,c 254 0,利用,maptest,读取,mapfile,文件,将取自内核的信息(”,ok”,我们在内核中在,vmalloc,分配的空间中填放的信息)打印到用户屏幕。,STEP BY STEP,“内核之旅,”,网站,
展开阅读全文

开通  VIP、SVIP  下载更划算
下载10份以上建议开通 VIP 会员
下载20份以上建议开通SVIP会员


开通VIP      成为共赢上传

当前位置:首页 > 包罗万象 > 大杂烩

移动网页_全站_页脚广告1

关于我们      便捷服务       自信AI       AI导航        关注我们

©2010-2026 宁波自信网络信息技术有限公司  版权所有

客服电话:0574-28810668  投诉电话:18658249818

gongan.png浙公网安备33021202000488号   

icp.png浙ICP备2021020529号-1  |  浙B2-20240490  

关注我们 :微信公众号    抖音    微博    LOFTER 

客服