|
Linux 内存是后台开发人员，需要深入了解的计算机资源。合理的使用内存，有助于提升机器的性能和稳定性。本文主要介绍Linux 内存组织结构和页面布局，内存碎片产生原因和优化算法，Linux 内核几种内存管理的方法，内存使用场景以及内存使用的那些坑。
从内存的原理和结构，到内存的算法优化，再到使用场景，去探寻内存管理的机制和奥秘。
相关阅读： 一、走进Linux 内存1、内存是什么？ 1)内存又称主存，是 CPU 能直接寻址的存储空间，由半导体器件制成 2)内存的特点是存取速率快 2、内存的作用 1)暂时存放 cpu 的运算数据 2)硬盘等外部存储器交换的数据 3)保障 cpu 计算的稳定性和高性能
二、 Linux 内存地址空间1、Linux 内存地址空间 Linux 内存管理全貌 2、内存地址——用户态&内核态 用户态：Ring3 运行于用户态的代码则要受到处理器的诸多 内核态：Ring0 在处理器的存储保护中，核心态 用户态切换到内核态的 3 种方式：系统调用、异常、外设中断 区别：每个进程都有完全属于自己的，独立的，不被干扰的内存空间；用户态的程序就不能随意操作内核地址空间，具有一定的安全保护作用；内核态线程共享内核地址空间；
3、内存地址——MMU 地址转换 4、内存地址——分段机制 1) 段选择符 为了方便快速检索段选择符，处理器提供了 6 个分段寄存器来缓存段选择符，它们是：cs,ss,ds,es,fs 和 gs 段的基地址(Base Address)：在线性地址空间中段的起始地址 段的界限(Limit)：在虚拟地址空间中，段内可以使用的最大偏移量
2) 分段实现 5、内存地址——分页机制（32 位）
6、用户态地址空间 7、内核态地址空间 直接映射区：线性空间中从 3G 开始最大 896M 的区间，为直接内存映射区 动态内存映射区：该区域由内核函数 vmalloc 来分配 永久内存映射区：该区域可访问高端内存 固定映射区：该区域和 4G 的顶端只有 4k 的隔离带，其每个地址项都服务于特定的用途，如：ACPI_BASE 等
8、进程内存空间 三、 Linux 内存分配算法内存管理算法：对讨厌自己管理内存的人来说是天赐的礼物。 1、内存碎片 1) 基本原理 2) 如何避免内存碎片 少用动态内存分配的函数(尽量使用栈空间) 分配内存和释放的内存尽量在同一个函数中 尽量一次性申请较大的内存，而不要反复申请小内存 尽可能申请大块的 2 的指数幂大小的内存空间 外部碎片避免——伙伴系统算法 内部碎片避免——slab 算法 自己进行内存管理工作，设计内存池
2、伙伴系统算法——组织结构 1) 概念 2) 外部碎片 3、伙伴系统算法——申请和回收 1) 申请算法 申请 2^i 个页块存储空间，如果 2^i 对应的块链表有空闲页块，则分配给应用 如果没有空闲页块，则查找 2^(i 1) 对应的块链表是否有空闲页块，如果有，则分配 2^i 块链表节点给应用，另外 2^i 块链表节点插入到 2^i 对应的块链表中 如果 2^(i 1) 块链表中没有空闲页块，则重复步骤 2，直到找到有空闲页块的块链表 如果仍然没有，则返回内存分配失败
2) 回收算法 3) 条件 两个块具有相同的大小 它们的物理地址是连续的 页块大小相同
4、如何分配 4M 以上内存？ 1) 为何限制大块内存分配 分配的内存越大, 失败的可能性越大 大块内存使用场景少
2) 内核中获取 4M 以上大内存的方法 修改 MAX_ORDER, 重新编译内核 内核启动选型传递'mem='参数, 如'mem=80M，预留部分内存；然后通过 request_mem_region 和 ioremap_nocache 将预留的内存映射到模块中。需要修改内核启动参数, 无需重新编译内核. 但这种方法不支持 x86 架构, 只支持 ARM, PowerPC 等非 x86 架构 在 start_kernel 中 mem_init 函数之前调用 alloc_boot_mem 函数预分配大块内存, 需要重新编译内核 vmalloc 函数，内核代码使用它来分配在虚拟内存中连续但在物理内存中不一定连续的内存
5、伙伴系统——反碎片机制 1) 不可移动页 2) 可回收页 6、slab 算法——基本原理 1) 基本概念 2) 内部碎片 7、slab 分配器的结构 由于对象是从 slab 中分配和释放的，因此单个 slab 可以在 slab 列表之间进行移动 slabs_empty 列表中的 slab 是进行回收（reaping）的主要备选对象 slab 还支持通用对象的初始化，从而避免了为同一目而对一个对象重复进行初始化
8、slab 高速缓存 1) 普通高速缓存 slab 分配器所提供的小块连续内存的分配是通过通用高速缓存实现的 通用高速缓存所提供的对象具有几何分布的大小，范围为 32 到 131072 字节。 内核中提供了 kmalloc() 和 kfree() 两个接口分别进行内存的申请和释放
2) 专用高速缓存 内核为专用高速缓存的申请和释放提供了一套完整的接口，根据所传入的参数为具体的对象分配 slab 缓存 kmem_cache_create() 用于对一个指定的对象创建高速缓存。它从 cache_cache 普通高速缓存中为新的专有缓存分配一个高速缓存描述符，并把这个描述符插入到高速缓存描述符形成的 cache_chain 链表中 kmem_cache_alloc() 在其参数所指定的高速缓存中分配一个 slab。相反， kmem_cache_free() 在其参数所指定的高速缓存中释放一个 slab
9、内核态内存池 1) 基本原理 先申请分配一定数量的、大小相等(一般情况下) 的内存块留作备用 当有新的内存需求时，就从内存池中分出一部分内存块，若内存块不够再继续申请新的内存 这样做的一个显著优点是尽量避免了内存碎片，使得内存分配效率得到提升
2) 内核 API mempool_create 创建内存池对象 mempool_alloc 分配函数获得该对象 mempool_free 释放一个对象 mempool_destroy 销毁内存池
10、用户态内存池 1) C++ 实例 11、DMA 内存 1) 什么是 DMA 直接内存访问是一种硬件机制，它允许外围设备和主内存之间直接传输它们的 I/O 数据，而不需要系统处理器的参与2) DMA 控制器的功能 能向 CPU 发出系统保持（HOLD）信号，提出总线接管请求 当 CPU 发出允许接管信号后，负责对总线的控制，进入 DMA 方式 能对存储器寻址及能修改地址指针，实现对内存的读写操作 能决定本次 DMA 传送的字节数，判断 DMA 传送是否结束 发出 DMA 结束信号，使 CPU 恢复正常工作状态
2) DMA 信号 DREQ：DMA 请求信号。是外设向 DMA 控制器提出要求，DMA 操作的申请信号 DACK：DMA 响应信号。是 DMA 控制器向提出 DMA 请求的外设表示已收到请求和正进行处理的信号 HRQ：DMA 控制器向 CPU 发出的信号，要求接管总线的请求信号。 HLDA：CPU 向 DMA 控制器发出的信号，允许接管总线的应答信号：
四、 内存使用场景 out of memory 的时代过去了吗？no，内存再充足也不可任性使用。 1、内存的使用场景 2、用户态内存分配函数 3、内核态内存分配函数
函数分配原理最大内存其他_get_free_pages直接对页框进行操作4MB适用于分配较大量的连续物理内存kmem_cache_alloc基于 slab 机制实现128KB适合需要频繁申请释放相同大小内存块时使用kmalloc基于 kmem_cache_alloc 实现128KB最常见的分配方式，需要小于页框大小的内存时可以使用vmalloc建立非连续物理内存到虚拟地址的映射物理不连续，适合需要大内存，但是对地址连续性没有要求的场合dma_alloc_coherent基于_alloc_pages 实现4MB适用于 DMA 操作ioremap实现已知物理地址到虚拟地址的映射适用于物理地址已知的场合，如设备驱动alloc_bootmem在启动 kernel 时，预留一段内存，内核看不见小于物理内存大小，内存管理要求较高
4、malloc 申请内存
5、缺页异常 通过 get_free_pages 申请一个或多个物理页面 换算 addr 在进程 pdg 映射中所在的 pte 地址 将 addr 对应的 pte 设置为物理页面的首地址 系统调用：Brk—申请内存小于等于 128kb，do_map—申请内存大于 128kb
6、用户进程访问内存分析 用户态进程独占虚拟地址空间，两个进程的虚拟地址可相同 在访问用户态虚拟地址空间时，如果没有映射物理地址，通过系统调用发出缺页异常 缺页异常陷入内核，分配物理地址空间，与用户态虚拟地址建立映射
7、共享内存 1) 原理 2) Shm 接口 五、 内存使用那些坑1、C 内存泄露 在类的构造函数和析构函数中没有匹配地调用 new 和 delete 函数 没有正确地清除嵌套的对象指针 没有将基类的析构函数定义为虚函数 当基类的指针指向子类对象时，如果基类的析构函数不是 virtual，那么子类的析构函数将不会被调用，子类的资源没有得到正确释放，因此造成内存泄露 缺少拷贝构造函数，按值传递会调用（拷贝）构造函数，引用传递不会调用 指向对象的指针数组不等同于对象数组，数组中存放的是指向对象的指针，不仅要释放每个对象的空间，还要释放每个指针的空间 缺少重载赋值运算符，也是逐个成员拷贝的方式复制对象，如果这个类的大小是可变的，那么结果就是造成内存泄露
2、C 野指针 指针变量没有初始化 指针被 free 或 delete 后，没有设置为 NULL 指针操作超越了变量的作用范围，比如返回指向栈内存的指针就是野指针 访问空指针（需要做空判断） sizeof 无法获取数组的大小 试图修改常量，如：char p='1234';p=\'1\';
3、C 资源访问冲突 多线程共享变量没有用 valotile 修饰 多线程访问全局变量未加锁 全局变量仅对单进程有效 多进程写共享内存数据，未做同步处理 mmap 内存映射，多进程不安全
4、STL 迭代器失效 错误示例：删除当前迭代器，迭代器会失效 正确示例：迭代器 erase 时，需保存下一个迭代器 5、C++ 11 智能指针 6、C++ 11 更小更快更安全 forward_list 是单链表（std::list 是双链表），只需要顺序遍历的场合，forward_list 能更加节省内存，插入和删除的性能高于 list 查询进程 cpu 和内存使用占比：top 虚拟内存统计：vmstat
To free pagecache, use echo 1 > /proc/sys/vm/drop_caches To free dentries and inodes, use echo 2 > /proc/sys/vm/drop_caches To free pagecache, dentries and inodes, use echo 3 >/proc/sys/vm/drop_caches
| 
微信公众号
手机版
非常好的资料，对初学者很有帮助；
希望楼主多多分享，赠人玫瑰，手有余香，念念不忘，必有回响;.