内存管理：一文读懂Linux内存组织结构及页面布局

1、内存是什么？

1) 内存又称主存，是 CPU 能直接寻址的存储空间，由半导体器件制成；

2) 内存的特点是存取速率快，断电一般不保存数据，非持久化设备；

2、内存的作用

1) 暂时存放 cpu 的运算数据

2) 硬盘等外部存储器交换的数据

3) 保障 cpu 计算机的稳定性和高性能

1、linux 内存地址空间 Linux 内存管理全貌

2、内存地址——用户态&内核态

3、内存地址——MMU 地址转换

4、内存地址——分段机制

1) 段选择符

更多Linux内核视频教程文档资料免费领取后台私信【 内核 】自行获取。

内核学习网站：

Linux内核源码/内存调优/文件系统/进程管理/设备驱动/网络协议栈-学习视频教程-腾讯课堂

2) 分段实现

5、内存地址——分页机制（32 位）

6、用户态地址空间

7、内核态地址空间

8、进程内存空间

内存管理算法 ——对讨厌自己管理内存的人来说是天赐的礼物

1、内存碎片

1) 基本原理

2) 如何避免内存碎片

2、伙伴系统算法——组织结构

1) 概念

2) 外部碎片

3、伙伴系统算法——申请和回收

1) 申请算法

2) 回收算法

3) 条件

4、如何分配 4M 以上内存？

1) 为何限制大块内存分配

2) 内核中获取 4M 以上大内存的方法

5、伙伴系统——反碎片机制

1) 不可移动页

2) 可回收页

6、slab 算法——基本原理

1) 基本概念

2) 内部碎片

7、slab 分配器的结构

详细参考：

经典|图解Linux内存性能优化核心思想

8、slab 高速缓存

1) 普通高速缓存

2) 专用高速缓存

9、内核态内存池

1) 基本原理

2) 内核 API

10、用户态内存池

1) C++ 实例

11、DMA 内存

1) 什么是 DMA

2) DMA 信号

out of memory 的时代过去了吗？no，内存再充足也不可任性使用。

1、内存的使用场景

2、用户态内存分配函数

a) 如果当前连续内存块足够 realloc 的话，只是将 p 所指向的空间扩大，并返回 p 的指针地址。这个时候 q 和 p 指向的地址是一样的

b) 如果当前连续内存块不够长度，再找一个足够长的地方，分配一块新的内存，q，并将 p 指向的内容 copy 到 q，返回 q。并将 p 所指向的内存空间删除

3、内核态内存分配函数

4、malloc 申请内存

5、缺页异常

6、用户进程访问内存分析

7、共享内存

1) 原理

2) shm 接口

1、C 内存泄露

2、C 野指针

3、C 资源访问冲突

4、STL 迭代器失效

错误示例：删除当前迭代器，迭代器会失效

正确示例：迭代器 erase 时，需保存下一个迭代器

5、C++ 11 智能指针

（1）原理分析：

（2）数据结构：

（3）使用方法：

6、C++ 11 更小更快更安全

六、 如何查看内存

可以通过 cat /proc/slabinfo 命令查看

可以通过 /proc/sys/vm/drop_caches来释放

内存是Linux内核所管理的最重要的资源之一。内存管理系统是 *** 作系统中最为重要的部分，因为系统的物理内存总是少于系统所需要的内存数量。虚拟内存就是为了克服这个矛盾而采用的策略。系统的虚拟内存通过在各个进程之间共享内存而使系统看起来有多于实际内存的内存容量。Linux支持虚拟内存, 就是使用磁盘作为RAM的扩展，使可用内存相应地有效扩大。核心把当前不用的内存块存到硬盘，腾出内存给其他目的。当原来的内容又要使用时，再读回内存。以下就是我为大家整理到的详细LINUX系统内存管理的知识，欢迎大家阅读!!!

LINUX系统教程：内存管理的知识详解

一、内存使用情况监测

(1)实时监控内存使用情况

在命令行使用“Free”命令可以监控内存使用情况

代码如下:

#free

total used free shared buffers cached

Mem: 256024 192284 63740 0 10676 101004

-/+ buffers/cache: 80604 175420

Swap: 522072 0 522072

上面给出了一个256兆的RAM和512兆交换空间的系统情况。第三行输出(Mem:)显示物理内存。total列不显示核心使用的物理内存(通常大约1MB)。used列显示被使用的内存总额(第二行不计缓冲)。 free列显示全部没使用的内存。Shared列显示多个进程共享的内存总额。Buffers列显示磁盘缓存的当前大小。第五行(Swap:)对对换空间，显示的信息类似上面。如果这行为全0，那么没使用对换空间。在缺省的状态下，free命令以千字节(也就是1024字节为单位)来显示内存使用情况。可以使用—h参数以字节为单位显示内存使用情况，或者可以使用—m参数以兆字节为单位显示内存使用情况。还可以通过—s参数使用命令来不间断地监视内存使用情况：

#free –b –s2

这个命令将会在终端窗口中连续不断地报告内存的使用情况，每2秒钟更新一次。

(2)组合watch与 free命令用来实时监控内存使用情况：

代码如下:

#watch -n 2 -d free

Every 2.0s: free Fri Jul 6 06:06:12 2007

total used free shared buffers cached

Mem: 233356 218616 14740 0 5560 64784

-/+ buffers/cache: 148272 85084

Swap: 622584 6656 615928

watch命令会每两秒执行 free一次，执行前会清除屏幕，在同样位置显示数据。因为 watch命令不会卷动屏幕，所以适合出长时间的监测内存使用率。可以使用 -n选项，控制执行的频率也可以利用 -d选项，让命令将每次不同的地方显示出来。Watch命令会一直执行，直到您按下 [Ctrl]-[C] 为止。

二、虚拟内存的概念

(1)Linux虚拟内存实现机制

Linux虚拟内存的实现需要六种机制的支持：地址映射机制、内存分配回收机制、缓存和刷新机制、请求页机制、交换机制、内存共享机制。

首先内存管理程序通过映射机制把用户程序的逻辑地址映射到物理地址，在用户程序运行时如果发现程序中要用的虚地址没有对应的物理内存时，就发出了请求页要求如果有空闲的内存可供分配，就请求分配内存(于是用到了内存的分配和回收)，并把正在使用的物理页记录在缓存中(使用了缓存机制)。 如果没有足够的内存可供分配，那么就调用交换机制，腾出一部分内存。另外在地址映射中要通过TLB(翻译后援存储器)来寻找物理页交换机制中也要用到交换缓存，并且把物理页内容交换到交换文件中后也要修改页表来映射文件地址。

(2)虚拟内存容量设定

也许有人告诉你，应该分配2倍于物理内存的虚拟内存，但这是个不固定的规律。如果你的物理保存比较小，可以这样设定。如果你有1G物理内存或更多的话，可以缩小一下虚拟内存。Linux会把大量的内存用做Cache的,但在资源紧张时回收回.。你只要看到swap为0或者很小就可以放心了,因为内存放着不用才是最大的浪费。

三、使甩vmstat命令监视虚拟内存使用情况

vmstat是Virtual Meomory Statistics(虚拟内存统计)的缩写，可对 *** 作系统的虚拟内存、进程、CPU活动进行监视。它是对系统的整体情况进行统计，不足之处是无法对某个进程进行深入分析。通常使用vmstat 5 5(表示在5秒时间内进行5次采样)命令测试。将得到一个数据汇总它可以反映真正的系统情况。

代码如下:

#vmstat 5 5

procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----

r b swpd free buff cache si so bi bo in cs us sy id wa

1 0 62792 3460 9116 88092 6 30 189 89 1061 569 17 28 54 2

0 0 62792 3400 9124 88092 0 0 0 14 884 434 4 14 81 0

0 0 62792 3400 9132 88092 0 0 0 14 877 424 4 15 81 0

1 0 62792 3400 9140 88092 0 0 0 14 868 418 6 20 74 0

1 0 62792 3400 9148 88092 0 0 0 15 847 400 9 25 67 0

vmstat命令输出分成六个部分：

(1)进程procs：

r：在运行队列中等待的进程数 。

b：在等待io的进程数 。

(2)内存memoy：

swpd：现时可用的交换内存(单位KB)。

free：空闲的内存(单位KB)。

buff: 缓冲去中的内存数(单位：KB)。

cache：被用来做为高速缓存的内存数(单位：KB)。

(3) swap交换页面

si: 从磁盘交换到内存的交换页数量，单位：KB/秒。

so: 从内存交换到磁盘的交换页数量，单位：KB/秒。

(4) io块设备:

bi: 发送到块设备的块数，单位：块/秒。

bo: 从块设备接收到的块数，单位：块/秒。

(5)system系统：

in: 每秒的中断数，包括时钟中断。

cs: 每秒的环境(上下文)切换次数。

(6)cpu中央处理器：

cs：用户进程使用的时间 。以百分比表示。

sy：系统进程使用的时间。 以百分比表示。

id：中央处理器的空闲时间 。以百分比表示。

如果 r经常大于 4 ，且id经常小于40，表示中央处理器的负荷很重。 如果bi，bo 长期不等于0，表示物理内存容量太小。

四、Linux 服务器的内存泄露和回收内存的方法

1、内存泄漏的定义：

一般我们常说的内存泄漏是指堆内存的泄漏。堆内存是指程序从堆中分配的，大小任意的(内存块的大小可以在程序运行期决定)，使用完后必须显示释放的内存。应用程序一般使用malloc，realloc，new等函数从堆中分配到一块内存，使用完后，程序必须负责相应的调用free或释放该内存块，否则，这块内存就不能被再次使用，我们就说这块内存泄漏了。

2、内存泄露的危害

从用户使用程序的角度来看，内存泄漏本身不会产生什么危害，作为一般的用户，根本感觉不到内存泄漏的存在。真正有危害的`是内存泄漏的堆积，这会最终消耗尽系统所有的内存。从这个角度来说，一次性内存泄漏并没有什么危害，因为它不会堆积，而隐式内存泄漏危害性则非常大，因为较之于常发性和偶发性内存泄漏它更难被检测到。存在内存泄漏问题的程序除了会占用更多的内存外，还会使程序的性能急剧下降。对于服务器而言，如果出现这种情况，即使系统不崩溃，也会严重影响使用。

3、内存泄露的检测和回收

对于内存溢出之类的麻烦可能大家在编写指针比较多的复杂的程序的时候就会遇到。在 Linux 或者 unix 下，C、C++语言是最使用工具。但是我们的 C++ 程序缺乏相应的手段来检测内存信息，而只能使用 top 指令观察进程的动态内存总额。而且程序退出时，我们无法获知任何内存泄漏信息。

使用kill命令

使用Linux命令回收内存，我们可以使用Ps、Kill两个命令检测内存使用情况和进行回收。在使用超级用户权限时使用命令“Ps”，它会列出所有正在运行的程序名称，和对应的进程号(PID)。Kill命令的工作原理是：向Linux *** 作系统的内核送出一个系统 *** 作信号和程序的进程号(PID)。

应用例子：

为了高效率回收内存可以使用命令ps 参数v：

代码如下:

[root@www ~]# ps v

PID TTY STAT TIME MAJFL TRS DRS RSS %MEM COMMAND

2542 tty1 Ss+ 0:00 0 8 1627 428 0.1 /sbin/mingetty tty1

2543 tty2 Ss+ 0:00 0 8 1631 428 0.1 /sbin/mingetty tty2

2547 tty3 Ss+ 0:00 0 8 1631 432 0.1 /sbin/mingetty tty3

2548 tty4 Ss+ 0:00 0 8 1627 428 0.1 /sbin/mingetty tty4

2574 tty5 Ss+ 0:00 0 8 1631 432 0.1 /sbin/mingetty tty5

2587 tty6 Ss+ 0:00 0 8 1627 424 0.1 /sbin/mingetty tty6

2657 tty7 Ss+ 1:18 12 1710 29981 7040 3.0 /usr/bin/Xorg :0 -br -a

2670 pts/2 Ss 0:01 2 682 6213 1496 0.6 -bash

3008 pts/4 Ss 0:00 2 682 6221 1472 0.6 /bin/bash

3029 pts/4 S+ 0:00 2 32 1783 548 0.2 ping 192.168.1.12

3030 pts/2 R+ 0:00 2 73 5134 768 0.3 ps v

然后如果想回收Ping命令的内存的话，使用命令：

代码如下:

# Kill -9 3029

使用工具软件

Memprof是一个非常具有吸引力且非常易于使用的软件，它由Red Hat的Owen Talyor创立。这个工具是用于GNOME前端的Boehm-Demers-Weiser垃圾回收器。这个工具直接就可以执行，并且其工作起来无需对源代码进行任何修改。在程序执行时，这个工具会以图形化的方式显示内存的使用情况。

相关介绍：Linux

严格来讲，Linux这个词本身只表示Linux内核，但人们已经习惯了用Linux来形容整个基于Linux内核，并且使用GNU 工程各种工具和数据库的 *** 作系统。

Linux拥有以下特性：类似于Unix的基本思想，支持完全免费与自由传播，完全兼容POSIX1.0标准，支持多用户、多任务、有着良好的界面、支持多种平台。Linux 能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络 *** 作系统。

Linux有着许多不同的版本，但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中，比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。

Linux是什么?

1991年，芬兰赫而辛基的学生LinusTorvalds为了自己使用与学习的需要，他开发了类似Unix且运行在80386平台上运行的 *** 作系统，命名为Linux。为了使每个需要它的人都能够容易的得到它，LinusTorvalds把它变成了"自由"软件。

感谢Internet的飞速发展使得全世界的程序开发员有了一种全新的有效沟通方法。还要感谢在数年之前由RichardStallman主持的GNU项目。Linux在几年后变成了一个完整的 *** 作系统。它的能量得到了释放，变得非常可靠，并且每天都会有新的改进加入进去。

为了使Linux变得容易使用，Linux也有了许多发布版本，发布版实际上就是一整套完整的程序组合。现在已经有许多不同的Linux发行版和各自的版本号，为了不产生混淆，我们先解释一些常提到的术语。

当我们提到Linux时，一般是指"RealLinux"，即内核，是所有UNIX *** 作系统的“心脏”。但光有linux并不能成为一个可用的 *** 作系统。还需要许多软件包，编译器，程序库文件，Xwindow系统等等。因为组合方式不同，面向用户对象不同，所以这就是为什么有许多不同的Linux发行版的原因。

Linux的特点

Linux *** 作系统在短短的几年之内得到了非常迅猛的发展，这与Linux具有的良好特性是分不开的。Linux包含了Unix的全部功能和特性。简单的说，Linux具有以下主要特性：

1.开放性

开放性是指系统遵循世界标准规范，特别是遵循开放系统互连（OSI）国际标准。凡遵循国际标准所开发的硬件和软件，都能彼此兼容，可方便地实现互连。

2.多用户

多用户是指系统资源可以被不同用户各自拥有使用，即每个用户对自己的资源（例如：文件、设备）有特定的权限，互不影响。Linux和Unix都具有多用户的特性。

3.多任务

多任务是现代计算机的最主要的一个特点。它是指计算机同时执行多个程序，而且各个程序的运行互相独立。Linux系统调度每一个进程，平等地访问微处理器。由于CPU的处理速度非常快，其结果是，启动的应用程序看起来好像在并行运行。事实上，从处理器执行一个应用程序中的一组指令到Linux调度微处理器再次运行这个程序之间只有很短的时间延迟，用户是感觉不出来的。

4.良好的用户界面

Linux向用户提供了两种界面：用户界面和系统调用。Linux的传统用户界面是基于文本的命令行界面，即shell，它既可以联机使用，又可存在文件上脱机使用。shell有很强的程序设计能力，用户可方便地用它编制程序，从而为用户扩充系统功能提供了更高级的手段。可编程Shell是指将多条命令组合在一起，形成一个 Shell程序，这个程序可以单独运行，也可以与其他程序同时运行。

系统调用给用户提供编程时使用的界面。用户可以在编程时直接使用系统提供的系统调用命令。系统通过这个界面为用户程序提供低级、高效率的服务。Linux还为用户提供了图形用户界面。它利用鼠标、菜单、窗口、滚动条等设施，给用户呈现一个直观、易 *** 作、交互性强的友好的图形化界面。

5.设备独立性

设备独立性是指 *** 作系统把所有外部设备统一当作成文件来看待，只要安装它们的驱动程序，任何用户都可以象使用文件一样， *** 纵、使用这些设备，而不必知道它们的具体存在形式。

具有设备独立性的 *** 作系统，通过把每一个外围设备看作一个独立文件来简化增加新设备的工作。当需要增加新设备时、系统管理员就在内核中增加必要的连接。这种连接（也称作设备驱动程序）保证每次调用设备提供服务时，内核以相同的方式来处理它们。当新的及更好的外设被开发并交付给用户时， *** 作允许在这些设备连接到内核后，就能不受限制地立即访问它们。设备独立性的关键在于内核的适应能力。其他 *** 作系统只允许一定数量或一定种类的外部设备连接。而设备独立性的 *** 作系统能够容纳任意种类及任意数量的设备，因为每一个设备都是通过其与内核的专用连接独立进行访问。

Linux是具有设备独立性的 *** 作系统，它的内核具有高度适应能力，随着更多的程序员加入Linux编程，会有更多硬件设备加入到各种Linux内核和发行版本中。另外，由于用户可以免费得到Linux的内核源代码，因此，用户可以修改内核源代码，以便适应新增加的外部设备。

6.提供了丰富的网络功能

完善的内置网络是Linux的一大特点。Linux在通信和网络功能方面优于其他 *** 作系统。其他 *** 作系统不包含如此紧密地和内核结合在一起的连接网络的能力，也没有内置这些联网特性的灵活性。而Linux为用户提供了完善的、强大的网络功能。

支持Internet是其网络功能之一。Linux免费提供了大量支持Internet的软件，Internet是在Unix领域中建立并繁荣起来的，在这方面使用Linux是相当方便的，用户能用Linux与世界上的其他人通过Internet网络进行通信。

文件传输是其网络功能之二。用户能通过一些Linux命令完成内部信息或文件的传输。

远程访问是其网络功能之三。Linux不仅允许进行文件和程序的传输，它还为系统管理员和技术人员提供了访问其他系统的窗口。通过这种远程访问的功能，一位技术人员能够有效地为多个系统服务，即使那些系统位于相距很远的地方。

7.可靠的系统安全

Linux采取了许多安全技术措施，包括对读、写进行权限控制、带保护的子系统、审计跟踪、核心授权等，这为网络多用户环境中的用户提供了必要的安全保障。

8.良好的可移植性

可移植性是指将 *** 作系统从一个平台转移到另一个平台使它仍然能按其自身的方式运行的能力。

Linux是一种可移植的 *** 作系统，能够在从微型计算机到大型计算机的任何环境中和任何平台上运行。可移植性为运行Linux的不同计算机平台与其他任何机器进行准确而有效的通信提供了手段，不需要另外增加特殊的和昂贵的通信接口。

我们为什么要用Linux?

Linux是"免费"的,上面又有那么多"免费"的软件,为什么不用?

Windows实在太不稳定了,受不了,换个平台吧。

想学习UNIX，可是钱包里的钞票不多,先从Linux开始吧。

想学习 *** 作系统,哪里有开放源代码的OS?而且还要很活跃,有前途的。

基于Linux的并行计算，不但费用低廉，而且功能强大，有潜力,重要的是有源代码。

想成为一名Hacker(当然是网侠一类),Linux当然是最好的工具之一。

Linux潜在的商业价值不可限量,性能相当地好,稳定性也很好,用其替换商业 *** 作系统真是明智的选择。

Oracle,Infomix,Sysbase,IBM都支持Linux了,用其作数据库平台挺不错。烦了一次又一次去买许可证(奸商经常设这样的陷阱),Linux遵循公共版权许可证(GPL)正合我意。

Linux太适合Internet/Intranet,本身就是通过网络来协同开发的,网络时代为什么不用Linux?

采用Linux可以极大的降低拥有者总成本(TCO)。等待商业 *** 作系统补丁的耐心是有限度的,更受不了总被商家牵着鼻子走,开放源代码的Linux至少可以使用户有一定的控制权。开放源代码使用户可以按照自己的需要添加或删除某些功能,用户可定制性,真是太好了!

利用开放源代码的Linux还可以开发路由器,嵌入式系统,网络计算机,个人数字助理等等,GNU真是巨大的知识宝库,何乐而不用

---