如何限制Linux内存的使用

本文问题

1. 有哪几种方法可以限制内存的使用？
2. Linux如何回收内存？
3. 如何控制swap的使用？
4. 如何使用limits限制资源使用？

常用命令

# 查看内存使用情况
free -m
# 查看内存使用限制
grep memlock /etc/security/limits.conf
# 查看SWAP使用积极度
cat /proc/sys/vm/swapiness
# 查看内存回收阈值
grep -A 3 'pages free' /proc/zoneinfo
# 查看内核分配策略
cat /proc/sys/vm/overcommit_memory
# 在分配策略为2的情况下查看可分配内存
grep Com /proc/meminfo

SWAP

swap是一块磁盘空间或者一个本地文件

​​/proc/sys/vm/swappiness​​可以设置服务器使用​​swap​​的积极程度。取值范围为0-100，值越大，越积极使用swap，更倾向于回收匿名页;值越小，越消极使用swap，更倾向于回收文件页。

即使swap设置为0，当剩余内存+文件页小于页高阈值（​​pages_high​​）的时候，也会发生swap

延展

文件页和匿名页

• 文件页
  缓存，缓冲区，通过内存映射获取的文件映射页
  其中被应用程序修改过，暂时还没写入磁盘的数据被称之为脏页，不能直接回收，需要先写入磁盘，才能进行内存释放。非脏页可以直接回收
• 匿名页
  应用程序动态分配的堆空间，不能直接回收，可以暂存到磁盘（​​swap​​）

页阈值和Linux如何回收内存

Linux有专门的内核线程​​kswapd0​​定期回收内存，为了衡量内存的使用情况，​​kswapd0​​定义了三个内存阈值：页最小阈值​​pages_min​​、页低阈值​​pages_low​​和页高阈值​​pages_high​​，剩余内存使用​​pages_free​​表示。

​​kswapd0​​定期扫描内存的使用情况，并根据剩余内存和这三个阈值的关系进行内存回收操作。

​​pages_free​​<​​pages_min​​：进程可用内存耗尽，只有内核才可以分配内存

​​pages_min​​<​​pages_free​​<​​pages_low​​：内存压力较大，​​kswapd0​​会执行内存回收，直到剩余内存大于高阈值为止

​​pages_low​​<​​pages_free​​<​​pages_high​​：内存有一定压力，但还可以满足新内存请求

​​pages_free​​>​​pages_high​​：剩余内存较多，没有内存压力。

这些阈值可以通过内核选项来​​proc/sys/vm/min_free_kbytes​​间接设置。​​min_free_kbytes​​设置了页最小阈值（​​pages_min​​）。​​pages_low=pages_min*5/4​​,​​pages_high=pages_min*3/2​​

limits

​​/etc/security/limits.conf​​

通过这个配置文件可以对每个登录的会话进行限制，这种限制不是全局的，也不是永久的，只在会话期间起作用。

通常，对单个用户的限制优先级高于对用户组的限制

可以使用以下方式限制内存使用

@mysql  hard    memlock 63963136
@mysql  soft    memlock 63963136

详细说明

语法

​​<domain> <type> <item> <value>​​

domain

• ​​*​​
• ​​username​​
• ​​@groupname​​
• ​​min_uid:max_uid​​
• ​​@min_gid:max_@gid​​

type

• ​​hard​​ 硬限制，强制不能超过该限制
• ​​soft​​ 软限制，可以超过该限制
• ​​-​​​ 等同于​​hard + soft​​

item

详见 ​​limits.conf(5) - Linux man page​​

• ​​memlock​​​ 最大内存（​​KB​​）
• ​​nproc​​ 最大进程数
• ​​nofile​​ 最大打开文件数

value

• ​​-1​​ 表示无限制或无穷
• 其他数值表示实际的限制值

内核参数

内存分配策略

​​/proc/sys/vm/overcommit_memory​​ 控制内核使用虚拟内存的模式，可以设置为以下值

• 0
  默认值，内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返回给应用进程。
• 1
  不进行检查，只要有申请就允许分配内存。
• 2
  总是检查内存使用情况，不允许过度分配内存
  允许系统使用的虚拟内存地址空间限制为​​(SS + RAM*(r/100))​​,​​SS​​是​​swap​​的大小，​​RAM​​是物理内存的大小，​​r​​是​​/proc/sys/vm/overcommit_ratio​​的值

问题答案

1. 有哪几种方法可以限制内存的使用？
   2种方法，通过​​/etc/security/limits.conf​​文件限制用户或者用户组的内存组的内存使用限制，通过​​/proc/sys/vm/overcommit_memory​​和​​/proc/sys/vm/overcommit_ratio​​可以限制系统总的内存使用情况。此外通过​​/proc/sys/vm/swappiness​​还可以设置系统是否积极使用swap
2. Linux如何回收内存？
   Linux使用​​kswapd0​​内核线程定期检查内存的使用情况，当剩余内存小于页低阈值时对内存进行回收。页低阈值可以通过​​grep -A 3 'pages free' /proc/zoneinfo​​进行查看，可以通过​​/proc/sys/vm/min_free_kbytes​​进行间接设置：​​pages_low=pages_min*5/4​​
3. 如何控制swap的使用？
   ​​/proc/sys/vm/swappiness​​设置了系统使用swap的积极程度，值为0-100。注意该值不代表使用内存的百分比，并且即使值为0，也可能会使用swap。
4. 如何使用limits限制资源使用？
   通过​​/etc/security/limits.conf​​文件为每个会话设置资源限制
   格式：
   ​​username/@groupname​​ ​​soft/hard/-​​ ​​name​​ ​​value​​ 示例：

*               soft    core            0
*               hard    nofile          512
@student        hard    nproc           20
@faculty        soft    nproc           20
@faculty        hard    nproc           50
ftp             hard    nproc           0
@student        -       maxlogins       4
:123            hard    cpu             5000
@500:           soft    cpu             10000
600:700         hard    locks           10