Android Low Memory Killer原理分析

Android 的设计理念之一,便是应用程序退出,但进程还会继续存在系统以便再次启动时提高响应时间. 这样的设计会带来一个问题, 每个进程都有自己独立的内存地址空间,随着应用打开数量的增多,系统已使用的内存越来越大,就很有可能导致系统内存不足, 那么需要一个能管理所有进程,根据一定策略来释放进程的策略,这便有了lmk,全称为LowMemoryKiller(低内存杀手),lmkd来决定什么 时间杀掉什么进程.

Android基于Linux的系统,其实Linux有类似的内存管理策略——OOM killer,全称(Out Of Memory Killer), OOM的策略更多的是用于分配内存不足时触发,将得分最高的进程杀掉。而lmk则会每隔一段时间检查一次,当系统剩余可用内存较低时,便会触发杀进程的策 略,根据不同的剩余内存档位来来选择杀不同优先级的进程,而不是等到OOM时再来杀进程,真正OOM时系统可能已经处于异常状态,系统更希望的是未雨绸 缪,在内存很低时来杀掉一些优先级较低的进程来保障后续操作的顺利进行。

二. framework层

位于ProcessList.java中定义了3种命令类型,这些文件的定义必须跟lmkd.c定义完全一致,格式分别如下:

LMK_TARGET...(upto6pairs)

LMK_PROCPRIO

LMK_PROCREMOVE

功能

命令

对应方法

触发时机

更新oom_adjLMK_TARGETupdateOomLevelsAMS.updateConfiguration

设置进程adjLMK_PROCPRIOsetOomAdjAMS.applyOomAdjLocked

移除进程LMK_PROCREMOVEremoveAMS.handleAppDiedLocked/cleanUpApplicationRecordLocked

在前面文章Android进程调度之adj算法中有讲到AMS.applyOomAdjLocked,接下来以这个过程为主线开始分析。

2.1 AMS.applyOomAdjLocked

privatefinalbooleanapplyOomAdjLocked(ProcessRecordapp,booleandoingAll,longnow,

longnowElapsed){

...

if(app.curAdj!=app.setAdj){

//【见小节2.2】

ProcessList.setOomAdj(app.pid,app.info.uid,app.curAdj);

app.setAdj=app.curAdj;

}

...

}

2.2 PL.setOomAdj

publicstaticfinalvoidsetOomAdj(intpid,intuid,intamt){

//当adj=16,则直接返回

if(amt==UNKNOWN_ADJ)

return;

longstart=SystemClock.elapsedRealtime();

ByteBufferbuf=ByteBuffer.allocate(4*4);

buf.putInt(LMK_PROCPRIO);

buf.putInt(pid);

buf.putInt(uid);

buf.putInt(amt);

//将16Byte字节写入socket【见小节2.3】

writeLmkd(buf);

longnow=SystemClock.elapsedRealtime();

if((now-start)>250){

Slog.w("ActivityManager","SLOW OOM ADJ: "+(now-start)+"ms for pid "+pid

+" = "+amt);

}

}

buf大小为16个字节,依次写入LMK_PROCPRIO(命令类型), pid(进程pid), uid(进程uid), amt(目标adj),将这些字节通过socket发送给lmkd.

2.3 PL.writeLmkd

privatestaticvoidwriteLmkd(ByteBufferbuf){

//当socket打开失败会尝试3次

for(inti=0;i<3;i++){

if(sLmkdSocket==null){

//打开socket 【见小节2.4】

if(openLmkdSocket()==false){

try{

Thread.sleep(1000);

}catch(InterruptedExceptionie){

}

continue;

}

}

try{

//将buf信息写入lmkd socket

sLmkdOutputStream.write(buf.array(),0,buf.position());

return;

}catch(IOExceptionex){

try{

sLmkdSocket.close();

}catch(IOExceptionex2){

}

sLmkdSocket=null;

}

}

}

当sLmkdSocket为空,并且打开失败,重新执行该操作;

当sLmkdOutputStream写入buf信息失败,则会关闭sLmkdSocket,重新执行该操作;

这个重新执行操作最多3次,如果3次后还失败,则writeLmkd操作会直接结束。尝试3次,则不管结果如何都将退出该操作,可见writeLmkd写入操作还有可能失败的。

2.4 PL.openLmkdSocket

privatestaticbooleanopenLmkdSocket(){

try{

sLmkdSocket=newLocalSocket(LocalSocket.SOCKET_SEQPACKET);

//与远程lmkd守护进程建立socket连接

sLmkdSocket.connect(

newLocalSocketAddress("lmkd",

LocalSocketAddress.Namespace.RESERVED));

sLmkdOutputStream=sLmkdSocket.getOutputStream();

}catch(IOExceptionex){

Slog.w(TAG,"lowmemorykiller daemon socket open failed");

sLmkdSocket=null;

returnfalse;

}

returntrue;

}

sLmkdSocket 采用的是SOCK_SEQPACKET,这是类型的socket能提供顺序确定的,可靠的,双向基于连接的socket endpoint,与类型SOCK_STREAM很相似,唯一不同的是SEQPACKET保留消息的边界,而SOCK_STREAM是基于字节流,并不会 记录边界。

举例:本地通过write()系统调用向远程先后发送两组数据:一组4字节,一组8字节;对于 SOCK_SEQPACKET类型通过read()能获知这是两组数据以及大小,而对于SOCK_STREAM类型,通过read()一次性读取到12个 字节,并不知道数据包的边界情况。

常见的数据类型还有SOCK_DGRAM,提供数据报形式,用于udp这样不可靠的通信过程。

再 回到openLmkdSocket()方法,该方法是打开一个名为lmkd的socket,类型为 LocalSocket.SOCKET_SEQPACKET,这只是一个封装,真实类型就是SOCK_SEQPACKET。先跟远程lmkd守护进程建立 连接,再向其通过write()将数据写入该socket,再接下来进入lmkd过程。

三. lmkd

lmkd是由init进程,通过解析init.rc文件来启动的lmkd守护进程,lmkd会创建名为lmkd的socket,节点位于/dev/socket/lmkd,该socket用于跟上层framework交互。

servicelmkd/system/bin/lmkd

classcore

critical

socket lmkdseqpacket0660system system

writepid/dev/cpuset/system-background/tasks

lmkd启动后,接下里的操作都在platform/system/core/lmkd/lmkd.c文件,首先进入main()方法

3.1 main

intmain(intargc__unused,char**argv__unused){

structsched_paramparam={

.sched_priority=1,

};

mlockall(MCL_FUTURE);

sched_setscheduler(0,SCHED_FIFO,¶m);

//初始化【见小节3.2】

if(!init())

mainloop();//成功后进入loop [见小节3.3]

ALOGI("exiting");

return0;

}

3.2 init

staticintinit(void){

structepoll_eventepev;

inti;

intret;

page_k=sysconf(_SC_PAGESIZE);

if(page_k== -1)

page_k=PAGE_SIZE;

page_k/=1024;

//创建epoll监听文件句柄

epollfd=epoll_create(MAX_EPOLL_EVENTS);

//获取lmkd控制描述符

ctrl_lfd=android_get_control_socket("lmkd");

//监听lmkd socket

ret=listen(ctrl_lfd,1);

epev.events=EPOLLIN;

epev.data.ptr=(void*)ctrl_connect_handler;

//将文件句柄ctrl_lfd,加入epoll句柄

if(epoll_ctl(epollfd,EPOLL_CTL_ADD,ctrl_lfd,&epev)== -1){

return-1;

}

maxevents++;

//该路径是否具有可写的权限

use_inkernel_interface= !access(INKERNEL_MINFREE_PATH,W_OK);

if(use_inkernel_interface){

ALOGI("Using in-kernel low memory killer interface");

}else{

ret=init_mp(MEMPRESSURE_WATCH_LEVEL,(void*)&mp_event);

if(ret)

ALOGE("Kernel does not support memory pressure events or in-kernel low memory killer");

}

for(i=0;i<=ADJTOSLOT(OOM_SCORE_ADJ_MAX);i++){

procadjslot_list[i].next= &procadjslot_list[i];

procadjslot_list[i].prev= &procadjslot_list[i];

}

return0;

}

这 里,通过检验/sys/module/lowmemorykiller/parameters/minfree节点是否具有可写权限来判断是否使用 kernel接口来管理lmk事件。默认该节点是具有系统可写的权限,也就意味着use_inkernel_interface=1.

3.3 mainloop

staticvoidmainloop(void){

while(1){

structepoll_eventevents[maxevents];

intnevents;

inti;

ctrl_dfd_reopened=0;

//等待epollfd上的事件

nevents=epoll_wait(epollfd,events,maxevents,-1);

if(nevents== -1){

if(errno==EINTR)

continue;

continue;

}

for(i=0;i

if(events[i].events&EPOLLERR)

ALOGD("EPOLLERR on event #%d",i);

// 当事件到来,则调用ctrl_connect_handler方法 【见小节3.4】

if(events[i].data.ptr)

(*(void(*)(uint32_t))events[i].data.ptr)(events[i].events);

}

}

}

主循环调用epoll_wait(),等待epollfd上的事件,当接收到中断或者不存在事件,则执行continue操作。当事件到来,则 调用的ctrl_connect_handler方法,该方法是由init()过程中设定的方法。

3.4 ctrl_connect_handler

staticvoidctrl_connect_handler(uint32_t events__unused){

structepoll_eventepev;

if(ctrl_dfd>=0){

ctrl_data_close();

ctrl_dfd_reopened=1;

}

ctrl_dfd=accept(ctrl_lfd,NULL,NULL);

if(ctrl_dfd<0){

ALOGE("lmkd control socket accept failed; errno=%d",errno);

return;

}

ALOGI("ActivityManager connected");

maxevents++;

epev.events=EPOLLIN;

epev.data.ptr=(void*)ctrl_data_handler;

//将ctrl_lfd添加到epollfd

if(epoll_ctl(epollfd,EPOLL_CTL_ADD,ctrl_dfd,&epev)== -1){

ALOGE("epoll_ctl for data connection socket failed; errno=%d",errno);

ctrl_data_close();

return;

}

}

当事件触发,则调用ctrl_data_handler

3.5 ctrl_data_handler

staticvoidctrl_data_handler(uint32_tevents){

if(events&EPOLLHUP){

//ActivityManager 连接已断开

if(!ctrl_dfd_reopened)

ctrl_data_close();

}elseif(events&EPOLLIN){

//[见小节3.6]

ctrl_command_handler();

}

}

3.6 ctrl_command_handler

staticvoidctrl_command_handler(void){

intibuf[CTRL_PACKET_MAX/sizeof(int)];

intlen;

intcmd= -1;

intnargs;

inttargets;

len=ctrl_data_read((char*)ibuf,CTRL_PACKET_MAX);

if(len<=0)

return;

nargs=len/sizeof(int)-1;

if(nargs<0)

gotowronglen;

//将网络字节顺序转换为主机字节顺序

cmd=ntohl(ibuf[0]);

switch(cmd){

caseLMK_TARGET:

targets=nargs/2;

if(nargs&0x1||targets>(int)ARRAY_SIZE(lowmem_adj))

gotowronglen;

cmd_target(targets,&ibuf[1]);

break;

caseLMK_PROCPRIO:

if(nargs!=3)

gotowronglen;

//设置进程adj【见小节3.7】

cmd_procprio(ntohl(ibuf[1]),ntohl(ibuf[2]),ntohl(ibuf[3]));

break;

caseLMK_PROCREMOVE:

if(nargs!=1)

gotowronglen;

cmd_procremove(ntohl(ibuf[1]));

break;

default:

ALOGE("Received unknown command code %d",cmd);

return;

}

return;

wronglen:

ALOGE("Wrong control socket read length cmd=%d len=%d",cmd,len);

}

CTRL_PACKET_MAX 大小等于 (sizeof(int) * (MAX_TARGETS * 2 + 1));而MAX_TARGETS=6,对于sizeof(int)=4的系统,则CTRL_PACKET_MAX=52。 获取framework传递过来的buf数据后,根据3种不同的命令,进入不同的分支。 接下来,继续以前面传递过来的LMK_PROCPRIO命令来往下讲解,进入cmd_procprio过程。

3.7 cmd_procprio

staticvoidcmd_procprio(intpid,intuid,intoomadj){

structproc*procp;

charpath[80];

charval[20];

...

snprintf(path,sizeof(path),"/proc/%d/oom_score_adj",pid);

snprintf(val,sizeof(val),"%d",oomadj);

//向节点/proc//oom_score_adj写入oomadj

writefilestring(path,val);

//当使用kernel方式则直接返回

if(use_inkernel_interface)

return;

procp=pid_lookup(pid);

if(!procp){

procp=malloc(sizeof(structproc));

if(!procp){

// Oh, the irony.  May need to rebuild our state.

return;

}

procp->pid=pid;

procp->uid=uid;

procp->oomadj=oomadj;

proc_insert(procp);

}else{

proc_unslot(procp);

procp->oomadj=oomadj;

proc_slot(procp);

}

}

向节点/proc//oom_score_adj写入oomadj。由于use_inkernel_interface=1,那么再接下里需要看看kernel的情况

3.8 小节

use_inkernel_interface该值后续应该会逐渐采用用户空间策略。不过目前仍为 use_inkernel_interface=1则有:

LMK_PROCPRIO: 向/proc//oom_score_adj写入oomadj,则直接返回;

LMK_PROCREMOVE:不做任何事,直接返回;

LMK_TARGET:分别向/sys/module/lowmemorykiller/parameters目录下的minfree和adj节点写入相应信息;

四. Kernel层

lowmemorykiller driver位于 drivers/staging/Android/lowmemorykiller.c

4.1 lowmemorykiller初始化

staticstructshrinkerlowmem_shrinker={

.scan_objects=lowmem_scan,

.count_objects=lowmem_count,

.seeks=DEFAULT_SEEKS*16

};

staticint__init lowmem_init(void)

{

register_shrinker(&lowmem_shrinker);

return0;

}

staticvoid__exit lowmem_exit(void)

{

unregister_shrinker(&lowmem_shrinker);

}

module_init(lowmem_init);

module_exit(lowmem_exit);

通过register_shrinker和unregister_shrinker分别用于初始化和退出。

4.2 shrinker

LMK驱动通过注册shrinker来实现的,shrinker是linux kernel标准的回收内存page的机制,由内核线程kswapd负责监控。

当 内存不足时kswapd线程会遍历一张shrinker链表,并回调已注册的shrinker函数来回收内存page,kswapd还会周期性唤醒来执行 内存操作。每个zone维护active_list和inactive_list链表,内核根据页面活动状态将page在这两个链表之间移动,最终通过 shrink_slab和shrink_zone来回收内存页,有兴趣想进一步了解linux内存回收机制,可自行研究,这里再回到 LowMemoryKiller的过程分析。

4.3 lowmem_count

staticunsignedlonglowmem_count(structshrinker*s,

structshrink_control*sc)

{

returnglobal_page_state(NR_ACTIVE_ANON)+

global_page_state(NR_ACTIVE_FILE)+

global_page_state(NR_INACTIVE_ANON)+

global_page_state(NR_INACTIVE_FILE);

}

ANON代表匿名映射,没有后备存储器;FILE代表文件映射; 内存计算公式= 活动匿名内存 + 活动文件内存 + 不活动匿名内存 + 不活动文件内存

4.4 lowmem_scan

当触发lmkd,则先杀oom_adj最大的进程, 当oom_adj相等时,则选择oom_score_adj最大的进程.

staticunsignedlonglowmem_scan(structshrinker*s,structshrink_control*sc)

{

structtask_struct*tsk;

structtask_struct*selected=NULL;

unsignedlongrem=0;

inttasksize;

inti;

shortmin_score_adj=OOM_SCORE_ADJ_MAX+1;

intminfree=0;

intselected_tasksize=0;

shortselected_oom_score_adj;

intarray_size=ARRAY_SIZE(lowmem_adj);

//获取当前剩余内存大小

intother_free=global_page_state(NR_FREE_PAGES)-totalreserve_pages;

intother_file=global_page_state(NR_FILE_PAGES)-

global_page_state(NR_SHMEM)-

total_swapcache_pages();

//获取数组大小

if(lowmem_adj_size

array_size=lowmem_adj_size;

if(lowmem_minfree_size

array_size=lowmem_minfree_size;

//遍历lowmem_minfree数组找出相应的最小adj值

for(i=0;i

minfree=lowmem_minfree[i];

if(other_free

min_score_adj=lowmem_adj[i];

break;

}

}

if(min_score_adj==OOM_SCORE_ADJ_MAX+1){

return0;

}

selected_oom_score_adj=min_score_adj;

rcu_read_lock();

for_each_process(tsk){

structtask_struct*p;

shortoom_score_adj;

if(tsk->flags&PF_KTHREAD)

continue;

p=find_lock_task_mm(tsk);

if(!p)

continue;

if(test_tsk_thread_flag(p,TIF_MEMDIE)&&

time_before_eq(jiffies,lowmem_deathpending_timeout)){

task_unlock(p);

rcu_read_unlock();

return0;

}

oom_score_adj=p->signal->oom_score_adj;

//小于目标adj的进程,则忽略

if(oom_score_adj

task_unlock(p);

continue;

}

//获取的是进程的Resident Set Size,也就是进程独占内存 + 共享库大小。

tasksize=get_mm_rss(p->mm);

task_unlock(p);

if(tasksize<=0)

continue;

//算法关键,选择oom_score_adj最大的进程中,并且rss内存最大的进程.

if(selected){

if(oom_score_adj

continue;

if(oom_score_adj==selected_oom_score_adj&&

tasksize<=selected_tasksize)

continue;

}

selected=p;

selected_tasksize=tasksize;

selected_oom_score_adj=oom_score_adj;

lowmem_print(2,"select '%s' (%d), adj %hd, size %d, to kill\n",

p->comm,p->pid,oom_score_adj,tasksize);

}

if(selected){

longcache_size=other_file*(long)(PAGE_SIZE/1024);

longcache_limit=minfree*(long)(PAGE_SIZE/1024);

longfree=other_free*(long)(PAGE_SIZE/1024);

lowmem_deathpending_timeout=jiffies+HZ;

set_tsk_thread_flag(selected,TIF_MEMDIE);

//向选中的目标进程发送signal 9来杀掉目标进程

send_sig(SIGKILL,selected,0);

rem+=selected_tasksize;

}

rcu_read_unlock();

returnrem;

}

选择oom_score_adj最大的进程中,并且rss内存最大的进程作为选中要杀的进程。

杀进程方式:send_sig(SIGKILL, selected, 0)向选中的目标进程发送signal 9来杀掉目标进程。

另外,lowmem_minfree[]和lowmem_adj[]数组大小个数为6,通过如下两条命令:

module_param_named(debug_level,lowmem_debug_level,uint,S_IRUGO|S_IWUSR);

module_param_array_named(adj,lowmem_adj,short,&lowmem_adj_size,S_IRUGO|S_IWUSR);

当如下节点数据发送变化时,会通过修改lowmem_minfree[]和lowmem_adj[]数组:

/sys/module/lowmemorykiller/parameters/minfree

/sys/module/lowmemorykiller/parameters/adj

五、总结

本 文主要从frameworks的ProcessList.java调整adj,通过socket通信将事件发送给native的守护进程 lmkd;lmkd再根据具体的命令来执行相应操作,其主要功能 更新进程的oom_score_adj值以及lowmemorykiller驱动的parameters(包括minfree和adj);

最 后讲到了lowmemorykiller驱动,通过注册shrinker,借助linux标准的内存回收机制,根据当前系统可用内存以及 parameters配置参数(adj,minfree)来选取合适的selected_oom_score_adj,再从所有进程中选择adj大于该目 标值的并且占用rss内存最大的进程,将其杀掉,从而释放出内存。

5.1 lmkd参数:

oom_adj:代表进程的优先级, 数值越大,优先级越低,越容易被杀. 取值范围[-16, 15]

oom_score_adj: 取值范围[-1000, 1000]

oom_score:lmk策略中貌似并没有看到使用的地方,这个应该是oom才会使用。

想查看某个进程的上述3值,只需要知道pid,查看以下几个节点:

/proc//oom_adj

/proc//oom_score_adj

/proc//oom_score

对于oom_adj与oom_score_adj有一定的映射关系:

当oom_adj = 15, 则oom_score_adj=1000;

当oom_adj < 15, 则oom_score_adj= oom_adj * 1000/17;

5.2 driver参数

/sys/module/lowmemorykiller/parameters/minfree(代表page个数)

/sys/module/lowmemorykiller/parameters/adj(代表oom_score_adj)

例 如:将1,6写入节点/sys/module/lowmemorykiller/parameters/adj,将1024,8192写入节点/sys /module/lowmemorykiller/parameters/minfree。策略:当系统可用内存低于8192个pages时,则会杀掉 oom_score_adj>=6的进程;当系统可用内存低于1024个pages时,则会杀掉oom_score_adj>=1的进程。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,458评论 4 363
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,454评论 1 294
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,171评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,062评论 0 207
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,440评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,661评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,906评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,609评论 0 200
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,379评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,600评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,085评论 1 261
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,409评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,072评论 3 237
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,088评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,860评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,704评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,608评论 2 270

推荐阅读更多精彩内容