一文让你彻底理解Linux进程调度器设计原理与实现
haoteby 2025-01-11 13:23 13 浏览
本节主要介绍进程的调度器,设计的目标:吞吐和响应,轮流让其他进程获取CPU资源。
进程调度机制的架构
操作系统通过中断机制,来周期性地触发调度算法进行进程的切换。
- rq: 可运行队列,每个CPU对应一个,包含自旋锁,进程数量,用于公平调度的CFS结构体,当前正在运行的进程描述符。
- cfs_rq: cfs调度的运行队列信息,包含红黑色的根节点,正在运行的进程指针,用于负载均衡的叶子队列等。
- sched_entity: 调度实体,包含负载权重值,对应红黑树节点,虚拟运行时vruntime等。
- sched_class: 调度算法抽象成的调度类,包含一组通用的调度操作接口,将接口和实现分离。
schedule函数的流程包括:
1、关闭内核抢占,标识cpu状态。通知RCU更新状态,关闭本地终端,获取所要保护的运行队列的自旋锁,为查找可运行进程做准备。
2、检查prev状态,决定是否将进程插入到运行队列,或者从运行队列中删除。
3、task_on_rq_queued(prev) : 将pre进程插入到运行队列的队尾。
4、pick_next_task : 选取下一个将要执行的进程。
5、context_switch(rq, prev, next) 进行进程上下文切换。
CPU/IO消耗型进程
吞吐vs响应
- 响应:最小化某个任务的响应时间,哪怕牺牲其他的任务为代价。
- 吞吐:全局视野,整个系统的workload被最大化处理。
任何操作系统的调度器设计只追求2个目标:吞吐率大和延迟低。这2个目标有点类似零和游戏,因为吞吐率要大,势必要把更多的时间放在做真实的有用功,而不是把时间浪费在频繁的进程上下文切换;而延迟要求低,势必要求优先级高的进程可以随时抢占进来,打断别人,强行插队。但是,抢占会引起上下文切换,上下文切换的时间本身对吞吐率来讲,是一个消耗,这个消耗可以低到2us或者更低(这看起来没什么?),但是上下文切换更大的消耗不是切换本身,而是切换会引起大量的cache miss。你明明weibo跑的很爽,现在切过去微信,那么CPU的cache是不太容易命中微信的。
操作系统中估算"上下文切换"对吞吐能力影响时,不是计算上下文切换本身,而是在CPU 高速cache中的miss。一旦从一个进程切到另一个进程,会造成比较多的cache miss,从而影响吞吐能力。
在内核编译的时候,Kernel Features ---> Preemption Model选项实际上可以让我们编译内核的时候,是倾向于支持吞吐,还是支持响应
preemption model:选择内核的抢占模型,影响调度算法
1、No Forced Preemption (Server): 不强制抢占,更在意吞吐,支撑比较大的连接等。
2、Voluntary kernel preemption (Desktop): 内核不能抢占。
3、Preemtible Kernel(low-latency desktop): 内核都可以抢占,更在意响应,滑动触摸屏等操作需要立刻响应。
I/O消耗型 vs. CPU消耗型
- IO bound: CPU利用率低,进程的运行效率主要受限于I/O速度;
- tips: IO 消耗型对拿到CPU(延迟)比较敏感,应该被优先调度。一般需要CPU的响应速度快,即优先级要求比较高。
- CPU bound: 多数时间花在CPU上面(做运算);
更多Linux内核视频教程文本资料免费领取后台私信【内核】自行获取。
调度算法: 策略 + 优先级
早期2.6调度器:优先级数组和Bitmaps
- 0~ 139: 在内核空间, 把整个Linux优先级划分为0~139,数字越小,优先级越高。用户空间设置时,是反过来的。
- 某个优先级有TASK_RUNNING进程,响应bit设置1。
- 调度第一个bitmap设置为1的进程
SCHED_FIFO、SCHED_RR
实时(RT)进程调度策略: 0~99采用的RT,100~139是非RT的。
- SCHED_FIFO: 不同优先级按照优先级高的先跑到睡眠,优先级低的再跑;同等优先级先进先出。
- SCHED_RR:不同优先级按照优先级高的先跑到睡眠,优先级低的再跑;同等优先级轮转。
当所有的SCHED_FIFO和SCHED_RR都运行至睡眠态,就开始运行 100~139之间的 普通task_struct。这些进程讲究 nice,
SCHED_NORMAL
非实时进程的调度和动态优先级:
早期内核2.6的调度器,100对应nice值为 -20,139对应nice值为19。对于普通进程,优先级高不会形成对优先级低的绝对优势,并不会阻塞优先级低的进程拿到时间片。
普通进程在不同优先级之间进行轮转,nice值越高,优先级越低。
此时优先级的具体作用是:
1、时间片。优先级高的进程可以得到更多时间片。
2、抢占。从睡眠状态到醒来,可以优先去抢占优先级低的进程。
Linux根据睡眠情况,动态奖励和惩罚。 越睡,优先级越高。想让CPU消耗型进程和IO消耗型进程竞争时,IO消耗型的进程可以竞争过CPU消耗型。
rt的门限
Linux内核在period的时间里RT最多只能跑runtime的时间。
在参数 /proc/sys/kernel/sched_rt_period_us 和 /proc/sys/kernel/sched_rt_runtime_us 中设置。单位:微秒。
CFS 完全公平调度
后期,Linux对普通进程调度,提供了 完全公平调度算法,每次都会调vruntime最小的进程调度。
红黑树,左边节点小于右边节点的值,运行到目前为止 (vruntime最小)的进程,同时考虑了CPU/IO和nice。
vruntime: virtual runtime,= pruntime/weight 权重* 系数。
随着时间运行,分子pruntime变大,vruntime也就变大,优先级变低。喜欢睡眠、IO消耗型的进程,分子小。nice值低的,分母大。但是RT的进程,优先级高于所有普通的进程。
红黑树实现的CFS,用分子pruntime来照顾 睡眠情况,用分母来照顾nice值。
当进程里fork了多个线程,每个线程的 调度策略都可以不同,优先级可以不同。原因显然。
工具 chrt 和 renice
#include <unistd.h>
#include <stdio.h>
#include <pthread.h>
#include <sys/types.h>
void *thread_fun(void *param)
{
printf("thread pid:%d, tid:%lu\n", getpid(), pthread_self());
while (1) ;
return NULL;
}
int main(void)
{
pthread_t tid1, tid2;
int ret;
printf("main pid:%d, tid:%lu\n", getpid(), pthread_self());
ret = pthread_create(&tid1, NULL, thread_fun, NULL);
if (ret == -1) {
perror("cannot create new thread");
return 1;
}
ret = pthread_create(&tid2, NULL, thread_fun, NULL);
if (ret == -1) {
perror("cannot create new thread");
return 1;
}
if (pthread_join(tid1, NULL) != 0) {
perror("call pthread_join function fail");
return 1;
}
if (pthread_join(tid2, NULL) != 0) {
perror("call pthread_join function fail");
return 1;
}
return 0;
}
1.编译two-loops.c, gcc two-loops.c -pthread,运行两份
root@whale:~/develop$ gcc two-loops.c -pthread
root@whale:~/develop$ ./a.out &
[1] 13682
root@whale:~/develop$ main pid:13682, tid:3075434240
thread pid:13682, tid:3067038528
thread pid:13682, tid:3075431232
root@whale:~/develop$ ./a.out &
[2] 13685
root@whale:~/develop$
main pid:13685, tid:3075925760
thread pid:13685, tid:3067530048
thread pid:13685, tid:3075922752
### top命令观察CPU利用率:
13682 root 20 0 18684 616 552 S 98.4 0.0 1:12.09 a.out
13685 root 20 0 18684 644 580 S 98.1 0.0 1:07.32 a.out
### renice其中之一,再观察CPU利用率
sudo renice -n -5 -g 13682
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
13682 root 15 -5 18684 616 552 S 147.4 0.0 4:52.73 a.out
13685 root 20 0 18684 644 580 S 48.6 0.0 4:12.77 a.out
killall a.out
2.编译two-loops.c, gcc two-loops.c -pthread,运行一份
top发现其CPU利用率接近200%
-f:把它的所有线程设置为SCHED_FIFO
-a : 所有线程
chrt -f -a -p 50 进程PID
再观察它的CPU利用率
答:CPU利用率会下降,rt的限制,1s中只能占0.95。
此时虽然CPU使用率下降,但是服务器的响应更慢了。因为鼠标等应用的优先级没有a.out 这个进程的优先级高。
相关推荐
- 能跑源码,还提供数据集:这里有一个入门企业级验证码识别项目
-
机器之心专栏作者:kerlomz网上关于验证码识别的开源项目众多,但大多是学术型文章或者仅仅是一个测试demo,那么企业级的验证码识别究竟是怎样的呢?1.前言网上关于验证么识别的开源项目众多,但大...
- kdj源码_kdj源码公式描述
-
N:=9;M1:=3;M2:=3;...
- QT实现抖动文字和滚动文字,附源码
-
前言不知道大家有没有发现今天的文章有什么不一样,哈哈,我自己胡拼乱凑弄了一个logo,好不好看就先不说了,最起码萌萌哒...当然这不是今天的重点,在做logo的时候,我原本想让文字动起来的,奈何技术有...
- 我试图通过这篇文章告诉你,这行源码有多牛逼。
-
你好呀,我是歪歪。这次给你盘一个特别有意思的源码,正如我标题说的那样:看懂这行源码之后,我不禁鼓起掌来,直呼祖师爷牛逼。...
- 想了解Python源代码加密吗?现总结如下5大加密混淆手段!
-
我们在进行...
- Android系统基础(03) Android系统源码下载
-
常规官方网站说明:Android源码官方网站为(google你懂的):https://source.android.com官网参考链接,对应的tag(tag是一种标签,我们可以根据tag来判断下载的...
- 真香,Python爬取B站弹幕原来如此简单,源码已附在文末
-
B站的弹幕区一直是人才圣地。今天我就用python来手把手教大家爬取B站排行榜热门视频,Python爬取视频也可以如此简单。...
- 最详细的 maven 教程,可以收藏_maven步骤
-
链接|cnblogs.com/hzg110/p/6936101.html正文目前所有的项目都在使用maven,可是一直没有时间去整理学习,这两天正好有时间,好好的整理一下。...
- Python黑科技-VIP视频破解源码分享
-
《利用Python制作自己的VIP视频解析软件》想看的电视剧更新了还要充VIP?喜欢的电影你是VIP还得付费?学了Python哪要这些花里胡哨的,打开我自己的VIP付费视频解析软件,想怎么看就怎么看!...
- 抖音无水印解析网站源码_抖音无水印解析平台
-
链接:https://share.weiyun.com/59Ah44S密码:hv4dm7上传到主机解压不用安装,直接打开域名就可以了原文地址:https://www.xigsc.com/post/...
- 「电脑知识」USBOS 3.0 v2022.1.24 超级PE启动维护工具标准增强版
-
前几天一直在发PE类工具就是为了制作U盘PE启动重装系统教程的,今天小编继续分享有一篇关于pe的之前小编发布过一款微PE工具箱,今天发布另外一个无任何流氓行为功能超级强大虽然体积大了一点,但是这个...
- 模版网站建设制作的八步流程_模板的网站
-
模版网站比较简单,一般我们按照如下流程就可以制作出来。 一、网站定位: 在建站之前,一定要了解你要建的网站是什么。你必须考虑你网站的标题(关键词)、网站描述以及你想要建立的网站。 二、选择域...
- 求职季必备,这几个免费的个人简历模板网站,你可千万不要错过!
-
晃晃悠悠又到了春招的季节,相信一定有很多小伙伴趁着这个金三银四求职季,四处投递简历。这时候一个亮眼优秀的简历,可以很好的祝你吸引HR的注意。今天就把我珍藏很久的5个免费简历模板网站分享给大家,简历模板...
- 简约时尚作品博客商店网站HTML5模板源码
-
Meduza是简约时尚和现代的博客HTML模板,带商店电商元素的博客页面。考虑所有的作品集网站需求页可以设计一个旅游网站。原生响应设计HTML5和CSS3(台式机、平板电脑、手机…)简单,干净的和专业...
- 13 款免费样机网站合集,UI设计、产品设计、VI设计全都有!
-
俗话说得好,人靠衣装,在作完设计后不少设计师都会为自己的作品套一个「样机」好让设计看过去更加高端大气上档次!今天,我就总结了无论是UI设计、包装设计、服装设计、品牌设计、logo设计,都能用到...