百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

一文让你彻底理解Linux进程调度器设计原理与实现

haoteby 2025-01-11 13:23 5 浏览

本节主要介绍进程的调度器,设计的目标:吞吐和响应,轮流让其他进程获取CPU资源。

进程调度机制的架构

操作系统通过中断机制,来周期性地触发调度算法进行进程的切换。

  • rq: 可运行队列,每个CPU对应一个,包含自旋锁,进程数量,用于公平调度的CFS结构体,当前正在运行的进程描述符。
  • cfs_rq: cfs调度的运行队列信息,包含红黑色的根节点,正在运行的进程指针,用于负载均衡的叶子队列等。
  • sched_entity: 调度实体,包含负载权重值,对应红黑树节点,虚拟运行时vruntime等。
  • sched_class: 调度算法抽象成的调度类,包含一组通用的调度操作接口,将接口和实现分离。

schedule函数的流程包括:

1、关闭内核抢占,标识cpu状态。通知RCU更新状态,关闭本地终端,获取所要保护的运行队列的自旋锁,为查找可运行进程做准备。
2、检查prev状态,决定是否将进程插入到运行队列,或者从运行队列中删除。
3、task_on_rq_queued(prev) : 将pre进程插入到运行队列的队尾。
4、pick_next_task : 选取下一个将要执行的进程。
5、context_switch(rq, prev, next) 进行进程上下文切换。

CPU/IO消耗型进程

吞吐vs响应

  • 响应:最小化某个任务的响应时间,哪怕牺牲其他的任务为代价。
  • 吞吐:全局视野,整个系统的workload被最大化处理。

任何操作系统的调度器设计只追求2个目标:吞吐率大和延迟低。这2个目标有点类似零和游戏,因为吞吐率要大,势必要把更多的时间放在做真实的有用功,而不是把时间浪费在频繁的进程上下文切换;而延迟要求低,势必要求优先级高的进程可以随时抢占进来,打断别人,强行插队。但是,抢占会引起上下文切换,上下文切换的时间本身对吞吐率来讲,是一个消耗,这个消耗可以低到2us或者更低(这看起来没什么?),但是上下文切换更大的消耗不是切换本身,而是切换会引起大量的cache miss。你明明weibo跑的很爽,现在切过去微信,那么CPU的cache是不太容易命中微信的。

操作系统中估算"上下文切换"对吞吐能力影响时,不是计算上下文切换本身,而是在CPU 高速cache中的miss。一旦从一个进程切到另一个进程,会造成比较多的cache miss,从而影响吞吐能力。

在内核编译的时候,Kernel Features ---> Preemption Model选项实际上可以让我们编译内核的时候,是倾向于支持吞吐,还是支持响应

preemption model:选择内核的抢占模型,影响调度算法
1、No Forced Preemption (Server): 不强制抢占,更在意吞吐,支撑比较大的连接等。
2、Voluntary kernel preemption (Desktop): 内核不能抢占。
3、Preemtible Kernel(low-latency desktop): 内核都可以抢占,更在意响应,滑动触摸屏等操作需要立刻响应。

I/O消耗型 vs. CPU消耗型

  • IO bound: CPU利用率低,进程的运行效率主要受限于I/O速度;
  • tips: IO 消耗型对拿到CPU(延迟)比较敏感,应该被优先调度。一般需要CPU的响应速度快,即优先级要求比较高。
  • CPU bound: 多数时间花在CPU上面(做运算);

更多Linux内核视频教程文本资料免费领取后台私信【内核】自行获取。

调度算法: 策略 + 优先级

早期2.6调度器:优先级数组和Bitmaps

  • 0~ 139: 在内核空间, 把整个Linux优先级划分为0~139,数字越小,优先级越高。用户空间设置时,是反过来的。
  • 某个优先级有TASK_RUNNING进程,响应bit设置1。
  • 调度第一个bitmap设置为1的进程

SCHED_FIFO、SCHED_RR

实时(RT)进程调度策略: 0~99采用的RT,100~139是非RT的。

  • SCHED_FIFO: 不同优先级按照优先级高的先跑到睡眠,优先级低的再跑;同等优先级先进先出。
  • SCHED_RR:不同优先级按照优先级高的先跑到睡眠,优先级低的再跑;同等优先级轮转。

当所有的SCHED_FIFO和SCHED_RR都运行至睡眠态,就开始运行 100~139之间的 普通task_struct。这些进程讲究 nice,

SCHED_NORMAL

非实时进程的调度和动态优先级:

早期内核2.6的调度器,100对应nice值为 -20,139对应nice值为19。对于普通进程,优先级高不会形成对优先级低的绝对优势,并不会阻塞优先级低的进程拿到时间片。
普通进程在不同优先级之间进行轮转,nice值越高,优先级越低。

此时优先级的具体作用是:

1、时间片。优先级高的进程可以得到更多时间片。
2、抢占。从睡眠状态到醒来,可以优先去抢占优先级低的进程。
Linux根据睡眠情况,动态奖励和惩罚。 越睡,优先级越高。想让CPU消耗型进程和IO消耗型进程竞争时,IO消耗型的进程可以竞争过CPU消耗型。

rt的门限

Linux内核在period的时间里RT最多只能跑runtime的时间。
在参数 /proc/sys/kernel/sched_rt_period_us 和 /proc/sys/kernel/sched_rt_runtime_us 中设置。单位:微秒。

CFS 完全公平调度

后期,Linux对普通进程调度,提供了 完全公平调度算法,每次都会调vruntime最小的进程调度。

红黑树,左边节点小于右边节点的值,运行到目前为止 (vruntime最小)的进程,同时考虑了CPU/IO和nice。

vruntime: virtual runtime,= pruntime/weight 权重* 系数。

随着时间运行,分子pruntime变大,vruntime也就变大,优先级变低。喜欢睡眠、IO消耗型的进程,分子小。nice值低的,分母大。但是RT的进程,优先级高于所有普通的进程。

红黑树实现的CFS,用分子pruntime来照顾 睡眠情况,用分母来照顾nice值。

当进程里fork了多个线程,每个线程的 调度策略都可以不同,优先级可以不同。原因显然。

工具 chrt 和 renice

#include <unistd.h>
#include <stdio.h>
#include <pthread.h>
#include <sys/types.h>

void *thread_fun(void *param)
{
    printf("thread pid:%d, tid:%lu\n", getpid(), pthread_self());
    while (1) ;
    return NULL;
}

int main(void)
{
    pthread_t tid1, tid2;
    int ret;
    printf("main pid:%d, tid:%lu\n", getpid(), pthread_self());
    ret = pthread_create(&tid1, NULL, thread_fun, NULL);
    if (ret == -1) {
        perror("cannot create new thread");
        return 1;
    }
    ret = pthread_create(&tid2, NULL, thread_fun, NULL);
    if (ret == -1) {
        perror("cannot create new thread");
        return 1;
    }
    if (pthread_join(tid1, NULL) != 0) {
        perror("call pthread_join function fail");
        return 1;
    }
    if (pthread_join(tid2, NULL) != 0) {
        perror("call pthread_join function fail");
        return 1;
    }
    return 0;
}

1.编译two-loops.c, gcc two-loops.c -pthread,运行两份
root@whale:~/develop$ gcc two-loops.c -pthread
root@whale:~/develop$ ./a.out &
[1] 13682
root@whale:~/develop$ main pid:13682, tid:3075434240
thread pid:13682, tid:3067038528
thread pid:13682, tid:3075431232

root@whale:~/develop$ ./a.out &
[2] 13685
root@whale:~/develop$
main pid:13685, tid:3075925760
thread pid:13685, tid:3067530048
thread pid:13685, tid:3075922752 

### top命令观察CPU利用率:
    13682 root   20   0   18684    616    552 S  98.4  0.0   1:12.09 a.out
    13685  root    20   0   18684    644    580 S  98.1  0.0   1:07.32 a.out  
    
### renice其中之一,再观察CPU利用率
    
    sudo renice -n -5 -g 13682

      PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
    13682  root    15  -5   18684    616    552 S 147.4  0.0   4:52.73 a.out
    13685  root     20   0   18684    644    580 S  48.6  0.0   4:12.77 a.out
    
killall a.out

2.编译two-loops.c, gcc two-loops.c -pthread,运行一份
top发现其CPU利用率接近200%
-f:把它的所有线程设置为SCHED_FIFO
-a : 所有线程

  chrt -f -a -p 50 进程PID
  
再观察它的CPU利用率

答:CPU利用率会下降,rt的限制,1s中只能占0.95。
此时虽然CPU使用率下降,但是服务器的响应更慢了。因为鼠标等应用的优先级没有a.out 这个进程的优先级高。

相关推荐

Python的RSA操作(私钥与公钥)(python rsa 公钥解密)

RSA是1977年由罗纳德·李维斯特(RonRivest)、阿迪·萨莫尔(AdiShamir)和伦纳德·阿德曼(LeonardAdleman)一起提出的。当时他们三人都在麻省理工学院工作。RSA...

RSA在日益互联的世界网络中安全性能如何?

KeyFactor公司(美国一家领先的安全数字身份管理解决方案提供商及网络安全行业权威机构)研究表明,许多物联网设备制造商正在生成不安全的RSA密钥,182个RSA证书里就有一个可能会被破解,由于不正...

让频谱分析更高效,澄清RSA使用中的一些误解

从事射频应用的研究人员、工程师和技术人员通常都能充分理解频谱分析仪的用途和优点,无论是传统的扫频分析仪(TSA)还是更现代的矢量信号分析仪(VSA)。他们熟练掌握这些重要射频仪器的关键规范和工作...

微软公告:Win10/Win11将不再支持短于2048位的RSA密钥证书

IT之家3月16日消息,微软近日发布公告,表示即将放弃短于2048位的RSA密钥证书。在公告中微软并未明确弃用时间,对于用户来说,这其实有利于构建更安全的上网环境。IT之家翻译微软公告...

目前已知的最强加密算法RSA(rsa加密算法的优点)

前面有人让我讲解一下RSA算法,今天我就用我所学的知识讲解一下,首先我们先了解一下RSARSA是一种非对称加密算法,1977年由罗纳德·李维斯特(RonRivest)、阿迪·萨莫尔(AdiSha...

韩国 CryptoLab 将在 2025年 RSA 大会发布加密人脸识别解决方案

据美通社4月23日报道,韩国同态加密网络安全企业CryptoLab宣布,将于4月24日在2025年RSA大会上,首次发布加密人脸识别(EFR)方案,为生物识别安全难题提供创新解法。当前,人脸识...

应对变化!盘点RSA2015十大热门产品

4月20日-24日,全球知名信息安全峰会RSAConference2015在美国旧金山召开。作为IT安全领域的权威科技大会,RSA大会不仅会邀请各地区著名安全专家出席与分享,更吸引汇集了全球众多顶...

RSA 2015主题:变化挑战当今的安全理念

1“变化”成为RSA2015主题4月20日-24日,全球知名信息安全峰会RSAConference2015在美国旧金山召开。作为IT安全领域的权威科技大会,RSA大会不仅会邀请各地区著名安全专家出...

非对称加密——一文看懂RSA(非对称加密详解)

非对称加密----RSA的使用"非对称加密也叫公钥密码:使用公钥加密,使用私钥解密"在对称密码中,由于加密和解密的密钥是相同的,因此必须向接收者配送密钥。用于解密的密钥必须被配送给...

RSA算法详解(rsa算法图解)

什么是RSA前面文章我们讲了AES算法,AES算法是一种是对称加密算法,本文我们来介绍一个十分常用的非对称加密算法RSA。非对称加密算法也叫公钥密码算法,通过生成的公私钥来对明文密文进行加密解密。R...

升级SSH后ssh-rsa失效?一文带你轻松解决!

背景今天刚给Linux桌面系统完成升级,结果SSH连接突然“罢工”了,还弹出了这个报错信息:...

历史回顾RSA大会:25年,十个瞬间(rsa conference)

国家安全局、Clipper芯片、苹果对决FBI、禁止ShowGirl——RSA大会都经历过。RSA需要你RSA这个词代表一家密码及安全厂商,也代表着世界上最大的网络安全展会,它今年在旧...

RSA 加密技术详解(rsa的加密原理是什么)

RSA的安全性基于数学难题的理论安全:RSA的安全性主要基于大质数分解和离散对数问题这两个数学难题。在RSA加密算法中,公钥包含一个大整数N,它是两个大质数p和q的乘积。攻击者如果想要破解RSA加密,...

「游戏开发」请别再说Unity不如Unreal:Unity室内场景 + 光照练习 3

关注“indienova”,挖掘独立游戏的更多乐趣引言上两节慢吞吞的补了很多技术实现的细节,感觉要是把用到的所有技术细节都过一遍可能还需要若干篇文章。所以决定先把整体的流程这篇好玩的写了,以后再慢慢补...

再做一个Android!Google发布第二代VR眼镜Cardboard

在去年的GoogleI/O上,Google向所有与会者发放了一款名为Cardboard的纸盒版虚拟现实眼镜,相比OculusRift等颇为酷炫的VR头盔,第一代Cardboard着实糙得很。不过,...