定时任务的管理:任务调度系统apache-airflow的简介与安装
haoteby 2025-05-15 17:56 21 浏览
对于定时任务的实现，有很多现成的框架来实现，比如Java中自带的ScheduledExecutorService或者第三方框架Quartz，还有Python中的crontab、APSScheduler等等，但是这些定时任务多了起来后，管理就是一个问题，那么就有这样一个系统，专门用来管理和调度这些定时任务，他就是apache-airflow。
Airflow是一个可编程，调度和监控的工作流平台，基于有向无环图(DAG)，airflow可以定义一组有依赖的任务，按照依赖依次执行。airflow提供了丰富的命令行工具用于系统管控，而其web管理界面同样也可以方便的管控调度任务，并且对任务运行状态进行实时监控，方便了系统的运维和管理。对于任务的执行，airflow里面提供了执行器(Executor)，Airflow本身是一个综合平台，它兼容多种组件，所以在使用的时候有多种方案可以选择。比如最关键的执行器就有四种选择:
1、SequentialExecutor：单进程顺序执行任务，默认执行器，通常只用于测试
2、LocalExecutor：多进程本地执行任务
3、CeleryExecutor：分布式调度，生产常用
4、DaskExecutor ：动态任务调度，主要用于数据分析
这样的大概介绍会让大家有些云里雾里，那么我们就先安装一下这个系统，然后根据安装后的使用，在详细对各个功能做介绍。
我们首先设置一下环境变量：export AIRFLOW_HOME=~/airflow，这样安装的airflow的一些配置文件或者日志目录，就以这个为主目录了！
由于是Python环境，就使用pip install apache-airflow来安装：
这样airflow就安装到本地了，我们可以使用airflow initdb来初始化：
这样就在我们刚才配置的主目录里面，有了配置文件和一个初始化的db文件，这个文件就是sqlite产生的数据库文件，airflow内置了sqlite数据库：
可以使用命令：airflow webserver来启动这个服务，-p参数可以指定启动的端口号：
这样我们就可以在浏览器中输入http://0.0.0.0:8080来访问它提供的优美的UI界面：
上面的黄色提示是没有启动sheduler，也就是任务调度的服务，scheduler 是一个守护进程，它周期性地轮询任务的调度计划，以确定是否触发任务执行。启动这个服务，可以使用airflow scheduler命令来启动：
这样那个黄色提示信息就消失了：
这样的UI界面给我们提供了丰富的信息，包括定时任务的列表，执行情况及任务之间的依赖情况等等，功能强大到让你不再为成百上千个定时任务的管理而发愁，先来学着安装一下吧！
相关推荐
- 在线抓取网页源码(爬虫获取网页源代码)
-
经验分享：如何解决爬虫抓取时的网页源码不全问题爬虫是一种常用的数据采集工具，可以帮助我们快速获取互联网上的各种信息。然而，很多人在使用爬虫时都会遇到一个普遍的问题，那就是爬虫抓取的网页源码总是不完整。...
- 40个图源二维码分享及使用方法（图片二维码生成器在线制作二维码）
-
我们曾在《35个图源二维码分享及使用方法》一文中，为你分享了35个图源二维码。...
- 45个图源二维码分享及使用方法（图源是啥）
-
我们曾在《40个图源二维码分享及使用方法》一文中，为你分享了40个图源二维码。...
- 电子书管理软件Calibre 8.0.1发布:改善支持Kobo，优化新闻源等
-
IT之家3月22日消息，Calibre是一款免费、开源的电子书管理工具，支持整理、转换和阅读多种格式的电子书。最新发布的8.0.1版本带来了多项功能改进和问题修复，进一步提升了用户体验。...
- 软网推荐:一键生成不同网站RSS订阅源
-
为了关注自己喜欢的网站内容，以前最常见的方法是订阅RSS源，这样在内容更新的时候就会自动进行推送。但由于RSS现在已经不是主流的阅读方式，所以并不是所有的网站都提供RSS订阅，这时我们就得另辟蹊径了。...
- 消费曝光台|29.9元充100元话费?到手是15张满减优惠券
-
近日，山西大同的王先生向澎湃质量报告投诉平台反映，他在使用手机时收到一条弹窗广告，称他获得了“29.9元充值100元话费券”。王先生充值并下载了APP潮物圈后才发现，100元的话费实际上是15张5元和...
- 玩Kodi的IPTV插件必备技能——直播源地址抓包教程
-
准备工具：谷歌浏览器（Google）或者其他浏览器（不常用的或再安装一个浏览器）Potplayerm3u8直播源文件或者Gitee个人工作台...
- i.MX6加载Ubuntu镜像的教程（ubuntu添加镜像源）
-
基于迅为IMX6开发板安装好虚拟机之后，用户就可以加载Ubuntu12.04.2镜像。用户可以在网盘中下载“编译好的镜像”，该镜像已经安装好了编译Android4.4.2所需要的大部分软件...
- 嵌入式软件开发人员有必要学习系统移植的知识吗?ppt见文末
-
《从零开始学ARM》的配套视频说明...
- ARM体系结构(10)-GPIO LED闪烁汇编代码实现(基于tiny4412)
-
接上一篇，我将介绍如何使用GPIO引脚GPM4_1来控制Tiny4412开发板上的LED2闪烁。本文将从原理、汇编代码、Makefile实现、程序编译和烧写等多个方面进行介绍，以便读者能够全面了解如何...
- 物联网学习路线图（物联网必学课程）
-
物联网技术近几年在我国获得了很好的发展，从目前的发展趋势来看，未来物联网发展前景一片大好。由此学习的人员也是越来越多，但是在学习物联网时很多人都容易忽略这样一件事——从未准备一份详尽的物联网学习路线图...
- 网卡DM9000裸机驱动开发详解（pro1000网卡驱动）
-
一、网卡1.概念网卡是一块被设计用来允许计算机在计算机网络上进行通讯的计算机硬件。由于其拥有MAC地址，因此属于OSI模型的第2层。它使得用户可以通过电缆或无线相互连接。...
- Win10高分屏更改DPI后字体模糊?试试这个小工具
-
如果你使用的是大尺寸显示屏，拥有1920x1080或更大分辨率，可能你会选择设置一个较高的DPI缩放级别，比如125%或更高。这样屏幕上的内容看起来会更大一些，更容易阅读。在WindowsVista...
- 微软Windows竟内嵌Linux?这样玩挺有趣
-
在Windows上运行Linux？这其实不是新鲜事，20年前，就有黑客这么干过。微软的开发者博客刚刚公布，下一个Windows10版本，不仅自带Linux内核，而且还会通过Win...
- 上厕所别带手机!9 个错误动作增加你感染病毒的风险
-
随着复工的正式开始，很多小伙伴开始担心如何在上班过程中更好地保护自己。口罩准备好了，免洗洗手液准备好了，是不是就万无一失了？还真不是！你摸完电梯按钮的手，或者扶过地铁栏杆的手，不经意间揉一下眼睛、摸一...