airflow

在这里插入图片描述

airflow调度问题排查

文章目录问题描述排查总结分析过程问题描述现在公司使用的airflow调度器很慢,每次clear一个task之后,这个task要过一段时间才会被调度器调度到,这个时间大约需要15-30s。使用的airflow版本较老:v1.7.1.3排查参数问题airflow.cfg这个文件里面有很多的关于scheduler的参数,其中跟调度密切相关的有几个:max_threads :这个是调度dag的进程数量,最... »