1airflow

Airflow[1]是一個(gè)分布式任務(wù)調(diào)度框架，可以把具有上下級(jí)依賴關(guān)系的工作流組裝成一個(gè)有向無(wú)環(huán)圖[2]; 有向無(wú)環(huán)圖長(zhǎng)得就如下一般：圖片

說(shuō)的云里霧里的，那么Airflow究竟是什么呢?簡(jiǎn)單說(shuō)，airflow就是一個(gè)平臺(tái)，你可以在這個(gè)平臺(tái)上創(chuàng)建、管理、執(zhí)行自定義的工作流，這里的工作流就是前面所說(shuō)的有向無(wú)環(huán)圖，如上圖所示一樣，有向無(wú)環(huán)圖是由一系列單獨(dú)運(yùn)行的task組合而成，任務(wù)之間的前后排列取決于任務(wù)之間處理的關(guān)系或者數(shù)據(jù)的流轉(zhuǎn)的方向，而這里的工作流有一個(gè)很專業(yè)的名字叫DAG(Directed Acyclic Graph),我相信看到這里，你心中應(yīng)該有些許概念了。

既然知道Airflow是什么了，那么它究竟能解決平常工作中的哪些問(wèn)題呢?下面就需要聊聊具體的使用場(chǎng)景了:

Airflow解決的場(chǎng)景

• 幫助運(yùn)維追溯服務(wù)器中運(yùn)行的定時(shí)任務(wù)的執(zhí)行的結(jié)果
• 大數(shù)據(jù)處理場(chǎng)景下，方便管理觸發(fā)導(dǎo)入導(dǎo)出線上數(shù)據(jù)的各個(gè)任務(wù)以及這些任務(wù)之間的依賴關(guān)系
• 實(shí)現(xiàn)大規(guī)模主機(jī)集群中作業(yè)統(tǒng)一的調(diào)度和管理平臺(tái)
• 等等其它場(chǎng)景...

現(xiàn)在你覺(jué)得Airflow是不是在工作中還真有點(diǎn)用，有沒(méi)有一些共同的痛點(diǎn)呢?既然了解了airflow的作用，那就走進(jìn)的airflow,熟悉一下airflow的組件架構(gòu)。

Airflow架構(gòu)

Airflow架構(gòu)圖

Worker

見(jiàn)名知意，它就是一線干活的，用來(lái)處理DAG中定義的具體任務(wù)

Scheduler

是airflow中一個(gè)管事的組件，用于周期性輪詢?nèi)蝿?wù)的調(diào)度計(jì)劃，然后將任務(wù)分發(fā)給執(zhí)行的程序運(yùn)行工作流

Webserver

webserver是Airflow中通過(guò)flask框架整合管理界面，可以讓你通過(guò)http請(qǐng)求與airflow通信來(lái)管理airflow，可以通過(guò)界面的方式查看正在運(yùn)行的任務(wù)，以及任務(wù)的運(yùn)行狀態(tài)、運(yùn)行日志等等，

通過(guò)管理界面創(chuàng)建、觸發(fā)、中止任務(wù)讓airflow使用變得更加簡(jiǎn)單。如下圖所示，當(dāng)然這也是airflow的一個(gè)絕大優(yōu)勢(shì)。

Airflow Dashboard

Metadata Database

airflow的元數(shù)據(jù)數(shù)據(jù)庫(kù)，供scheduler、worker和webserver用來(lái)存儲(chǔ)狀態(tài)。

從整體上看Airflow的組件架構(gòu)不是很復(fù)雜，當(dāng)然這里的我們也進(jìn)行了一些其他任務(wù)編排工具，對(duì)比一下

2Airflow類似的編排工具比較

編排工具的受歡迎度

總體而言，Apache Airflow既是最受歡迎的工具，也是功能最廣泛的工具。

Airflow vs Luigi

luigi與airflow都是使用python和dag定義任務(wù)和依賴項(xiàng)，但是luigi在架構(gòu)和使用上相對(duì)更加的單一和簡(jiǎn)單，同時(shí)airflow因?yàn)閾碛胸S富的UI和計(jì)劃任務(wù)方便顯示更勝一籌，而luigi需要更多的自定義代碼實(shí)現(xiàn)的計(jì)劃任務(wù)的功能

Airflow vs Argo

airflow與argo都可以將任務(wù)定義為DAG，但是在Airflow中，您可以使用Python進(jìn)行此操作，而在Argo中，要使用YAML

Airflow vs Kubeflow

Airflow是一個(gè)通用的任務(wù)編排平臺(tái)，而Kubeflow特別專注于機(jī)器學(xué)習(xí)任務(wù)，兩種工具都使用Python定義任務(wù)，但是Kubeflow在Kubernetes上運(yùn)行任務(wù)。Kubeflow分為Kubeflow和Kubeflow管道：后一個(gè)組件允許您指定DAG，但與常規(guī)任務(wù)相比，它更側(cè)重于部署和監(jiān)控模型。

Airflow vs MLFlow

Airflow是一個(gè)通用的任務(wù)編排平臺(tái)，而MLFlow是專門為優(yōu)化機(jī)器學(xué)習(xí)項(xiàng)目而構(gòu)建的。這意味著MLFlow具有運(yùn)行和跟蹤實(shí)驗(yàn)，以及訓(xùn)練和部署機(jī)器學(xué)習(xí)模型的功能，而Airflow適用于更廣泛的用例，您可以使用它來(lái)運(yùn)行任何類型的任務(wù)。

Airflow是一組管理和計(jì)劃任務(wù)的模塊的集合，MLFlow是一個(gè)純粹的Python庫(kù)，您可以將其導(dǎo)入到現(xiàn)有的機(jī)器學(xué)習(xí)代碼中。

從了解Airflow的概念，到使用場(chǎng)景，已然對(duì)airflow這種編排工具有一定的了解，通過(guò)拆分了解airflow組件架構(gòu)，又進(jìn)一步對(duì)airflow的工作流程有一個(gè)初步的認(rèn)識(shí)，通過(guò)與其他編排工具對(duì)比，了解的airflow的優(yōu)勢(shì)以及結(jié)合自身的使用場(chǎng)景，更加有助于判斷，對(duì)編排工具選型的重要性。下一步，就將在實(shí)踐中在深一步走進(jìn)airflow。