軟件介紹
DolphinScheduler官方版是專業(yè)的可視化工作流任務(wù)調(diào)度系統(tǒng)。處理工作調(diào)度，有效解決數(shù)據(jù)處理流程中錯(cuò)綜復(fù)雜的依賴關(guān)系，使調(diào)度系統(tǒng)在數(shù)據(jù)處理流程中開(kāi)箱即用。支持多租戶，更好的應(yīng)對(duì)大數(shù)據(jù)的使用場(chǎng)景。支持任務(wù)日志在線查看及滾動(dòng)、在線下載日志等，非常實(shí)用。
軟件特色
高可靠性
去中心化的多Master和多Worker， 自身支持HA功能， 采用任務(wù)隊(duì)列來(lái)避免過(guò)載，不會(huì)造成機(jī)器卡死。
簡(jiǎn)單易用
DAG監(jiān)控界面，所有流程定義都是可視化，通過(guò)拖拽任務(wù)定制DAG，通過(guò)API方式與第三方系統(tǒng)對(duì)接， 一鍵部署。
豐富的使用場(chǎng)景
支持暫停恢復(fù)操作。 支持多租戶，更好的應(yīng)對(duì)大數(shù)據(jù)的使用場(chǎng)景。 支持更多的任務(wù)類型，如 spark， hive， mr， python， sub_process， shell。
高擴(kuò)展性
支持自定義任務(wù)類型，調(diào)度器使用分布式調(diào)度，調(diào)度能力隨集群線性增長(zhǎng)，Master和Worker支持動(dòng)態(tài)上下線。
功能介紹
1、以DAG圖的方式將Task按照任務(wù)的依賴關(guān)系關(guān)聯(lián)起來(lái)，可實(shí)時(shí)可視化監(jiān)控任務(wù)的運(yùn)行狀態(tài)。
2、支持豐富的任務(wù)類型：Shell、MR、Spark、SQL（mysql、postgresql、hive、sparksql），Python，Sub_Process、Procedure等。
3、支持工作流定時(shí)調(diào)度、依賴調(diào)度、手動(dòng)調(diào)度、手動(dòng)暫停/停止/恢復(fù)，同時(shí)支持失敗重試/告警、從指定節(jié)點(diǎn)恢復(fù)失敗、Kill任務(wù)等操作。
4、支持工作流優(yōu)先級(jí)、任務(wù)優(yōu)先級(jí)及任務(wù)的故障轉(zhuǎn)移及任務(wù)超時(shí)告警/失敗。
5、支持工作流全局參數(shù)及節(jié)點(diǎn)自定義參數(shù)設(shè)置。
6、支持資源文件的在線上傳/下載，管理等，支持在線文件創(chuàng)建、編輯。
7、支持任務(wù)日志在線查看及滾動(dòng)、在線下載日志等。
8、實(shí)現(xiàn)集群HA，通過(guò)Zookeeper實(shí)現(xiàn)Master集群和Worker集群去中心化。
9、支持對(duì)Master/Worker cpu load，memory，cpu在線查看。
10、支持工作流運(yùn)行歷史樹(shù)形/甘特圖展示、支持任務(wù)狀態(tài)統(tǒng)計(jì)、流程狀態(tài)統(tǒng)計(jì)。
11、支持補(bǔ)數(shù)。
12、支持多租戶。
13、支持國(guó)際化。
14、還有更多等待伙伴們探索。
百度_baidu.com
_baijiahao.baidu.com1261.png)
百家號(hào)_baijiahao.baidu.com
