airflow 是啥？
官方网站： https://airflow.apache/_api/index.html
Airflow 是一个使用 python 语言编写的 data pipeline 调度和监控工作流的平台。Airflow 被 Airbnb 内部用来创建、监控和调整数据管道。任何工作流都可以在这个使用 Python 来编写的平台上运行。Airflow是通过DAG（Directed acyclic graph）来管理任务流程的任务调度工具，她不需要知道业务数据的具体内容，设置任务的依赖关系实现任务调度。
这个平台拥有和 Hive、Presto、MySQL、HDFS、Postgres 和 S3 交互的能力，并且提供了钩子（hook）使得系统拥有很好地扩展性。除了一个命令行界面，该工具还提供了一个基于 Web 的用户界面让您可以可视化管道的依赖关系、监控进度、触发任务等。
链接：https://www.jianshu/p/cd12b4864471
通常的安装都在除Win系统上安装：
安装：
(1) cmd
(2) pip install apache-airflow
问题&#
发布者：admin，转转请注明出处：http://www.yc00.com/web/1737314852a3935211.html
评论列表（0条）