Airflow 中文文档:用Dask扩展

DaskExecutor允许您在Dask分布式群集中运行Airflow任务。

Dask集群可以在单个机器上运行,也可以在远程网络上运行。 有关完整详细信息,请参阅分布式文档

要创建集群,首先启动调度程序:

 # default settings for a local cluster
DASK_HOST = 127 .0.0.1
DASK_PORT = 8786

dask-scheduler --host $DASK_HOST --port $DASK_PORT

接下来,在任何可以连接到主机的计算机上启动至少一个Worker:

dask-worker $DASK_HOST : $DASK_PORT

阅读全文/改进本文

推荐阅读更多精彩内容

  • 在快速启动部分中设置很简单,构建生产级环境需要更多的工作,下面来了解一下。 1. 设置配置选项 第一次运行Airf...
    百無阅读 2,309评论 0 2
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 68,107评论 12 115
  • pdf下载地址:Java面试宝典 第一章内容介绍 20 第二章JavaSE基础 21 一、Java面向对象 21 ...
    王震阳阅读 70,377评论 26 501
  • feisky云计算、虚拟化与Linux技术笔记posts - 1014, comments - 298, trac...
    不排版阅读 1,072评论 0 1
  • Spark Streaming 编程指南 概述 一个入门示例 基础概念 依赖 初始化 StreamingConte...
    片刻_ApacheCN阅读 2,364评论 0 10