Dask Gateway
1 min readv2024.1By openDesk Edu
科学计算基础设施计划中
Stabledaskdistributed-computingparallelbig-datascientific-computing
Dask Gateway 提供按需分布式计算集群,可将 Python 和数据科学工作负载扩展到多个节点。它专为需要处理大型数据集、运行并行模拟或加速机器学习训练流程的研究人员而设计。
核心功能
- 按需集群:根据工作负载需求动态创建和扩展 Dask 集群。
- Python 原生:与 Python 数据科学生态系统(NumPy、Pandas、Scikit-learn、Xarray)全面集成。
- 作业队列:管理多个用户提交的任务并设置优先级,具备可配置的资源限制。
- 仪表板:实时监控集群健康状态、任务进度和资源使用情况。
- 可扩展:从单节点开发到多节点生产集群均可支持。
与 openDesk Edu 的集成
Dask Gateway 属于协作服务套件(C 阶段——计划中),通过其上游 Helm Chart(helm.dask.org)部署。它将在机构通配符 DNS 下的 compute.* 地址访问,并与 Keycloak 集成进行身份验证。
