RAPIDS Community Notebooks: 加速数据科学工作流的开源工具集

RAPIDS Community Notebooks 简介

RAPIDS (GPU 加速数据科学) 是一套开源的数据科学库,利用 NVIDIA GPU 加速数据科学和机器学习工作流。RAPIDS Community Notebooks 是一个由社区贡献的 Jupyter notebooks 集合,旨在帮助新用户快速上手和使用 RAPIDS 生态系统。

这个仓库包含了大量由 RAPIDS 团队、生态系统合作伙伴以及 RAPIDS 用户贡献的有用 notebooks。它的主要目的是通过提供学习辅助材料来向新用户介绍 RAPIDS。

社区 Notebooks 的意义

这些 notebooks 是为社区服务的,这意味着:

任何人都可以贡献工作流示例、技巧和教程供他人使用和分享。如果您的 notebook 非常出色,它可能会被特别推荐。

同时,社区也有一些额外的责任:

如果您编写了一个很棒的 notebook,请尽量保持更新。如果您发现问题,不要只是提交 issue - 请尝试修复它!如果一个 notebook 存在问题或其最后测试的 RAPIDS 版本已过时,它可能会被移至存档。

RAPIDS 展示 Notebooks

这些 notebooks 由 RAPIDS 团队构建和维护。当我们移除这些 notebooks 时,它们将由社区维护,直到被归档。

RAPIDS 活动 Notebooks

这些是我们在会议或聚会上展示的 notebooks。虽然我们努力使用开源或易于获取的数据,但某些 notebooks 可能需要访问受限的数据集。它们也会随时间冻结,不会随 RAPIDS 的进展而更新。请下载这些工作流构建时使用的适当 RAPIDS 版本,或者预期需要将它们更新到较新的版本。

探索仓库

文件夹结构

getting_started_notebooks: "如何开始使用 RAPIDS"。包含展示"Hello World"、RAPIDS 库入门以及 RAPIDS 概念教程的 notebooks。

community_tutorials_and_guides: 社区贡献的"如何使用 RAPIDS 完成您的工作流"。包含展示算法和工作流示例、基准测试工具以及一些完整的端到端 (E2E) 工作流的 notebooks。

community_archive: 包含已知问题且 45 天或更长时间未修复的 notebooks。包含在博客中提到和使用的展示 RAPIDS 工作流和功能的共享 notebooks。

the_archive: 包含来自社区成员的较旧 notebooks,以及 RAPIDS 团队不再更新但对社区有用的 notebooks,如 archived_rapids_blog_notebooks、archived_rapids_event_notebooks 和 competition_notebooks。

data: 包含用于纯功能演示的小型数据样本。一些 notebooks 包含从外部网站下载更大数据集的单元格。

入门指南

RAPIDS 提供了丰富的学习资源,帮助用户快速上手:

RAPIDS 库基础

教学 Notebooks 和用户指南

RAPIDS 速成课程RAPIDS 入门 Notebooks - 涵盖 cuDF、Dask、cuML 和 XGBoost官方 RAPIDS 用户指南10 分钟入门 cuDF 和 Dask cuDF数据科学家的 cuDF:数据处理函数RAPIDS 入门之旅Hello World 示例

官方速查表

RAPIDS 还提供了各个组件的官方速查表,包括 cuDF、BlazingSQL、cuGraph、RAPIDS-Dask、CLX 和 cyBert、cuSignal 等,可以快速查阅常用功能。

部署 RAPIDS

RAPIDS 可以在多种云平台和环境中部署:

AWS SageMaker 上的 RAPIDS 教程Azure ML 上的 RAPIDS 教程使用 Dask Cloud Provider 在 Google Cloud Platform 上突发数据科学工作负载到 GPU在 IBM 虚拟服务器实例上部署 RAPIDS 的分步教程在 IBM Kubernetes Service 上部署 RAPIDS 的分步教程

多 GPU 支持

RAPIDS 提供了强大的多 GPU 支持,可以充分利用多个 GPU 加速计算:

入门

Dask Hello WorldDask 简介使用 cuDF 的 DaskRAPIDS 多 GPU 迷你教程

示例工作流

NYC 出租车数据分析(在 Dataproc 或本地运行)天气数据分析使用 RAPIDS、HuggingFace 和 Dask 进行大规模 NLP

Dask 技巧

使用 Prometheus 和 Grafana 监控 Dask RAPIDS使用 Dask 和 Prefect 调度和优化 RAPIDS 工作流使用 RAPIDS 和 Dask 进行过滤读取以优化 ETL

RAPIDS 和深度学习

RAPIDS 可以与深度学习框架无缝集成:

官方 RAPIDSAI 深度学习仓库GPU Hackathons RAPIDS + 深度学习速成课程deeplearningwizard.com 的教程

RAPIDS 数据可视化

RAPIDS 提供了强大的数据可视化能力:

官方 RAPIDS 演示

cuXFilter 简介空间分析可视化

教程

NYC 出租车空间分析的可视化探索性数据分析RAPIDS + Plot.ly Dask 教程

流数据处理

RAPIDS 支持 GPU 加速的流数据处理:

Chinmay Chandak 的 cuStreamz Gists使用 cuStreamz 加速 Kafka 数据源使用 RAPIDS 进行 GPU 加速流处理流数据 Hello World

自然语言处理 (NLP)

RAPIDS 为 NLP 任务提供了 GPU 加速:

使用哈希向量器进行 NLP词频统计示例

图分析和 GIS/空间分析

RAPIDS 提供了强大的图分析和空间分析能力:

地震相分析

基因组学

RAPIDS 为基因组学分析提供了加速:

Clara Parabricks 单细胞分析仓库使用更新的 scanpy 包装器进行 RAPIDS 单细胞分析GPU 加速单细胞分析视频使用开源分析加速和扩展基因组分析

网络安全

RAPIDS 为网络安全分析提供了工具:

RAPIDS CLXCLX API 文档10 分钟入门 CLXCLX 和 Streamz 入门RAPIDS 网络安全迷你教程网络安全博客 Notebooks

过去的竞赛

RAPIDS 在各种数据科学竞赛中都有应用:

RAPIDS.AI KGMON 竞赛 Notebooks - 包含在 Kaggle 竞赛中使用的一系列 notebooks。

基准测试

RAPIDS 提供了一些基准测试工具:

多 GPU PageRank 基准测试RAPIDS 分解

其他技巧和窍门

合成 3D 端到端机器学习工作流使用 RAPIDS 和 Dask 读取大于内存的 CSV

生态系统合作伙伴教程

RAPIDS 与多个生态系统合作伙伴合作,提供了丰富的