kedro
Kedro 是一個專為生產環境就緒的資料科學所設計的工具箱。它運用軟體工程最佳實務,協助你建立可重現、可維護且模組化的資料工程與資料科學管線。
kedro 是什麼?
Kedro 是一個專為生產環境就緒的資料科學所設計的工具箱。它運用軟體工程最佳實務,協助你建立可重現、可維護且模組化的資料工程與資料科學管線。
kedro 概覽
這是什麼
Kedro 是一個開源的 Python 框架,由 LF AI & Data Foundation 主持。它是一個用於生產就緒的資料工程與資料科學管線的工具箱,旨在幫助建立可重現、可維護且模組化的管線。
主要功能
- 專案模板:一個基於 Cookiecutter Data Science 的標準、可修改且易於使用的專案模板。
- 資料目錄:一系列輕量級資料連接器,用於在各種檔案格式和檔案系統(包括本地與網路檔案系統、雲端物件儲存和 HDFS)中儲存和載入資料;並為基於檔案的系統提供資料與模型版本管理。
- 管線抽象:自動解析純 Python 函數之間的依賴關係,並透過 Kedro-Viz 進行管線視覺化。
- 編碼標準:使用
pytest進行測試驅動開發、透過 Sphinx 產生良好文件化的程式碼、支援ruff進行程式碼檢查,以及使用標準的 Python 日誌記錄程式庫。 - 彈性部署:支援單機或分散式機器部署,以及 Argo、Prefect、Kubeflow、AWS Batch 和 Databricks 的額外部署選項。
使用情境
Kedro 解決了 Jupyter notebooks、一次性指令碼和黏合程式碼的主要缺點,專注於建立可維護的資料工程與資料科學程式碼;增強團隊協作效率(當團隊成員對軟體工程概念有不同程度的熟悉時)並透過模組化與關注點分離來提升效率,促進建立可重複使用的分析程式碼。
快速開始
從 PyPI 安裝 Kedro:uv pip install kedro或者使用 conda 安裝:conda install -c conda-forge kedro從原始碼安裝(最新主分支):uv pip install git+https://github.com/kedro-org/kedro@main
授權與價格
Kedro 是 LF AI & Data Foundation 主持的開源 Python 框架。提供的 metadata 或 README 中未明確說明其授權條款。
內容整理自該專案公開的 README 與儲存庫資訊。