executorch

適用於 PyTorch 的裝置端 AI,涵蓋行動、嵌入式與邊緣裝置

executorch 是什麼?

適用於 PyTorch 的裝置端 AI,涵蓋行動、嵌入式與邊緣裝置

executorch 概覽

這是什麼

ExecuTorch 是 PyTorch 的開源堆疊,用於在手機、穿戴裝置、筆電、瀏覽器、嵌入式系統及微控制器等裝置上本地執行 AI 推論。使用者可以從 PyTorch 模型開始,透過 torch.export 擷取模型,針對目標硬體進行最佳化,並透過 C++、Python、Swift/Objective-C、Kotlin/Java 或 JavaScript API 執行。ExecuTorch 驅動 Instagram、WhatsApp、Facebook 和 Messenger 上的裝置端體驗,並在 Meta Quest 和 Ray-Ban Meta 裝置上執行 AI 功能。

主要功能

  • PyTorch 原生工作流程:直接從 torch.export 運作,提供 PyTorch 程式元資料和原始碼對應,供匯出和除錯工具使用。
  • 分割式硬體加速:將支援的圖形區域委派給 CPU、GPU、NPU 或 DSP 後端,同時保留可攜式 CPU 核心作為備援。
  • 單一來源模型,明確目標:重複使用 PyTorch 模型和匯出流程,為每個需要硬體特化的目標產生後端特定的 .pte 檔案。
  • 可自訂大小的執行環境:僅連結部署所需的運算子、核心和委派;選擇性建置僅保留必要的運算子核心。
  • 檢查、剖析和擴充:使用 ETDump、ETRecord 和數值除錯,或新增自訂運算子和後端。
  • 版本化部署合約:使用穩定 API 建立的 .pte 保證在至少一個後續的非修補程式執行環境版本中載入並執行。

使用情境

ExecuTorch 專為裝置端 AI 工作負載設計,包括本地 LLM 與代理建構區塊(量化文字模型、長上下文、工具呼叫、推測解碼)、語音(串流與離線語音辨識、語音合成、語音活動偵測、說話者分離)、多模態(文字、影像和音訊執行器;行動視覺語言模型)、電腦視覺(影像分類、物體偵測、語意分割、可提示分割)以及嵌入式 AI(Cortex-M CPU 核心、Ethos-U 和 NXP NPU、Cadence DSP、Zephyr、Arduino、Raspberry Pi Pico 工作流程)。

快速開始

在 Python 3.11–3.15 環境中安裝最新的穩定 Python 套件: bash pip install executorch 在 Linux 上這是 CUDA 版本,與 PyPI 上的 torch 套件相符。在 macOS 和 Windows 上是 CPU 版本。如需僅 CPU 的 Linux 版本或其他 CUDA 版本,請參閱「開始使用」文件。安裝 main 分支的每日建置版本以使用最新功能: bash pip install --upgrade --pre executorch torch --extra-index-url https://download.pytorch.org/whl/nightly/cpu 如需特定平台(Android、iOS、嵌入式系統)的設定,請參閱「快速入門」文件。

授權與價格

提供的元資料或 README 中未說明授權條款。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/pytorchexecutorch.svg)](https://yunodb.com/tools/pytorchexecutorch?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/pytorchexecutorch?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/pytorchexecutorch.svg" alt="Featured on YunoDB" height="20"></a>