GenieX

只需幾行程式碼,即可在 Qualcomm 裝置上透過 NPU、GPU 和 CPU 本機執行前沿 LLM 與 VLM

GenieX 是什麼?

只需幾行程式碼,即可在 Qualcomm 裝置上透過 NPU、GPU 和 CPU 本機執行前沿 LLM 與 VLM

GenieX 概覽

這是什麼

GenieX 是一款專為 Qualcomm 裝置設計的裝置端生成式 AI 推論執行環境。使用者只需幾行程式碼,即可在 Hexagon NPU、Adreno GPU 或 CPU 上本機執行前沿的大型語言模型與視覺語言模型。此執行環境透過 CLI、Python、Kotlin/Java、Docker 以及相容 OpenAI 的伺服器提供操作介面,所有介面皆建構於單一的 C SDK 之上。它是 Qualcomm GENIE 的社群版本。

主要功能

  • 支援來自 Hugging Face、ModelScope 或 Docker Hub 的 GGUF 模型,以及來自 Qualcomm AI Hub 的預編譯套件。
  • 僅在 Qualcomm Snapdragon 平台上執行,包括 Windows ARM64、Android 與 Linux ARM64。
  • 提供兩種執行環境:llama.cpp(用於 GGUF 模型,可在 NPU、GPU 或 CPU 上執行)與 Qualcomm AI Engine Direct(用於預編譯套件,僅在 NPU 上執行)。
  • 提供多種操作介面:CLI、Python(具有類似 transformers 的 API)、Kotlin/Java SDK、Docker 以及相容 OpenAI 的伺服器。
  • 包含模型列表指令,可瀏覽使用者晶片組可用的 Qualcomm AI Hub 套件。

使用情境

GenieX 適用於需要在 Qualcomm 裝置上本機執行大型語言模型與視覺語言模型的開發者與研究人員。使用情境包括行動應用程式的裝置端 AI 推論、物聯網裝置的邊緣運算,以及無需雲端依賴的本機 LLM 原型開發。

快速開始

請參閱儲存庫的 README 以取得詳細的安裝與快速入門說明。README 中的範例指令包括:# 在 Linux ARM64 上安裝 CLI(無需 sudo):curl -fsSL https://qaihub-public-assets.s3.us-west-2.amazonaws.com/qai-hub-geniex/install.sh | sh# 從 Hugging Face 執行 GGUF 模型:geniex infer google/gemma-4-E4B-it-qat-q4_0-gguf# 安裝 Python 套件:pip install geniex# 拉取模型並以 OpenAI 相容 API 提供服務:geniex pull ai-hub-models/Qwen3-4B-Instruct-2507geniex serve

授權與價格

GenieX 採用 BSD 3-Clause 授權條款,為開放原始碼軟體。使用此專案亦須遵守 Qualcomm 的使用條款。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/qualcommgeniex.svg)](https://yunodb.com/tools/qualcommgeniex?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/qualcommgeniex?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/qualcommgeniex.svg" alt="Featured on YunoDB" height="20"></a>