OfflineLLM

Android 裝置上的私有 AI 聊天 - 透過 llama.cpp 搭配 ARM 最佳化 SIMD,在本機執行任何 GGUF 模型。零網路權限、加密設定、生物辨識鎖定、防竄改偵測。+ GPU 加速 - PQC ML-DSA-87 簽署版本

OfflineLLM 是什麼?

Android 裝置上的私有 AI 聊天 - 透過 llama.cpp 搭配 ARM 最佳化 SIMD,在本機執行任何 GGUF 模型。零網路權限、加密設定、生物辨識鎖定、防竄改偵測。+ GPU 加速 - PQC ML-DSA-87 簽署版本

OfflineLLM 概覽

這是什麼

OfflineLLM 是一款適用於 Android 的私人、裝置端 AI 聊天應用程式。它透過 llama.cpp 在本機執行任何 GGUF 模型,且應用程式清單中沒有任何網路權限。此應用程式專為想要完全離線 AI 助理的使用者設計,所有推論都在裝置上執行。它包含選用的 Vulkan GPU 加速,以及一系列效能與安全功能。

主要功能

  • 100% 離線:清單中沒有 INTERNET 權限,無法回傳資料 - 裝置端推論:透過 llama.cpp 執行 GGUF 模型,執行時期 CPU 分派會選擇最佳核心組合(dotprod、fp16、i8mm、SVE) - GPU 加速(Vulkan):選用切換,可控制每層卸載,並自動回退至 CPU - 快速多輪聊天:增量提示處理,只將新訊息饋入 KV 快取 - 效能控制:CPU 執行緒數、提示階段多執行緒、記憶體對應載入、RAM 鎖定、量化 KV 快取 - 串流回應:逐 token 輸出 - 匯入任何模型:執行時期透過檔案選擇器匯入自己的 GGUF - 多個對話:自動標題、可重新命名、可搜尋 - 翻譯器:支援 75 種以上語言 - 進階取樣:Temperature、Top-P、Top-K、Min-P、Repeat Penalty - 系統提示:一般、程式設計師、創意寫作者、家教、翻譯 - Markdown 與 TTS:格式化回應,可透過系統 TTS 朗讀 - 思考標籤剝離:隱藏推理區塊 - 主題:11 種 Ptyxis 終端機調色盤、Catppuccin、Dracula、系統/淺色/深色/AMOLED,搭配 Material You 強調色 - 13 種內建字型、上下文列、防竄改、加密設定、生物辨識鎖、聊天備份

使用情境

  • 需要完全隱私且無網路連線的 AI 聊天使用者 - 在 RAM 有限(2-8 GB)的裝置上使用小型模型執行 LLM - 想在 Android 上實驗本機 AI 的開發者與愛好者 - 需要翻譯、程式設計協助或創意寫作,但不想使用雲端服務的使用者

快速開始

從 Releases 安裝,或透過 ADB: bash adb install OfflineLLM-5.1.3-PQC-signed.apk 需要 Android 13 以上與 arm64-v8a。安裝後,從設定中匯入 GGUF 模型。

授權與價格

授權列為 NOASSERTION,價格類型為開源。提供的後設資料或 README 中未說明確切授權條款。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/jeglyofflinellm.svg)](https://yunodb.com/tools/jeglyofflinellm?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/jeglyofflinellm?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/jeglyofflinellm.svg" alt="Featured on YunoDB" height="20"></a>