LLamaSharp
一個 C#/.NET 函式庫,可在您的本地裝置上有效率地執行 LLM (🦙LLaMA/LLaVA)。
LLamaSharp 是什麼?
一個 C#/.NET 函式庫,可在您的本地裝置上有效率地執行 LLM (🦙LLaMA/LLaVA)。
LLamaSharp 概覽
這是什麼
LLamaSharp 是一個跨平台的 C#/.NET 函式庫,用於在本機裝置上執行 LLaMA 及其他大型語言模型。它基於 llama.cpp,在 CPU 和 GPU 上都能提供高效的推論效能。該函式庫提供高階 API 與 RAG(檢索增強生成)支援,簡化 LLM 在應用程式中的部署。
主要功能
- 支援 Windows、Linux 與 Mac 跨平台。
- 透過 llama.cpp 後端實現高效的 CPU 與 GPU 推論。
- 多種後端選項:CPU、CUDA 12、CUDA 13、Vulkan 及 Metal(Mac)。
- 高階 API 與 RAG 支援,便於整合。
- 與 BotSharp、Langchain 及 MaIN.NET 的整合。
- 支援 GGUF 模型格式,可從 Huggingface 下載或從其他格式轉換。
- 支援串流生成與對話會話功能。
使用情境
- 建置本機 AI 聊天助手與對話代理。
- 在桌面、網頁及行動應用程式中部署 LLM。
- 將 LLM 整合至 Unity 等遊戲引擎。
- 建立基於 RAG 的文件查詢應用程式。
- 開發用於程式碼生成、寫作與分析的 AI 工具。
快速開始
安裝 LLamaSharp NuGet 套件: PM> Install-Package LLamaSharp 接著安裝一個或多個後端套件(例如 LLamaSharp.Backend.Cpu 用於 CPU,LLamaSharp.Backend.Cuda12 用於 CUDA)。準備 GGUF 模型檔案,可從 Huggingface 下載或從 PyTorch/Huggingface 格式轉換。完整的對話會話範例請參閱儲存庫 README。
授權與價格
LLamaSharp 是開放原始碼軟體,採用 MIT 授權。
內容整理自該專案公開的 README 與儲存庫資訊。