LLamaSharp

一個 C#/.NET 函式庫,可在您的本地裝置上有效率地執行 LLM (🦙LLaMA/LLaVA)。

LLamaSharp 是什麼?

一個 C#/.NET 函式庫,可在您的本地裝置上有效率地執行 LLM (🦙LLaMA/LLaVA)。

LLamaSharp 概覽

這是什麼

LLamaSharp 是一個跨平台的 C#/.NET 函式庫,用於在本機裝置上執行 LLaMA 及其他大型語言模型。它基於 llama.cpp,在 CPU 和 GPU 上都能提供高效的推論效能。該函式庫提供高階 API 與 RAG(檢索增強生成)支援,簡化 LLM 在應用程式中的部署。

主要功能

  • 支援 Windows、Linux 與 Mac 跨平台。
  • 透過 llama.cpp 後端實現高效的 CPU 與 GPU 推論。
  • 多種後端選項:CPU、CUDA 12、CUDA 13、Vulkan 及 Metal(Mac)。
  • 高階 API 與 RAG 支援,便於整合。
  • 與 BotSharp、Langchain 及 MaIN.NET 的整合。
  • 支援 GGUF 模型格式,可從 Huggingface 下載或從其他格式轉換。
  • 支援串流生成與對話會話功能。

使用情境

  • 建置本機 AI 聊天助手與對話代理。
  • 在桌面、網頁及行動應用程式中部署 LLM。
  • 將 LLM 整合至 Unity 等遊戲引擎。
  • 建立基於 RAG 的文件查詢應用程式。
  • 開發用於程式碼生成、寫作與分析的 AI 工具。

快速開始

安裝 LLamaSharp NuGet 套件: PM> Install-Package LLamaSharp 接著安裝一個或多個後端套件(例如 LLamaSharp.Backend.Cpu 用於 CPU,LLamaSharp.Backend.Cuda12 用於 CUDA)。準備 GGUF 模型檔案,可從 Huggingface 下載或從 PyTorch/Huggingface 格式轉換。完整的對話會話範例請參閱儲存庫 README。

授權與價格

LLamaSharp 是開放原始碼軟體,採用 MIT 授權。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/scisharpllamasharp.svg)](https://yunodb.com/tools/scisharpllamasharp?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/scisharpllamasharp?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/scisharpllamasharp.svg" alt="Featured on YunoDB" height="20"></a>