starling

在 .NET 中實現本地 AI,無需 Python 側車和 API 金鑰:透過 Microsoft.Extensions.AI 在 ONNX Runtime (CPU/CUDA) 上進行嵌入、實體提取、圖片與影片搜尋及對話。

starling 是什麼?

在 .NET 中實現本地 AI,無需 Python 側車和 API 金鑰:透過 Microsoft.Extensions.AI 在 ONNX Runtime (CPU/CUDA) 上進行嵌入、實體提取、圖片與影片搜尋及對話。

starling 概覽

這是什麼

Starling 是一個 .NET 函式庫,將開放 AI 模型封裝成一般的 NuGet 套件。它在 ONNX Runtime(CPU 或 CUDA)上本機執行,不需要 Python 輔助程式或 API 金鑰。這些模型整合了 Microsoft.Extensions.AI 介面(如 IEmbeddingGenerator 和 IChatClient),讓原本針對託管提供者撰寫的程式碼,只需極少修改即可切換到本機模型。每個模型都固定在特定的上游提交版本,經 SHA-256 驗證,並在發行前與原始實作進行比對。

主要功能

  • 完全在 .NET 中執行,無需 Python 依賴或 API 金鑰。
  • 提供嵌入、實體提取、圖片與影片搜尋以及對話功能。
  • 整合 Microsoft.Extensions.AI(IEmbeddingGenerator、IChatClient),便於在託管與本機模型之間切換。
  • 模型固定在特定上游提交版本,經 SHA-256 驗證,並與原始實作比對。
  • 透過 ONNX Runtime 支援 CPU 與 CUDA 執行。
  • 包含本機 RAG、多語言工單分類、文字搜尋圖片等範例程式。

使用情境

  • 對文件資料夾(Markdown、純文字檔)進行本機問答,使用嵌入與小型對話模型。
  • 多語言工單分類:以英文工單訓練路由器,再用同一模型處理德文、西班牙文、法文、日文工單,並以 GLiNER2 提取實體。
  • 透過文字查詢搜尋照片資料夾,將文字與圖片嵌入同一空間。
  • 多語言語意搜尋(例如以德文查詢哪條河流流經科隆)。
  • 透過 IChatClient 進行本機串流對話。

快速開始

需要 .NET 10 SDK。執行多語言語意搜尋範例:shdotnet new console -o search && cd searchdotnet add package Starlings.Models.E5.Extensions.AIdotnet add package Microsoft.ML.OnnxRuntime --version 1.30.0將 Program.cs 替換為 README 提供的程式碼,然後執行:shdotnet run首次執行會下載模型(約 487 MB)到使用者快取;後續執行可離線工作。若要進行本機對話,請新增套件 Starlings.Models.Qwen35.Extensions.AI 與 Microsoft.ML.OnnxRuntimeGenAI 0.17.1,然後使用提供的 C# 程式碼。

授權與價格

本專案採用 Apache-2.0 授權,為開放原始碼。未提及價格資訊。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/starlinghqstarling.svg)](https://yunodb.com/tools/starlinghqstarling?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/starlinghqstarling?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/starlinghqstarling.svg" alt="Featured on YunoDB" height="20"></a>