inference

將 GPT 替換為任何 LLM,只需變更一行程式碼。Xinference 讓您在雲端、本地或筆電上執行開源、語音及多模態模型——全部透過一個統一的、生產就緒的推論 API。

inference 是什麼?

將 GPT 替換為任何 LLM,只需變更一行程式碼。Xinference 讓您在雲端、本地或筆電上執行開源、語音及多模態模型——全部透過一個統一的、生產就緒的推論 API。