prompttools
用於提示測試和實驗的開源工具，支援大型語言模型（例如 OpenAI、LLaMA）和向量資料庫（例如 Chroma、Weaviate、LanceDB）。
prompttools 是什麼？
用於提示測試和實驗的開源工具，支援大型語言模型（例如 OpenAI、LLaMA）和向量資料庫（例如 Chroma、Weaviate、LanceDB）。
prompttools 概覽
這是什麼
PromptTools 是一套開放原始碼、可自行託管的工具，用於實驗、測試和評估提示詞、大型語言模型（LLM）以及向量資料庫。它由 Hegel AI 建立。這些工具讓開發者能透過程式碼、筆記本和本機遊樂場進行評估。此函式庫不會將 LLM 呼叫轉發到伺服器；所有原始碼都在使用者本機執行。它不會將 API 金鑰或 LLM 的輸入/輸出儲存在伺服器上；資料保留在本機。使用追蹤透過 Sentry 進行，但可透過設定環境變數 SENTRY_OPT_OUT 選擇退出。
主要功能
- 支援多種 LLM API 的實驗：OpenAI（Completion、ChatCompletion、微調模型）、LLaMA.Cpp（LLaMA 1、LLaMA 2）、HuggingFace（Hub API、Inference Endpoints）、Anthropic、Mistral AI、Google Gemini、Google PaLM（舊版）、Google Vertex AI、Azure OpenAI Service、Replicate 以及 Ollama（進行中）。
- 支援向量資料庫和資料工具的實驗：Chroma、Weaviate、Qdrant、LanceDB、Pinecone（已支援）、Milvus（探索中）、Epsilla（進行中）。
- 支援框架：LangChain、MindsDB（已支援）、LlamaIndex（探索中）。
- 支援電腦視覺：Stable Diffusion 和 Replicate 託管的 Stable Diffusion。
- 透過 Streamlit 提供遊樂場介面，可在本機執行。
- 可將實驗結果匯出為 CSV、JSON、LoRA JSON 或 MongoDB。
使用情境
開發者可以使用 PromptTools 測試不同 LLM（例如 OpenAI、Anthropic、LLaMA）的提示詞和參數，並評估向量資料庫的檢索準確度。它適用於提示詞工程、模型比較以及 AI 應用中的檢索評估。
快速開始
使用 pip 安裝 PromptTools：pip install prompttools使用 Jupyter 筆記本執行本機範例：git clone https://github.com/hegelai/prompttools.gitcd prompttools && jupyter notebook examples/notebooks/OpenAIChatExperiment.ipynb啟動遊樂場介面：pip install notebookpip install prompttoolsgit clone https://github.com/hegelai/prompttools.gitcd prompttools && streamlit run prompttools/playground/playground.py
授權與價格
授權為 Apache-2.0。此專案為開放原始碼且可自行託管；價格未說明，僅知為開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。
