esp32-thinks
一個多模型的 Muse:ESP32 上的個人 AI 語音助手 - 支援喚醒詞或旋鈕、任何 OpenAI 相容的大腦(STT/聊天/TTS 可自由混搭)、串流回覆,開箱即用。
esp32-thinks 是什麼?
一個多模型的 Muse:ESP32 上的個人 AI 語音助手 - 支援喚醒詞或旋鈕、任何 OpenAI 相容的大腦(STT/聊天/TTS 可自由混搭)、串流回覆,開箱即用。基於 muse-gadget-sdk 建構。
esp32-thinks 概覽
這是什麼
一個多模型的 Muse:在 ESP32 上運行的個人 AI 語音助手——支援喚醒詞或旋鈕啟動,可使用任何 OpenAI 相容的大腦(STT/對話/TTS 可自由混搭),串流回覆,開箱即用。基於 Meta 開源的 muse-gadget-sdk 建構。
主要功能
- 喚醒詞 + 按鈕:說「Hi, ESP」(使用 esp-sr WakeNet10,在晶片上執行)或按住旋鈕;兩者皆可開始一輪對話。
- 自備大腦:在一個設定檔中獨立指定三個 OpenAI 相容端點(STT / 對話 / TTS)。可自由混合供應商;預設配置:
openai、quicksilver、openmuse、custom。 - 可選代理層:儲存庫中的
openmuse/可加入位置、時鐘、天氣、持久記憶與可選網路搜尋,擁有系統提示,並代理 STT。 - 串流語音回覆:對話串流在句子邊界(ASCII + 中日韓字元)解析;每個句子一抵達即合成,並附加到正在播放的音訊中。
- 插話功能:Muse 說話時按下旋鈕;回覆會在中斷句子停止,進行中的請求被取消,立即開始新一輪對話。
- 靜音防護:安靜的錄音(中斷的對話、口袋誤觸)會被丟棄,不會產生幻覺回答。
- 自動停滯恢復:未完成的 I2S 或 LCD 工作有 20 秒截止時間,之後進行零分配的任務傾印並重新啟動;卡住的 I2C 擴展器(v0.2.11+)在連續失敗一分鐘後重新啟動。
- 語言跟隨:以使用者的語言回答,不明確時預設為英文。已測試英文、中文與韓文。
- 無頭設定:將 Wi-Fi 寫入設定;裝置在開機時自動設定。無需應用程式、BLE 配對或供應商帳號。
使用情境
在 ESP32 硬體上運行的個人 AI 語音助手。適合希望避免供應商鎖定、自行選擇 STT、對話與 TTS 供應商的使用者。可搭配本地代理(openmuse)使用位置、天氣、時間與記憶功能。支援英文、中文與韓文。
快速開始
bash # 0) 一次性:ESP-IDF v6.0.x for esp32s3(詳見 docs/REFERENCE.md §Prerequisites) git clone https://github.com/facebookincubator/muse-gadget-sdk.git git -C muse-gadget-sdk checkout 812c46f git clone https://github.com/raullenchai/esp32-thinks.git cd esp32-thinks # 1) 備份出廠 NVS 一次——萬一出問題的還原路徑 ./scripts/backup-nvs.sh ../muse-gadget-sdk /dev/ttyACM1 # 使用你的連接埠:ACM0 或 ACM1 # 2) 套用修補程式 + 設定你的大腦(選擇一個預設) ./apply.sh ../muse-gadget-sdk --preset quicksilver # 或 openai / openmuse / custom # 3) 建置 + 燒錄(CH342 安全間隔;需數分鐘) ./build-and-flash.sh ../muse-gadget-sdk /dev/ttyACM1
授權與價格
MIT 授權。開源。價格未說明,僅知為開源。
內容整理自該專案公開的 README 與儲存庫資訊。