OpenVision
開源 iOS App,將 Meta Ray-Ban 智慧眼鏡連線至 AI — 5 種後端(裝置端 MLX 模型、Apple Intelligence、OpenAI、Gemini Live、OpenClaw)、裝置端神經語音、人臉辨識與即時網路搜尋。注重隱私且可離線使用。
OpenVision 是什麼?
開源 iOS App,將 Meta Ray-Ban 智慧眼鏡連線至 AI — 5 種後端(裝置端 MLX 模型、Apple Intelligence、OpenAI、Gemini Live、OpenClaw)、裝置端神經語音、人臉辨識與即時網路搜尋。注重隱私且可離線使用。
OpenVision 概覽
這是什麼
OpenVision 是一款開源 iOS 應用程式,可將 Meta Ray-Ban 智慧眼鏡連接至 AI 助手。它支援五種後端:裝置端 MLX 模型、Apple Intelligence、OpenAI、Gemini Live 與 OpenClaw。提供裝置端神經語音、人臉辨識與即時網路搜尋。具備隱私保護且可離線使用。
主要功能
- 七種 AI 後端:本地端 (MLX) 可選擇多種裝置端模型、Apple Intelligence、OpenClaw、Gemini Live、OpenAI、Grok 與 Hermes。
- 即時視訊模式:透過 Gemini Live、OpenAI Realtime API 或完全裝置端的 SmolVLM2 實現即時語音與視覺。
- 裝置端照片分析 (SmolVLM2):完全在裝置端拍攝並分析影像。
- 自然語音:Kokoro 裝置端語音、Grok 與 OpenAI 雲端語音,並可回退至 Apple 系統語音。
- 代理式網路搜尋:模型在不確定時使用 Tavily 或 DuckDuckGo 搜尋網路。
- 對話記憶:在裝置端、OpenAI 與 Grok 後端支援多輪對話上下文。
- 免持生產力工具:透過語音設定計時器、番茄鐘、提醒事項、行事曆、筆記與剪貼簿。
- 裝置端人臉辨識:使用 Apple Vision 進行。
- 智慧語音控制:喚醒詞「Ok Vision」、插話功能、對話模式與停止指令。
- 裝置端模型管理:可從設定中下載與刪除模型。
- 眼鏡整合:語音拍照、即時視訊串流與無縫註冊。
- 生產就緒:自動重新連線、網路監控與應用程式生命週期處理。
- 零硬編碼:所有 API 金鑰皆可設定。
使用情境
- 即時翻譯:在國外面對菜單或標誌時獲得即時翻譯。
- 免持烹飪:雙手沾滿麵團時詢問下一步。
- 智慧購物:取得價格比較與評論。
- 旅遊導覽:即時獲取建築物的歷史與事實。
- 無障礙輔助:描述環境、朗讀文字、辨識物體。
- 會議助理:記住與會者。
- 學習:辨識植物、動物、地標。
- DIY 助手:展示問題,獲得逐步協助。
- 健身教練:即時姿勢回饋。
- 搭配 OpenClaw 的 56 種工具:免持發送電子郵件、控制智慧家庭、設定提醒、搜尋網路。
快速開始
請參閱儲存庫的 README 以取得安裝與快速開始說明。
授權與價格
本專案為開源軟體,採用 MIT 授權條款。
內容整理自該專案公開的 README 與儲存庫資訊。