OpenVision

開源 iOS App,將 Meta Ray-Ban 智慧眼鏡連線至 AI — 5 種後端(裝置端 MLX 模型、Apple Intelligence、OpenAI、Gemini Live、OpenClaw)、裝置端神經語音、人臉辨識與即時網路搜尋。注重隱私且可離線使用。

OpenVision 是什麼?

開源 iOS App,將 Meta Ray-Ban 智慧眼鏡連線至 AI — 5 種後端(裝置端 MLX 模型、Apple Intelligence、OpenAI、Gemini Live、OpenClaw)、裝置端神經語音、人臉辨識與即時網路搜尋。注重隱私且可離線使用。

OpenVision 概覽

這是什麼

OpenVision 是一款開源 iOS 應用程式,可將 Meta Ray-Ban 智慧眼鏡連接至 AI 助手。它支援五種後端:裝置端 MLX 模型、Apple Intelligence、OpenAI、Gemini Live 與 OpenClaw。提供裝置端神經語音、人臉辨識與即時網路搜尋。具備隱私保護且可離線使用。

主要功能

  • 七種 AI 後端:本地端 (MLX) 可選擇多種裝置端模型、Apple Intelligence、OpenClaw、Gemini Live、OpenAI、Grok 與 Hermes。
  • 即時視訊模式:透過 Gemini Live、OpenAI Realtime API 或完全裝置端的 SmolVLM2 實現即時語音與視覺。
  • 裝置端照片分析 (SmolVLM2):完全在裝置端拍攝並分析影像。
  • 自然語音:Kokoro 裝置端語音、Grok 與 OpenAI 雲端語音,並可回退至 Apple 系統語音。
  • 代理式網路搜尋:模型在不確定時使用 Tavily 或 DuckDuckGo 搜尋網路。
  • 對話記憶:在裝置端、OpenAI 與 Grok 後端支援多輪對話上下文。
  • 免持生產力工具:透過語音設定計時器、番茄鐘、提醒事項、行事曆、筆記與剪貼簿。
  • 裝置端人臉辨識:使用 Apple Vision 進行。
  • 智慧語音控制:喚醒詞「Ok Vision」、插話功能、對話模式與停止指令。
  • 裝置端模型管理:可從設定中下載與刪除模型。
  • 眼鏡整合:語音拍照、即時視訊串流與無縫註冊。
  • 生產就緒:自動重新連線、網路監控與應用程式生命週期處理。
  • 零硬編碼:所有 API 金鑰皆可設定。

使用情境

  • 即時翻譯:在國外面對菜單或標誌時獲得即時翻譯。
  • 免持烹飪:雙手沾滿麵團時詢問下一步。
  • 智慧購物:取得價格比較與評論。
  • 旅遊導覽:即時獲取建築物的歷史與事實。
  • 無障礙輔助:描述環境、朗讀文字、辨識物體。
  • 會議助理:記住與會者。
  • 學習:辨識植物、動物、地標。
  • DIY 助手:展示問題,獲得逐步協助。
  • 健身教練:即時姿勢回饋。
  • 搭配 OpenClaw 的 56 種工具:免持發送電子郵件、控制智慧家庭、設定提醒、搜尋網路。

快速開始

請參閱儲存庫的 README 以取得安裝與快速開始說明。

授權與價格

本專案為開源軟體,採用 MIT 授權條款。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/rayl15openvision.svg)](https://yunodb.com/tools/rayl15openvision?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/rayl15openvision?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/rayl15openvision.svg" alt="Featured on YunoDB" height="20"></a>