sandstorm
在最低成本的機器上運行數千個 AI 代理沙盒。
sandstorm 是什麼?
在最低成本的機器上運行數千個 AI 代理沙盒。中文摘要:在最低成本的機器上運行數千個 AI 代理沙盒。
sandstorm 概覽
這是什麼
Sandstorm 是一個能在單一機器或機器集群上運行數千個 AI 代理沙盒的系統。它會暫停閒置的沙盒並將其快照儲存至磁碟,然後在請求到達時快速恢復,使一台機器能夠容納遠比同時運行更多的沙盒。支援兩種沙盒後端:gVisor 容器與 Firecracker 微型虛擬機。每個沙盒擁有獨立的網路命名空間。主節點提供網頁控制台,用於檢視與管理沙盒,並在集群中進行排程。
主要功能
- 一個主節點,多個工作節點。主節點將期望狀態儲存在 SQLite 中並分配沙盒。工作節點透過位址與配對碼加入,或從 NAT 後方撥出連線。
- 流量喚醒。沙盒所在節點上的閘道器會喚醒沙盒並轉發請求。
- 節點自我保護。當記憶體不足時,工作節點會拒絕新工作,確保 SSH 仍可連線。
- 單一二進位檔。
sandstormd同時擔任主節點、工作節點與網頁控制台。 - 針對各後端最佳化。gVisor 與 Firecracker 各自擁有專屬的效能調校。
使用情境
Sandstorm 專為運行大量時間處於等待狀態的 AI 代理而設計。它能在最便宜的機器上運行數千個此類代理沙盒,透過暫停閒置沙盒並按需恢復,有效管理資源。
快速開始
需求:Linux 系統需支援 cgroup v2、runsc 位於 PATH 環境變數中、安裝 Rust 與 Node 22.12 或更新版本(用於控制台)。 bash git clone https://github.com/deeplethe/sandstorm.git && cd sandstorm npm --prefix web/console ci && npm --prefix web/console run build cargo build --release -p sandstorm-core sudo ./target/release/sandstormd serve --master --node 開啟控制台 https://127.0.0.1:8080,忽略瀏覽器關於私有 CA 的警告,使用 /var/lib/sandstorm/pki/api-token 中的令牌登入,點選 + From an image 建立範本,然後從範本啟動沙盒。 若需部署機器集群,請參閱儲存庫 README 中的 scripts/fleet.sh 指令。
授權與價格
採用 Apache-2.0 授權。開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。