sandstorm

在最低成本的機器上運行數千個 AI 代理沙盒。

sandstorm 是什麼?

在最低成本的機器上運行數千個 AI 代理沙盒。中文摘要:在最低成本的機器上運行數千個 AI 代理沙盒。

sandstorm 概覽

這是什麼

Sandstorm 是一個能在單一機器或機器集群上運行數千個 AI 代理沙盒的系統。它會暫停閒置的沙盒並將其快照儲存至磁碟,然後在請求到達時快速恢復,使一台機器能夠容納遠比同時運行更多的沙盒。支援兩種沙盒後端:gVisor 容器與 Firecracker 微型虛擬機。每個沙盒擁有獨立的網路命名空間。主節點提供網頁控制台,用於檢視與管理沙盒,並在集群中進行排程。

主要功能

  • 一個主節點,多個工作節點。主節點將期望狀態儲存在 SQLite 中並分配沙盒。工作節點透過位址與配對碼加入,或從 NAT 後方撥出連線。
  • 流量喚醒。沙盒所在節點上的閘道器會喚醒沙盒並轉發請求。
  • 節點自我保護。當記憶體不足時,工作節點會拒絕新工作,確保 SSH 仍可連線。
  • 單一二進位檔。sandstormd 同時擔任主節點、工作節點與網頁控制台。
  • 針對各後端最佳化。gVisor 與 Firecracker 各自擁有專屬的效能調校。

使用情境

Sandstorm 專為運行大量時間處於等待狀態的 AI 代理而設計。它能在最便宜的機器上運行數千個此類代理沙盒,透過暫停閒置沙盒並按需恢復,有效管理資源。

快速開始

需求:Linux 系統需支援 cgroup v2、runsc 位於 PATH 環境變數中、安裝 Rust 與 Node 22.12 或更新版本(用於控制台)。 bash git clone https://github.com/deeplethe/sandstorm.git && cd sandstorm npm --prefix web/console ci && npm --prefix web/console run build cargo build --release -p sandstorm-core sudo ./target/release/sandstormd serve --master --node 開啟控制台 https://127.0.0.1:8080,忽略瀏覽器關於私有 CA 的警告,使用 /var/lib/sandstorm/pki/api-token 中的令牌登入,點選 + From an image 建立範本,然後從範本啟動沙盒。 若需部署機器集群,請參閱儲存庫 README 中的 scripts/fleet.sh 指令。

授權與價格

採用 Apache-2.0 授權。開放原始碼。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/deeplethesandstorm.svg)](https://yunodb.com/tools/deeplethesandstorm?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/deeplethesandstorm?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/deeplethesandstorm.svg" alt="Featured on YunoDB" height="20"></a>