arkflow
高效能 Rust 串流處理引擎,無縫整合 AI 功能,提供強大的即時資料處理與智慧分析。
arkflow 是什麼?
高效能 Rust 串流處理引擎,無縫整合 AI 功能,提供強大的即時資料處理與智慧分析。
arkflow 概覽
這是什麼
ArkFlow 是一個高效能的 Rust 串流處理引擎,整合了 AI 能力。它提供即時資料處理與智慧分析,支援多種輸入/輸出來源與處理器,並能載入與執行機器學習模型,實現串流資料推論、異常偵測與複雜事件處理。ArkFlow 已收錄於 CNCF Cloud Native Landscape。
主要功能
- 高效能:基於 Rust 與 Tokio 非同步執行環境,提供優異效能與低延遲
- 持久傳遞:預設透過每串流 WAL 持久化達到至少一次傳遞,可選用交易型接收器達到精確一次
- 多種資料來源:支援 Kafka、MQTT、HTTP、檔案、SQL 資料庫等多種輸入/輸出來源
- 強大處理能力:內建 SQL 查詢、Python UDF、JSON 處理、Protobuf 編解碼、批次處理與 VRL
- 串流編解碼:JSON 與 Protobuf 編解碼,以及 Debezium CDC 封裝與 Confluent Schema Registry 線路格式
- 控制平面:可選的 Hub 與網頁主控台,用於觀察、設定與操作多個 ArkFlow 運算節點
- 可擴展:模組化設計,易於擴充新的輸入、緩衝、輸出與處理器元件
使用情境
ArkFlow 可用於需要高吞吐量與低延遲的即時資料處理管線。適用於串流資料推論(搭配機器學習模型)、異常偵測、複雜事件處理,以及將 AI 能力整合至資料串流等場景。它能從 Kafka、MQTT、HTTP、檔案、SQL 資料庫等多種來源擷取資料,以 SQL、Python UDF 或 AI 模型進行處理,並輸出至 Kafka、InfluxDB、MongoDB 或標準輸出等目標。
快速開始
bash# 複製儲存庫git clone https://github.com/arkflow-rs/arkflow.gitcd arkflow# 建置專案cargo build --release# 執行測試cargo test依照儲存庫 README 建立設定檔 config.yaml,然後執行:bash./target/release/arkflow --config config.yaml
授權與價格
授權:Apache-2.0。價格:開放原始碼(免費)。
內容整理自該專案公開的 README 與儲存庫資訊。