arkflow

高效能 Rust 串流處理引擎,無縫整合 AI 功能,提供強大的即時資料處理與智慧分析。

arkflow 是什麼?

高效能 Rust 串流處理引擎,無縫整合 AI 功能,提供強大的即時資料處理與智慧分析。

arkflow 概覽

這是什麼

ArkFlow 是一個高效能的 Rust 串流處理引擎,整合了 AI 能力。它提供即時資料處理與智慧分析,支援多種輸入/輸出來源與處理器,並能載入與執行機器學習模型,實現串流資料推論、異常偵測與複雜事件處理。ArkFlow 已收錄於 CNCF Cloud Native Landscape。

主要功能

  • 高效能:基於 Rust 與 Tokio 非同步執行環境,提供優異效能與低延遲
  • 持久傳遞:預設透過每串流 WAL 持久化達到至少一次傳遞,可選用交易型接收器達到精確一次
  • 多種資料來源:支援 Kafka、MQTT、HTTP、檔案、SQL 資料庫等多種輸入/輸出來源
  • 強大處理能力:內建 SQL 查詢、Python UDF、JSON 處理、Protobuf 編解碼、批次處理與 VRL
  • 串流編解碼:JSON 與 Protobuf 編解碼,以及 Debezium CDC 封裝與 Confluent Schema Registry 線路格式
  • 控制平面:可選的 Hub 與網頁主控台,用於觀察、設定與操作多個 ArkFlow 運算節點
  • 可擴展:模組化設計,易於擴充新的輸入、緩衝、輸出與處理器元件

使用情境

ArkFlow 可用於需要高吞吐量與低延遲的即時資料處理管線。適用於串流資料推論(搭配機器學習模型)、異常偵測、複雜事件處理,以及將 AI 能力整合至資料串流等場景。它能從 Kafka、MQTT、HTTP、檔案、SQL 資料庫等多種來源擷取資料,以 SQL、Python UDF 或 AI 模型進行處理,並輸出至 Kafka、InfluxDB、MongoDB 或標準輸出等目標。

快速開始

bash# 複製儲存庫git clone https://github.com/arkflow-rs/arkflow.gitcd arkflow# 建置專案cargo build --release# 執行測試cargo test依照儲存庫 README 建立設定檔 config.yaml,然後執行:bash./target/release/arkflow --config config.yaml

授權與價格

授權:Apache-2.0。價格:開放原始碼(免費)。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/arkflow-rsarkflow.svg)](https://yunodb.com/tools/arkflow-rsarkflow?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/arkflow-rsarkflow?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/arkflow-rsarkflow.svg" alt="Featured on YunoDB" height="20"></a>