qsv

極速的神經符號資料整理工具包

qsv 是什麼?

極速的神經符號資料整理工具包(Neuro-symbolic Data-Wrangling toolkit)

qsv 概覽

這是什麼

qsv 是一個神經符號資料整理工具組,用於查詢、切片、排序、分析、過濾、豐富、轉換、驗證、地理編碼、格式化、轉換、視覺化、FAIR化、聊天、連接和記錄表格資料。它支援 CSV、TSV、SSV、JSONL、Parquet、試算表等格式。指令簡單、可組合,且被描述為極快。

主要功能

  • 涵蓋資料操作、分析、地理編碼、驗證和 AI 驅動的豐富化等多種指令。
  • 支援多種表格格式,包括 CSV、TSV、SSV、JSONL、Parquet 和試算表。
  • 透過 OpenAI API 相容服務整合 LLM,提供神經符號功能(例如 describegpt、apply 的摘要功能)。
  • 地理編碼支援離線資料庫(Geonames、Maxmind GeoLite2)和線上服務(OpenCage、NYC Geoclient、US Census Geocoder)。
  • 效能最佳化,包括索引、多執行緒、外部排序和大型檔案的記憶體映射雜湊表。
  • 指令可組合,可透過管道串接以執行複雜工作流程。

使用情境

  • 資料清理與轉換(例如移除重複、填補遺漏值、重新格式化)。
  • 資料分析與探索(例如頻率分佈、統計、過濾)。
  • 地理編碼與空間資料豐富化(例如將地址轉換為座標、加入人口普查資料)。
  • 驗證與品質保證(例如偵測空值哨兵、檢查資料完整性)。
  • AI 輔助的資料文件化與查詢(例如產生資料字典、詢問資料相關問題)。
  • 使用外部排序和去重進行大規模資料處理。

快速開始

請參閱儲存庫的 README 以取得安裝說明。

授權與價格

授權未明確聲明(NOASSERTION)。此專案為開源軟體。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/dathereqsv.svg)](https://yunodb.com/tools/dathereqsv?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/dathereqsv?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/dathereqsv.svg" alt="Featured on YunoDB" height="20"></a>