qsv
極速的神經符號資料整理工具包
qsv 是什麼?
極速的神經符號資料整理工具包(Neuro-symbolic Data-Wrangling toolkit)
qsv 概覽
這是什麼
qsv 是一個神經符號資料整理工具組,用於查詢、切片、排序、分析、過濾、豐富、轉換、驗證、地理編碼、格式化、轉換、視覺化、FAIR化、聊天、連接和記錄表格資料。它支援 CSV、TSV、SSV、JSONL、Parquet、試算表等格式。指令簡單、可組合,且被描述為極快。
主要功能
- 涵蓋資料操作、分析、地理編碼、驗證和 AI 驅動的豐富化等多種指令。
- 支援多種表格格式,包括 CSV、TSV、SSV、JSONL、Parquet 和試算表。
- 透過 OpenAI API 相容服務整合 LLM,提供神經符號功能(例如
describegpt、apply的摘要功能)。 - 地理編碼支援離線資料庫(Geonames、Maxmind GeoLite2)和線上服務(OpenCage、NYC Geoclient、US Census Geocoder)。
- 效能最佳化,包括索引、多執行緒、外部排序和大型檔案的記憶體映射雜湊表。
- 指令可組合,可透過管道串接以執行複雜工作流程。
使用情境
- 資料清理與轉換(例如移除重複、填補遺漏值、重新格式化)。
- 資料分析與探索(例如頻率分佈、統計、過濾)。
- 地理編碼與空間資料豐富化(例如將地址轉換為座標、加入人口普查資料)。
- 驗證與品質保證(例如偵測空值哨兵、檢查資料完整性)。
- AI 輔助的資料文件化與查詢(例如產生資料字典、詢問資料相關問題)。
- 使用外部排序和去重進行大規模資料處理。
快速開始
請參閱儲存庫的 README 以取得安裝說明。
授權與價格
授權未明確聲明(NOASSERTION)。此專案為開源軟體。
內容整理自該專案公開的 README 與儲存庫資訊。