magika
快速且準確的 AI 驅動檔案內容類型偵測。品牌名稱保留為 Magika,類別為 AI,授權條款為 Apache-2.0。
magika 是什麼?
快速且準確的 AI 驅動檔案內容類型偵測。品牌名稱保留為 Magika,類別為 AI,授權條款為 Apache-2.0。
magika 概覽
這是什麼
Magika 是一款基於 AI 的檔案類型偵測工具,利用深度學習來識別檔案內容類型。它採用客製化、僅數 MB 的最佳化模型,能在單一 CPU 上於數毫秒內完成精確的檔案識別。該模型在約 1 億個樣本、超過 200 種內容類型的資料集上訓練與評估,在測試集上達到平均約 99% 的準確率。Magika 被 Google 大規模用於將 Gmail、Drive 和 Safe Browsing 的檔案路由至適當的安全掃描器,每週處理數千億個樣本。它也已整合至 VirusTotal 和 abuse.ch。
主要功能
- 提供命令列工具(Rust)、Python API,以及 Rust、JavaScript/TypeScript(實驗性 npm 套件)和 GoLang(開發中)的繫結。
- 在約 1 億個檔案、超過 200 種內容類型上訓練與評估。
- 在測試集上達到平均約 99% 的精確率與召回率,尤其在文字內容類型上優於現有方法。
- 模型載入後(一次性開銷),推論時間約為每個檔案 5 毫秒,即使在單一 CPU 上亦然。
- 支援同時掃描數千個檔案,並可使用
-r遞迴掃描目錄。 - 推論時間近乎固定,不受檔案大小影響;僅使用檔案內容的有限子集。
- 每個內容類型設有閾值系統,決定是否信任模型預測,或回傳通用標籤(例如「通用文字文件」)。
- 提供
high-confidence、medium-confidence、best-guess等預測模式,以控制錯誤容忍度。
使用情境
- 安全掃描中的檔案類型識別(例如路由 Gmail、Drive、Safe Browsing 的檔案)。
- 整合 VirusTotal 和 abuse.ch 進行惡意軟體分析。
- 開發工作流程中的通用檔案類型偵測,例如識別原始碼、文件或二進位檔案。
- 透過網頁示範(在瀏覽器中本地執行)快速測試,無需安裝。
快速開始
透過以下任一方式安裝命令列工具:shellpipx install magika``````shellbrew install magika``````shellcurl -LsSf https://securityresearch.google/magika/install.sh | sh或安裝 Python 套件:shellpip install magika快速開始範例:shellmagika -r *更多範例與文件請參閱儲存庫的 README。
授權與價格
採用 Apache 2.0 授權。免費且開源。
內容整理自該專案公開的 README 與儲存庫資訊。