lit
學習可解釋性工具:在可擴展且與框架無關的介面中,以互動方式分析機器學習模型以了解其行為。
lit 是什麼?
學習可解釋性工具:在可擴展且與框架無關的介面中,以互動方式分析機器學習模型以了解其行為。
lit 概覽
這是什麼
Learning Interpretability Tool (LIT),原名 Language Interpretability Tool,是一個視覺化、互動式的機器學習模型理解工具。它支援文字、圖片和表格資料。LIT 可以作為獨立伺服器執行,也可以在 Colab、Jupyter 和 Google Cloud Vertex AI 筆記本等環境中使用。此工具旨在幫助回答關於模型行為的問題,例如模型在哪些範例上表現不佳、模型為何做出特定預測,以及在文字風格、動詞時態或代名詞性別等變更下模型是否表現一致。
主要功能
- 透過顯著圖和豐富的模型預測視覺化提供局部解釋。
- 聚合分析,包括自訂指標、切片與分組,以及嵌入空間的視覺化。
- 透過手動編輯或生成器外掛程式進行反事實生成,以動態建立和評估新範例。
- 並排模式,可比較兩個或多個模型,或比較一個模型在一對範例上的表現。
- 高度可擴展,支援新的模型類型,包括分類、迴歸、跨度標記、序列到序列和語言模型。開箱即支援多頭模型和多個輸入特徵。
- 與框架無關,相容於 TensorFlow、PyTorch 等。
使用情境
LIT 專為除錯模型效能、理解個別預測以及測試模型一致性而設計。可用於識別失敗模式、將預測歸因於輸入特徵,以及探索反事實情境。該工具支援分類、迴歸和生成式 AI 任務的工作流程,並允許並排比較不同模型或資料點。
快速開始
可透過 pip 安裝 LIT: sh pip install lit-nlp 安裝特定範例的相依套件: sh pip install 'lit-nlp[examples-discriminative-ai]' pip install 'lit-nlp[examples-generative-ai]' 快速啟動 GLUE 基準中的分類和迴歸模型: sh python -m lit_nlp.examples.glue.demo --port=5432 --quickstart 然後瀏覽至 http://localhost:5432 以存取 LIT 使用者介面。 也支援筆記本使用方式,請參閱儲存庫中的 Colab 示範。
授權與價格
LIT 採用 Apache-2.0 授權條款,為開放原始碼軟體。
內容整理自該專案公開的 README 與儲存庫資訊。