ai.robots.txt
一個包含須封鎖的AI代理與機器人的清單。
ai.robots.txt 是什麼?
一個包含須封鎖的AI代理與機器人的清單。本地化版本:台灣正體中文。
ai.robots.txt 概覽
這是什麼
ai.robots.txt 是一個經過整理的 AI 相關網路爬蟲清單,涵蓋所有類型的爬蟲,無論其目的為何。此專案提供多種網頁伺服器的設定檔,用以封鎖這些爬蟲,並實作 Robots Exclusion Protocol (RFC 9309)。清單由社群維護,資料來源為 Known Agents,並歡迎貢獻。
主要功能
- 涵蓋 AI 爬蟲的綜合清單,包括用於訓練與資料收集的爬蟲 - 實作 Robots Exclusion Protocol 的
robots.txt檔案 - 供 Apache httpd 使用的.htaccess檔案,可對清單中的爬蟲回傳錯誤頁面 - 供 Nginx 虛擬主機設定使用的nginx-block-ai-bots.conf片段 - 包含 Header Regex 比對群組的Caddyfile,用於封鎖 AI 機器人 - 供 HAProxy 使用的haproxy-block-ai-bots.txt設定 - 供 Lighttpd 使用的lighttpd-block-ai-bots.conf設定
使用情境
- 封鎖 AI 爬蟲存取網站內容,防止未經授權的資料收集或訓練 - 實作涵蓋多種 AI 代理程式的標準
robots.txt - 設定網頁伺服器(Apache、Nginx、Caddy、HAProxy、Lighttpd)拒絕 AI 機器人的請求 - 透過在網站 `` 中加入特定 meta 標籤,選擇退出 Bing 的 AI 訓練 - 將此清單作為識別伺服器日誌或其他工具中 AI 爬蟲的參考
快速開始
請參閱儲存庫的 README 檔案,以取得使用所提供設定檔的詳細說明。可直接從儲存庫下載這些檔案,並將其納入您的網頁伺服器設定中。
授權與價格
此專案採用 MIT 授權條款,為開放原始碼且免費使用與修改。
內容整理自該專案公開的 README 與儲存庫資訊。