ai.robots.txt

一個包含須封鎖的AI代理與機器人的清單。

ai.robots.txt 是什麼?

一個包含須封鎖的AI代理與機器人的清單。本地化版本:台灣正體中文。

ai.robots.txt 概覽

這是什麼

ai.robots.txt 是一個經過整理的 AI 相關網路爬蟲清單,涵蓋所有類型的爬蟲,無論其目的為何。此專案提供多種網頁伺服器的設定檔,用以封鎖這些爬蟲,並實作 Robots Exclusion Protocol (RFC 9309)。清單由社群維護,資料來源為 Known Agents,並歡迎貢獻。

主要功能

  • 涵蓋 AI 爬蟲的綜合清單,包括用於訓練與資料收集的爬蟲 - 實作 Robots Exclusion Protocol 的 robots.txt 檔案 - 供 Apache httpd 使用的 .htaccess 檔案,可對清單中的爬蟲回傳錯誤頁面 - 供 Nginx 虛擬主機設定使用的 nginx-block-ai-bots.conf 片段 - 包含 Header Regex 比對群組的 Caddyfile,用於封鎖 AI 機器人 - 供 HAProxy 使用的 haproxy-block-ai-bots.txt 設定 - 供 Lighttpd 使用的 lighttpd-block-ai-bots.conf 設定

使用情境

  • 封鎖 AI 爬蟲存取網站內容,防止未經授權的資料收集或訓練 - 實作涵蓋多種 AI 代理程式的標準 robots.txt
  • 設定網頁伺服器(Apache、Nginx、Caddy、HAProxy、Lighttpd)拒絕 AI 機器人的請求 - 透過在網站 `` 中加入特定 meta 標籤,選擇退出 Bing 的 AI 訓練 - 將此清單作為識別伺服器日誌或其他工具中 AI 爬蟲的參考

快速開始

​請參閱儲存庫的 README 檔案,以取得使用所提供設定檔的詳細說明。可直接從儲存庫下載這些檔案,並將其納入您的網頁伺服器設定中。

授權與價格

​此專案採用 MIT 授權條款,為開放原始碼且免費使用與修改。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/ai-robots-txtairobotstxt.svg)](https://yunodb.com/tools/ai-robots-txtairobotstxt?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/ai-robots-txtairobotstxt?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/ai-robots-txtairobotstxt.svg" alt="Featured on YunoDB" height="20"></a>