(資料圖片)

1、Robots協(xié)議（也稱為爬蟲協(xié)議、機器人協(xié)議等）的全稱是“網(wǎng)絡爬蟲排除標準”，網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

2、如果網(wǎng)站的運營者通過該文件協(xié)議做出了限制，那么在搜索界面就會提示由于該網(wǎng)站的robots.txt文件存在限制指令。

本文就為大家分享到這里，希望小伙伴們會喜歡。

標簽：