亚洲女同一区二区,AV资源每日更新网站,精品亚洲91久久久久,亚洲精品欧一区二区,www男人的天堂,亚洲国产精品久久久久蜜桃噜噜,欧美在线人一区二区三区,久久精品国产成人高清电影,手机在线观看的黄色AV网址,亚洲午夜末满十八勿入网站

歡迎您訪問思政資源庫！
中唐方德官網 | 思政直播
什么是robots協議

什么是robots協議

84
0
展開
下載
收藏
版權說明

發布日期：2023-01-26

true

來源：百度百科

簡介：
robots協議也稱爬蟲協議、爬蟲規則等，是指網站可建立一個robots.txt文件來告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取，而搜索引擎則通過讀取robots.txt文件來識別這個頁面是否允許被抓取。但是，這個robots協議不是防火墻，也沒有強制執行力，搜索引擎完全可以忽視robots.txt文件去抓取網頁的快照。如果想單獨定義搜索引擎的漫游器訪問子目錄時的行為，那么可以將自定的設置合并到根目錄下的robots.txt，或者使用robots元數據（Metadata，又稱元數據）。

適用專業(1)

    本科(1):

  • 數據科學與大數據技術
    • 展開

適用課程(1)

  • 程序設計基礎（Python語言）
    • 展開
版權說明及權利通知
加入資源庫VIP 本文免費下載
2萬VIP文檔下載
海量文檔免費下載
付費資源7折起
專屬客服服務
僅需0.6元/天
開通VIP
繼續閱讀
VIP用戶可繼續閱讀

相關思政元素

收藏
版權說明
下載
VIP專享文檔
付費資源7折起
專屬客服服務
僅需0.6元/天
立即開通