讓每一(yī)個企業都擁有适合自己的互聯網應用方案-淮北(běi)中(zhōng)拓科技   網站首頁 > 新聞動态
 
Robots生(shēng)效要多久?
來源:zt0561.cn 發布時間:2021/5/24
  有時候我(wǒ)們在網站建設的前期忘了寫robots.txt文件,但是很多不想被收錄到搜索引擎中(zhōng)的内容都被收錄了。這時候我(wǒ)們會發現,似乎時間久了,就不希望收錄的頁面被收錄了。robots要多久才能生(shēng)效?宿州網站優化的小(xiǎo)編來和大(dà)家一(yī)起來看看吧!
  百度李曾在公開(kāi)場合表示,不同的站點略有不同,但一(yī)般過幾天就會生(shēng)效。
  事實上,我(wǒ)們可以想象robots生(shēng)效的過程:
  1.蜘蛛發現robots文件被修改,并将信息傳回
  2.分(fēn)析修改前後的robots文件
  3.删除不允許包含的索引數據
  在這個過程中(zhōng)還會有一(yī)些其他的步驟。但由于蜘蛛爬行頻(pín)率和網站權重(網站的重要性)不同,蜘蛛發現robots的延時變化或處理優先級不同,最終結果是robots的有效時間不同。
  通過以上宿州網站優化小(xiǎo)編的分(fēn)析,我(wǒ)們可以得出結論,robots的有效時間是不确定的。如果你的robots在改變後很長一(yī)段時間都沒有發揮作用,你可以去(qù)這裏投訴:tousu.baidu.com