亚洲精品在线播放,亚洲成人免费在线观看,午夜宅女,一个人看aaaa免费中文,99视频在线看观免费,免费一级特黄特色大片在线观看看

新聞中心

• 運營知識 | 網站的根目錄下的robots.txt文件有什么作用？

  　　在網站建設過程中我們會有一部分內容不希望被搜索引擎抓取到或者不希望其在互聯網中出現，那么要怎么辦呢?我要怎么跟搜索引擎說你不要抓取我的xx內容呢?這時候robots就派上用場了。

  　　Robots.txt是存放于網站根目錄下用于規定搜索引擎對網站內容抓取范圍的文本文件，就這么一句話可以解釋robots.txt是什么，但是我們需要注意的幾點：

  　　1.robots.txt必須存放在網站的根目錄下。

  　　2.其命名必須為robots.txt

  　　3.Robots.txt是搜索引擎訪問網站的第一個頁面

  　　4.Robots.txt中必須指明user-agent