色噜噜久久综合伊人超碰,欧美黄色小说,人人妻人人澡人人爽欧美一区久久,日韩精品国产一区二区在线看

企業(yè)與個(gè)人網(wǎng)絡(luò)營銷一站式服務(wù)商
網(wǎng)站建設(shè) / SEO優(yōu)化排名 / 小程序開發(fā) / OA
0731-88571521
136-3748-2004
怎樣寫網(wǎng)站的robots文件 robots.txt這個(gè)文件是什么?有什么作用?
信息來源:長沙做百度SEO   發(fā)布時(shí)間:2018-11-13   瀏覽:

一個(gè)網(wǎng)站如果”/robots.txt”不存在或者為空文件,那么說明此網(wǎng)站對于所有的搜索引擎robot,該網(wǎng)站都是開放的。


從京東和淘寶的robots.txt文件協(xié)議來看,robots.txt文件要講究語法的.
三個(gè)語法
1、User-agent ——用于描述搜索引擎robot的名字,定義搜索引擎類型。
2、Disallow ——不希望被訪問的一組URL,定義禁止抓取收錄地址。
3、Allow——希望被訪問的一組UR。
a、  *      匹配0或多個(gè)任意字符。
b、  $      結(jié)束符。 

首先寫User-agent:
A、U必須大寫,后面的小寫,緊接著冒號 ——這里還要注意一點(diǎn):輸入法必須調(diào)成英文狀態(tài),都是英文狀態(tài)下的)
B、空一格再定義搜索引擎類型。比如定義百度蜘蛛


再寫
Disallow ——不希望被訪問的一組URL,定義禁止抓取收錄地址,或 Allow——希望被訪問的一組UR。
Disallow: /(空一格,一撇)
Allow: /(空一格,一撇)


舉例:

1. 禁止所有搜索引擎訪問網(wǎng)站的任何部分

User-agent: *

Disallow: /


2. 僅禁止Baiduspider訪問您的網(wǎng)站

User-agent: Baiduspider

Disallow: /


3.禁止Google索引你的網(wǎng)站。

User-agent: Googlebot

Disallow: /


4.除了百度以外,其他一切搜索引擎禁止索引你的網(wǎng)站。

User-agent: Baiduspider

Allow: /

User-agent: *

Disallow: /


5. 禁止所有搜索引擎訪問install這個(gè)目錄以及install這個(gè)目錄下的所有文件

User-agent: *

Disallow: /install


6.禁止百度搜索引擎訪問admin目錄;允許訪問images目錄。

User-agent: Baiduspider

Disallow: /admin

Allow: /images


7.禁止百度搜索引擎訪問網(wǎng)站所有.jpg的圖片

User-agent: Baiduspider

Disallow: /*.jpg$


8.禁止百度搜索引擎訪問網(wǎng)站所有的圖片

User-agent: Baiduspider

Disallow: /*.jpg$

Disallow: /*.png$

Disallow: /*.gif$


9.禁止所有搜索引擎訪問admin目錄下所有php文件;允許訪問asp文件。

User-agent: *

Disallow: /admin/*.php$

Allow: /admin/*.asp$


10.禁止所有搜索引擎索引網(wǎng)站中所有的動(dòng)態(tài)路徑。

User-agent: *

Disallow: /*?*


重點(diǎn)區(qū)分以下兩種:

a、禁止搜索引擎訪問faq目錄下的所有文件

User-agent: *

Disallow: /faq/     

例1:http://www.volvojackets.cn/faq/1.html 不能訪問

例2:http://www.volvojackets.cn/faq1.html 能訪問


b、禁止搜索引擎訪問以faq開頭的所有文件

User-agent: *

Disallow: /faq

例1:http://www.volvojackets.cn/faq/1.html 不能訪問

例2:http://www.volvojackets.cn/faq1.html 不能訪問






上一條: 網(wǎng)站被鏡像怎么辦?網(wǎng)站內(nèi)容被別人的網(wǎng)站克隆,網(wǎng)站怎么防被鏡像
下一條: 五一放假期間 斌網(wǎng)網(wǎng)絡(luò)對升級的通知
案例鑒賞
多年的網(wǎng)站建設(shè)經(jīng)驗(yàn),斌網(wǎng)網(wǎng)絡(luò)不斷提升技術(shù)設(shè)計(jì)服務(wù)水平,迎合搜索引擎優(yōu)化規(guī)則
維護(hù)與安全
多年的網(wǎng)站建設(shè)經(jīng)驗(yàn),網(wǎng)至普不斷提升技術(shù)設(shè)計(jì)服務(wù)水平,迎合搜索引擎優(yōu)化規(guī)則
長沙私人做網(wǎng)站    長沙做網(wǎng)站    深圳網(wǎng)站建設(shè)    株洲做網(wǎng)站    東莞做網(wǎng)站    南京防腐木    湖南大拇指養(yǎng)豬設(shè)備    株洲做網(wǎng)站    
版權(quán)所有 © 長沙市天心區(qū)斌網(wǎng)網(wǎng)絡(luò)技術(shù)服務(wù)部    湘公網(wǎng)安備 43010302000270號  統(tǒng)一社會(huì)信用代碼:92430103MA4LAMB24R  網(wǎng)站ICP備案號:湘ICP備13006070號-2  
国产一区二区三区日韩精品| 久久精品国产亚洲AV瑜伽| 宣汉县| 亚洲精品人成乱熟女电影在线观看| 国产特黄片| 亚洲经典| 久久精品成人一区二区三区| 久久99国产精品久久99小说| 久久久永久久久人妻精品| 亚洲精品熟女国产| 成人免费无遮挡在线播放| 国产成人手机高清在线观看网站| 欧美xxxx做受性欧美88| 婷婷五月综合色中文字幕| 久久99精品久久久久久噜噜| 久久午夜夜伦鲁鲁片无码免费| AV无码久久久精品免费| 久久不见久久见免费影院| 性夜影院爽黄a爽免费视频| 亚洲精品国产电影| 国产精品岛国久久久久| 国产另类久久久精品| 国产精品操| 国产在线观看你懂的| 亚洲天堂网址| 性免费视频| 亚洲蜜桃妇女| 成人亚洲精品777777| 久久久久久久av| 会宁县| 国产免费久久精品国产传媒| 最近中文2019字幕第二页| 久久亚洲精品日韩高清| 成人国产一区二区三区精品| 宅男666在线永久免费观看| 伊人久久大线影院首页| 国产亚洲精品第一综合麻豆| 久久精品久久精品久久39| 国产成人无码免费视频在线| 女警察双腿大开呻吟| 少妇粉嫩小泬喷水视频www|