第279章 未雨綢繆(第2/2 頁)

你的內容還不給你流量，把流量帶來的各類收益全部攔截。

也許有人會問，那既然這樣，能不能就不讓搜尋引擎爬取網站內容，這樣就沒有快照，使用者也只能來到網站進行訪問。

這麼幹不是不行，可以採取robots協議實現。

簡單來說，在搜尋行業裡存在一種robots協議，按照協議規範在網站的目錄下部署檔案，告知搜尋引擎的爬蟲哪些內容不應被爬取。

即便有robots協議，爬蟲還是可以爬取網站內容，但是搜尋引擎服務卻不能將爬取到的內容進行展現，否則就可以直接去法院把搜尋引擎公司告得灰頭土臉。

但由於在pc網際網路時代的中後期，搜尋引擎就是最大的網際網路流量入口，擁有網際網路上最強大的話語權。

中小網站如果拒絕搜尋引擎的爬取，其實和自絕於網際網路沒啥兩樣。

如果網站的擁有者還希望網站能被人們訪問到的話，就只能乖乖接受搜尋引擎的爬取，並祈禱搜尋引擎公司足夠講道理，不過分使用快照等方式進行截流。

其實robots協議裡存在白名單的機制，看上去嘉盛可以只允許自家的搜尋引的爬蟲進行爬取，拒絕其他搜尋引擎的爬蟲。

但實際上這一點也是行不通的。

前世為了打擊360，百度就曾使用robots協議白名單，禁止360抓取百度百科、百度貼吧和百度知道的內容，而谷歌、bg、搜狗和搜搜等搜尋引擎還可以自由抓取。

360認為百度對robots協議的使用具有歧視性而拒絕遵守，百度也因此起訴360不遵守robots協議。

本來robots協議作為行業通用守則，雖然不具備明確的法律效力，但是依然非常具有參考價值，百度覺得贏面很大。

但雙方對簿公堂後，由於百度難以“證明競爭對手的行為具有不正當性”，無法支援採取針對性限制360爬蟲措施的正當性，所以最終沒能借助法律手段達到阻攔360的目的。

2014年8月7日法院對百度訴360案做出的一審判決：回百度有關不正當競爭的訴求，判定其必須修改爬蟲協議。

同時，法院認為360強制採用網頁快照，已經超出網頁快照的合理範圍，違反了反不正當競爭法，因而判決向百度賠償70萬元。

陸道升知道採用robots協議白名單的方式最終不會有效果，也沒有興趣辛苦嘉盛的法務部累死累活就弄個70萬的賠償回來，比起流量損失真不夠塞牙的。

還是直接採取反爬蟲機制來從根子上保護自家的內容比較靠譜。

至於說反爬蟲機制會不會影響自家搜尋引擎的爬取，嘿嘿。

說完反爬蟲後又講了一會兒，陸道升完成了對主要想法的說明，坐下喝了口水潤了潤喉嚨。

“呼……”

“我今天就說這些吧，下面誰還有事情想說的？”

一直以來高層會議發言最少的張小龍居然率先開口了。

“道升，我有個事想討論一下……”

：