網站11月5日通過工信部備案成功后正式上線，訪問網址：91自拍視頻:wgslwz.cn,自上線以來，網站每(mei)天更新原(yuan)創文章、每(mei)天有規律的發外鏈，可是時間(jian)2個(ge)多星期過去了(le)，百度對網站依然沒收錄。在持續一段時間(jian)堅持還(huan)有與同(tong)行(xing)朋友(you)交談之(zhi)后，覺得這個(ge)問題可能(neng)出在站內，所以我就(jiu)一點(dian)點(dian)的來進行(xing)排查。

  首先，網(wang)站(zhan)(zhan)不(bu)(bu)收(shou)(shou)(shou)錄(lu)(lu)(lu)的(de)原(yuan)因，總體下(xia)(xia)來大概就(jiu)幾(ji)種，①文章質量，如(ru)果(guo)(guo)全部抄(chao)襲，百度(du)不(bu)(bu)收(shou)(shou)(shou)錄(lu)(lu)(lu)完全是(shi)(shi)(shi)正常(chang)的(de)；②外(wai)鏈(lian)，如(ru)果(guo)(guo)沒(mei)規(gui)律發布，百度(du)認為(wei)你(ni)是(shi)(shi)(shi)作(zuo)弊，或者用機器(qi)發的(de)，甚(shen)至當做沒(mei)意義外(wai)鏈(lian)，這個(ge)(ge)(ge)不(bu)(bu)收(shou)(shou)(shou)錄(lu)(lu)(lu)也(ye)是(shi)(shi)(shi)正常(chang)的(de)；③還有一(yi)個(ge)(ge)(ge)是(shi)(shi)(shi)robots.txt（以(yi)下(xia)(xia)簡稱robots），這個(ge)(ge)(ge)robots是(shi)(shi)(shi)百度(du)搜索(suo)引擎(qing)（下(xia)(xia)稱蜘蛛(zhu)(zhu)(zhu)）進(jin)入網(wang)站(zhan)(zhan)第一(yi)個(ge)(ge)(ge)查看(kan)的(de)東西，當你(ni)網(wang)站(zhan)(zhan)不(bu)(bu)存在(zai)這個(ge)(ge)(ge)協(xie)議的(de)時候，蜘蛛(zhu)(zhu)(zhu)就(jiu)在(zai)你(ni)網(wang)站(zhan)(zhan)內(nei)徘徊，因為(wei)他(ta)看(kan)不(bu)(bu)到(dao)你(ni)的(de)協(xie)議，他(ta)也(ye)不(bu)(bu)敢貿(mao)然去收(shou)(shou)(shou)錄(lu)(lu)(lu)你(ni)站(zhan)(zhan)內(nei)的(de)東西，所(suo)以(yi)此時就(jiu)會(hui)(hui)(hui)出現了一(yi)個(ge)(ge)(ge)收(shou)(shou)(shou)錄(lu)(lu)(lu)審(shen)核期。蜘蛛(zhu)(zhu)(zhu)進(jin)去看(kan)到(dao)了robots之后，讀懂了允許(xu)抓(zhua)取之后，它是(shi)(shi)(shi)會(hui)(hui)(hui)對網(wang)站(zhan)(zhan)內(nei)的(de)內(nei)容進(jin)行收(shou)(shou)(shou)錄(lu)(lu)(lu)。正是(shi)(shi)(shi)因為(wei)這一(yi)點，我就(jiu)猜想，網(wang)站(zhan)(zhan)不(bu)(bu)收(shou)(shou)(shou)錄(lu)(lu)(lu)的(de)原(yuan)因會(hui)(hui)(hui)不(bu)(bu)會(hui)(hui)(hui)是(shi)(shi)(shi)可能由(you)于我設置了404頁面，而沒(mei)設置了robots，導致(zhi)蜘蛛(zhu)(zhu)(zhu)在(zai)讀取robots時自動轉去了404頁面，看(kan)不(bu)(bu)到(dao)我網(wang)站(zhan)(zhan)上是(shi)(shi)(shi)否允許(xu)蜘蛛(zhu)(zhu)(zhu)抓(zhua)取，所(suo)以(yi)導致(zhi)蜘蛛(zhu)(zhu)(zhu)在(zai)網(wang)站(zhan)(zhan)上不(bu)(bu)斷徘徊。

  為了驗證，在11月24日經過上傳了robots之后，網站在2小時后就開始收錄了第一個頁面，內頁http://wgslwz.cn/html/jgshipin/91.html ，果(guo)斷證明了(le)在設置了(le)404頁(ye)面(mian)的(de)情況下的(de)robots的(de)重要性。因為網站上的(de)404錯誤頁(ye)面(mian)，會起(qi)到自動引導(dao)蜘(zhi)(zhi)蛛返回的(de)作用(yong)，使得蜘(zhi)(zhi)蛛在那里轉來轉去，所以導(dao)致網站長時(shi)間不(bu)收(shou)錄。同時(shi)建議各位網站在做優化的(de)過程中一定要注意合理(li)適(shi)度(du)的(de)優化，必須遵循搜索引擎規則。