百度回信了,還是那千篇一律的那幾條:
-----------------------------------------------------------------------------------------
尊敬的用戶:
您好!
非常感謝您的來信詢問。百度使用自動的spider程序抓取互聯網上的網頁,大多數情況下,網站都能被百度自動收錄。雖然百度希望盡可能多的抓取互聯網上的網頁,但為了確保用戶的搜索體驗以及某些不確定的原因,仍會有少數網站無法被百度收錄,如果您的網站未被收錄,通常是由以下原因引起的:
1. 您的網站所在服務器不穩定,被百度暫時性去除,穩定之后,問題會得到解決。
2. 您的網站有設計缺陷,導致spider無法正常抓取。
3. 您的網頁不符合用戶的搜索體驗。
4. 網頁是復制自互聯網上的高度重復性的內容。
5. 網頁做了很多針對搜索引擎而非用戶的處理,使得用戶從搜索結果中看到的內容與頁面實際內容完全不同,或者使得網頁在搜索結果中獲得了不恰當的排名,從而導致用戶產生受欺騙感覺。
6. 您的網頁內容有不符合國家法律和法規規定的地方。
7. 您網站的robots協議禁止百度抓取。
8. 其他技術性問題。
您也可以到百度網站登陸上免費提交您的網址:http://www.baidu.com/search/url_submit.html
您所反饋的問題已經轉發給相關的工程師繼續分析,分析結果將成為改善搜索結果質量的重要參考。
感謝使用百度。希望您繼續支持與關注百度。
謝謝!
-----------------------------------------------------------------------------------------------------------------------------------
我的第一反應是,百度沒有認真的檢查我的網站,完全是在敷衍我!但是轉而一想,也許是我哪里沒做對?
于是對照一條一條檢查:
1. 您的網站所在服務器不穩定,被百度暫時性去除,穩定之后,問題會得到解決。
服務器不穩定不存在,原先火山都能收錄,現在西部數碼不穩定?
2. 您的網站有設計缺陷,導致spider無法正常抓取。
網站采用DZ論壇,我沒作大的發動,也不會有設計缺陷。
3. 您的網頁不符合用戶的搜索體驗。
同上,不存在這個問題。
4. 網頁是復制自互聯網上的高度重復性的內容。
自己是論壇,是發的帖子,也不存在高度重復的問題。
5. 網頁做了很多針對搜索引擎而非用戶的處理,使得用戶從搜索結果中看到的內容與頁面實際內容完全不同,或者使得網頁在搜索結果中獲得了不恰當的排名,從而導致用戶產生受欺騙感覺。
從來沒有做SEO處理。
6. 您的網頁內容有不符合國家法律和法規規定的地方。
正規備案,正規網站。
7. 您網站的robots協議禁止百度抓取。
我不會自己禁止抓取。
8. 其他技術性問題。
其他問題問題我就查不出來了,你百度都查不出來。
----------------------------------------------------------------------------------------------------------------------------------
但是,問題總要解決呀!我又反復對照上述問題,看到第7條的時候,我想我去看看robots。結果打開一看,大吃一驚:
#
# robots.txt for Discuz! Board
# Version 6.0.0
#
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /attachments/
Disallow: /customavatars/
Disallow: /images/
Disallow: /forumdata/
Disallow: /include/
Disallow: /ipdata/
Disallow: /templates/
Disallow: /plugins/
Disallow: /mspace/
Disallow: /wap/
Disallow: /admincp.php
Disallow: /ajax.php
Disallow: /digest.php
Disallow: /logging.php
Disallow: /member.php
Disallow: /memcp.php
Disallow: /misc.php
Disallow: /my.php
Disallow: /pm.php
Disallow: /post.php
Disallow: /register.php
Disallow: /rss.php
Disallow: /search.php
Disallow: /seccode.php
Disallow: /topicadmin.php
Disallow: /space.php
這不是禁止訪問所有的目錄嗎?這是怎么回事呢?
原因我是找不出來了,但是,百度回信說的沒錯。
我立即做了一個空的robots.txt放上去!
經驗教訓是,什么事情都不能夠隨意下結論,不然,冤枉了百度,呵呵!
接下來,我要去看看我的日志,有沒有機器人來過!
2008-03-16 16:04:14 GET /index.php - - 61.135.162.212 HTTP/1.1 Baiduspider+(+http://www.baidu.com/search/spider.htm) - 200 20281
2008-03-16 16:04:35 GET /space.php 195/mythreads - 61.135.162.212 HTTP/1.1 Baiduspider+(+http://www.baidu.com/search/spider.htm) - 200 7782
2008-03-16 16:04:56 GET /space.php uid=7 - 61.135.162.212 HTTP/1.1 Baiduspider+(+http://www.baidu.com/search/spider.htm) - 200 14450
2008-03-16 16:05:28 GET /space.php 99/myblogs/1159632000/1162310400 - 61.135.162.212 HTTP/1.1 Baiduspider+(+http://www.baidu.com/search/spider.htm) - 200 9551
2008-03-16 16:06:02 GET /stats.php type=team - 61.135.162.212 HTTP/1.1 Baiduspider+(+http://www.baidu.com/search/spider.htm) - 200 13140
百度機器人來了很多次,呵呵!我還怪百度!
要是早點檢查的話,該早就收錄了!
呵呵!