) 進行了第一次抓取。把IP地址65.55.106.108輸進到IP138或其他查詢IP的系統(tǒng)里面可以看出,該IP地址對 應的是“美國 Microsoft公司”,那么我們可以看成微軟的bing搜索引擎的蜘蛛的第一次到來。搜索引擎根據robots.txt的設定,知道了哪些答應抓取,哪些不盼看被抓取,那它就在這個網站上開工了,“日志2”顯示的是bing首先抓取了該網址的主頁(斜杠/意為主頁)。
/blog/2009/11/21/125879090551788.html
感謝 田東山 的投稿