由 雨辰 | 9 月 11, 2008 | 网站相关 |
以下是我从站长网上看到的文章。
“robots.txt是搜索引擎行业里公认的网站对搜索引擎爬虫作出索引指示的文件,存放在网站根目录。也就是说,这个文件描述了哪些页面允许爬取,哪些不允许。
但百度虽然口里说尊重robots.txt,但实际上可能还会派匿名爬虫去爬不允许百度收录的网站。
淘宝前几天在robots.txt里限制了百度爬虫,不让百度收录其任何页面,我相信百度不会敢动淘宝,不然就会是大笑话了。”
我自己要说的是:百度就是不尊重robots.txt。因为我拿一个域名测试过,上面设置了禁止所有的搜索引擎收录,而google就没有收录,过了一阵子百度收录了。(一般来说都是google收录快吧)
由 雨辰 | 6 月 21, 2008 | 网站相关 |
最近博客在Google的收录越来越少,我也一直奇怪,今天site了一下,吓死我了,每个页面都是收录的我的首页的分类的名字。麻烦大啦!!这还是个技术活,要抓紧想办法啊。 有技术的人来指导一下啊!我过两天是连续的3门重要考试,晕死了!
由 雨辰 | 11 月 20, 2007 | 个人日志, 网站相关
google adsense 没有审核过 ,郁闷了……而且发现电脑的网络也出现了问题,昨天好累,一下子就躺床上睡了,感觉有点感冒了。最近睡觉不好,而且感觉腿有点酸痛,唉……可能是该加点衣服了
刚刚装上了卡巴斯基7,今天在网上看了很久的排名,才决定用这个的,不过卡巴还真是有点卡啊。。。。
近期评论