网站上线接近1个月了,百度的蜘蛛基本不来爬行,只收录了一个首页,无语啊~~
想加个百度站长工具,提交网站XML地图,看看能否加快收录速度。
结果呢,提交了XML地图,整整过了一周时间,然并Luan,对收录毫无用处~~~
失望之余,却发现百度出了个熊掌ID,类似站长管理工具,不过这个熊掌号好像是个搜索资源综合管理平台,说不清楚~~好吧试下看看
注册还是挺麻烦的,要认证身份证,还要拿着身份证拍照片上传,(PS: 对这个注册方式有点抵触,一个搜索门户,注册个账号,居然搞得那么复杂,万一这些图片泄露出去做其他用途,后果挺严重),算了,还是得试下。
熊掌号里有个天级收录,和周级收录,意思就是当天收录,或者一周以内收录,但是都有限制配额。天级收录由于我的是新账号,每天只能提交10条URL,如果经常发有价值的原创内容,成为优质账号,那么每天就能提交很多的URL。周级收录配合比较多,一周能提交500万条URL,这个对于个人网站来说,足够了。
使用了天级收录,感觉并不是当天收录,而是是第二天收录了,连续提交了几天,嗯嗯,终于有点收录了,收录了6张页面啊,不容易啊~~鸡冻啊
接下来再试下周级收录,既然允许用程序POST数据,好吧,那就用程序代劳了~~
总的来说,百度对新站的态度正如我之前所想的那样,百度貌似很不舍得把爬虫资源放在新站上面,哪怕你主动提交网站XML地图也没用,只有过了3,5个月,才会慢慢的来抓取点点数据;而谷歌对于新站是反应比较快的,一般在1周左右,就可以大量的抓取新站数据,如果站点的robots.txt里提供有XML地图,那更加快,大约会在1周时间,将新站的数据全部抓取完。
好了,抱怨完了,网站总得继续下去…………回到正题,使用熊掌号提交数据的效果如何,一周后再看看吧~~
2019-05-14更新过了差不多一个月了,其实熊掌ID的“周级收录”功能是一个摆设,根本不会收录的,只有“天级收录”才有用。
一开始挺惊喜的,周级收录可以用API提交500万条URL,以为可以实现快速收录,实际上过了那么久,毫无进展,收录情况如下:
顺便说一个另外的话题,GOOGLE方面,的确是如我所言,对新站是采取一种贪婪的算法,先收录再审核,我在另一篇文章已经说过了的,GOOGLE和百度对待新站的区别:
《本网站上线半个月了,百度还是没收录》至今GOOGLE已经收录了6000多个URL了:
而且每天都有零星从GOOGLE来的访客。
根据经验,我发现百度对新站是非常不信任也不舍得给资源的,但是百度对老站,是非常信任的,甚至会索引大量的垃圾页面~~~
而谷歌是采用重复审核的机制,不停的剔除无用页面,所以你会发现,一个老站在谷歌的索引库里面,是慢慢减少的,只会留下比较有用的页面。