问:蜘蛛抓取不了内容,sitemap也只有首页一个链接,怎么回事?
这个网站是代理给乙方做的,现在刚刚拿回来,我模拟蜘蛛抓取都抓取不了内容只有首页,sitemap也只有一个首页的链接,这种情况是程序的问题,还有网站架构的问题呢?怎么解决?www.xxx.cn
解答:小编建议需要如下4点;
1.如果是他们手动添加的
如果是这样的话,以后网站拓展新页面,你都要在服务器上把这个xml文件替换成新的。
2.多个工具看如果都是这样是框架结构和网站代码问题;
3.应该是框架代码问题吧,用尖叫青蛙抓取爬行也是只首页;
4.可以咨询下第三方他们是怎么做网站地图生成,是有插件还是什么,如果啥都没有,那么看如何改进,的确抓取不到。
这样是最好的解决方案,自己添加新的网页栏目,相同的xml文件也会增加一条新记录。记得xml里面的链接按照时间倒叙,保证每次抓取的是最新的。
解决方案:先咨询对方看是手动加的还是程序加的。程序加的话,那就是程序生成xml规则有问题。手动加的话,让他们改成动态的。或者你每次添加新页面自己要重新替换。
上一篇:现在搞seo还有前途吗