记录分享
互联网历程和变化

如何用代码检测搜索引擎蜘蛛对网站的爬行记录

查看搜索引擎蜘蛛的爬行记录有很多办法,有软件、插件、也可以查看网站日志等。但是比较麻烦有的朋友也不会,所以今天常州网站优化给大家介绍一下在网站添加代码,用代码来检测,即方便又易懂。

一、上传监测搜索引擎蜘蛛爬行的代码

上传robots.php文件到你的网站空间的模板目录下面,例如wordpress网站,那么就应该上传到/wp-content/themes/你启用的主题文件,这个目录里面。robots.php这个文件的名字可以自己定义,改成其他的都可以,如abc.php。

robots.php

二、安装监测搜索引擎蜘蛛爬行的代码

1、  在WP后台,模板编辑的页面中,找到footer.php底部模板,在最后面插入代码:

<!--?php include('robots.php'); ?-->

2、  接下来就是等待搜索引擎蜘蛛到你的网站来爬行了,爬行的结果记录在网站根目录的robotslogs.txt中,你直接打开http://www.***.com/robotslogs.txt就能看到了。刚添加上不会产生robotslogs.txt文件,过一天才会有记录。当然你也可以修改robots.php文件的第37行,把robotslogs.txt换成任意你想要的名字。

这张图是我网站蜘蛛的一个爬行记录,大家可以看看:

未经允许不得转载:奇舰 » 如何用代码检测搜索引擎蜘蛛对网站的爬行记录

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

奇舰科技 更专业 更效率

商务合作注册