最近登陆 Google Adsense 后台，发现评分卡中收入评分很低，其中抓取工具错误很严重，这个错误的意思是 Google Adsense 的抓取工具无法访问我们网站的网页，因此无法确定其内容并展示相关广告。在这种情况下，Google Adsense 只能展示低收入和低覆盖率的广告，甚至会展示点击率较低的不相关广告。
所以要确保网站能够展示更多相关的广告，以便增加广告收入，那么就要解决这个问题，抓取工具错误主要分成漫游器被拒绝和找不到网页的错误。
找不到网页的错误是因为网站有一些死链，找他们修正就好了。
而漫游器被拒绝这个错误经过分析，是因为我们在对网站进行 SEO 的时候，在 robots.txt 文件中禁止爬虫对一些页面或者目录的浏览，但是这个禁止是针对所有的爬虫，这样也伤及无辜把 Google Adsense 的爬虫也屏蔽了，造成了漫游器拒绝的错误。
经过搜索，发现 Google Adsense 的爬虫是：Mediapartners-Google，我们只要针对这个爬虫，放开所有页面抓取的权限即可，在 robots.txt 文件中添加如下代码：
代码语言：javascript
复制
User-agent: Mediapartners-Google
Disallow: