Nginx 限制 YandexBot 爬取

Yandex 是俄罗斯的一家网站,也有一个搜索引擎。今天检查站点日志的时候发现在疯狂的爬取。于是顺手用 Nginx 禁了,再加上 robots.txt 规则。

话说 vultr 的日本 vps 速度也不是很快,貌似有点不太稳定,百度站长提交的 sitemap 抓取了好几次都没有成功,略失望,还好是按时计费,不用了就可以 destroy 掉。

代码语言:javascript
复制
location / {
if ($http_user_agent ~* "YandexBot")
{
return 403;
}