約1年ぶりに自宅サーバを試験的に開設してみた。
早速、Baidu…spi…derがやってきた。
以前のコンテンツは全て削除し中身はほとんどないのに、「そんなの関係ねぇ」
と言わんばかりに、以前のコンテンツにアクセスしている。
おかげで、アクセスログは404エラーコードで一杯になった。
robots.txtを置いているけど、それは読もうとしない。
1日半経ってやっとrobots.txtを読んでくれたけど、やはり「そんなの関係ねぇ」
その1時間後にまたアクセスしてきた。
それじゃ、と、(404から403に変わるだけだが)SetEnvIf User-Agent で拒否設定。
エラーログには client denied by server configuration が残っていた。
その後、、
User-Agent の設定をすり抜けてやってきたものには Remote_Addr で対処。