今天改动了一下Permalink结构,准备随时投入到Movable Type的怀抱。
于是用插件做原来链接的重定向,照例是301。
然后去看了一下log,惊住了。
雅虎中国的爬虫竟然还在用/年/月/日/标题/这样的结构访问着我的Blog,我至少在半年前就没有使用这种结构了。
你2秒爬一次我的站,我用robots.txt限制了。
你从没带来过任何流量,我也忍了。
我半年前就给你301的重定向,你难道是猪啊!
今天改动了一下Permalink结构,准备随时投入到Movable Type的怀抱。
于是用插件做原来链接的重定向,照例是301。
然后去看了一下log,惊住了。
雅虎中国的爬虫竟然还在用/年/月/日/标题/这样的结构访问着我的Blog,我至少在半年前就没有使用这种结构了。
你2秒爬一次我的站,我用robots.txt限制了。
你从没带来过任何流量,我也忍了。
我半年前就给你301的重定向,你难道是猪啊!