先日より、robots.txtによってCSSやJavaScriptファイルへのクロールを拒否しているサイトに対して、GooglebotがCSSやJSファイルにアクセスできない旨のメッセージが送信されています。メッセージの詳細については、海外SEO情報ブログさんで詳しく解説されています。
“インデックス登録に影響を及ぼす問題”とか怖いことが書かれていますが、「ペナルティとかはないけど、ブロックの必要がなければCSSやJavaScriptでもクロールを許可してね」という内容のメッセージみたいですね。
私が所有するサイトではこのメッセージは確認できなかったのですが、届いたという方も結構いらっしゃるのではないでしょうか。そこで今回は、CSSやJavaScriptファイルへのクロールを簡単に許可する方法を紹介したいと思います。
CSSやJavaScriptファイルへのクロールを許可する方法
この方法は、SEO Japanさんで紹介されていた、Googleのゲイリー・イリーズ氏がStack Overflowに載せている方法です。
robots.txtファイルに以下を追加することで、全ディレクトリでCSSとJavaScriptファイルへのクロールを許可するということでした。ちなみにGooglebotのみに対して作用します。
User-Agent: Googlebot Allow: .js Allow: .css
一方、海外SEO情報ブログさんの記事では、JavaScriptファイルへのクロールを許可するには、以下のように記述すると書かれています。
*****************/*.js$
実際に試してみたら、「.js」や「.css」だけでは、ブロック解除できていないみたいでした。何か条件があるんですかね(?_?) ということで、海外SEO情報さんに書かれていた方法を採用！
当ブログはWordPressなので、以下のように追加してみました。Googlebotだけでなく、全クローラーで許可しています。
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Allow: *****************/*.js$ Allow: *****************/*.css$
robots.txtテスターで確認したら、エラーや警告も出ずしっかりブロック解除されていました。
あとがき
robots.txtが存在しない場合は、テキストエディタで上記を記述し、robots.txtというファイル名で保存してルートディレクトリにアップしましょう。WordPressはデフォルトでは、ファイル自体は存在せず仮想robots.txtが動いていると思います。