CSSやJavaScriptファイルへのクロールを許可する簡単な方法

CSSやJavaScriptファイルへのクロールを許可する簡単な方法

CSSやJavaScriptファイルへのクロールを許可する簡単な方法

先日より、robots.txtによってCSSやJavaScriptファイルへのクロールを拒否しているサイトに対して、GooglebotがCSSやJSファイルにアクセスできない旨のメッセージが送信されています。メッセージの詳細については、海外SEO情報ブログさんで詳しく解説されています。

“インデックス登録に影響を及ぼす問題”とか怖いことが書かれていますが、「ペナルティとかはないけど、ブロックの必要がなければCSSやJavaScriptでもクロールを許可してね」という内容のメッセージみたいですね。

私が所有するサイトではこのメッセージは確認できなかったのですが、届いたという方も結構いらっしゃるのではないでしょうか。そこで今回は、CSSやJavaScriptファイルへのクロールを簡単に許可する方法を紹介したいと思います。

CSSやJavaScriptファイルへのクロールを許可する方法

この方法は、SEO Japanさんで紹介されていた、Googleのゲイリー・イリーズ氏がStack Overflowに載せている方法です。

robots.txtファイルに以下を追加することで、全ディレクトリでCSSとJavaScriptファイルへのクロールを許可するということでした。ちなみにGooglebotのみに対して作用します。


User-Agent: Googlebot
Allow: .js
Allow: .css

一方、海外SEO情報ブログさんの記事では、JavaScriptファイルへのクロールを許可するには、以下のように記述すると書かれています。

*****************/*.js$

実際に試してみたら、「.js」や「.css」だけでは、ブロック解除できていないみたいでした。何か条件があるんですかね(?_?) ということで、海外SEO情報さんに書かれていた方法を採用!

当ブログはWordPressなので、以下のように追加してみました。Googlebotだけでなく、全クローラーで許可しています。


User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: *****************/*.js$
Allow: *****************/*.css$

robots.txtテスターで確認したら、エラーや警告も出ずしっかりブロック解除されていました。

あとがき

robots.txtが存在しない場合は、テキストエディタで上記を記述し、robots.txtというファイル名で保存してルートディレクトリにアップしましょう。WordPressはデフォルトでは、ファイル自体は存在せず仮想robots.txtが動いていると思います。

この記事が気に入ったら
いいね!してね♪

Twitter で

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です