Googleサーチコンソール「インデックス登録リクエストに失敗しました」の原因
2020年後半からGoogleサーチコンソールのインデックス登録リクエストがしばらくできない状況でしたが、最近また登録可能になったようです。
そこで新しく作成したサイトを早速インデックス登録をしようと試みましたが、以下”インデックス登録リクエストに失敗しました”のエラーが出て失敗・・・
noindexタグは外してあるので原因が思い当たらず「ライブテストを表示」をクリックすると以下”特定の条件が満たされている場合にのみ、URLはインデックスに登録されます”の表示が。
なんかちょっと以前と基準が変わった感じがします。
”特定の条件”というのが気になったのでさらに見てみると、以下のようなページが表示されました。
URLがインデックスに登録されない事例ですね。主には以下のような場合となるようです。
- ・送信された URL....
- ・送信して登録されました
- ・インデックス登録されましたが、サイトマップに送信していません
- ・robots.txt によりブロックされましたが、インデックスに登録しました
- ・検出 - インデックス未登録
- ・クロール済み - インデックス未登録
- ・代替ページ(適切な canonical タグあり)
- ・送信された URL が代替バージョンとしてインデックス登録されました
- ・ページが重複しています(canonical タグなし)
- ・Google により、ユーザーがマークしたページとは異なるページが正規ページとして選択されました
- ・送信された URL が canonical として選択されていません
どれも該当しそうもないのですが・・・。
robots.txtの設置で解決
いろいろ試しましたが結果的には以下robots.txtの設置でリクエストをすることができるようになりました。
User-agent: *
Allow: /
Sitemap: https://ドメイン名/sitemap.xml
これまでは独自のウェブアプリケーションでrobots.txtなしでもリクエストはできたのですが、どこかのタイミングでrobots.txtで明示的にアクセス許可設定をしなければならなくなったのでしょうか・・・。
ワードプレスの場合はこれまで通りインデックス登録のリクエストができましたが、ワードプレスはデフォルトでrobots.txtを生成するので問題なかったのかと思います。
ただしこれがすべての原因かというとそうでもない可能性もあります。
今回のサイトはウェブアプリケーションですがまだコンテンツが少なかったためそういった点も影響している可能性はあるかもしれません。