google search console でサーバーエラー（5xx）になったときの対処法（実例あり）

先日のはてなサービスのメンテナンス期間中、不幸なことにgoogle search consoleによるクロールが発生し、困っている人もいるのではないでしょうか。
数日間google search console に登録できなかったときの状況と対処法を記載したいと思います。

google search consoleとは

google search consoleは自信が作成したウェブページをgoogleの検索インデックスに登録依頼を出せるサービスです。
登録インデックスに登録することで、google検索によって表示されるようになります。
webページを作成する人なら、おそらく誰もが利用しているツールの一つだと思います。
登録依頼を出さなくても、時間が経てば登録してもらえるのですが、登録してもらえる時期が不明で登録に1ヶ月間ほどかかることも多いです。
より早く多くの人にもらいたい場合に使用するツールとなっています。
登録する際は、googleのインデックス登録プログラムがサイトを訪問（いわゆる、クロール）し、サイトをインデックスに登録して問題ないかを審査します。
合格すれば無事にインデックスに登録されるという仕組みです。

エラーになった原因

2021年9月7日のAM01:00より、はてなブログのサービスメンテナンスがあり、ページにアクセスできない状態となりました。
私はサービス・メンテナンスがあることを知らなかったため、0:50頃インデックス登録リクエストを行い、 運悪くその13分後のメンテナンス中にこのタイミングにgoogleのクロールがあったため、インデックス登録エラーが発生しました。
全てはここが始まりです。

エラーになるとインデックス登録の優先度が下がる

私の場合、該当のページがしばらく登録できなくなりました。
エラーを起こしたページは2時間ほどでエラーがなくなり、通常通り閲覧できるようになったのですが、 一度エラーと判断するとgoogleは一定期間クロール対象から外すようです。
該当のページが検索対象から外れ、無事に閲覧できるようになっても、googleに相手にしてもらえないため登録できません。
では、いつになったら登録されるのかというとヘルプに回答がありました。 登録できない期間は明確に決まっておらず、エラーの内容によってgoolgleが判断するようです。
悪いことはこれだけではありません。
クローラーによってこのサイトはサービスエラーの状況にあると判断され、サイト全体のクロールの優先度が下がるようです。
実際、エラーを起こした日以降、いくら新しく記事を書いて登録しようとしても、相手にされずしばらく登録されない期間がありました。
公式からのアナウンスはありませんが、私は30日間ほど新たに記事を登録してもインデックス登録されない状況となりました。
エラーを起こしたページだけでなく、それ以降に登録したいと考えているページについてもクロールの優先度が下がるようなので注意が必要です。
登録できないと、google検索にも引っかからないのでかなりモチベーションが下がります。
googleにとっては、エラーがあるかもしれないページを相手にするのは時間の無駄なのである種仕方がないのかもしれませんが、 もう少し親切な対応してくれてもいいのにな〜というのが正直なところです。

今回の場合の対処方法

エラーと判定された場合、google search console の右上の通知画面から対象のページを確認することができます。

エラーの確認画面では、対象のエラーとその原因記載されています。
数字の頭文字はエラーがどこで起きているかを表しており、今回は「5」なので、サーバー側であるはてなブログに原因があることを示しています。
word press を利用している場合は、自信でサーバーエラーを修正する必要がありますので、phpやサーバーソフトウェアの設定を見直すなどの処理が必要でしょう。
各エラーの対処方法についてはgoogle search console のヘルプに記載があるので、ガイドラインに沿って対処しましょう。

対処したあとはひたすら待つ

人事を尽くしたあとは天命（google 様）を待ちましょう。
下手に動いても時間の無駄なので、ネタ作りに徹しましょう。
どれだけ検証を開始するを押しても、数日で再審査されるといったことはありませんでした。
検証予定日なども全く表示されないので不安になって、 毎日のように検証依頼を出しましたが、検証されたのは10月6日でした。
もしかすると、早く検証してもらう方法はあるのかもしれませんが、 私が調べた限りは無さそうでした。

検証が完了するとメールが来る

検証が完了すると、googleから検証完了のメールが届きます。
無事であることが確かめられると無事検索インデックスに登録されます。
なおも、エラー判定となった場合は再び修正し、検証リクエストを送りましょう。

ちなみに、google search console の管理画面からも確認できます。
無事検証が完了すると、下の図のように「合格」と表示されます。

まとめ

今回の場合、自身で修正してから実際に再登録が実施されるまで、1ヶ月ほど要しました。
その間、新たなサイト登録もできなくなります。
せっかく書いた記事が、google に登録されなくなるのでその間は非常にモチベーションが下がります。
一度エラーを出すとそのデメリットは非常に大きいので、クロール時のサーバーエラーには注意しましょう。
今回の内容をまとめると下の表のようになります。
なお、あくまで今回の場合の話なので、エラーの内容やサイトの規模によっては症状は異なる可能性があると思います。
|原因|ブログサービスのエラー| |:----|:----| |解決方法|サイトを修正した後、google search console において検証リクエストを押す| |修正確認期間|エラー発生から1ヶ月| |エラーによる弊害|同一ドメインのページはクロール対象からはずれた|