あなたのレンタルサーバが危ない！？

少し前の話、去年の夏頃の話になりますが、
私も使用している（というか、このサイトを運用している）
「ロリポップ」というレンタルサーバにおいて、ある問題が発生しました。
その問題というのが、非常に厄介なもので、要約すれば、
「サーバがヤフーからの新クローラーを設定で弾き、検索出来なくなるようにする」というもので、
これだけ大規模なレンタルサーバにおいては前代未聞のSEO界における大事件であったと言えます。

検索エンジンの設定変更：新クローラーという存在

さて、事の経緯から説明していきます。

2006年の8月中旬、ロリポップにて運用しているサイトのヤフーでの順位が大きく変動しました。
ロリポップ運用サイトのその全てが順位を大きく落としたのです。

当然、これだけの大事件ですから、ロリポップ側でも調査を開始しました。
すると、判明したのが、
YSTがこれまでの旧クローラーと同時に、新しいクローラーを並行して走らせており、
この新クローラーのアクセスをロリポップ側がシャットアウトしている事が判明したのです。

・YSTにて新クローラーが運用開始する事が公表された当時の記事（⇒日本語翻訳版）

上記の通り、ロリポップ側が早急に調査を行った上で対処したため、
クローラーも正常に動作する事が確認されました。
しかしながら、新クローラーを弾いてからまた新クローラーが来るまでの間、
当然順位は落ちていたままですから、
サイトによってはその期間の売り上げが丸々落ちていた事になります。

正直言って、この問題に事前に対処する事は容易ではありません。
個人サイトレベルでは、
SEOのオーバーオプティマイズによって検索エンジンから外されているのか、
上記の問題によってサーバ自体の設定の問題なのかの判別は到底つきません。
そのレンタルサーバの設定が悪い事が分かったとしても、
だからと言って、独自ドメインならまだしも、
通常のサブドメインレベルのサイトの移転は
（同一URLでの移転という意味においては）不可能です。

また、レンタルサーバ側としても、
クローラーの性質がオープンになっていない以上、どうしても後手後手に回ってしまうのは
致し方ない事でもあり、セキュリティ等の関係上、全ての設定をオープンにする訳にもいきません。

SEOがこれだけ力を持つ世の中になったからこそ、新しい問題も色々と増えてきました。
「神様」であるYSTやGoogleの気まぐれで、ウェブサイトはかくも容易く翻弄されてしまいます。