プロット・ファクトリーとは開店休業中の僕のパソコン教室のサイトです。
実はこのサイト、「http://www.plot-factory.com/」で通常のWebサイトとケータイサイト両方が見れるようになっています。
このあたりの仕組みは下記記事で詳しく説明しています。
携帯サイト・Webサイト振り分けスクリプト【perl】

で、この方式だとGoogleではちゃんと判断してくれるのですが、Yahoo!ではスパム扱いされてしまいます。
このあたりは第1章でも語ってますね。
プロット・ファクトリートップページがYahooでスパム判定

そこで、こいつをちょっとばかりカスタマイズしてYahoo!でどんな挙動を見せるか調べてみることにしました。

【PR】
PC&モバイル ヤフー! SEO完全攻略ガイドPC&モバイル ヤフー! SEO完全攻略ガイド
著者:鈴木 将司
販売元:翔泳社
発売日:2009-09-15
おすすめ度:5.0
レビューを見る


その前に、上記振り分けスクリプトを再掲。
#!/usr/local/bin/perl

$agent = $ENV{'HTTP_USER_AGENT'};

if ($agent =~ /(DoCoMo|J-PHONE|ASTEL|KDDI)/){
open(IN,"mobile.xhtml");
print "Content-type: application/xhtml+xml\n\n";
while (<IN>) { print; }
close(IN);
}else{
open(IN,"top.html");
print "Content-type: text/html\n\n";
while (<IN>) { print; }
close(IN);
}
exit;
この場合、HTMLを読み込んで表示させているために同じURLながらもユーザーエージェントによって全く別のサイトにできてしまう。
おそらく、そのあたりがまずいんじゃないかと思います。
(こいつはまさにクローキングだ。よく、Googleのインデックス生きてるなぁ。。)

そこで、Webサイトは現状のままにしておいて、ケータイサイトの方はリダイレクトすることにしました。
リダイレクトに関してはこちらの記事で解説。
301リダイレクトをperlで

ついでにソフトバンクのユーザーエージェントがJ-PHONEのままで大丈夫なのか気になったので調べてみると
ユーザエージェント一覧
案の定。
したがってこのあたりもちょこっと改造。

できたもの。
#!/usr/local/bin/perl

$agent = $ENV{'HTTP_USER_AGENT'};

if ($agent =~ /(DoCoMo|J-PHONE|ASTEL|KDDI|SoftBank)/){
print "Status: 301 Moved Permanently\n";
print "Location: http://www.plot-factory.com/m/index.xhtml\n";
}else{
open(IN,"top.html");
print "Content-type: text/html\n\n";
while (<IN>) { print; }
close(IN);
}
exit;
ケータイサイトのディレクトリ構造もあわせてちょっと変えました。

どうでもいいけど、いつまで工事中なんだろううちのサイト。
そろそろ手をかけてやらないといけないよなぁ。。

パソコン教室 ホームページ制作のプロット・ファクトリー [埼玉県熊谷市]

【5月8日追記】
上記方法でスパム解除されました。

今、読み直してみると第一章との第二章の時系列がわかりにくかったので再度まとめさせていただきます。
第一章」を書いた地点でのindex.cgiと、この「第二章」を書いた地点でのindex.cgiは別物です。
が、どちらもクローキングに近い手法をとってました。
第一章」を書いた2008年02月26日はスパム扱いを受けていたためindex.cgiを消してindex.htmlだけにしました。
すると、スパムは解除され、Yahoo!に普通にインデックスされるようになりました。
その後、「携帯サイト・Webサイト振り分けスクリプト」を書いた2008年12月12日に再度index.cgiを設置します。
すると、再びスパム扱いになっていたため、この「第二章」で再度対策を講じたと言うわけです。