検索エンジンは、URLの発見（Discover）、クロール（Crawl）、インデックス（Index）、ランク付け（Rank）というというプロセスを経て、世界中のサイトを評価しています。今回はこの検索エンジンの内部プロセスをより理解するため、検索エンジン自身を擬人化してみました。URLをどう発見し、どうクロールし、どう情報を整理し、どうランク付けするのか。検索エンジンの日々の悩みや苦労を知ることで、より効果的なサイト作りのヒントが見つかるかもしれません。検索エンジンの本音を、今回は特別に関西弁でのぞいてみましょう。
1. 検索エンジンは毎日忙しい
「毎日あらゆるサイトを探して回るんやけど、もう大変やねん！今日も新しいサイト見つけたわ。どんなサイトやろな？まずはじっくり中身を確認せなあかんな。robots.txtのルールもちゃんとチェックしたし、許可されたページだけ見るようにしとるで。おっ、サイトマップも用意してくれてるやん！これはありがたいわ！サイト全体の構造がひと目でわかるし、どのページをどう記録したらええか効率ようけ上がるわ！ほな、全部きっちり整理して記録していくで〜！」
2. HTMLタグを理解するのも仕事や
metaタグを見つけたとき
「日々ウェブサイトを回ってると、特別な指示タグにも気づかなあかんねん。おっと！noindex見つけたわ！これはサイト管理者からの重要メッセージやな。『このページは見てもええけど、検索結果には出したらあかん』ちゅうことや。了解やで！このページは見たことは覚えとくけど、検索結果には絶対出さへんように特別マークつけとくわ。サイト巡りの旅は続くで！」
canonicalを見つけたとき
「お、canonical発見したで！これは『このページのオリジナルはこっちやで』って教えてくれてるんやな。本家のURLをしっかりメモしとこ。こういうタグがあると私の仕事がめっちゃ楽になるわ。どのコンテンツが本物で、どれがコピーなんか一目瞭然やし、同じモノを何回も記録せんでええねん。本物のページだけを大事に記録していくで！さて、次はどのサイト探検しようかな？」
3. ややこしいサイトはほんまに巡回しにくい
構造が複雑なページ
「なんやねん、このサイト！巡回してきたんやけど、中身ほとんどないやんけ！でもなんかやたらリンクだけ大量にあるんよなぁ……こんなん全部チェックせなあかんの？肝心のコンテンツがほとんどないのに、リンクばっかり追いかけても意味あるんかいな。まるで中身スカスカの新人芸人みたいやな。意味のある情報少ないけど、とりあえずリンク関係は記録しとくわ！何か意味あるんやろか……まぁ、知らんけどな！」
JavaScriptヘビーなSPA（シングルページアプリケーション）
「もう勘弁してーや！このサイト見に行ったら、最初の状態ではほとんど中身あらへんやないか！おーん、JavaScriptが実行されて画面が変わるのを待たなあかんのか……処理めっちゃ時間かかるわ！普通のサイトやったら一瞬で内容を理解できるのに、こんなんJavaScript実行して、画面が完成するのを待って...よし、やっと見るべき情報が出てきたで！でも複雑すぎてページ同士の関係も分かりにくいし、URLが動的に変わるから分類も一苦労やし、どれが本体かわかりにくいねん。最初からちゃんとした内容を用意してくれてたら、こっちも理解しやすいのにな！甲子園の組み合わせ表より複雑やわ、こんなん！」
4. 同じページ何回も見つけるのはしんどい
重複URL
「おいおい、このサイトのページ、さっき見たやつちゃう？いや、ほぼ同じ内容やけどURLだけ違うんか。なんでそんなことすんねん！どっちかにせえや！（頭ポリポリ）同じ内容なのにURLが違うと、ワイ何回も同じもの見て記録せなあかんやん！無駄な作業増やすなや。canonicalで教えてくれてるんかな……あらへんのかい！こういうとき特別マーク付けて『同じ内容の別URLをまた見つけたで！』って記録しとかなあかんわ。そやけど全部のURL分の内容比較せなあかんから処理に時間かかるねん。万博チケット買うより難しいわ、こんなん！」
リダイレクト
「おっと、このページ見に行ったら、『ここやあらへん、別の場所に引っ越ししたで』って案内されたわ！リダイレクトしてるんやな。せっかく見に行ったのに転送されると予定が狂うわ！元のURLと転送先のURL、両方覚えとかなあかんし、その関係性を整理するのも大変や。でもまぁ、リダイレクトがあるってことは『このページは新しい住所に引っ越ししたで～』って正直に教えてくれてるようなもんやからな。サイト全体を理解するのに役立つしな。転送先のページも優先的に見に行くわ！」
5. 登録しやすいサイト、しにくいサイト
大量の広告で埋め尽くされたページ
「なんでやねん！このサイト見てるけど、ほんまもんの中身どこいったん！？広告だらけで肝心な中身見つけられへんやん、おーん。何がメインコンテンツで何が広告なんか区別つかへんから、重要な情報見つけるんが大変すぎるわ！ページの構造もぐちゃぐちゃやし、理解して記録するのに余計な時間かかるやん！こんなんやったら検索結果の質も下がってまうわ。もうちょい検索エンジンのこと考えてくれたらええのに！」
モバイルフレンドリーでないサイトの二重巡回
「なんやこのサイト！PCとスマホで全然内容ちゃうやん！同じもんなはずやのに二回別々に見て記録せなあかんやん！スマホとPCでレイアウト別々やし、リンクの場所もちゃうし、URLもちゃうし……二度手間やわ！デバイスごとに別々のバージョン作られたらワイの巡回作業量倍になるねん！レスポンシブデザインって知らへんの？お好み焼くより基本的やで！データ処理も倍かかるし、サイト全体の理解も遅なるし……こんなん効率悪すぎるで。サイト管理者、ちゃんと検索エンジンフレンドリーな作りにしてくれたら、もっとスムーズにサイト巡りできるんやけどな」
6. 対応してるサイトはやっぱ整理しやすい
新しいコンテンツの効率的な登録
「おー！また新しい記事発見したで！このサイトは更新が早いなぁ！もっと頻繁に見に来なあかんな。新しいページがどんどん増えてるから、漏れなく見て回るのが大変やわ。サイトマップの更新情報もチェックせなあかんし、RSSフィードの変更も確認せなあかんし……でも内容もなかなかおもろいし、このブロガー、めっちゃ頑張ってるやん！甲子園の選手より元気あるわ！新しい記事いっぱい増えるようなサイトは巡回が楽しいけど、全部もれなく見つけるんはしんどいわ！」
hreflangのあるマルチ言語サイトの関連付け
「おんや！このサイトは多言語対応してるんか！hreflangもちゃんと設定してある。これは言語ごとのページを関連付けて記録せなあかんサインやな。日本語版、英語版、スペイン語版……全部関連コンテンツとして理解せなあかんねん！どのページがどの言語のバージョンか覚えとかなあかんし、言語間の関係性も記録せなあかんし……でもhreflangがあると言語ごとのページ関係が分かりやすいから仕事しやすいわ。ちゃんとタグ付けてくれてるサイトはワイらの検索エンジンとしての仕事も捗るんや！その調子でがんばりや！」
7. エラーとの格闘、ほんまにかなわん
404エラーページの記録削除
「おっと！サイト巡回中に404エラーに遭遇したわ！昨日まであったページやのに……どないなっとんねん！消えたんか？移動したんか？記録の整合性が取れへんやん！こういうの処理めっちゃ困るねん。昨日まで見てたページが今日は存在せんくなったら、検索結果から外すべきか、しばらく様子見るべきか悩むやん。一時的なエラーかもしれんから、念のためしばらく待ってみるわ。でも何回も404報告されたら、検索結果から完全に外すしかないなぁ。そらそうやで、ちゃんとした情報を提供するんがワイの仕事やのに、存在せーへんページとか対応に困るて！」
サーバーエラー（5xx）への対応
「なに？？サイト見に行ったらサーバーエラーやて！500番台のエラーやないか！サーバーの調子悪いんか？情報収集できへんやん！しっかりせえや！せっかくサイト情報を更新しようと思ったのに無駄足やん。計画狂うわ！一時的なもんかもしれんから、しばらくしてからまた見に行くわ。でも巡回するサイトは山ほどあるから、何回もエラー出るサイトは後回しにするしかないわ。エラー頻発するサイトは巡回頻度下げなあかんからな。近くのたこ焼き屋閉まっとるのにずっと行ってみるようなもんやで！サーバー調子悪かったらワイも正確な検索結果出せへんねん！」
8. 遅いサイトはしんどい
サーバーレスポンスが遅いサイトの処理
「なにゆうてんねん！サイト見に行ったらレスポンスがめっちゃ遅いやないか！環状線の遅延より遅いわ！タイムアウトしそうやわ……待つか諦めるか……。でもここにしかない重要情報かもしれんし、もうちょい粘ってみるか。あ、やっと表示されたか！次回はこのサイト巡回する頻度下げさせてもらうで、おーん。他のサイトもたくさん見て回らなあかんねん。そこんとこようわかっとき！」
検索エンジンに休みはない
「ほんま、毎日しんどいわ！ええサイトもあれば、なかなか理解するのに苦労するサイトもあるなぁ。でもウェブページをちゃんと見て回って理解するんがワイの仕事やからな！サイト管理者の皆さん、検索エンジンフレンドリーな設定してくれたら、ワイらもめっちゃ助かるわ！適切なmeta情報、canonical、明確なコンテンツ構造……基本的なことをきっちりやってくれたら、サイト巡りもスムーズになって、ページの情報もちゃんと把握できるんや。明日も頑張ってサイト見て回るさかい、ええサイトたくさん作っといてや！ほな、また明日！」
今までより検索エンジンが身近になったのではないかと思います。仕組みを理解することで、サイト作りに活かしていただければ幸いです。良いSEOを！
【検索エンジンが良く分かる記事はこちら】