ウェブ検索への登録

エキサイトの提供するウェブ検索は、ヤフー株式会社より提供を受けたロボット型検索エンジンです。ロボット型検索エンジンでは、常時クローラーと呼ばれるプログラムがウェブページにあるリンクを辿ってインターネット上を巡回し、更新のあったウェブページや新しいサイトは数週間程度で自動的に検索エンジンのデータベースに追加、定期的なデータベースの更新が終了すると検索結果に表示されるようになります。

そのため、特に登録申請の必要はなく、新しくできたサイトやウェブページは、すでに検索エンジンのデータベースに登録されているウェブページからのリンクを辿って自動的に登録されます。

自動的に検索エンジンのデータベースに追加される可能性を高めるには、知人のホームページからリンクしてもらう、ブログであれば大手のpingサーバーへping送信を行う、カテゴリへの登録を行い規模の大きいサイトからのリンクを確保する、などが挙げられます。

ウェブ検索からの削除

ウェブ検索結果にサイトを表示されないようにするには、以下の方法があります。これはサイト管理者向けの情報です。もしサイトを管理していないが、削除したい情報が検索結果に表示されている場合は、そのサイトの管理者へ以下の作業をご依頼ください。

  1. 公開していたサイトやウェブページを削除する

  2. 認証が必要なページにする

    ベーシック認証の設定を行う、SSLによる暗号化通信を必要とするページにする、などにより、ウェブ検索結果に表示されないようになります。

  3. metaタグを入れる

    ウェブページに以下のmetaタグを入れることで、インターネット上にページを残したまま、検索結果に表示されないようにすることができます。

    • 検索結果からタイトルや要約、キャッシュなどすべて削除したいウェブページに以下のmetaタグを挿入します

      <meta name="robots" content="noindex, nofollow">

    • 検索結果にタイトルや要約は表示されるが、キャッシュへの保存を拒否するには、以下のMETAタグを挿入します

      <meta name="robots" content="noarchive">

  4. robots.txtを設置する

    robots.txtというテキストファイルを、公開しているサーバーのルートディレクトリに設置することで、クローラーの巡回を拒否することができます。ルートディレクトリに設置とは、サイトのドメインが「http://www.excite.co.jp/」であった場合、「http://www.excite.co.jp/robots.txt」でアクセスできるように、サーバー上にrobots.txtファイルを保存します。

    • 例：すべての検索エンジンのクローラーに対して、サイト上のすべてのページへの巡回を拒否するには、robots.txtに以下の内容を記述します

      User-agent: *
      Disallow: /

    • 例：すべての検索エンジンのクローラーに対して、「diary」ディレクトリ以下にあるページへの巡回を拒否するには、robots.txtに以下の内容を記述します

      User-agent: *
      Disallow: /diary/

いずれもクローラーが巡回しmetaタグやrobots.txtファイルの内容を認識、次回データベースが更新されたタイミングで、ウェブ検索結果に表示されないようになります。