Unicode版msearch

【謹告】Version 1.52(U2)以前のバージョンには
セキュリティホールがありますので、
お使いのユーザーは、至急バージョンアップをお願いします。
詳しくはJVN#79925E6Fをご覧ください。

概要

Unicode版msearchとは、 ホームページ内全文検索エンジンmsearchの内部処理をUnicode化することで多言語に対応させたものです。 本家版msearchと比して、以下の特徴があります。

1. シフトJIS, JIS, EUC-JPのファイルに加えてUnicodeのファイルも検索可能。
2. UTF-8, 16LE, 16BE, 32LE, 32BEエンコードのUnicodeファイルを検索可能。（Unicode 4.0準拠）
3. インデックスをUTF-8で作るので, グルジア語, 韓国語など世界の諸言語での検索, 検索結果表示が可能。
4. JIS第１・第２水準にない漢字(例：SMAPの草彅剛さん, 文豪・森鷗外)の検索も可能。(Unicode(UTF-8など)形式のファイルのみ)
5. UCS-2だけでなくUCS-4領域(ただしU+0010FFFFまで)のUnicode文字も検索可能。
6. 文字参照(例：" " " )で記述したUnicode文字も検索可能。
7. XML文書も検索可能。DTDで独自定義したUnicode文字も検索可能。
8. 諸外国で使われている多彩なエンコード（文字コード）に対応。（全57種類）
9. 言語を指定しての検索が可能なので、多言語サイトでの運用に好適。
10. ページの最終更新日を指定しての検索が可能。
11. 本家版msearchが動作するサーバーであれば、動作可能。
12. 誤検索（ミスマッチ）が原理的に発生しない。
13. 携帯電話(DoCoMo,au,SoftBank,Disney Mobile,EMOBILEとWILLCOM)に対応。
14. もちろん本家版と同様に無料です。

定評のあるmsearchのコードをベースとしていますので、msearchの下記特徴もそのまま受け継いでいます。

1. インデックスを作成するので、高速な全文検索が可能。
2. 同梱のPerlスクリプトのみで動作し、追加のモジュール・ライブラリ等は一切不要なので、CGIの設置を許可されているサーバーならば、どこにでも設置可能。
3. AND検索、OR検索、NOT検索、タイトル検索、URL検索が可能。
4. インデックスから除外したいキーワード、ファイルの指定が可能。
5. 検索結果画面、検索ヘルプ画面は、HTML、CSSを直接編集することで自由なカスタマイズが可能。

以下のようなデメリットもあります。

1. 日本語主体のHPで大半のページの文字コードがシフトJIS, JIS, EUCのいずれかである場合、インデックスのサイズが本家版msearchよりも大きくなる。（約1.5倍）
2. 検索窓(検索フォーム)をSJIS, JIS, EUCのページに設置すると, 検索速度がかなり低下する。(検索窓はUnicode(UTF-8など)のページに設置します。)
3. インデックス作成時に本家版msearchよりもメモリを大量に消費し、CPUに負荷がかかるので、サイト構成、サーバー環境によってはサーバーでのインデックス作成が行えなくなる可能性がある。(インデックスをローカルで作成する分にはなんら問題ありません。)
4. 中国語向けエンコード(Big5, GB2312など), 韓国語向けエンコード(EUC-KRなど)には対応していない。(ただし中国語、韓国語そのものはUnicode(UTF-8など)であれば扱えます。)
5. 日本語・英語にはないような文法規則(合成文字, リガチャなど)には対応していない。右から左に表記する言語への対応は不完全である。

ダウンロード

本Unicode版msearchはフリーソフトウェアです。本ソフトウェアはKatsushi Matsudaさんの作られたmsearchを改造者（毛流麦花）が改造し、作成者（Katsushi Matsudaさん）の許可のもとで再配布するものです。 ダウンロードするためには以下の利用規定に同意する必要があります。 利用規程に同意してダウンロードした時点で、本ソフトウェアの使用権が作成者から貸与されることになります。 (あくまでも使用許諾であり、使用権が譲渡されるわけではありません。)

1. 本ソフトウェア(msearch)はフリーソフトウェアですが，著作権は作成者(Katsushi Matsudaさん)に属します。
2. 本ソフトウェアを利用したことによる，いかなる結果，損害，トラブルについて作成者は一切の責任を免れます。
3. 有料，無料を問わず，再配布する場合は作成者に連絡して下さい。
4. 作成者に許可なく，営利目的での利用(有償でのレンタルや販売，設置代行等)はできません。
5. 本ソフトウェアの改造は非営利目的の範囲内で自由にできますが，ソフトウェア内に記述された作成者の著作権表示部分を削除，修正することはできません。
6. バグ報告を除き，改造依頼や改造方法については作成者は基本的にお答えできません。
7. 設定ファイル(default.cfg)は，作成者に許可なく配布することができます。
8. 本ソフトウェアにはUnicode, Inc.の著作物が含まれています。これらは、別項※1の記載に従って再配布を行うものです。
9. 改造者（毛流麦花）は本ソフトウェアを使用したことによるいかなる損害、トラブル、損失、結果についても責任を負いません。
10. 作成者の許可の下で営利目的の利用、再配布をする場合は、事後報告でかまわないので改造者に報告してください。
11. 改造者は本ソフトウェアのバグ（不具合）を修正する義務を負いません。
12. 改造者は本ソフトウェアに関する質問・依頼に答える義務を負いません。

※1：Unicode, Inc.の著作物の著作権、及び利用規程は以下のようになっています。

Copyright(C) 1991-2004 Unicode, Inc. All rights reserved.
Distributed under the Terms of Use in http://www.unicode.org/copyright.html.

Permission is hereby granted, free of charge, to any person obtaining a copy of the Unicode data files and associated documentation (the "Data Files") or Unicode software and associated documentation (the "Software") to deal in the Data Files or Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, and/or sell copies of the Data Files or Software, and to permit persons to whom the Data Files or Software are furnished to do so, provided that (a) the above copyright notice(s) and this permission notice appear in all copies of the Data Files or Software, (b) both the above copyright notice(s) and this permission notice appear in associated documentation, and (c) there is clear notice in each modified Data File or in the Software as well as in the documentation associated with the Data File(s) or Software that the data or software has been modified.

更新履歴

インストール方法

以下の説明は、本家版msearchの導入方法について知識があることを前提としています。 msearchの導入が初めての方は以下の説明を読む前に、 msearchのホームページ(本家サイト)の解説、 penguin-19さんのmsearch導入記を 熟読してください。以下、本家版とは異なる箇所を中心に説明します。

サイト構成によっては、Unicode版ではなく本家版msearchを設置した方がいい場合もあります。 特にUnicode(UTF-8など)のページが皆無のサイトでは、本家版msearchがベストな選択です。 詳しくは、設置してメリットのあるWebサイトをご覧ください。

なおCGIの設置そのものに不慣れな方は, 事前にCGIの設置方法の基礎について学んでおいてください。(Googleにおいて「CGI 初心者」で検索すると, いろいろなサイトが出てきます。) msearchを設置する前に, アクセスカウンターCGI, 掲示板CGIなどの設置を行って習熟されることを推奨します。

1. 事前確認

msearchを設置する前に確認すべき事項があります。

msearchを設置しようとするサーバーについて、以下の事項を確認してください。

1. 自作CGI(カスタムCGI)の設置が認められているか?
2. 全文検索CGIの設置が認められているか?

プロバイダ(ホスティング)業者によっては, 業者が用意したCGIの設置しか認めていない場合があります。 また自作CGI(カスタムCGI)の設置を認めている業者であっても, 全文検索CGI(検索系CGI)の設置を認めていない場合があります。 これは, アクセスカウンター, 掲示板などのCGIと比べて, 全文検索CGIはサーバー負荷が高くなる傾向があるためです。 (業者によっては, 全文検索CGIの設置を認めず, その代わりに全文検索機能を提供している場合があります。) 必ず上記事項を事前に確認してください。

2. ファイルのダウンロード

msearchをダウンロードして、解凍します。

必ず利用規定に同意してからダウンロードしてください。 ファイルはLZH形式で圧縮されており、 解凍すると以下のファイルが出てきます。 なおMacintoshをお使いの場合、ファイルの解凍にStuffIt Expanderを使わないでください。 (OSXならDropUnLHa、OSX以前の場合はMacLHAを使ってください。)

3. 設定の変更

msearchの各ファイルを編集します。

設定の変更を行うためには、Unicode(UTF-8)及びEUC漢字コードに対応したテキストエディタが必要です。 各ファイルについて、以下の項目を修正します。

基本的にこれだけ修正すれば事足ります。なお本家版msearchで使用していた設定ファイル（default.cfg）を 流用する場合は、本家版からの移行方法を読んで必ず書き換えてください。 (もっとも、本家版の設定ファイルを書き換えるよりも、Unicode版に同梱している設定ファイルを書き換える方が楽だと思います。)

4. サーバーへのアップロード

いよいよmsearchをサーバーへアップロードして、設置します。

まずサーバー上にmsearch設置用のフォルダを作成します。フォルダは他のCGIスクリプトと共有せず、必ずmsearch専用としてください。 なおCGIの設置条件は事前に確認しておいてください。サーバーによっては特定の条件を満たすフォルダにしかCGIを設置できない場合があります。

作成したこのフォルダのパーミッションを設定します。下記表の「msearch.cgiを置くフォルダ」の設定例を参考にしてください。

FTPソフト等を用いて、このフォルダに各ファイル及びutfjpsupフォルダをアップロードします。 アップロード時、FTPソフトで文字コードの変換は行わないでください。 特にFFFTPをお使いの場合、「転送モード：アスキー、ホストの漢字コード：無変換」で転送してください。 FTPソフトによっては、アスキーモードをテキストモードと呼称することもありますが、いずれも同じ意味です。

アップロード後、パーミッションを以下のように設定します。 なお以下のパーミッション設定は一例です。サーバー環境によっては異なる値に設定する必要があります。 特にsuEXEC, もしくはCGIWrapという仕組みを導入しているサーバーの場合、下記設定では動かない可能性が高いです。 どのように設定すればよいのかについては、プロバイダー(ホスティング)業者に問い合わせてください。

5. 動作チェック、インデックス作成、初めての検索、インデックス管理

サーバーに設置したmsearchをさっそく動作させてみます。

本家版msearchと同じなので、説明を省略します。 詳しい説明は本家サイトの解説もしくはpenguin-19さんの解説ページを読んでください。 以下、注意事項・制限事項を説明します。

genindex.cgiを用いてのインデックス作成(サーバー上でのインデックス作成)は失敗する可能性が高いです。 (例えばアット・ニフティのサーバーでは、たいていの場合失敗します。) 失敗した場合はインデックスの小分け作成、逐一モードでの作成などを試みてください。 逐一モードで作るときはデバッグモードにもチェックを入れてください。なお、逐一モードで作ったインデックスを補助ツールで結合しても問題ありません。

これらの方法で成功しない場合はサーバー上でのインデックス作成を潔くあきらめ、 ローカルでインデックスを作成し、サーバーへアップロードするようにしてください。 (ローカルで作成したインデックス(ファイル名の拡張子は.idxです)をサーバーへアスキーモード(テキストモード)でアップロードします。) 手順等の詳細については、ローカルサーバーのページをご覧ください。

検索対象ファイルがひとつ残らず全てUnicode(UTF-8など)化されていれば、 genindex.cgiでのインデックス作成(サーバー上でのインデックス作成)が成功する可能性は本家版と同等です。 インデックス作成時、非インデックス対象キーワードにUnicode固有文字(SJIS, JIS, EUCにない文字)を 含めることはできません。

6. 検索窓を付ける

既存のWEBページからmsearchの検索機能を使えるようにします。

検索窓(検索フォーム)の設置には2通りの方法があります。 HTMLのFORMタグを使って記述・設置する方法と、Flashを使って制作・設置する方法です。 FORMタグを使って記述・設置する場合、Unicode(UTF-8など)のページにしか設置できないという制約があります。 (シフトJIS, JIS, EUCのページに設置すると, 検索速度が極端に低下します。) FORMタグを使って設置する方法はFAQに書いてありますので、そちらをご参照ください。 Flashを使って制作・設置する場合、特に制約はありません。 検索窓のFlashコンテンツをシフトJIS, JIS, EUCのページに設置しても問題ありません。 ただし当該Flashコンテンツはバージョン6以降としてパブリッシュし、当該Flashコンテンツの表示にはバージョン6以降のFlash Playerが必要になります。 Flashを使って制作・設置する方法については、準備中です。

7. 設置報告のお願い

Unicode版msearchを設置されましたら、ぜひともメールで設置報告をお願いします。 公序良俗に反するようなサイトでない限り、できるだけ「導入サイト一覧」からリンクを張らせていただきたく考えています。 この設置報告は義務ではありませんが、脆弱性発見時など緊急のお知らせをWebmasterに一斉通知する場合に備えて、 ぜひとも報告をお願いします。

機能詳説

1. 言語を指定した検索を使うために

Unicode版msearchでは、検索オプションで検索対象言語を指定して検索することができます。 この機能を使うためには、検索対象ファイルに言語情報を記述する必要があります。 インデックス対象のHTML, XML(含 XHTML)ファイルについては、下記方法で言語コードを記すようにしてください。(朱書き箇所) アルファベットの大文字・小文字は区別されません。 なおどの方法で指定する場合でも言語コードはカンマで区切って複数指定してもかまいません。(RFC-3282で規定されています。) 言語コードを複数指定した場合、すべての言語コードを認識します。(検索対象言語がいずれであっても検索対象になります。) 以下の表に掲げる複数の方法で同時に言語が指定された場合の優先順位は、<meta>タグ、<html>タグ、xml:lang属性です。 なお、記すのはRFC-1766("Tags for the Identification of Languages" 現在はRFC-3066)準拠の言語コードです。 言語コードのリストは言語コード表のページにあります。

<meta http-equiv="Content-Language" content="ja">

<html lang="ja,sv">

<文書 xml:lang="ja">

<html xml:lang="ja-JP,sv-SE">

2. 文字コードの指定

各検索対象ファイルには文字コードを必ず記述するようにしてください。 特に日本語以外のファイル(ISO8859など)では記述されていないと正しく検索できません。 文字コード毎に満たすべき条件を以下に記します。 この条件を満たさないファイルについては、検索結果表示時に文字化けするか、 もしくは検索されない(ヒットするはずなのにヒットしない)可能性があります。

<meta http-equiv="Content-Type" content="text/html;charset=Shift_JIS">

<?xml version="1.0" encoding="Shift_JIS" ?>

<meta http-equiv="Content-Type" content="text/html;charset=ISO-2022-JP">

<?xml version="1.0" encoding="ISO-2022-JP" ?>

<meta http-equiv="Content-Type" content="text/html;charset=EUC-JP">

<?xml version="1.0" encoding="EUC-JP" ?>

<meta http-equiv="Content-Type" content="text/html;charset=UTF-8">

<?xml version="1.0" encoding="UTF-8" ?>

<meta http-equiv="Content-Type" content="text/html;charset=UTF-16LE">

<?xml version="1.0" encoding="UTF-16LE" ?>

<meta http-equiv="Content-Type" content="text/html;charset=UTF-16BE">

<?xml version="1.0" encoding="UTF-16BE" ?>

<meta http-equiv="Content-Type" content="text/html;charset=UTF-32LE">

<?xml version="1.0" encoding="UTF-32LE" ?>

<meta http-equiv="Content-Type" content="text/html;charset=UTF-32BE">

<?xml version="1.0" encoding="UTF-32BE" ?>

<meta http-equiv="Content-Type" content="text/html;charset=Windows-1252">

<?xml version="1.0" encoding="Windows-1252" ?>

3. 特定の領域を検索対象から外す

<msearch>タグを使うと、HTML, XHTML文書の特定の領域をインデックス化されないようにすることができます。 サンプルを以下に記します。

<html>
<body>
<p>インデックス化される文章です。</p>
<msearch><p>インデックス化されない文章です。</p></msearch>
<p>インデックス化される文章です。</p>
</body>
</html>

<msearch>タグで囲まれた領域はインデックス化対象から除外されます。上記例では、 「インデックス化されない文章です。」はインデックス化されません。 「インデックス化される文章です。」はインデックス化されます。 <msearch>タグを挿入しても、Webブラウザの表示に影響を及ぼすことはありません。(「インデックス化されない文章です。」も表示されます。) タグの挿入個数に制限はありませんが、タグの入れ子関係を崩さないように挿入してください。

4. 検索フォーム(検索窓)を記述する

msearch.cgiの引数の一覧を記します。

5. インデックスと設定ファイルの切替機能を使う

インデックスと設定ファイルを複数使う場合、 msearch.cgiの引数indexでインデックスを指定し、 引数configで設定ファイルを指定するわけですが、 インデックスと設定ファイルはmsearchを設置したディレクトリにしか置くことができません。(Version 1.52(U1)以降のみ。セキュリティ上の理由による。)

msearch設置ディレクトリ以外に置きたい場合は、 以下のようにする必要があります。 (本家サイトの高度な設定も参照してください。)

1. msearch.cgiをエディタで開き、323行目(Version 1.52(U1)の場合)付近を見る。

      ### インデックスと設定ファイルを確定する
      #require './allow.pl';
      identifyindex();

こうなっているのを以下のように修正する。(requireが記述された行の行頭の#を削除する。)

      ### インデックスと設定ファイルを確定する
      require './allow.pl';
      identifyindex();

2. allow.plをエディタで開き、以下のような箇所を探す。

      ### インデックスと設定ファイルを置くことを許可するディレクトリの一覧
      ### 必ず，"/"で終了して下さい．
      @g_allow = (
                  "./",          # これは必ず残しておいて下さい
                  "testdir/",
                 );

インデックスと設定ファイルを置くディレクトリを msearch.cgi設置ディレクトリからの相対パスで上記箇所に記します。 以下のような場合を考えてみます。

      ■msearch.cgi設置ディレクトリ
      /cgi-bin/msearch/engine/msearch.cgi

      ■インデックス
      /cgi-bin/msearch/engine/other/other.idx
      /cgi-bin/msearch/scandinavia/sweden.idx
      /cgi-bin/msearch/scandinavia/norway.idx

      ■設定ファイル
      /cgi-bin/msearch/engine/other/other.cfg
      /cgi-bin/msearch/scandinavia/sweden.cfg
      /cgi-bin/msearch/scandinavia/norway.cfg

この場合はallow.plに以下のように記します。

      ### インデックスと設定ファイルを置くことを許可するディレクトリの一覧
      ### 必ず，"/"で終了して下さい．
      @g_allow = (
                  "./",          # これは必ず残しておいて下さい
                  "other/",
                  "../scandinavia/",
                 );

上記設定でmsearch.cgi?index=swedenという呼び出しを行うと、 最初に"./"ディレクトリ(=msearch.cgi設置ディレクトリ)でsweden.idxを探し、 次に"other/"ディレクトリ(=/cgi-bin/msearch/engine/other/)でsweden.idxを探し、 最後に"../scandinavia/"ディレクトリ(=/cgi-bin/msearch/scandinavia/)でsweden.idxを探します。

設定ファイルの探し方はインデックスの場合と異なります。 msearch.cgi?index=swedenという呼び出しを行った場合、sweden.idxが見つかったディレクトリ内にsweden.cfgがある場合のみ、その設定ファイルを読み込みます。 もしもそのディレクトリ内にsweden.cfgがない場合は、msearch.cgi設置ディレクトリ内にあるdefault.cfgを読み込みます。

msearch.cgi?index=sweden&config=norwayのようにindex引数とconfig引数の両方を指定した場合、 及びmsearch.cgi?config=otherのようにconfig引数のみを指定した場合は、 上記のような動作はせずにallow.plに列挙されたディレクトリへ config引数で指定された設定ファイルを探しに行きます。

3. 修正したmsearch.cgiとallow.plをサーバーにアップロードする。

修正したmsearch.cgiとallow.plをサーバーにアップロードすれば作業は完了です。

本家版からの移行方法

本家版msearch 1.50, 1.51, 1.52からの移行方法を記します。

<noresult><period>$$periodname$$</period><lang>$$langname$$のページを検索し，</lang>$$total$$件ヒットしました．
$$from$$件目から$$to$$件目を表示します．</noresult>

<form action="$$msearch$$" accept-charset="$$encoding$$">
検索<br>&gt;&gt;
<input type="text" size="40" name="query" value="$$query$$">
<input type="submit" value="検索">
<a href="$$msearch$$?index=$$index$$&config=$$config$$">検索オプション</a>
<input type="hidden" name="hint" value="ひらがな">
<input type="hidden" name="index" value="$$index$$">
<input type="hidden" name="config" value="$$config$$">
</form>

<td bgcolor=#3366cc align=left>
<font size=-1 color=white><noresult> $$total$$件ヒットしました．
$$from$$件目から$$to$$件目を表示します．</noresult></font>
</td>
<td bgcolor=#3366cc align=right>
<font size=-1 color=white><noresult>検索にかかった時間$$cputime$$秒 </noresult></font>
</td>

<meta http-equiv="Content-Type" content="text/html;charset=UTF-8">

<form action="/cgi-bin/msearch.cgi" accept-charset="utf-8">

<form action="/cgi-bin/msearch.cgi" accept-charset="utf-8">
検索<br>&gt;&gt;
<input type="text" size="40" name="query" value="">
<input type="submit" value="検索">
<a href="/cgi-bin/msearch.cgi">検索オプション</a>
<input type="hidden" name="hint" value="ひらがな">
<input type="hidden" name="index" value="">
<input type="hidden" name="config" value="">
</form>

<meta http-equiv="Content-Type" content="text/html;charset=Shift_JIS">

FAQ

2つあります。両方に目を通してください。 FAQ(第１) FAQ(第２)

仕様

文字コード判定の詳細

文字コードの判定は以下の手順で行われます。

1. UTF-16LE, 16BE, 32LE, 32BEについては、BOMの有無で判定します。
2. それ以外については、まずHTMLの<meta>タグのエンコーディングを探します。
3. 見つかれば、その結果を返します。
4. 見つからない場合は、XML宣言のエンコーディングを探します。
5. 見つかれば、その結果を返します。
6. 見つからない場合は、UTF-8のBOMの有無を調べます。
7. UTF-8のBOMが有れば、UTF-8であると判定します。(※1)
8. UTF-8のBOMが無い場合は、ひらがなもしくは全角カタカナが連続で4文字出現する箇所があるかどうかを調べます。(ひらがな・カタカナいずれか一方のみの4文字でもよいし、両者が混在して4文字でもよい。)
9. 該当箇所が有る場合は、UTF-8であると判定します。(※2)
10. 該当箇所が無い場合は、ひらがなもしくは全角カタカナが連続で3文字出現する箇所が4箇所以上あるかどうかを調べます。(ひらがな・カタカナいずれか一方のみの3文字でもよいし、両者が混在して3文字でもよい。)
11. 該当した場合は、UTF-8であると判定します。(※2)
12. 該当しなかった場合は、jcode.plの判定結果をそのまま返します。

※1：この判定を行っているため、「鏤身」(注：ルシン、もしくはロウシンと読みます。)などの「鏤」で始まる字句が ファイルの先頭にあるEUC-JPのファイル(非マークアップのテキスト)をUTF-8であると誤判定する可能性があります。

※2：この判定は簡易的なものです。Shift_JISにおいては、 「絆」、「罠」、「羞恥」、「飛翔」、「胚芽」などの 1バイト目が0xE3の文字を含む字句が多く出現するファイル(非マークアップのテキスト)、 EUC-JPにおいては、 「祭祀」、「齋藤」、「稟議」、「改竄」などの 1バイト目が0xE3の文字を含む字句が多く出現するファイル(非マークアップのテキスト)、 などをUTF-8であると誤判定する可能性があります。この種の誤判定を防止したい場合は、 当該ページをHTML化した上で、<meta>タグで文字コードを指定してください。

謝辞

本ソフトウェアは、再配布を快諾してくださった著作権者様のご好意で成り立っています。 この場を持ちまして、Katsushi Matsudaさん、Unicode, Inc.に御礼申し上げます。

リンク集

リンク集のページをご覧ください。