とりあえず、上のものを実装してみた。 やはり単語ではない頻度の高い文字列を多数拾ってしまう。それから類似性の判断も何とかしたいところ。

うん、人工無脳よりもこっちの方がしっくりくる。辞書無しで学習するためにはどうしたらよいか。 単語学習は統計的にのみ扱えばよい。 つまり、番目の文字に対してその出現確率を定義し、同様に文字列に対してその出現確率を定義する。とを比較し、出現確率…

読書日記 元々書いていた分はinfoseek http://kilrey.hp.infoseek.co.jp/に蓄積しているので、参考にどうぞ。 ちなみに主成分はミステリ。 人工無能 自然言語処理にも興味有り。 形態素・意味解析から自分でやりたい、と思うので余計に難しい。 そういえば、…