傀儡師の館.Python

[ことばの処理] カテゴリの記事

全268件 (268件中 101-150件目)

< 1 2 3 4 5 6 >

• 

  オープン・シェークスピア

  Open Shakespeare、狙いは大詩人のフリー化 を読む。Open Shakspear というプロジェクトという、おもしろそう。時間がないのでとりあえず興味があるところだけブックマークしておく。このプロジェクト Python で開発されているわけね。Open Shakespeare WikiOpen Shakespear codeOpen Shakespear Web interface DemoAPI を使ったコードの例 (Python) Printing press. Python Gutenberg E-text ProjectGenshi: Python toolkit for stream-based generation of output for the webkidなんとなくシェークスピアの顔と織田信長のこの顔 が似ている。織田信長生誕 天文3年5月12日（1534年6月23日）死没 天正10年6月2日（1582年6月21日）シェークスピア洗礼日1564年4月26日 - 1616年4月23日この年代。時代がかぶっている。宣教師とか西洋画家が持ち込んだ作風の影響ってあるのかな。シェークスピアが安土桃山時代の人と考えるとおもしろい。そういえば、黒澤明監督の『乱』は『リア王』を元にしているのね。時代がかぶっているから、そういう時代・時の空気の真実味ってあるのかもね。

  2006.11.17

  コメント(0)

• 

  テキストクリーナー

  まともにテキストマイニングをしようとすると、最初の関門はテキストをきれいにすること。ウェブ上のデータをとってくると、スクレイピング（必要な部分の取り出し）をしなければならない。テキストの改行を整えたり、よけいなスペースや記号を取り除いたり等、案外手間がかかる。テキストマイニングに使いやすいデータを整えるようなツールが欲しくなってきた。sh1.2 pyblosxom: pythonでスクレイピングsh1.2 pyblosxom: BeautifulSoup使ってみたスクレイピングに関しては、このあたり参考にさせてもらうとして、テキストをきれいにするツールはないかな。加えて、「年間５００万台」と「年間五百万台」と「年間500万台」はいっしょに扱いたいし、「一九六三年」「昭和三十八年」「1963年」も一緒に扱いたい。「五十パーセント」「50%」等も一緒にしたい、どこまでやるかはあれだが。んー、結局コーディングルールってことなのかな。ちなみに、直近の内閣総理大臣の資料を探していたら、表記がめちゃくちゃなのね。とりあえず最近は、「第１６５回」のような表記なで統一されているようだけれど。日本の資料を探るときには、こうした表記の揺れ（というか、時代による表記方法の変移）が、とっても邪魔くさいものになる。日付などもそうだが。過去の資料を日付をベースに何かを探そうとしたときに、表記がバラバラなのでとても効率が悪い。第１６５回国会における安倍内閣総理大臣所信表明演説第136回国会における橋本内閣総理大臣施政方針演説（抜粋）第百五十一回国会における森内閣総理大臣施政方針演説表記の遷移を追っていくと、それはそれで一つのあれかもしれないが、内容をベースに何かする場合には、ひとまとめに扱えた方がうれしい。住所や名称など、いわゆる名寄せ処理を行ったりするが、それに類似したような処理を作る必要があるなと改めて感じる。長く、そうしたことをやっている人にとってはある意味当然のことだろうが、誰でもぶつかるところに安いソリューションがないというのが、あれなんだな。日本の仕組みってすべからく面倒なところを秘して、そこで関所を作って専門家の地位を安泰化するところがある。この関所を取り払って、もっと上の層でやる方が実り多いと思うんだがなぁ。かなり先に行っている人は、下の方を公開してしまうことによって、下の方にいる競争相手を競争の世界から追い落とすってやり方もあろうが。たとえば IBM なんかがやっているオープンソース的な流れは、そういうことだと思う。底上げをすると上がさらに上に行きやすくなる。

  2006.11.16

  コメント(0)

• 

  内閣総理大臣所信表明演説をテキストマイニングの材料に探したが

  歴代の内閣総理大臣所信表明演説をテキストマイニングの練習材料に使おうと探してみた。しかし、まとめて入手することができない。とてもがっかりした。この手の資料が簡単に入手できるようになってほしいと思う。過去からの資料の蓄積を分かりやすく、いつでも取り出せる仕組みは大切だと思う。なにげなく会計検査院を見てみると、会計検査院決算検査報告データベースがあった。目次を見ると、昭和22年から決算検査報告が公開されている。こうした姿勢は評価すべきことだと思う。しかし、標準共済システム設計・開発業務委託 一式 4億6,788万円ってなんざんしょ。まず、「一式」ってなんなんでしょ。こういう資料も合わせて公開することによってよくなることがたくさんあるということに会計検査院の方は気づいていないんでしょう。そしてまた、ＮＴＴデータと官庁の随意契約云々の話が頭をよぎる。入札者の総合評価点数は公表されてるが、評価内容は公表されていない。こうしたことをオープンにする姿勢を会計検査院が率先してやって欲しいと思う。だいたい官庁なんて、受注前に業者に調査協力させて、そこに受注させるなんてよくやっていることだろう。会計検査院は自らの活動についても、生データや資料をできるだけ明らかにし模範となるべきだろう。なんてことはおいておき、官公庁がどのような形で生に近いデータをできるだけ、リアルタイム、さらに継続的に100年後でも利用可能な形で出していくには、かなり頭を絞らなければならないだろう。とりあえず 電子政府のように手続きの電子化という方向があるのだろうが、資料はあとから電子化して公開形式にもっていくのは、とても手間がかかる。不完全な形であってもとにかく電子化したものを公開して後の世の資料として残すことも考えてほしい。後の世のことを考えて作られたものは、今の人にも使いやすいものになる。話がずいぶんそれてしまった。

  2006.11.16

  コメント(0)

• 

  「なる」と「する」と、歴代ＸＸのタグクラウド

  ちばぎん総合研究所の「なる」と「する」 を読む。ある組織が決定した内容をその内外に周知･徹底するにあたって使う言葉に、｢なる｣と｢する｣がある。具体的には｢Ａとなりました｣と伝える場合と、｢Ｂとしました｣と伝える場合である。この両者には重要な差異がある。何をいまさらという感じの話なのだが、これを数値またはグラフィカルに表すとおもしろいかもしれない。US Presidential Speeches Tag Cloud を見てやったという 日本の総理大臣の演説をタグクラウド化 の Japanese Prime Minister Speeches Tag Cloud などもおもしろい。アメリカ歴代大統領のスピーチをタグクラウド化 のように、ほんとうは歴代大統領のスピーチの結果を並べてみるとおもしろいのだが（日本なら首相）。が、名詞ベースでタグクラウド化というのも「何が」トピックとして焦点が当たっているかを知る上ではおもしろいのだが、使う言葉の主体性に焦点を当てると、また別の取り組みができるかもしれない。アメリカ大統領のものは、US Presidential Speeches Tag Cloud は、Encyclopedia Britannica と ThisNation.com からの 360の文書を使ったということだが、こういうページって日本の首相版はあるんだろうか。加えて、タグクラウドを簡単に比較できるようなものがあるとおもしろいのだが。このタグクラウド化では、"promised", "promises", "promising", "promise" は、"promises" にグループ化しているようだ。アルゴリズムは Porter Stemming Algorithm を使っているようだ。>Porter Stemming Algorithm Python 版もあった。ちなみに、我思うに、サ変名詞に注目すると、日本語のスピーチはおもしろい結果がでるんじゃないかと思う（キャラクターが出る）。「なる」と「する」などにしても、通常、解析時に捨てられてしまうような類の単語だけれども、そこに注目すると別のものが見えてくるかもしれない。

  2006.11.13

  コメント(0)

• 

  組み込み型全文検索エンジン Senna を使ってみる

  以前に書いた MeCab 0.92 を使ってみるが思わぬところからリンクされているのを見つける。MeCab 0.93で数を表す名詞が長く判断されてしまう の tasukuchan さんて Senna 組み込み型全文検索エンジン の会社の方なのね。IPADICの名詞を適当に連結したものを形態素解析かけていたら発見した。おもしろいテストの仕方しているな。それはさておき、[Senna]講演してきたりした。 の全文検索エンジン Senna についての資料 を見て、やっぱり Senna 使ってみようと思った。NTTデータの全文検索エンジン Ludia を調べてみる で書いた Ludia の方も試そうと思いつつ放置になっていた。Pyblosxom で使う検索の候補としては、とりあえず Lucene はプラグインがあるみたいだから一歩リードだけど、これを参考にすれば Ludia 用も、Senna 用も作れないこともないだろうか。とりあえず Pyblosxom で試すのは Lucene、Senna、Ludia、Hyper Estraier、Rast の順かな。とりあえず単体で Senna の動作を確認しておく。Mecab 0.9.3 をすでにインストールしてあるので、Senna インストール方法 の 2) senna インストールから始める。senna は最新版でなく、とりあえず senna-0.8.2.tar.gz を使うことにする。ほぼ、書かれているとおりのやり方でインストールできたが、mysql のソースをダウロードしてパッチを当てて、configure も再構成して等、かなり面倒。mysql の configure のオプションで --with-named-curses-libs=/lib/libncurses.so.5 となっているところは Fedora Core 6 だと /usr/lib... 等、分かっている人ならすぐに対応できるが、ちょっと全体的にちょっと敷居が高いかもしれない（既存の MySQL との併用とか考えたりすると）。MySQLバインディングを用いた動作確認例 で確認してみると、とりあえず動いているようだ。数が少ないと一瞬で結果が出てしまうので、なんだか実感がない。テストデータ作らないといかん。とりあえず Sennaとはに出ている「この先生き残れる」「モンゴル航空相撲殺される」とか試してみる。「この先生き残れる」と「すてきな先生に会う」が登録れているとき、「先」で検索すると「この先生き残れる」だけがマッチする。「先生」がヒットせず、「すてきな先生に会う」だけしか登録されていなければ、「先」だけだと他にマッチするものがないので「すてきな先生に会う」がヒットするようになる（「先生」の「先」が部分一致でヒットするようになった）。相撲の方は、「モンゴル航空相撲殺される」と「町内相撲大会に出る」を登録しておいて、「相撲」で検索すると、「町内相撲大会。。」がヒットする。「相撲大会」を削除して「相撲」で検索すると何もヒットしない。あれ、n-gram が効くなら「航空相撲殺」も「相撲」を文字列内に持つのだからヒットしても良さそうなものだが。航空 名詞,一般,*,*,*,*,航空,コウクウ,コークー相 名詞,接尾,一般,*,*,*,相,ショウ,ショー撲殺 名詞,サ変接続,*,*,*,*,撲殺,ボクサツ,ボクサツなので、こういうパターンだとダメなんだろうか。「n-gramインデックスと単語インデックスの特徴を兼ね備えた、高速かつ高精度な転置インデックスタイプのエンジンです。」 ということだから形態素解析の結果にかかわらず n-gram でちゃんとヒットしてほしい。この場合はヒットしなくて良いのだが形態素解析が辞書の都合で変なわかち書きをするときがあるので、ヒットなしの場合には、このパターンでも拾ってきて欲しい。「堰東 京都 祗園囃子」(せきひがし きょうと ぎおんばやし）と同様、ダメってことかな。部分文字列の一致については n-gram でマッチするけれども、解析結果の形態素が複数に分かれてしまっている場合はダメってことかな。だとすると辞書の都合でそれなりの数の検索漏れが生じる可能性がありそう。まあ、でもおもしろそうだし、性能も良さそうなので、もう少し使ってみることにする。Python のバインディングとかも試してみるかな。

  2006.11.12

  コメント(0)

• 

  専門用語自動抽出システムをさらに使う

  専門用語（キーワード）自動抽出システムを使ってみる、専門用語自動抽出システムをもう少し使う の記事で専門用語自動抽出システムを試してみたが、さらに続けることにする。あるものを多少フィルタしてきれいにしてから、入力として渡してみると次のようなリストが表示された（上位のみ載せている）。新着情報 2.83外務省ホームページ新着情報 2.73外務省ホームページ 2.63モザンビーク共和国 2.18新着情報メールサービス 2.18外務省ホームページ日本語版 2.10国連総会 2.06インドネシア共和国ユドヨノ大統領 1.97国連総会我が国核軍縮決議案 1.91債務免除方式 1.70債務救済措置 1.70外務大臣会見記録 1.68電子メールアドレス変更 1.59スリランカ被災民 1.59参加者募集 1.59得られたものをいったんさらにもう一度ばらしてしまいたいものがある。つないでおいた方がいいのか、ばらした方がいいのかというのは、やっぱり用途によって微妙に求めるものが変わるなと思う。「インドネシア共和国ユドヨノ大統領」は「インドネシア共和国」と「ユドヨノ大統領」に分けて欲しい気がする。まあ、何にせよこうして得られた複合語をそのまま使うのでなく、さらにもう一ひねりする必要がありそうだ。日付表現（平成18年10月31日 みたいなもの）も一緒に取り出して、複合語に対して何らかの標識がつくと嬉しいか。中身を追いながら、ちょっと改造してみようかな。いじくっているうちに、何が好みの結果なのかも見えてくるかもしれない。

  2006.11.09

  コメント(0)

• 

  オレマイニング

  このところ考えているのはオレマイニング。Pyblosxom を使ってなんでもメモをテキストに書き込んで、自分の書いた物にたいしてテキストマイニングすると同時に、リンクをたどって外延も取り込んでみたり、メールも取り込んでみたり。そして、レポートを見ることができるようにする。オレはどんな言葉を使っているんだろう。何に興味があるのだろう。どんなリソースを参照しているのだろうと、自分の記録・自分探しができるようなもの。そして、資料探しが楽になるようなもの。加えて、プライベートのもの以外は表の pyblosxom のサイトに自動的にアップロードするといった感じ。まあ、これまであれこれ手を出したものの集大成というところか。ということで、まだいくつかベースの部分で身に着けないといけない技術があるが、時間がかかってもいいから淡々とやっていこうかなと。でもって、ベースにするのは、あまり複雑なものだと疲れるので Pyblosxom のように比較的シンプルなものを使った方が外部のツール等と連動させるのも楽そうだと思うようになったのであった。ほんとうにどこまでできるかは不明であるが、自分のためのナレッジベースという感じかな。

  2006.11.08

  コメント(0)

• 

  専門用語自動抽出システムをもう少し使う

  専門用語（キーワード）自動抽出システムを使ってみる で書いた "termex" を少しまた使ってみているのだが、これはフィルタを作らないと実用には辛い。つまり、このシステムに流す前にテキスト処理を行って、ゴミをつくり出す原因になるようなものをあらかじめ取り除いてやったり、テキストを整えてやったりなど。たとえば 専門用語（キーワード）自動抽出サービス「言選Ｗｅｂ」 を使うと簡単に確認できるが、「専門用語自動抽出用」と入力した場合と、「専門用語（改行）自動抽出用」と入力した場合では当然のことながら結果が異なる。前者では「専門用語自動抽出用」が抽出されるが、後者では「専門用語」「自動抽出用」が抽出される。これはプログラムの動作上はそうなるべくしてそうなっているわけだが、無造作にテキストファイルを流した場合、改行をつなぐべきところをつないでやったり、行頭/行末のスペースを取り除いてやった上で termex に流してやった方がよい場合がある。あるいは、同一行であっても、スペースを削除して接続してしまった方がよい場合もあるし、スペースを句点に変換した方がよい場合もある。「特別増刊号 11月号 特集記事」のような場合、スペースを取り除いてつないだ結果と同じになるが、むしろこの場合はスペースを句点に変換してから流してやった方がよい。URL の類が入っている場合も、変な結果が出てくる。HTML などのタグに関しては事前に削除するだけでなく、タグの外に書かれた記述についても予め不都合な結果が出ることが明確なものについては削除や書き換えを行うようにする必要がある。というわけで、このプログラムを使うにあたっては、事前に処理を行うフィルタプログラムを作る必要性を感じる。

  2006.11.04

  コメント(0)

• 

  MUSASHI によるデータマイニングも見てみる

  Yet Another 仕事のツール 第46回 茶筌とMUSASHIで純和風テキストマイニング で MUSASHI (Mining Utilities and System Architecture for Scalable processing of HIstorical data) が扱われているので読んでみる。MUSASHI はシェルスクリプト中でコマンドをパイプでつないでいくタイプのシステムなので、何かに別のシステム(ウェブサイト等)に結果を組み込んだりするときには使い勝手は楽でよいかもしれない。「一つのコマンドは一つの処理」というシンプルさがいい。けど、数値データを扱うにはよいかもしれないが、テキストマイニングに使うのであればやっぱり KH Coder の方がいいな。別に結果を外だしにしたければ、DB にクエリをかけるスクリプト書いてしまえばいいわけだし。Yet Another ... のようなものなら SQL 文一発で出せるし。。。。あんまり魅力的な例ではないな。けど辞書の改良するときに、案外便利な使い方ができそうな気がしてきた。その他にも使い方によっては KH Coder でいったんデータを作ったものを MUSASHI に渡してあれこれやるのはありかな。玄箱 - MUSASHIをつかってみる情報の中の実態を斬れ - データマイニングツールMUSASHIとはWebのアクセスログで経路分析をしたいYet Another 仕事のツール 第11回 データマイニングツール MUSASHI(1)データマイニングツール MUSASHI(5) MUSASHIとWEKA に MUSASHI の結果を WEKA を使って視覚化している。Weka は Java で書かれたデータマイニングソフトウェアで、本来は機械学習のアルゴリズムを豊富に備えていてそうした処理をするものだけれど、視覚化することのみのために上記の記事では使っているようだ。でもって、Weka は Pentaho というビジネス・インテリジェンスのオープンソースプロジェクトに参加したようだ。Product Overviewのあたりを見てみる。Pentaho は機能としては次のようなものがあり、ReportingAnalysisDashboards Data MiningWorkflowFrameworkPentaho プロジェクトには次のオープンソースのプロジェクトが加わっているようだ。Mondrian - Open Source OLAP ServerJFreeReport - Open Source ReportingKettle - Open Source Data Integration (E.T.T.L.)Pentaho - Comprehensive Open Source BI SuiteWeka - Open Source Data Miningへぇー、こんなものあったのか。オープンソースBIの潮流を見たら、Pentaho って、Cognos、Hyperion、Oracle、SASなどのBIベンダー出身者が設立。なのね。Pentahoプロジェクト を見ると日本語でだいたいのイメージがつかめる。最近、こちらの方面に興味がなかったから、こういう状況になっているとは知らなかった。というか、Eclipse Foundation，BI／レポーティング・ツールの新版「BIRT 2.0」を公開 などの記事を見ているかもしれないが記憶に残っていなかった。そのときに興味がないと記憶に残らないものだな。それにしても、最近、ほんとうにオープンソースですごいものがどんどんどんどんどんどん出てくる。

  2006.10.29

  コメント(0)

• 

  KH Codere 2.x リファレンス・マニュアルを読む

  KH Coderのリファレンス・マニュアルを一通り読んでみた。よく考えて作っているなぁと思った。外部変数と連携させて（例えば、アンケートの自由回答入力と、性別（男・女））をクロス集計できたりとか、「無記入・空白の行に対応」を指定すれば、自由回答の欠損値を表すのに空行を入れているような場合、空行を１つの段落としてカウントしてくれたりなど、アンケート調査で使いやすいようになっている。また、WordMiner や SPSS で処理を行いたい場合の外部ファイルへの出力もできたりする。コーディングルールなども、カバー率を確認できるように頻度とパーセントが単純集計できるようになっていたり、なかなかよい。地道に改良が進んでいるのね。これはよく GPL で公開してくれましたといった類のソフトだと思う。Perl/Tk で書かれているから、Windows, GNU/Linux, MacOS とどのプラットフォームでも動くというすばらしいさ。もっとも、Python だったらなお良かったんだけどなぁ。。。。SQL 文も直接入力できるようにインターフェイスが作られているから、他のツールを使わずに DB を直接参照できるところもいい。plugin を書いてうまく使えば効率的に作業もできそう。何にせよ、これはけっこう遊べる。樋口耕一さんの博士論文 計量テキスト分析の方法と実践 も読んでみる。チュートリアルやリファレンス・マニュアルも論文の中に含まれているものを切り出したものなのね。で、これを読むと、どういう意図で作ったのかが分かる。なぜそのソフトが作られたかという文脈を知るっていうのは、暗黙のマップを頭に作ることになって、ソフトを使うときの手助けになるんだな。論文としても、先行研究などまとまっていておもしろいが、やっぱりコーディング・システムって、それ自体が一つの大きな課題なのだなぁと思う。そういえば KT2 も使ってみようかな。KT2 は、用語集抽出、用語と出現位置のクロスさせた頻度表を作るシステムらしい。1999年春に KTCoder として発表され、以降改良を重ねて KT2システムとして無償配布されているもの。形態素解析を使わずに字種区切りをベースとして用語抽出していくようだ。非定型データのコーディング・システムとその利用 と 用語の出現傾向を可視化することによる文章理解 － 宗教的ライフヒストリーの分析地図を読む。地図分析ってやっぱり手法としておもしろい。そういえば、以前に、これ読んだことあったなぁ。すぐ忘れてしまう。『奔馬』の小説構造可視化 －－三島由紀夫『豊饒の海』の絵解き－－ や 日本語文章における重要語の出現位置に関する分析、物語：推理小説 ＆日本語文章の分析と可視可、『人工知能と人間／長尾真』のテキスト可視化 なども眺めてみた。出現位置を地図化/可視化するというのもおもしろい。この手の可視化のおもしろいところは、可視化されると、なんとなく分かった気になれる一方で、実は、見る人によってとらえ方が異なって解釈が多様化しちゃうところだったりして。要するに可視化は新たな開始点であって終末点ではないと。信号メタファー（赤青黄色の標識による可視化）との大きな違い。信号メタファーだと、青（思考停止で OK）、黄色(思考せよ、必要な対処を早めに取れ）、赤色（すぐに行動せよ）。その標識自体の解釈の多様性は狭い。これに対して、把握するためのマップ化は、切り口を提供するものであって、それ自体が標識にはならない。けれども、テキスト分析の結果を青黄赤で示す場合もあるな。いわゆるクチコミ分析で悪い評判が書かれていたら抽出するようなものの類。あるいはクレーム処理の類。解釈のための可視化と行動のための可視化か。KH Coder を使ってもコーディングルールをがんばって書けば、最終的に信号メタファーの分析はできるか。結局、コーディングルールを作るのがめんどくさい。コーディングルールを自動学習、あるいは提案するようなものがあればよいのだな。

  2006.10.29

  コメント(0)

• 

  KH Codere 2.x チュートリアルをやってみる

  KH Coder を少し使い込んでみようかと、まず、チュートリアルをやってみることにした。一通りやってみる。Excel の等高線グラフって、今まで使ったことがなかった。等高線グラフに表すと分かりやすくなることもあるんだなぁと本筋でないところで関心する。KH Coder の結果をペースとしてメニュー一発で表示できるようになっているお手軽さはいい。チュートリアル自体は親切に書かれているので順に試していけば、特に苦労することもなく操作の基本が理解できるようになっている。地道にテキストを分析していくのであれば十分な機能だと思うが、コーディングルールは作るのが面倒。作業的には力技だけれども、そこに恣意性が入り込む。主体的な操作であれば問題ないが、この手順でやるとあまりたくさんのテキストを分析するのは辛いかな。１つのテキストを読み込むタイプのマイニングにはよいが、複数のテキスト間の差異に着目する場合は、この恣意性が問題になると思う。もっとも、KH Coder が使うデータはデータベースに入っているのだから、自分であれこれ考えて作ればよいということでもあるが。ざっと使った感じ、けっこう使えるなという印象。よくできている。次はマニュアルを見ながらもう少し詳しい使い方を覚えることにする。参考KH Coder Index PageKH Coder 掲示板KH Coder の作者、樋口耕一さんのホームページYet Another 仕事のツール 第50回 KH Coderとコーディング・ルールYet Another 仕事のツール 第49回 茶筌を利用するソフトウェア「KH Coder」漢直ノート 日本語形態素解析出来るソフト「KH Coder」漢直ノート KH CoderでPSS用の練習問題を作る自由回答データを定量的な切り口で分析するには？モーニング娘のアルバムに含まれる歌詞の頻出単語モーニング娘のアルバムに含まれる歌詞の頻出単語は、KH Coder を使ったおもしろい例。コーディングルールを使っての集計もやっている。「恋愛」と「接触を伴う愛情表現」等、ルールを作って集計した結果などもおもしろい。なるほど、こういう遊び方ができるのね、という感じ。RankWordなる文書中の頻出語を抽出するソフトがあるのも知る。これは簡単に単語をカウントできるツール。トップテンの単語をカウントして、その単語が含まれる行を取り出すことができる。使い方は簡単だが簡単なことしかできない。軽いノリでどんな単語が多く使われているかチェックしたい程度の用途にしか使ない。KH Coder があれば不要。形態素解析をやっていないようなので文字列の単純マッチのカウントという点では正確な数は出せるだろうが。東京経済大学 情報システム課の PC教室のソフトの追加，バージョンアップのお知らせ に KH Coder や KWIC Finder が登場している。パソコン教室 ソフトウェアの紹介。こういうものを使った授業でもあるんだろうか。SPSSや SAS、AMOS その他、統計・解析・シミュレーションの分類に入っている。ぱっとマイニング なるものもあるのだな。これ特許情報を対象としたものか。特許調査業務を効率化するためのもの のようで、ぱっとマイニングのマニュアルを見ると、形態素解析は茶筅、辞書は IPA辞書を使っているようだ。ちなみにフリーソフト版はもう公開されていない。横浜市立大学でも情報ネットワーク　ニュース　No.6を見ると KH Coder 等インストールしているな。どういう授業で使っているんだろうか。

  2006.10.29

  コメント(0)

• 

  テキストマイニング・ツール VextMiner

  『テキストマイニング活用法』顧客志向経営を実現する」(2) で クオリカ （旧コマツソフト） の VextMiner に興味を持ったので少し調べてみる。基本機能としては、次のものが挙げられている。CSVファイル対応頻度集計スキャッタリングクラスタリングソート/ステムソートカテゴライズ各種レポーティング機能が充実していることに加えて、「CIAの要請によって開発されたコンテキストベクタ方式(米国特許取得済み)でテキストの数値化」というところがミソか。加えて、FAQ を扱うソリューション のVextContact、最大280次元のベクトルに置き換え単語や文書（単語の集まり）の概念を数値化し、また、近傍の単語の共起性（Co-Occurrence）に着目し、ニューラルネットワークの活用により意味の近い単語同士のベクトルを近づける「学習」機能を実現しているという検索エンジン VextSearch といったラインアップで、きちんとソリューション化しているところがポイントか。さらには、最近、音声認識技術 を持っているアドバンスト・メディアと コンタクトセンター向けソリューション「CallMining(R) Solutions」の開発で提携もしている。また、だいぶ前の話になるが ベイシステクノロジー との中国語形態素解析システムを使って クオリカ、中国語版テキストマイニングツール「VextMiner」中国語版を発売 (2003/12/10)している（電通がユーザーになっているようだ）。ベイシス・テクノロジーは知られざる、検索エンジンの“縁の下の力持ち” に紹介されている。さらには、ログイットが全通話録音～音声認識～テキストマイニングを一括パッケージ　CallMining Package にしている。おもしろいところでは、テキストマイニング技術の音楽情報への適用 という論文。音符をカタカナにマッピングして半小節を単語に対応させて、似た曲を分類するということに VextMiner を使っている。ジャンルの分類もできるようだ。xxxxMiner＋導入費用で最低 2,000万円はかかるだろうから、それなりの会社でないと厳しい。ODK ソリューションズのの文書データ分析サービス が文書件数2000件で 10万円～なんていうものもある。が、レポート提出型だとあれこれ試すことができないだろうけど。『コンテキストベクタ方式に関する解説』富士フィルムの導入事例 (2004/12/1)キヤノンの導入事例tクオリカとアドバンスト・メディアが、コンタクトセンター向けソリューション「CallMining(R) Solutions」の開発で提携 (2004/11/16 )クオリカ、中国語版テキストマイニング・ツールを発売 (2003/12/10)コマツソフトとSASインスティチュート ジャパンがマイニング分野で協業契約を締結 ～テキストマイニングとデータマイニングを融合したCRMソリューションを提供～ (2001/10/17)テキスト型のマイニング - 最近の動向とそれが目指すもの - (大隈昇 テキストマイニング研究会代表 統計数理研究所・名誉教授) (pdf)コンパック、SAS、コマツソフトの3社が次世代CRMで協業 (2002/6/13)主要なテキスト・マイニング・ソフトウェアの一覧（国内）日車ビジネスアソシエイツヒューレット・パッカード

  2006.10.22

  コメント(0)

• 

  専門用語（キーワード）自動抽出システムを使ってみる

  専門用語（キーワード）自動抽出システム を見てみることにする。このシステムは文章からキーワードを抜き出すシステムで、次の特長を持っているとのこと。（１）形態素解析プログラムによる単語分割、（２）複合語の作成、（３）文章中における重要度の計算、という３つのステップを踏むことで、複合語により複雑な概念を表すことが多い専門用語をキーワードとして文章中から抽出することに成功しました。まずは 「言選Web」 で実際の動きを見てみる。URL 指定欄に http://plaza.rakuten.co.jp/kugutsushi/ や http://www.kantei.go.jp/ を入力して試してみた。ちょっと不満なところはあるが、なぜくっつけるかなぁとかいうところもあるが、大方よさそうな感じ。東京大学経済学部図書館サブジェクトゲートウエイサービス"Engel のデータ入力補助でも使われれているそうだ。”専門用語（キーワード）自動抽出システム”利用統計 を見てみると、平成15年はだいたい毎月 100件程度はコンスタントにダウンロードされているようだ。専門用語自動抽出システム のページで重要度計算には単名詞バイグラムを用いることにより複合名詞がどのような単名詞で構成されているかという連接情報と候補語の頻度情報を手掛かりとしています。などの説明がされている。この重要度の計算の論文 をざっと眺めてみる。案外シンプルなやり方で、ここまでの結果が出せてしまうのだな。現在公開されているものは、これを改良したものらしい。Windows用専門用語（キーワード）自動抽出システム "termex" の解説 を見ながら使ってみることにする。形態素解析器は、茶筅 と 和布蕪 のいずれも使えるももの、和布蕪は、ver 0.76 以前のバージョンを使えとある。mecab の古いバージョンをインストールし直すのはいやなので、とりあえず茶筅を使うことにした。動かしてみると、うん、なるほどちゃんと動く。出力結果を見てみると、あれっ、なんでこういうのが出るなというのもあるが、だいたいのところよいものを出してくれている。納得いかないものが出ているところは、地道にハックしてみようかな。形態素解析を使わない Windows用専門用語（キーワード）自動抽出システム "termex lite" の解説 の方も見てみる。termex とけっこう結果が違うのだな。結果を比較しながらハックするとおもしろいか。東京大学情報基盤センター 中川裕志教授中川研究室多言語用例検索ツール:KiwiWebページの名寄せシステム（同姓同名の人のWebページを実際の同一人物ごとにまとめる): Nayose 横浜国立大学 大学院 環境情報研究院 社会環境と情報部門 森 辰則教授こういうものを一般公開してくれている大学/研究者はありがたい存在だなと思う。もっとも、莫大な税金が国立大学には注がれているんだから社会還元されていると考えればよいのだけれど。ただし、そうした形の社会還元をしない方々も多いのが現実だから、こうして一般の人でも利用しやすいようにインターネットで公開する方々はナイスな存在といえるだろう。講義資料なども各研究室や研究者単位だけでなく、もっと大がかりにやればおもしろい方向になるのに。待っていれば Google や Microsoft が検索できるようにしてくれるっていうのもあるんだけれど。

  2006.10.19

  コメント(0)

• 

  ただ消えて無くなる - エンロンコーパスをデータに spam 検証

  米エンロン社の電子メール150万通：その利用法(上)エンロン社の電子メールがインターネット上に初めて出回ったのは2003年3月、米連邦エネルギー規制委員会(FERC)が、エンロン社の従業員176人が送受信した150万通以上の電子メールを公開したときのことだ。カリフォルニア州のエネルギー市場に対して同社が2000年に行なった市場操作に関する調査の一環として、FERCは電子メールを公表したのだ。米エンロン社の電子メール150万通：その利用法(下)学術機関に所属する研究者たちは、エンロン社のメールがまたとない公開データの宝庫であることをすぐに理解した。社会的ネットワーク、情報分析、情報検索などに興味を持つ研究者にとって、利用価値の高いデータなのだ。Introducing the Enron Corpus (pdf) を見ると、158 ユーザの 619,446 メッセージをクリーニングして、200,399メッセージ(1ユーザあたり757メッセージ) にしぼり分析を加えている。フォルダ構成やスレッドに目を向けていて興味深い。61.63%のメッセージがスレッドを構成していて、1スレッドあたり平均で 4.1 など。データは、Enron Email DatasetやProcessed Enron corpus (XML形式になっている)Enron Emails で実際に検索ができる。また、exploring enron のように視覚化したサイトもある。スパム・メールのフィルタリング状況をチェックするプロジェクトが発足　エンロンの電子メール・メッセージには、普通ならなかなか入手できない私信やスパムが大量に含まれており、スパム研究には非常に役立つと、グラハム・カミング氏は述べている。こうしたものを見るに付け、アメリカというのは、実におもしろい国だと思う。ちなみに上記のプロジェクトのページ SpamOrHam を見ると、SpamAssassin public corpus、TREC 2005 Public Spam Corpus) Spam Corpus へのリンクもある。一般に、コーパスを作ることの重要性は、アメリカの方が日本に比べて相当に進んでいる。日本のコーパスはやっとまともに予算が付いて進み始めたというところだろうか。そのうち、この話題は扱おうと思う。なぜにエンロンコーパスについて、今頃書いているかというと、メールの0.71～1.02％は「ただ消えて無くなる」～Microsoft研究者らが論文主な原因はスパムフィルター の記事が出ていたから。spam がどうのこうのという問題よりも、エンロンコーパスが使われていることに興味がいってしまった。エンロン裁判で公開された典型的なビジネスメールの文面を集めたメール約1,700通が利用された。 マイクロソフトの論文: Addressing Email Loss with SureMail: Measurement, Design, and EvaluationMicrosoft Research を見ると、マイクロソフトって今や研究機関としても、すごいものになっているなと改めて感じる。この15年の間に淡々と研究機関としての人と実力を蓄えている。これらの研究がすべて製品に活かされて利益を上げているかというと、そうでもないとは思うが研究機関としてはかなりの規模になっている。かつてのゼロックスのパロアルト研究所のように、マイクロソフトが取りこぼしてしまったものから次世代のおもしろいものが出てくる可能性もあるかもしれないななどとふと思った。ちょうど15年なのね。

  2006.10.18

  コメント(0)

• 

  テキストマイニングに凝ることにした

  自由回答データを定量的な切り口で分析するには？ の記事で KH Coder が扱われている。突然だが、しばらくテキストマイニングに凝ることにした。とりあえず KHCoder をダウンロード。とりあえず、そのままで動くことを確認。とりあえずチュートリアルから試してみることにする。毎日、こつこつと、まず KH Coder の使い方をマスターしてしまうことにする。

  2006.10.17

  コメント(0)

• 

  IPA (いぱ) サーチ に期待しておく

  IPA (独立行政法人 情報処理推進機構) は、数ある行政法人の中でも比較的有効に機能している機関の一つであると思う。「2006年度日本OSS貢献者賞」の受賞者を選定、12名の天才プログラマー／スーパークリエータを発掘 ～2005年度下期『未踏ソフトウェア創造事業』スーパークリエータ認定～ のようなものにしても、どんなものを受賞させるかについては議論の分かれるところかもしれないが、オープンソースの推進役としての IPA の役割については、それほど意義を差し挟む人はいないのではないかと思う。日の丸検索エンジンに莫大なお金をつぎ込むのであれば、こういう機関に少し予算をつけて上げた方がいいかなぁと。IPA は開示度も比較的高い方の組織だと思うし。もっとも、予算が限られた中でなんとかやっていこうとするからよいといえばよいのだが。ソフトウェア信頼性・安全性向上のためのサポート基盤整備事業の公募の中に、検索システム・IPA（いぱ）サーチの構築　公募概要 というのがある。公募からリリースまでが半年程度で、既存の IPA のサイトで使用している Namazu を改良して、検索精度を向上させようというプロジェクト。また、研究事業ではなく実用性重視で IPA のサイト内検索の質をユーザー・インターフェイスも含めて改良するという話。IPA のサイトでリリース後、成果物等が公開されることが期待できる。辞書作成機能、辞書更新機能等や、重み付け検索機能等、も仕様に入っている。日の丸検索エンジンみたいな大がかりなものでなく、こうした地道なところでの実用的な取り組みというのは非常にいいことだと思う。ということで、半年ちょっとしたら、またチェック。期待しておこう。募集要項(pdf) もこうした文書の作成する際の参考として役立つ。

  2006.10.16

  コメント(0)

• 

  マイクロソフトが実用的人工無能を作っている会社を買収

  マイクロソフト、自然言語処理技術のColloquisを買収へ らしい。松下電器産業なども顧客に持つ 会社のようだ。Colloquis は Windows Live Service Agents と呼ばれるマネージドサービスを持っているようだが、ってそれはなんだかわからんので調べてみる。Automated Service Agent? (ASA) System という技術があり、トップページの右の方にある demoを開いて、"Who is Colloquis?" と入力してみると、ページが切り替わるとともに、答えも表示される。コピペするとなんなので、やってみると分かる。あるいは、"How many employees?" のように入力してみるとか。いわゆる人工無能の技術を持っている会社のようだ。じゃなくて、顧客対応を自動化することによってコストを削減するとともに顧客満足度を向上させるようなことをするのがメインの企業みたい。で、単なる知識を持った対話型の人工無能なわけではなくて、人間へのエスカレーションのプロセスとか、質問内容の分析ができたりとか、ソリューションにしているということのようだ。マイクロソフトと直接つながりそうなのは、Colloquis Offers Free BuddyScript SDK License for the Development of Conversational MSN Messenger Applications だろうか。Special Offer of Colloquis BuddyScript SDK for MSN Messenger と MSN Messenger 用の Bot を使ったアプリケーションが作れるようだ。Colloquis Developer Center なども参照。Downlaod ページを見てみると Linux のリンクもある。おもしろい会社かもしれない。

  2006.10.14

  コメント(0)

• 

  NTTデータの全文検索エンジン Ludia を調べてみる

  全文検索エンジン｢Ludia　(TM)｣の公開を開始 ～PostgreSQLに全文検索機能を提供～二種類の主要な全文検索インデックス方式(N-gram、形態素解析)を共にサポート複数の検索方法(ブーリアン検索、近傍位置検索、類似文書検索)に対応検索した結果が、どの程度期待している結果であるかを示す、｢スコア｣の取得という特徴があるようだ。NTTデータのLudiaのページを見てみると、他にも簡単な図画ある。形態素解析器としては mecab を、全文検索のインデックス作成には senna を使っていてって、んーなるほど、肝心なところはオープンソースですでに公開されているものを使って PostgreSQL に統合するところに専念しているということか。ダウンロードファイルを見ると、MeCab と Senna を含んだもの(withdep）と含まないものが用意されている。まあ、このパターンの構成でいくと「全文検索機能付きブログ検索エンジン」なるものを作り、皮を向いていくと Ludia、Senna、そして Mecab が残ったというパターンも出てくるかな。となると、案外、Mecab の辞書メンテナンスなんていうのが仕事として成り立つようになる可能性もあるか。あるいは、それを半自動化するオープンソースのアプリが出てくるとか。さて反応はどうかと調べてみると、次のように思う人もいるようだ。このあたりはすべてSennaの機能なのであって、NTTデータが作ったのはC言語でたった700行かそこいらのPostgreSQLへのバインディング部分だけです。自分たちで全て作ったかのような印象を与える書き方は止めた方が良いとおもう。今日の井原: Ludiaの件PostgreSQL用の日本語対応全文検索エンジン｢Ludia」(slashdot)も見てみると、Senna MySQLバインディング の PostgreSQL バインディング版なのとか、pg_senna とどう違うんだという話も出ているが「完全にPostgreSQLと統合されているわけではないので多少の注意を払って使用する必要があります」「現在のpg_sennaはαリリースにもなっていないレベルなので以下のAPIは全て変更される可能性がありますのでご注意ください。」(pg_senna のページより)なのに対して、Ludia は PostgreSQL との統合度が高いところがポイントと。であれば、pg_sennna に成果をフィードバックするという手もあっただろうにそうしなかったのは、フォークではなくて、まったくの別物を作ったということかな。すでに使っている人を探してみると、Ludia+PogtgreSQLによる全文検索をRailsで使う が見付かる。早いわね。まだ、ちょっと使い始めた程度のようなので、別を探す。早い？ で実際に速いか試している人がいた。一括導入スクリプトも書かれている。udiaは、PostgreSQLのインデックスメソッドとして実装していますから、他のインデックスを必要とするようなことはありません。現時点、大きな性能ボトルネックも見つけていませんが、更新トランザクションの高負荷検証は手薄なので、だれか虐めていただければうれしいです。インデックスに関しての今の課題は、DROP INDEXでsennaの全文検索インデックスを削除できないことです。これは、PostgreSQLが機能向上し、システムカタログにトリガが設定できるようになれば簡単なのですが、現時点はアイデアがありません。とある。表現が、んん、ひっかかる表現だと下を読むと、なんだ、開発に関わった人じゃないか。udia(TM)公開に、開発は、私を入れて3名。さらに今回公開したVer0.8では、協力してくださった方が2名です。今後は、基本的に3名で開発・保守を継続します。ということのようだ。既存のPostgreSQLバインディングに対し、PostgreSQLのインデックスメソッドとして作りこんだ、というところが大きな特徴です。と、開発者のコメントが見付かって、リリースを読んだときの疑問もとけて、すっきり。リリースにそういうところは明示すればいいのにね。PostgreSQL用の全文検索エンジン　「Ludia」 も見てみると、インストールも簡単で、検索も速いという印象のようだ。どうも、よさそうに見えるので使ってみることにしよう。

  2006.10.14

  コメント(0)

• 

  便利なオンライン辞書 weblio

  オンライン辞書「Weblio」の登録辞書数が150種類を突破これは便利。辞書をひきたいときに複数の辞書を串刺しで検索できて、ヒットしたときにどの辞書かが明示される。Google で検索するとたいていのことは分かるが、やっぱり、辞書に何と書かれているか知りたいときは多々ある。例えば 中押し（ちゅうおし） みたいなものだと端的な説明が囲碁基本用語集表示されて、その下にウィキペディアの「投了」の表示があるので分かりやすい。ウィキペディアの方は「中押し」そのもののページがないからか「投了」のページが結びつけられているが、ちゃんとマッチしている。なかなか便利。

  2006.10.04

  コメント(0)

• 

  形態素解析エンジン Mecab 0.93 をインストール

  気分転換に普段使っているノート PC に Fedora Core 6 をインストールして放置してあったものを本格的に使いはじめることにする。やっぱりリリース前のバージョンだとアップデートの量が多い。アップデートに時間がかかる。。。普通はリリース版の 5 を使った方がいいだろうけど、これは先取り環境なのでよしとする。Python のバージョンは 2.4.3 なので、そのままで OK。Python 2.5 もリリースされたがPython 2.4.x で問題ない。というより、Zope なども Python 2.5 に対応していないし、その他のライブラリが Python 2.5 で問題なく使えるようになるまでは Python 2.4 を使うことにする。オープンソース形態素解析エンジン Mecab 0.93 をインストールmecab-0.93.tar.gzmecab-ipadic-2.7.0-20060707.tar.gzmecab-python-0.93.tar.gzをダウンロードして、それぞれインストール。configure --enable-utf8-only にするとバイナリが小さくなるということなので、これを試してみたが、どちらも同じ大きさになってしまった。うーん。テストしてみると動作はしているので、原因追求は辛いので、とりあえず気にしないでおく。やったのは、まとめて各言語のバインディングも含め、必要なファイルをダウンロードしておいたディレクトリで下のようにしてみた。テスト用のスクリプトは utf-8 の環境だと不都合があるので、いったん nkf でスクリプトを utf-8 に変換しておいてからテストを実行した。とりあえず、どれも動いているようなので一段落。mecab -Oxml で mecab を実行するとエラーになる。Mecabをソースからインストールする、MeCab,出力形式によってはエラーになる にあるように、lib/mecab/dic/ipadic/dicrc に xml 用のエントリを追加しないとダメみたいだ。追加するとエラーも出ずに動いた。tar xvzf mecab-0.93.tar.gztar xvzf mecab-ipadic-2.7.0-20060707.tar.gztar xvzf mecab-python-0.93.tar.gztar xvzf mecab-perl-0.93.tar.gztar xvzf mecab-ruby-0.93.tar.gzcd mecab-0.93./configure --enable-utf8-only --with-charset=utf8makemake checksudo make installcd ..cd mecab-ipadic-2.7.0-20060707./configure --with-charset=utf8makesudo make installcd ..cd mecab-python-0.93python setup.py buildsudo python setup.py installnkf -w test.py > utest.pypython utest.pycd mecab-ruby-0.93ruby extconf.rbmakesudo make install nkf -w test.rb > utest.rbruby utest.rbcd mecab-perl-0.93perl Makefile.PLmakesudo make installnkf -w test.pl > utest.plperl utest.plバインディングによって、速度の違いが出るかなというのがとりあえずの関心事項。これは MeCab そのものの話ではなくて、各スクリプト言語に依存した話。言語によってスピードに差が出るんだろうかと。やっぱり、こういうのは Linux 上でやる方が Windows より楽だな。追記:小さいファイルで軽く試した限り、どうも ruby が一番速いような感じ。とかいいながら自分では Python 使うから関係ないが。Python 2.5 なら Python ももっと速くなるかな。Perl が一番遅かったからよしとする（なんのことやら）。もうすこしまともなテストファイルで大量に流してみようかな。

  2006.10.01

  コメント(0)

• 

  社内ブログのテキストマイニング (NRI, TRUE TELLER)

  テキスト・マイニングを社内ブログ分析に応用、NRIが11月に製品化同システムでは、ブログ上で急増しているトピックや、人気の高いブログを発見できる。また、社内ブログ全体がどの程度の頻度で更新されているかという「活性度合い」を調べたり、ブログの書き込みの類似度や相互閲覧状況などから、ブログ間の関連性を図示した「関連性マップ」を描く機能も備える。 NRI、テキストマイニング活用の社内ブログ分析ツールを発表野村総研、イントラブログの書き込み内容や利用状況を分析できるソフトを１１月発売NRI、テキストマイニングでイントラブログの利用状況を分析NRI, TRUE TELLER をベースにした製品のようだ。TRUE TELLER 顧客の声ポータル に画面がちょっとあるが、これに類するような感じになるのかな。TRUE TELLER テキストマイニング にも画面がある。NRI はNRI認定 テキストマイニングアナリスト 初級なんて資格認定制度を作っている。テキストマイニング技術を活用した特許分析ツール　「TRUE TELLERパテントポートフォリオVer.5.0」を発売　～「重み付け表示」をサーモグラフ分析機能に追加し、外部データベースとの連携を強化 ～ このあたりが力が入っているんだろう。NRIサイバーパテント などもある。NRI はテキストマイニングの製品を最初に出してからかなり経つから技術蓄積もそうとうなものになっているのだろうな。ネットコミュニティー・マイニングサービス なんてものもやっている。テキストマイニング関連の本を探してみる。

  2006.09.23

  コメント(0)

• 全文検索システム『ひまわり』

  全文検索システム『ひまわり』 なるものが 国立国語研究所 から公開されている。XML 文書から特定の文字列を高速に全文検索する機能 (Unicode に対応)検索結果の KWIC (KeyWord In Context) 表示，および，資料に適した形で閲覧する機能おもしろそうだから時間ができたら見てみよう。日本語コーパス とか 言語コーパスKOTONOHA とか、現代雑誌２００万字言語調査語彙表 公開版(ver.1.0) とか。日本語コーパス等、何があるんだか見ていない。現代雑誌２００万字言語調査語彙表は、すばらしい。これはとってもすばらしい。とりあえず忙しいので軽くなでておくだけにしておく。

  2006.09.21

  コメント(0)

• ガーラのデータマイニング（ e-mining）

  アクセス記録を見ていたら、ガーラ株式会社のアドレス gala.jp からのアクセスがあるのに気づいた。どっかの会社の悪口書いたかなぁｗ「e-mining（イーマイニング）」は、このインターネット上に存在する膨大な情報の中でも、個人が発する書き込みに特化し、中でもリーク情報、企業の誹謗・中傷やデマ・噂にいたる企業のリスク情報を探し出し、その情報を日々報告するサービスです。最近書いた何かが引っかかってるかな。どの程度、ガーラはクロールしてるんだろう。こういうのも機械的なアクセスの一つなのだよなぁ。アクセスカウンタを増やすかなりの部分が検索エンジンとか、この手のサービスとか、いろんな自動的なアクセスだったりするのだろうな。まあ、このサービスはおもしろい。伏字対応とかが凝っている。類似語・伏字対応メインキーワードの類似語、伏字などに対応いたします。　　　ex. 「ガーラ」・・・ガ○ラ、ガ●ラ　　「山口」・・・山ロ（カタカナのロ）サイバーコップスとかいうサービスもあるようなので見てみると、サイバーコップス内部では、2段階の処理を行います【第1ステップ】・・・単語区切りまず、従来の形態素解析システムでは対応できなかった日本語の「会話文」を約22万語の辞書DBと照合し、単語に切り分ける。【第2ステップ】・・・マッチング切り分けられた単語を約7,300語の不適切用語集とマッチングさせる。会話文をうまく扱えるようにチューニングしてるようだ。「約7,300語の不適切用語集」というのが見てみたい。不適切用語は、同じ単語でも伏せ字を含めていろんなバリエーションで書かれたものをカウントしているのか、自動的に展開されるから7300の中に重複がないのか、どうなんだろう。なんにせよ、不適切用語集というのは魅力的だ。これ管理している人は、まじめな顔して、卑猥な言葉とか、罵詈雑言とか、過激な表現とか、一生懸命登録してきたんだろうから。何年も、そういうことを業務としている人がいると考えると、実に涙ぐましい努力。もし、この用語集が流出した場合、変態ぶりに皆度肝を抜かれることになるだろう。そして、まさか、それが業務で作られたものとは誰も思うまい。

  2006.09.17

  コメント(0)

• といえば、といえば

  データセクション株式会社 が、「といえば」でクロールしている（「ＸＸとは」とかなのかな）。BIGLOBE旬感ランキングに収集したブログデータの提供開始といえばサーバデモのご紹介連想検索エンジン『といえばサーバ』 Ver.6インデキシング速度 ： 平均的ブログ記事100～200万記事／1日検索速度 ： 1000万記事で1秒以内検索もれ ： 形態素解析型インデキシング手法のため、形態素解析違いは検索できないことがあります。検索もれのないN-Gram型で運用することも可能です。全文検索の構築手法比較qdbmのすすめTomcatの二重起動をApacheで制御形態素解析器MeCabについてなど、おもしろい記事もある。”専門用語（キーワード）自動抽出システム”

  2006.09.16

  コメント(0)

• 辞書の将来を考えつつ

  テレビを見ていたら、紙の辞書の売上げが 10年前の半分になったとやっていた。紙の辞書は売れなくなって電子辞書がメインになってきたと。それにともなって単に辞書引きだけでなく、音声が入っていたり、英語であれば試験対策が入っていたりなど、付加価値を付けるような方向にあると。電子辞書がメインになると嬉しいのは、高い電子辞書と安いものとの棲み分けが始まるであろうこと。付加価値がない生のエントリは価値が低くなってくるので、そのうち生辞書のデータのみ売るという形態も出てくるはず。音声も付加価値もいらないというニーズも当然あるから。加えて生辞書データの場合は、それを扱うソフトウェアにオリジナリティを求めるという方向性も考えられるから。また、辞書の作成方法も外国の辞書（たとえば、COBILD や LONGMAN）のように、新聞などのデータから統計的に選択する言葉を選んだり、例文を取り出したりするような方向になる可能性がある。そうすると初出がいつかなどの情報が織り込まれてくる可能性がある。例文とその年代を記録する OED のような辞書が日本語でも作られる可能性が高くなる。流行語は、ウェブのデータから流行言葉を抽出する可能性も出てくる。ブログから見た流行言葉事典のような企画ものの辞書もあり得る。辞書がまじめに引くだけの辞書から、もう少し能動的に使う辞書に動いていくとおもしろい。一時的に流行って、その後、廃れて死語と化してしまうような言葉もある。そうしたものは、ウェブ上のデータを解析すれば数として明確になる。死語を使ったらそれを指摘してくれるような、半ばお遊びのソフトも考えられる。いつの時代も一定の比率で使われる言葉もあれば、ピークがある言葉もある。寿命の長い言葉、短い言葉。言葉は生き物だから、辞書というのは変わり続けるもの。変わり続けることを前提にすると辞書の作りも変わってくる。理屈上/文法上の正しい言葉遣いと、実際との違いなどもおもしろい。いわゆる「ら抜き言葉」のようなものも、これからはどのように推移したのかもウェブ上のデータから分かるようになるだろう。そうした意味で書き込んだ日付が明確になるブログの価値は大きい。いつその言葉が使われたのかが明確なのは、普通の人の使う言葉の歴史を残すという意味でも意味がある。もちろん、新聞やニュースの類も日付が明確なので意味がある。セマンティックウェブの考えが普通になれば、文書もダブリンコアのように明確に作成者や日付、更新日等のデータを残すようになる（ブログのサービスであれば意識しなくてもメタデータとして埋め込まれる）。

  2006.09.11

  コメント(0)

• 辞書をRDBMS に入れて遊ぶ 1 (Python で人工無能) (2)

  2003年03月01日の日記の記事をカテゴリを変更して書き込もうとしたら、長すぎて再登録ができなかった。新規の投稿は、前月までしかできないので、仕方ないので、ここに強引に続きを入れておく。ちなみに、一意なキーをとりあえずいいやと作らなかったので、作り直しだ(^^;; 。考えてみたら、見出し語が一意になっているということもないのだからな。しまった・・・。うーむ。で、怪我の功名で、「小手指の問題」(笑)が見つかった。(’名詞’， ’小手指’， ’コテサシ’， ’3524’， ’小手指’， ’*’， ’*’， ’*’， ’固有名詞’， ’一般’， ’コテサシ’)(’名詞’， ’小手指’， ’コテサシ’， ’3895’， ’小手指’， ’*’， ’一般’， ’*’， ’固有名詞’， ’地域’， ’コテサシ’)こういう場合、地域の小手指が選択されることはあるんだろうか？「小手指に行った」「みたいなパターンでは、地域の方ではなく、固有名詞一般の方がひかれるようだ。「小手先商店街」であれば、微妙な線かな。「小手指一丁目」でもやっぱり地域にはならない。小手指に行った。小手指 名詞，固有名詞，一般，*，*，*，小手指，コテサシ，コテサシに 助詞，格助詞，一般，*，*，*，に，ニ，ニ行っ 動詞，自立，*，*，五段・カ行促音便，連用タ接続，行く，イッ，イッた 助動詞，*，*，*，特殊・タ，基本形，た，タ，タ。 記号，句点，*，*，*，*，。，。，。小手指一丁目。小手指 名詞，固有名詞，一般，*，*，*，小手指，コテサシ，コテサシ一 名詞，数，*，*，*，*，一，イチ，イチ丁目 名詞，接尾，助数詞，*，*，*，丁目，チョウメ，チョーメ。 記号，句点，*，*，*，*，。，。，。小手指商店街。小手指 名詞，固有名詞，一般，*，*，*，小手指，コテサシ，コテサシ商店 名詞，一般，*，*，*，*，商店，ショウテン，ショーテン街 名詞，接尾，一般，*，*，*，街，ガイ，ガイ。 記号，句点，*，*，*，*，。，。，。と思っていろいろやってみたが、「北小手指」「南小手指」というのはおもしろい例かもしれない。北小手指。北 名詞，固有名詞，地域，一般，*，*，北，キタ，キタ小手指 名詞，固有名詞，一般，*，*，*，小手指，コテサシ，コテサシ。 記号，句点，*，*，*，*，。，。，。南小手指南 名詞，固有名詞，地域，一般，*，*，南，ミナミ，ミナミ小手指 名詞，固有名詞，地域，一般，*，*，小手指，コテサシ，コテサシ北、東、西の場合は、小手指が固有名詞一般なのに、南の場合は、固有名詞地域になる。ふーん。(’名詞’， ’南’， ’ミナミ’， ’2708’， ’南’， ’*’， ’*’， ’*’， ’一般’， ’*’， ’ミナミ’)(’名詞’， ’南’， ’ミナミ’， ’2894’， ’南’， ’*’， ’一般’， ’*’， ’固有名詞’， ’地域’， ’ミナミ’)(’名詞’， ’南’， ’ミナミ’， ’3029’， ’南’， ’*’， ’姓’， ’*’， ’固有名詞’， ’人名’， ’ミナミ’)(’名詞’， ’南’， ’ミナミ’， ’3547’， ’南’， ’*’， ’名’， ’*’， ’固有名詞’， ’人名’， ’ミナミ’)(’名詞’， ’北’， ’キタ’， ’2601’， ’北’， ’*’， ’一般’， ’*’， ’固有名詞’， ’地域’， ’キタ’)(’名詞’， ’北’， ’キタ’， ’2906’， ’北’， ’*’， ’*’， ’*’， ’一般’， ’*’， ’キタ’)(’名詞’， ’北’， ’キタ’， ’3203’， ’北’， ’*’， ’姓’， ’*’， ’固有名詞’， ’人名’， ’キタ’)名詞でもコストの付け方によって、やっぱり微妙に変わって来ちゃうな。格フレームに基づいた形態素解析だと、次のようなものは、絶対に固有名詞をひいてくれるんだろうが、MeCab や ChaSen だと、やっぱり、ちゃんと解析してくれないのだな。名詞-一般になってしまって、名詞-固有名詞にはなってくれない。南は言った。南 名詞，一般，*，*，*，*，南，ミナミ，ミナミは 助詞，係助詞，*，*，*，*，は，ハ，ワ言っ 動詞，自立，*，*，五段・ワ行促音便，連用タ接続，言う，イッ，イッた 助動詞，*，*，*，特殊・タ，基本形，た，タ，タ。 記号，句点，*，*，*，*，。，。，。EOS北は言った。北 名詞，一般，*，*，*，*，北，キタ，キタは 助詞，係助詞，*，*，*，*，は，ハ，ワ言っ 動詞，自立，*，*，五段・ワ行促音便，連用タ接続，言う，イッ，イッた 助動詞，*，*，*，特殊・タ，基本形，た，タ，タ固有名詞にしてくれるのは、たぶん、こういうパターンだけなのかな。南明美南 名詞，固有名詞，人名，姓，*，*，南，ミナミ，ミナミ明美 名詞，固有名詞，人名，名，*，*，明美，アケミ，アケミなんにせよ、RDBMS に辞書を入れておくと、いろいろ確認するときにいいかもしれないな。でぁ

  2006.08.01

  コメント(0)

• MeCab REST Web Service と Cabocha REST Web Service

  ふらついていたら、次のものを見つけた。CaboCha REST Web ServiceMeCab REST Web Service日本語形態素解析器 MeCab と 係り受け解析器 Cabocha をそれぞれ python binding を使って Zope の External Method として実装してサービス化したものらしい。それにしても、REST って分かったような分からないような言葉の一つだが、まあ、あちこち見ても、いまいち分かったような分からないようななので放っておく。XFY住所録 とか、Just System の xfy を使ってなにやらしているようで、そういう文脈で見るとおもしろいのかな。XFY住所力のXFY Basic Edition で参照している画面(ｘｆy_addressbook.xvcdのスクリーンショット) 。xfy Comunity Downloads - xfy Address Book XVCD Play DEMO でもこれはダウンロードできるようになっている。そっち方面の人なのかな。でもって、形態素解析結果など修正した上で MeCab に学習させて辞書を作るなんていうことをしようとするときには、こうやって xfy を使ったらもしかして見やすく、効率的に解析結果を修正するなんていうこともできるのかなとふと思った。

  2006.07.31

  コメント(0)

• MeCab 0.92 を使ってみる (1)

  久々に MeCab を使って遊ぶことにした。最新のバージョン 0.92 をダウンロードしてインストール。その前にインストールしてあった、ちょっと古めのバージョン 0.90rc8 と比較してみる。形態素解析結果の違いを見てみると、何気にかなりの差分が出る。未知語で固有名詞に倒していたものが名詞に倒すようになったとかあるのかな。例えば、「ヒューレット・パッカード」を新しくできた -x オプションを付けて「mecab -x UNKNOWN」で解析してみると、ヒューレット・パッカード UNKNOWNと解析される。辞書に登録されているかどうかは、辞書作成用の csv ファイルを検索しなくても、こうしてみれば簡単にチェックできるようになった。地味だが案外嬉しい。以前のバージョンとの違いで気になるところを見てみると、次のようなものがある。五郎が犯人である可能性今の解析五 名詞,数,*,*,*,*,五,ゴ,ゴ郎 名詞,一般,*,*,*,*,郎,ロウ,ローが 助詞,格助詞,一般,*,*,*,が,ガ,ガ犯人 名詞,一般,*,*,*,*,犯人,ハンニン,ハンニンで 助動詞,*,*,*,特殊・ダ,連用形,だ,デ,デある 助動詞,*,*,*,五段・ラ行アル,基本形,ある,アル,アル可能 名詞,形容動詞語幹,*,*,*,*,可能,カノウ,カノー性 名詞,接尾,一般,*,*,*,性,セイ,セイ以前の解析五郎 名詞,固有名詞,人名,名,*,*,五郎,ゴロウ,ゴローが 助詞,格助詞,一般,*,*,*,が,ガ,ガ犯人 名詞,一般,*,*,*,*,犯人,ハンニン,ハンニンで 助動詞,*,*,*,特殊・ダ,連用形,だ,デ,デある 助動詞,*,*,*,五段・ラ行アル,基本形,ある,アル,アル可能 名詞,形容動詞語幹,*,*,*,*,可能,カノウ,カノー性 名詞,接尾,一般,*,*,*,性,セイ,セイ三郎に変えてみても同じような解析結果になる。ところが、一郎、太郎や次郎の場合は、正しく解析できる。辞書と未知語処理の関係かな。試しに、辞書に三郎や五郎が登録されているかどうかを見てみると、やはり三郎や五郎は登録されていない。正しく解析したければ、これらの単語も登録してやる必要がある。不思議といえば不思議なのだが、次のような解析結果に変わっているところを見ると、何となく、傾向がつかめそうな気がする。数詞＋名詞の場合は、前の形態素とつなげなくなったような気がする。今の解析結果ベロウソフ・アレクサンドル・ワシーリエヴィッチ第一国防次官兼参謀総長ベロウソフ・アレクサンドル・ワシーリエヴィッチ 名詞,一般,*,*,*,*,*第 接頭詞,数接続,*,*,*,*,第,ダイ,ダイ一 名詞,数,*,*,*,*,一,イチ,イチ国防 名詞,一般,*,*,*,*,国防,コクボウ,コクボー次官 名詞,一般,*,*,*,*,次官,ジカン,ジカン兼 名詞,接続詞的,*,*,*,*,兼,ケン,ケン参謀 名詞,一般,*,*,*,*,参謀,サンボウ,サンボー総長 名詞,一般,*,*,*,*,総長,ソウチョウ,ソーチョー以前の解析結果ベロウソフ・アレクサンドル・ワシーリエヴィッチ 名詞,固有名詞,一般,*,*,*,*第 接頭詞,数接続,*,*,*,*,第,ダイ,ダイ一国防次官兼参謀総長 名詞,数,*,*,*,*,*ベロウソフ・...のようなものは「・」で切って欲しい気がするがそれは置いておき、「第」「一国防次官兼参謀総長」よりも「第」「一」「国防」「次官」「兼」「参謀」「総長」の方が細かく正確に分けてくれている分よくなっている。次の例も、三菱の「三」を以前は数詞として解釈して、後ろの名詞をつなげていたのかもしれない。「三菱重工業長崎造船所主任」で「名詞,数」と解析されていたから。このあたりもよくなった点。三菱重工業長崎造船所主任の手記今の解析三菱重工業 名詞,固有名詞,組織,*,*,*,三菱重工業,ミツビシジュウコウギョウ,ミツビシジューコーギョー長崎造船所 名詞,固有名詞,組織,*,*,*,長崎造船所,ナカザキゾウセンジョ,ナカザキゾーセンジョ主任 名詞,一般,*,*,*,*,主任,シュニン,シュニンの 助詞,連体化,*,*,*,*,の,ノ,ノ手記 名詞,サ変接続,*,*,*,*,手記,シュキ,シュキ前の解析三菱重工業長崎造船所主任 名詞,数,*,*,*,*,*の 助詞,連体化,*,*,*,*,の,ノ,ノ手記 名詞,サ変接続,*,*,*,*,手記,シュキ,シュキやはり、名刺連続複合語の扱いが変わっているのかな。下手につないでしまわないで分けるところは分けるというような形になったのだろうか。上の例ではよい方に倒れていると思うが（より、細かく解析してくれているので）、次の例だと悪い方に倒れている。今は「貢」「献策」だが、以前は「貢献」「策」。これはちょっと困る。たとえば、分かち書きの結果をインデックス作成に使っている場合、以前の解析結果なら「貢献」で検索ができたのに、今の結果だと「貢献」だとヒットしなくなる。中東和平に向けた貢献策今の解析中東 名詞,固有名詞,地域,一般,*,*,中東,チュウトウ,チュートー和平 名詞,一般,*,*,*,*,和平,ワヘイ,ワヘイに 助詞,格助詞,一般,*,*,*,に,ニ,ニ向け 動詞,自立,*,*,一段,連用形,向ける,ムケ,ムケた 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ貢 名詞,一般,*,*,*,*,貢,ミツギ,ミツギ献策 名詞,サ変接続,*,*,*,*,献策,ケンサク,ケンサク以前の解析中東和平に向けた貢献策を検討する。中東 名詞,固有名詞,地域,一般,*,*,中東,チュウトウ,チュートー和平 名詞,一般,*,*,*,*,和平,ワヘイ,ワヘイに 助詞,格助詞,一般,*,*,*,に,ニ,ニ向け 動詞,自立,*,*,一段,連用形,向ける,ムケ,ムケた 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ貢献 名詞,サ変接続,*,*,*,*,貢献,コウケン,コーケン策 名詞,接尾,一般,*,*,*,策,サク,サク他に、困った例としては、次のようなものがある。「小学館」が「小学」「館」に解析されるようになってしまった。講談社や小学館などの出版社今の解析講談社 名詞,固有名詞,組織,*,*,*,講談社,コウダンシャ,コーダンシャや 助詞,並立助詞,*,*,*,*,や,ヤ,ヤ小学 名詞,一般,*,*,*,*,小学,ショウガク,ショーガク館 名詞,接尾,一般,*,*,*,館,カン,カンなど 助詞,副助詞,*,*,*,*,など,ナド,ナドの 助詞,連体化,*,*,*,*,の,ノ,ノ出版 名詞,サ変接続,*,*,*,*,出版,シュッパン,シュッパン社 名詞,接尾,一般,*,*,*,社,シャ,シャ前の解析講談社 名詞,固有名詞,組織,*,*,*,講談社,コウダンシャ,コーダンシャや 助詞,並立助詞,*,*,*,*,や,ヤ,ヤ小学館 名詞,固有名詞,組織,*,*,*,小学館,ショウガクカン,ショーガクカンなど 助詞,副助詞,*,*,*,*,など,ナド,ナドの 助詞,連体化,*,*,*,*,の,ノ,ノ出版 名詞,サ変接続,*,*,*,*,出版,シュッパン,シュッパン社 名詞,接尾,一般,*,*,*,社,シャ,シャ「小学館」が辞書に登録されているかどうかを見てみると、ちゃんと次のようなエントリがあるので、これはデグレードといえるかもしれない。小学館,1292,1292,6017,名詞,固有名詞,組織,*,*,*,小学館,ショウガクカン,ショーガクカン名詞連続複合語の扱いに関しては、まだよくなる余地があるなぁと感じる。辞書の作り方/サンプルの文書を変えるだけでも変わってくるのだろうけど。今日は名詞関連を見てみたが、それ以外でも微妙に違いが出ているようなので、明日以降にもう少しチェックしてみようかな。全般的に見て、解析結果がより細かく分かれるようになっているので、Namazu 等のインデックスを作成するための分かち書きをする場合には、0.92 を使うのが正解な気がする。また、品詞ID をつけることができるようになったので、解析結果を品詞単位でインデックスに追加する、しないの処理もやりやすくなったと思う。たとえば、インデックスに追加したいものは 1、それ以外は、2 以上の値を設定するようにしておけば、1のときはインデックス追加、それ以上なら追加しないなどといったことも分かりやすくできる。MeCab を使ってそうしたことをする場合の処理速度は確実に速くなるだろうから、これで Chasen の分かち書き結果を使って全文検索のインデックスを作っていた人も MeCab を使うようになりそうな気がする。

  2006.07.15

  コメント(0)

• 知識の習得

  最近、なぜか抹茶に凝っているわけだが、新たなものを始めたときの知識習得の方法が以前と比べて変わったなと思う。以前ならとりあえず、ばかばかばかと本を買い集めて、一気に読んでというやり方だったのだが、この頃では、ネットでのんびり少しずつ検索しながら知識を仕入れているという感じで、速度は遅いものの、人からの伝聞で何か知識を仕入れていく感じに近いような感じもする。ただ、やっぱり体系的に短期間で一定量を得ようとすると案外難しい。本ほどの密度は得られない。断片的なものをもう少し自動的に集積してくれるような仕組みがあると嬉しいと思う。Google を使って検索ワードを中心にしていくやり方には限界がある。作成のプログラムのうち Perl で書かれていた部分がなくなって、辞書のコンパイルも数秒で済むようになったとかいうことなので、嬉しいかもしれない。「Google独占にはさせない」--国産検索エンジン開発へ、産学官が一致団結国産検索エンジンはなぜ必要なのか？--経産省担当者に聞くのような動きもあるようだが、これも、どうも自分が欲しい検索エンジンの方向性とは違う予感がする。なかなか欲しいものというのは出てこないものだなぁと思う。文字の世界でもまだまだ可能性はあるのにそれ以外のところに力が注がれそうな感じがする。俺様の知識習得に適した仕様の検索エンジンというのがやっぱり欲しい。なんて思っているところで、パーソナライズ検索、グーグルが探し当てていない正解とは (CNET) という記事を見つける。ユーザーは、信頼できる検索エンジンが、検索ボックスに入力した簡単なキーワードだけでなく自分のさまざまな意向を理解してくれることを期待している。そう。結局、今、何を得たいと思って（意図して）検索しているのかというところの満足感を求めているのだな。検索エンジンを使ったときの満足感を分析するようなところが欠けているのだろうか。「満足度 研究 検索エンジン site:ac.jp」とかを見たら、何かおもしろいものが見つかるだろうか。ぱっと見た目見つからない。検索エンジンを使うときの満足度がどのような要素から構成されるのか分析するようなものが上位に来て欲しい。「満足度 因子分析 研究 検索エンジン site:ac.jp」これで検索した方がいいのだろうか。「検索エンジンを利用する際の満足度がどのような要素から構成されているのか」を知りたい分けだが、なかなか思ったようなものを検索するのには骨が折れる。そういえば、オープンソース形態素解析エンジンMeCab (和布蕪) 0.92 が公開されたようだが、mecab 0.93 では HMM を使った未知データからの学習を実装したいと思います。これができれば、wikipedia から自動辞書作成ができるかもしれません。-- takuおもしろい展開になってきた。これが可能になるとワクワク。また、久々に MeCab を使った遊びを始めることにしようかな。辞書作成のプログラムのうち Perl で書かれていた部分がなくなって、辞書のコンパイルも数秒で済むようになったとかいうことなので、嬉しいかもしれない。きまぐれ日記 MeCab: 字種に基づくわかち書きMeCab は辞書を使わない分かち書きをいくつかサポートしています。基本的に、文字種の定義とそれに対する未知語処理の定義で記述します。もちろん記述力としては正規表現にくらべれば乏しいですが、これまでの形態素解析器の未知語処理はほとんどの場合ハードコーディングされていたので、それにくらべれば進歩していると思います。一回この字種に基づく分かち書きの結果と、通常の付属する IPA 辞書を使った分かち書きの結果を比べてみたいなと思う。

  2006.07.09

  コメント(0)

• 新語抽出技術

  沖電気など、ウェブページから新語を抽出する技術を開発 らしい。Web ページから新語を抽出してその用語の属性を判別する技術については、前に何か書いたかもしれないが非常に重要な技術だと思う。今、見ている時間がないので、リンクだけ記録しておくことにする。NICTと沖電気、Webページから新語を獲得する技術を共同開発BluesilkMAILPIA

  2005.07.24

  コメント(0)

• 日本語形態素解析システム JUMAN Ver.5.0 (1)

  JUMAN Ver 5.0 が公開されていたので、ちょっとインストールして試してみた。このバージョンの特徴は、日本語の基本的語彙，約3万語（固有名詞を除く）を選定した．表記バリエーションの整備を行い，代用表記を出力することとした．その他の整備（読みの音訓情報の付与，「読ます」「読まされる」などの使役形への対応）ということのようだが、JUMAN 4.0 では 6万8千語が収録されていた。これを絞り込んで約3万語ということかな。でも（固有名詞を除く）というのがあるが、固有名詞をすべて削除してある訳でもないようなので、実際のところ数えてみないと増えたんだか減ったんだか分からない...。ちょっと試してみよう。たとえば、mecab を使うと次のようになるが、JUMAN 5.0 だと、中途半端な登録がないせいか潔い結果になる(JUMAN の古いバージョンがいないので変な比較になってしまうが...)。mecab 0.8 の場合ウルトラマン 名詞,固有名詞,一般,*,*,*,ウルトラマン,ウルトラマン,ウルトラマンウルトラ 名詞,一般,*,*,*,*,ウルトラ,ウルトラ,ウルトラセブン 名詞,固有名詞,一般,*,*,*,セブン,セブン,セブン仮面ライダー 名詞,固有名詞,一般,*,*,*,仮面ライダー,カメンライダー,カメンライダー所 名詞,固有名詞,人名,姓,*,*,所,トコロ,トコロジョージ 名詞,固有名詞,人名,名,*,*,ジョージ,ジョージ,ジョージビートたけし 名詞,固有名詞,人名,一般,*,*,ビートたけし,ビートタケシ,ビートタケシJUMAN 5.0 の場合ウルトラマン ウルトラマン ウルトラマン 未定義語 15 カタカナ 2 * 0 * 0 NILウルトラセブン ウルトラセブン ウルトラセブン 未定義語 15 カタカナ 2 * 0 * 0 NIL仮面 かめん 仮面 名詞 6 普通名詞 1 * 0 * 0 "代表表記:仮面"ライダー らいだー ライダー 名詞 6 普通名詞 1 * 0 * 0 "代表表記:ライダー"所 しょ 所 名詞 6 普通名詞 1 * 0 * 0 "漢字読み:音 代表表記:所"@ 所 ところ 所 名詞 6 普通名詞 1 * 0 * 0 "漢字読み:訓 代表表記:所"ジョージ じょーじ ジョージ 名詞 6 人名 5 * 0 * 0 NILビート びーと ビート 名詞 6 普通名詞 1 * 0 * 0 "代表表記:ビート"たけし たけし たけし 名詞 6 人名 5 * 0 * 0 NILJUMAN 5.0 の辞書の方が、中途半端な登録がないので、実に潔い結果になる。「ウルトラマン」も「ウルトラセブン」も素直に未知語に落ちてくれるのに対して、mecab の使っている辞書は中途半端に、「ウルトラマン」は登録してあるのに「ウルトラセブン」はないから、扱いに困る。次は、代表表記で遊んでみよう。

  2005.03.27

  コメント(0)

• SharePoint Portal Server 2003 の日本語検索機能について

  また、半年ぶりに日記を書くことにした。私は、いつでも気まぐれなのだ。サイトのテンプレートも豊富になっていたので、派手なのにしてみた。○今日の日本語SharePoint Portal Server 2003 の日本語検索機能について を何げに読んでみた。これがなかなかおもしろい。SharePoint Portal Server のワードブレーカー（つまりは形態素解析しているところ）についての説明なのだが、「東京都」はダメで「東京」は OK、「アジ」はダメで「アジア」は OK。なかなかクセの検索だなぁ。「表示の切り替え方」を検索語に指定すると、「表示の切り替え方」「表示を切り替えるには」が検索語として正規化されたりとかおもしろいところもある。「デジタル」は「デジタル」でも「ディジタル」でも OK だし、「コンピュータ」は、「コンピューター」でも「コンピュータ」でも OKとカタカナの正規化もしているようだ。なかなかこういうものを眺めてみるとおもしろい。

  2005.02.20

  コメント(0)

• 漢字変換を賢くする (IME 辞書ツール)

  MS-IME2002 から変換トレーニングウィザードというものがついている。実は、この存在に気がついていなかったのだが、使ってみたらとても便利なものだった。というか、前からこういうものが欲しいといっていたものがすでにあったという間抜けな話しなのだが。このウィザードを使えば、簡単かつ効率的に漢字変換の辞書登録を行うことができるのでいい。内容を書くのも面倒なので適当な記事がないか探してみたら、MS-IMEの漢字変換効率をアップする方法 (ZDNet)というのが見つかった。マイクロソフトのサイトだと、Microsoft IME スタンダード 2002 および Microsoft ナチュラル インプット 2002 で効率的に単語登録を行うなどがあった。候補一覧から使わない漢字を隠して用語の統一をしやすくできるが、これが一覧で管理できて、切り替えが利くようになればもっと便利かもしれない。あと、漢字変換関連で何か面白いものがないかと探してみると、日本語入力ソフトのポータルサイト Maniac-IMEというのがあった。このサイトには、古語入力辞書 よみのこゑなんていう辞書もあって、古語＋歴史的仮名遣を多く入力するなら、こうした辞書を使うと効率的だろう。その他、当て字難読語の辞書や、サクラ大戦、遊戯王といったやわらかい辞書もダウンロードできる。他にもっと探してみると、「天神本紀」「天孫本紀」「国造本紀」を中心とした 旧事紀ＩＭＥ辞書みたいなものも見つかった。探してみれば、この手の辞書はいろいろあるのだな。問題は、こうした辞書を無造作にダウンロードして使っていると、わけがわからない状態になる可能性があるということかな。複数のユーザ辞書が存在したときに、これらの重複をチェックして...というようなツールを作ったら便利かもしれないと思った。あと、こうした辞書を使って、辞書学習アルゴリズムの学習データにするとかいうのもあるかもしれない。かな棒くんというのも見つかった。これは、インターネットエクスプローラに表示されたページにある漢字によみがなをつけてくれるという製品で、以前にも同類の製品があったが、このページを見ていたら、文部省告示第175号文部省小学校学習指導要領第2章第1節国語(2002/04/01)のリンクがあったので、学年別に習得しなければならない漢字が分かった。ついでに、以前のバージョンの IME のユーザー辞書を IME 2003 の辞書に移行するにはIME の言語バーでは何ができますか?MS-IME＆ことえり補強計画

  2004.01.04

  コメント(0)

• 「ことえり」が賢くなったらしい

  ことえりの変換精度が大幅向上　一躍トップに躍り出る(参照のためには登録が必要)らしい。MacOS を今使っていないからぜんぜんうれしくはないのだけど、これでまた競争が激しくなって、漢字変換がどんどんと賢くなってほしいものだ。「画素」が「が」「そ」という読みを持つので、普通変換が難しいというのは、面白い。確かに「100万画素の画像」と変換しようと思って「ひゃくまんがそのがぞう」と入力すると MS-IME では「100万がその画像」と変換されてしまう。分野によって、変換の正確さに差があることが一目で分かるレーダーチャートも載っていておもしろい。ATOK-16 などは関西弁対応とか口語に強いだけあってインタビュー記事の項目ではトップなのだが、技術系読み物では、他のものとそれほど変わりなく、ダントツでことえり4がトップになっている（というか、ことえり４はここをターゲットにしたという感じだけど）。API を完全に開放してくれて、自動学習をコーパスから行えるような漢字変換があるとよいのだけどなぁ。自分で書いた文書を大量に食わせてやると、それに最適化した学習を行ってくれるようなものがほしいわけだが。そうすると、その前提となるのが、食わせた文章をひらがな文字列にいったん直すための解析器ということになる。ところが、鶏が先か卵が先かで、それを正確にやるためには、ちゃんとした辞書が必要だったりすると。MeCab や ChaSen などのような形態素解析器を使っても正しい読みをちゃんとつけられないことも多いから、難しいところがある。でも、ここで発想の転換をして、入力文字列をすべて保存して、それを元に解析させるという手もある。いや、それって単なる学習じゃないという話もあるのだが、入力をすべて書き出して、その結果もすべて書き出せるような API があって開放されていて、いろんな人の入力を一箇所に集めることができたら、大量のコーパスができてしまうじゃないという話もあるのではないか。そうすると、日本語入力もやっぱりオープンソースのものをちょっと改造して無理にでも使ってという方向もあるんじゃないかなぁと思う今日この頃であった。学習情報の多元化。けっきょく、コーパスを作ること、学習すること、使うことが一体化してないと実用的でないとか思える。最近見た映画TAXi3、イナフ、キャッチミー・イフ・ユー・キャン、ＫＴ、完全犯罪クラブ、ロード・オブ・ザ・リング－二つの塔、ハリーポッターと秘密の部屋、レッド・ドラゴン、猟奇的な彼女、ＳＰＹ＿Ｎ、リターナー、魔界転生(窪塚洋介/佐藤浩市版)、凶気の桜、チンピラ ＴＷＯ　ＰＵＮＫＳ。忙しいとかなんだかんだいいながら、そこそこのの量を見ているのであった。そういえば、リターナー (*) で 鈴木杏が出ているのだが、やたらかわいかった。花とアリスは、劇場公開も決まったらしいが、ショートフィルム版が BREAK TOWN で第3章まで公開されている。これネスレの広告になっていて、おもしろいやり方ね。

  2003.12.20

  コメント(2)

• ATOK 17 for Windows

  ATOK 17 for Windowsが来年、2004年2月27日にリリースされるらしい。最初は誰がバージョンアップなんてするかと思ったが、連想変換、校正支援機能などに加えて、「PowerPoint文書から未登録単語を自動抽出し、ユーザー辞書へ登録できます。」なんてのに興味をそそられてしまった。未登録単語の自動抽出ってところがいいのだ。さらに次のバージョンでは、こんなことをやってくれたらいいな。まず、ATOK の場合、漢字変換するときに内部的に構文解析をやっているだろうから、この結果を XML で出力できてしまうようなライブラリ。一太郎で文書を作成すると、構文解析された結果が XML で出力されてしまうというもの。イメージ的には Excel の Phonetic 関数のようなもの。Phonetic の場合、Excel で文字を入力しておいて、別のセルに「=PHONETIC(A1)」のようにすれば読み仮名を入れることができるが、これの高度なバージョンと考えればいい。これができたら何がいいかというと、自分の入力したデータで簡単に構文解析結果付のコーパスが作れてしまうから。その他、セマンティックウェブという観点から見ても面白いサーバができるんじゃなかろうか。あと、「みぢかな日本語」の第二回が出ている。

  2003.12.05

  コメント(0)

• 科学技術振興機構 シソーラス用語インデックス

  科学技術振興機構(JST) が，約43，000語にのぼる科学技術分野の検索用キーワード集をシソーラス用語インデックスとして公開している。シソーラスとは，「エアコン」「空調機」「空調装置」「空気調和装置」といった感じに類義語を並べたもの。シソーラスとオントロジー(言語工学研究所)。まあ，一般用語であれば 言語工学研究所 シソーラス(類語)検索 を使った方がいいだろうが，科学技術振興事業団のは科学技術用語が，ちゃんと階層構造としてあらわされているのがいい。「JST(JICST)科学技術シソーラス1999年版」に基づいているものらしい。これはすばらしい～～。再利用はしにくいけど...。けっこう泥臭く，再構成しないと手元において使えない。ちなみに，上記のシソーラスは ACADEMIC RESOURCE GUIDE で知った。メールマガジンを購読できるので，すごく便利で役立つ。1998-07-11 から続けているようだ。すごい！

  2003.11.30

  コメント(0)

• CaboCha を ctypes で使ってみようとしたが玉砕

  日本語係り受け解析器 CaboCha/南瓜: Yet Another Japanese Dependency Structure Analyzerを Python から使うのに，ctype から使えるようにしてみようかと思って，まずは，ctype の方を見てみることにした。ctypes に関しては，奈良先端科学技術大学院大学 情報科学研究科 21 世紀 COE 研究員の Yasushi Masudaさんが 日本語訳されているので，これを参考にさせてもらうことにする。ん，この方も，奈良先端科学技術大学院大学。MeCab や CaboCha の くどう たくさんも奈良先端科学技術大学院大学。こういう先端科学技術大学院大学構想ってのは，誰が作ったのかは知らないが，奈良先端科学技術大学院大学は成功なんだろうな。Nature や Science にも，バイオサイエンス系で論文が掲載されているみたいだし。でも，バイオはぜんぜん分からんので読む気にもならない。その他，NAIST 産学連携提案テーマベースなんていうページもある。眺めてみると，おもしろいかな。で本題の ctype を見てみる。ctypes が何かというと「ctypes は，C データ型を Python から生成したり操作し，また ダイナミックリンクライブラリや共有 DLL 内の関数を呼び出したりする ための Python パッケージです．このパッケージにより，ライブラリを pure Python でラップすることができます．」(上記，日本語訳より)ということだな。要するに Python から C のライブラリを呼び出すためにつかうもので，特に Python 用に書かれたモジュールじゃなくても，Python から呼び出せるようにしてしまうものと考えればいいだろう。同じようなものとしては，calldll というのがあったけれど，アップデートももう行われていないようだし，ctypes の方がよさそうなので，ctypes を使うことにする。COM フレームワークにも対応したので，Windows で使うには便利に使えそうだし，それだけでなく Linux や MacOSX でも動くというところもよいかな。でもって，まず Source forge から ctypes をダウンロードしてくる。私は Python は 2.3 を使っているのでctypes-0.6.2a.win32-py2.3.exe をダウンロードしてきた。ダウンロードしてきた実行ファイルをダブルクリックするとインストーラが起動するので，簡単にインストールできた。で，次にチュートリアルをやってみる。とりあえず，Linux のところは飛ばしてしまう。けど，これもしかして Linux で使っても便利なのかもしれないと記憶にとどめておくことにする。「ctypes では，多くのプリミティブな C 互換データ型を定義しています 」ということで，pure Python だと，あまり型を気にしなくていいけど，さすがに C のライブラリを呼び出すときには，型を意識しないとだめなのだな。ctypes の型は，c_char，c_byte， c_ubyte， c_short， c_ushort， c_int， c_uint， c_logn， c_ulong， c_longlong， c_ulonglong， c_char_p， c_wchar_p， c_void_p とあって，C の型に対応するような感じになっている。で，たとえば符号なしの整数(c_uint)に -3 を与えると，値が範囲外ということでエラーになると。　　＞＞＞ c_uint(-3)　　Traceback (most recent call last):　　 File "＜stdin＞"， line 1， in ?　　ValueError: Value out of rangeあとは，可変のメモリブロックが必要な場合には，c_buffer があるのだな。で，実際に C のライブラリを呼び出してみると，次の例のようなのがあって，Python 整数型，文字列型，unicode 文字列型は明示的に指定しなくてもよいが，それ以外だと，いちいち値を渡すときに型を指定してあげないといけないと。まあ，ちと面倒。タイプレスのプログラミングばかりしていると，こういうのがめんどくさく感じる。堕落してしまうのだ(笑)。　　＞＞＞ printf("%f bottles of beer\n"， 42.5)　　これはエラーになる。　　＞＞＞ printf("%f bottles of beer\n"， c_double(42.5))　　42.500000 bottles of beer　　これはOK。　　＞＞＞ printf.argtypes = [c_char_p， c_double]　　＞＞＞ printf("%f\n"， 13.5)　　13.500000　　10　　というように，あらかじめ引数の型を指定しておくこともできるのだな。なるほど傀儡師の実験室， Windows 版の time.time() は精度が悪いで出てきた，GetTickCount なんかも，windll.kernel32.GetTickCount() とかすれば使えてしまうのだな。 便利便利。日本語訳の「不完全型」のところに「XXX ここに書かれた昨日は完全にはうまく動作しないようです XXX」と typo があった。「昨日」は「機能」だな。あと，「table = FrozenTable.in_dll(pdll， "PyImport_FrozenModules")」の「pdll」は「pydll」だと思う。「for item in table:」の例のところは改行が入っていないので，見難くなっている。って，本人にメールでも出してフィードバックしてあげればいいのだけど，私は匿名だからなぁ...。で，試しながら一通り読み通す。最後の例とかは，なぜかエラーが出て，同じようにならない(原文をチェックしてみた同じになっている。若干，動きが変わったのかな)。_fields_ = ("x"， "i")， ("y"， "i")のところを，_fields_ = ("x"， c_int)， ("y"， c_int) としたら同じような動きになった。がまあいいや。でもって，だいたいイメージが分かったので，あとは，実際に使ってみながら試してみることにする。あとは，傀儡師の実験室の「CaboCha を ctypes で使ってみようとしたが玉砕」 を参照。おまけに，TinyBlog をちょといじって使っていたのだが，id が 10 になったら，バグが発覚(^^;; ようするに，sort するのにid をキーにしていたのだが，何も考えず sort 関数を入れていたので 10 は 1 の次に来てしまっている(0， 1， 11， 2)。放置しておこうと思ったが，あまりに情けないので，即直した。頭悪すぎ。しかし，まあ，最初に書いたのが 2003/03/08 なので，バグが発覚する2桁まで，8ヶ月近くかかってしまったというのも我ながらすごい(笑)。あと，1ページを15個の記事になるように設定してあったのだが，ページぐりがついていなかったので，15個を超えると，超えた分については，まったく表示されなくなってしまう。とりあえず，最初の5個だけ表示してあとは，タイトルのみにしてしのいでおこう。これに加えて TinyBlog は保存されているときに Title と body の区別がないので，タイトルを切り出そうとすると最初の行をとってくることになる。実に単純なプログラムなので，まともなものにしようとしたら，ほんとに全部書き直しだなぁ。

  2003.11.29

  コメント(0)

• ＥＤＲ電子化辞書がリニューアル

  EDR (日本電子化辞書研究所)がどうなったかと思って久々に見てみると，ＥＤＲ電子化辞書がリニューアルということだった(平成15年10月1日)。「最近の新聞記事や、既存のEDR日本語コーパス内からも未知語を収集し、追加」したらしい。各辞書あたり120万円で相変わらずの価格。辞書一揃えで...。で，EDR 電子化辞書は，独立行政法人 通信総合研究所の所有になっている。また，こういう独立行政法人ってのは，ほんとにあれこれあってわからん。平成13年度には186億円近くの運営交付金と施設設備補助金を受けているようだが，たくさんこういうのがあるんだろうな。レベルの高い辞書が自由に使えないってのは，ほんとうに致命的。これとはまた違うが，ライセンス上まったく問題なく無料で使える日本語フォントがない国ってのもなんだなと思う。日本語をコンピュータで自由に自由に扱うのは，無料だと非常に難しいということになる。情報インフラは国が整え共有するって考え方が，そもそもないんだろうか。道路はあんなにたくさん，お金を使っているのにね。

  2003.11.28

  コメント(0)

• CaboCha/南瓜を少し食べてみる (1)

  やっぱり、まじめに書くと疲れるし長続きしないから、ちょっとずつ、また、書くことにしよう。って前も思った気がするのだがまあいいや。本題は後半にして、最近見た映画は、次のようなもの。『復讐の街』（モニカベルッチ）、『６０セカンズ』（ニコラスケイジ）、『クローサー』（スーチー）、『ムーラン・ルージュ』（ニコールキッドマン）、『マトリックス・リローデッド』（キアヌリーブス）、『８人の女たち』（カトリーヌドヌーブ）、『カンパニーマン』（ジェレミーノーザム）、『ブラッドワーク』（クリントイーストウッド）、『陰陽師 安倍清明』（）、『アメリカン・スウィートハート』（ジュリアロバーツ）など。あと５本あったのだけど、控えがどこかにいってしまったので忘れてしまった。マトリックスはまあ、一般的に面白かったのでいいとして、『ムーラン・ルージュ』が気に入ってしまった。自分の好きな曲がたくさん使われていてよかった。ある意味、すごく単純で好きなのだ。あと、頭の方で『サウンドオブミュージック』の中の曲も使われているのだけど、おもしろい使い方をしている。それと、二つの曲を同時に絡ませて使うのは、『ウェストサイド・ストーリー』なんか思い出したりして。とにかく、最近見た中では 『ムーラン・ルージュ』が、このところでは一番よかった。ちなみに「ムーラン・ルージュ」で Google で検索すると風俗店とか出てきちゃうのね。まいりました(行きましたではない)。☆CaboCha/南瓜を少し食べてみる (1)日本語係り受け解析器 CaboCha/南瓜: Yet Another Japanese Dependency Structure Analyzerを少し使い始めてみようかと突然、思った。前にちょこっと試してみたことがあったと思うが、パタパタとあれこれ入力して試していると、「今日も気分がさえない。だからなんだというのだ。」みたいのを解析させると、＜DATE＞今日＜/DATE＞も---D　　　　　　　気分が-D　　　　　　さえない。-----D　　　　　　　　　だから-D ｜　　　　　　　　　なんだと-D　　　　　　　　　いうのだ。EOSのようになるのであった。そうか、ちゃんと、一文一文、区切って使わないといけないのか、これは。まあ、いいや。と、この程度で切り上げて、今日は終わり。

  2003.11.23

  コメント(0)

• 日本語をとりまく環境の調査

  ジャストシステムが「日本語をとりまく環境の調査」を公開している。こういう質問を約3000人を対象にして行った結果らしい。サンプルがかなり偏っているとかいう話はおいておいて、まあ、よく見ると面白い。こういう質問って、回答者に実はある価値観を潜在的に植えつけるものであったりするのだな(笑)。そして、結果を公開することによって、さらにそれを見る人の中にも、そうした価値観を植えつけると。みぢかな日本語 みたいなページもできているが、まあ、こうやって地道に日本語に関心を持たせて...という方向は悪くないとは思う。ずっと勘違いしていて、あとになって正確な日本語を知った言葉はありませんか？なんてのは、そのうち製品に誤り訂正の例として製品に組み込まれたりとかいうのもありえるな。略称－学校名とか、略称－地名なんてのもそうだけど。これは、投稿者の居住地のランキングが面白い。全国方言WEB ほべりぐとかも。「ATOK16 for Windows用のご当地辞書」なんてのも公開されているのね。ちなみに、このページにあるATOK16 for WindowsのMicrosoft Office2003への対応状況について公開しました のリンク切れてる。「該当する回答がありません。」だと。なめとんのか～。

  2003.11.19

  コメント(0)

• 日本語係り受け解析器 CaboCha-PKE すごすぎ

  日本語係り受け解析器の CaboCha-PKE は、すごい領域にいってしまったようだ。「通常の CaboCha は， PKI という手法を使っていて， 単純な 定義通りの SVM 分類器を構築するより 10-12倍高速です. つまり， PKE は， 定義通りの分類器より 70-80倍高速だと思います.」と書いてある。すごい速そうなんだが、「動作には， 1Gbyte 以上の実メモリ， 1Gbyte のディスク用量， できるだけ速い CPU が必要です.」とある。なんとも豪勢な環境が必要なのだな。いわゆる富豪プログラミングというやつか。でも、昨今のPCの進化の度合いを考えると、この程度なら許容できる範囲かもしれない。それにしても起動時に400MBのモデルを読み込んじゃうというのもすごい。そんなわけで、大量のバッチ処理的に行う構文解析用ってことで、一文単位の解析には従来の CaboChaを使った方がよいとのことだ。とにかく、思い切ってやっちゃっうところがスゴイ。しかし、考えてみたら、いまどき PCを何十台あるいは何百台も使ってどうこうしている人もいるわけだから、分野は違うにせよ、そんなものに比べたら、むちゃくちゃ安上がりかもしれない(笑)。ちなみに、CaboCha-PKE のページの下の方にある CaboCha のリンクは、URL が違ってますです(cabocha が CaboCha になっている)。

  2003.11.07

  コメント(0)

• 性懲りもなくカタカナ

  性懲りもなくカタカナのデータ作りをまたはじめる。今度は、国立国語研究所『日本語教育指導参考書16 外来語の形成とその教育』もとにしている。これはかなり昔に買ったもので(平成2年)なのだが、けっこう面白い。国立国語研究所は、ちまちまこういう地道なもの出しているのだなぁ。複合語の省略として「２語からなる複合語、及び二つの形態素に分析できる単語の場合、前の語(または形態素)から2拍、後ろの語（または形態素）から２拍採った４拍の語が非常に多い。」(この後続く)のような記述もあり、面白いのだ。話はちょっと違うが、この拍のとらえ方が、いかにも日本語なのでおもしろい。この日本人の拍のとらえ方の感覚が、実は、外国語学習を困難にしているところがある。拍の感覚が英語などと違うから、それを日本語の拍の感覚で発音したり、聞いたりするから、英語のヒアリングや、発音がおかしくなる。というか母音や子音を聞いたときの反応からしてすでに違うのだろうな。まあ、なんにせよ、ちまちま入力しておこう。というか、OCR で読み込みたくなってきたが...。

  2003.09.23

  コメント(0)

• 共同通信社 記者ハンドブック辞書 (ATOK16)

  またまた、サボりまくりの日記であった。ずいぶん久々の記入。ATOK16用の 『共同通信社 記者ハンドブック辞書』が発売されるらしい。標準価格：5，800円（税別）ダウンロ－ド価格：4，800円（税別）で、そこそこの価格になってしまっているが(2-3000円代にすべきなんだよなぁ～)、これは購入しようかなと思っている。ジャストシステムは、辞書の類はだいぶ整ってきたようだから、次は、 ATOK Business Solutionに力を入れるべきだろうな。もっと詳細な情報を出して、料金も明確にしていくことが必要。ジャストシステム　サポーター募集をはじめているようだが、要するにアフィリエイトだな。もっと早く始めていてもよかったんだろうが、まあ、ちゃんとリンクのトラッキングができないとカウントできないから、やろうと思っても準備に時間がかかるからしょうがないか。あとは、ユーザー参加型の辞書の構築なんかを、アニメ用の辞書とかいろんな形で進めていったり企画を継続的に出しながら進めていくとか。だいたい道具立てはそろったようだから、これからうまくマーケティングを進めていけば、ジャストシステムはもう一度、独自の立場を固めて浮上できる可能性がある。あとは、Knowledge Power Webなんて作っているが、Concept Baseの廉価版を作っていけるかどうかがキーになるかもしれない。インターネットブーメランなんて製品があったが、これをもう少し練り直して、Concept Base の廉価版/個人版として位置づけて、個人の情報管理の部分を推し進めて行けば、けっこういける。ConceptBase Market Intelligenceみたいなところも、制限をつけるなりして、中小企業がもっと使いやすい価格帯まで落としていくのがいい。

  2003.09.06

  コメント(0)

• 2ちゃんねるジェネレータ

  梅田望夫・英語で読むITトレンド：2ちゃんねるの読み方が面白かった。この日はネタに困ったのだろうか、ぜんぜん英語じゃないじゃないのと思ったが、このネタは面白い。書かずにいられなかったのかなぁ。上記の記事でネタにされた山本 篤さんのページには、2チャンネルフィルタ以外に、2ちゃんねるジェネレータ(マルコフ過程は使わずに、乱数で出していると書いてある)や、演歌歌詞自動生成、知ったかぶり哲学蘊蓄自動生成、新聞社説自動生成などは自動生成系のおもしろいものがある。こういうのはセンスの問題かもしれない。要するに、元になる文の選択の時点でこの人のセンスが反映されて、おもしろいものになっているような感じがする。PageRankをあげるためになんてページもあるし、[多くのWindowsが影響を受ける「MDAC」の脆弱性が“緊急”で警告される]を中心としたマップへのリンクなども見つけられたし、ちょっとこの人のところをいろいろ漁ってみると、おもしろいものがいろいろ見つかりそう。つれづれなるままに日暮かごめの日記もおもしろい。ジョークソフトで語るというのも面白いもんだと思う。ふむ、どこかしらブラックユーモア的なところがあるから面白いのかなぁ。

  2003.08.25

  コメント(0)

• 人工無脳 Margarine

  Margarine Project ～ 考えないパンとバターと話す方法 ～ を眺める。Ruby、MySQL、茶筌を使った人工無能らしい。「Margarine は単語を全く知らない状態から始まり、自然な会話の中から言葉を覚え」るらしい。また、Margarinr や Kaos という「一つの無脳の記憶領域（人格と言っていいのか？）を「マーグ」と呼んでいます」ということで、ちょっと興味を持つ。実際にどういう会話になるのかは、無脳の語録で参照できる。どの発言も人工無能のように見える (^^;; 「先頭文字が大文字のものは無脳」か、なるほど。でも、IRC で複数動かすとけっこう人間が混じっても、分からないときもあるかもしれないな。うむむ、そういえば、5月に同じことを...忘れていたわい。そうか、この日はあるじゃーのん状態だったから、記憶にないのか(^^;;　今日はもう少しがんばる(笑) Windowsで動かすには があるな。記憶と生成のしくみを見てみる。なるほどね。ちらっとソースも今日は眺めてみる。Ruby なのだな。なんとなく眺めていると分かったので、ここまで。ちなみに、人工無脳エンジンししゃもも Ruby なのだな。

  2003.08.16

  コメント(0)

• エセ山形浩生

  エセ山形浩生「ざつぶんくん」ふたたび 「股の間から自分の文章を覗く」って表現が気にいった。自動文章生成装置「ざつぶんくんＤＸ」のページも見る。マルコフ連鎖で文章を作れば？ こういうことになるのか...。マルコフ連鎖は、例えていえば，記憶力が悪く，昨日の事のみおぼえており，一昨日以前の事はおぼえていない人の行動のようです． ということらしいので、まさに、そういう文章ができるということか。まとまった量の文章の自動生成ってのも案外面白いかもしれない。けど、なんだか分からない(^^;; おもしろいのは、ばらばらにしたものからランダムに生成した文が、それなりに元の文を書いた人のの雰囲気を伝えるということ。これはなぜなのだろうか。それを文体というからだろう。

  2003.08.15

  コメント(0)

• ATOK16用共同通信記者ハンドブック辞書

  ジャストシステムが、ATOK16用共同通信記者ハンドブック辞書を発売 したようだ。ニュースリリース(2003/08/05)。ジャストシステムのオンラインショップで辞書のページを見ると、建築・土木用語変換・対訳(約5万語)、機械・工学17万語変換・対訳、科学技術略語辞書(約8万語)、医療辞書’03(約12.5万語)、新・東洋医学辞書V2、有斐閣法律法学用語変換辞書、歴史用語変換辞書(「日本史用語集」（約12，000語）、「世界史用語集」（約11，000語）)、かな漢字変換用歯科医学辞書、カタカナ語新辞典、電気・電子・情報17万語変換・対訳、外国人名綴り方字典とまあ、充実してきている。実際に辞書そのものを作っているのは別の会社であっても、この分野は地道にジャストシステムの安定的な収入源になっていくことだろう。とはいえ、価格がまだ高すぎる。価格は1/3以下に下げて、毎年あたらしいバージョンを出す方向に持っていった方が、ありがたいのだけどね。辞書って水物でしょ。この価格じゃ、買わない！自由記述式文章データの定量的、効率的な分析を行う、テキストマイニングツール ＴｏｐｉｃＳｃｏｐｅ」の販売についてというプレスリリースが NEC から出ている。データマイニングとテキストマイニングなんていうページもあるのだな。SurveyAnalyzerなんてものが以前からあったようだが、2001年あたりから、この分野を本格的に表立ってはじめたということか。ここのグループは、Membersのようにメンバーを公開しているところがいいかも。で、プロダクトラインアップを見ると、面白いもの作っているな。はずれ値検出エンジンなんてのは、実用性が高いのだろうな。

  2003.08.09

  コメント(0)

• いかがわしい研究

  Hotwired Japan の米国防総省の『ライフログ』プロジェクト、真の目的は人工知能構築の記事は実にうさんくさくて面白い。最近、ちょっとテンションが落ちているのか、自分の興味が変わっているせいかあまり Hotwired の記事を読んでいなかったが面白さを感じた。中身は表題そのまま。この分野は、存在それ自体がうさんくさいのだ。「ある人物が見たもの、行った場所、感じたことまですべて――を記録しデータベース化することを目的とし」という点から、政府によるプライバシーの侵害につながるような話として捉えられる部分は、まあ、当然の帰結なのだけど、ちょっと違う点から見ると面白さが増す。第一に。DARPA の立場としては、人工知能という面を浮揚させれば、こうした懸念に対するプラスの側面を強調することができるという点。第二に、人工知能の研究者にとっては、DARPA がよい金づるになり、また、人工知能という分野を再浮上させるのに役立つ点。そういうわけで、このライフログプロジェクトというのは、両者の利が一致する非常に便利なプロジェクトなのだと思う。「ライフログはエピソード記憶をコンピューターに持たせようとする試みだという。機械に『バミューダでの休暇、空港までタクシーで移動する、というように、人間がごく常識的に行なっているやり方で経験を記憶させ』はじめようとしているのだ。」なんて読むと、非常に魅力的なものに思えてくるでしょ。自立型のコンピュータというのも魅力的だし。こういうものに対してお金が使われるのは悪いものではないと思えてくる。でも、こうした人工知能の分野は、実用にたどり着くまでにまだ100年はかかるような分野だろうから、ときどき、地道にこうやって話題性を盛り上げて研究費を増大させるような努力が必要になるんだと思う。研究をなんらかの手段で正当化する必要があるのだ。単なる趣味ではなくて、これは役に立つんだというひとつの証明あるいは免罪符になる。膨大な量のログを扱うということは、それ自体、非常にいい訓練にもなるわけだから、コンピュータの発展にとっては、DARPA っていうのは、常に非常に大きな役割を果たしてきたし、これからもそうだと思う。エシュロンだとか、カーニボーとか、そんな話も同じようなこと。こういうのは、膨大な資金と金を研究者の趣味のために正当化するようなプロジェクトといえないこともないのだ。軍事というのは、高度な人殺しであるという面とともに、こういうすぐに金にならないものを国防の名の下に正当化し、研究費を割り当てるという仕組みでもある。日本の場合どうかといえば、おそらくそういう仕組みが欠如しているわけだから(それなりの数の人が、こうした国防上の仕事から、商人から見れば単なる趣味の研究費をせしめているかもしれないが)、なんらかの納得できるような口実を探す必要があるだろう。要するに、日本の研究者は、こうしたうさんくさい夢をいかにして描いて自己の趣味の研究を正当化させていくかという点において、はるかにアメリカなどの研究者に劣る面があるんじゃないだろうかとふと思う。ただ、日本の大企業の中では、同様の意味でたくさん無駄金を使っているわけだから、地道な研究は進んでいるんだろうけど、二桁三桁のレベルで研究費を増やすためには、いかがわしい夢を描くことも必要だろう。そういう意味では TRON みたいなものは、一定の成功を収めたわけだけど、いまいち魅力に欠ける。やっぱり、日本人にあっているのは鉄腕アトム計画みたいなものかもしれない。うーむ、そうやって考えると、地道にその路線は進んでいるのだな。HONDA の ASIMO のようなものに、次はどうやって、人工知能を組み込んでいくかというレベルの話になってくれば、いかがわしさが出てくる。日本は考えるロボットの考える部分を一般常識、たとえば、一定の力以上で人間を掴んではいけないとか、一定の力以上で人間にぶつかってはいけないとか、人間の足を踏んづけてはいけないとか、そうした意味での考えるロボットを追及していくとよいのだろう。ここから、あそこに移動する場合に、どうしたら、問題なくいどうできるとか。うーむ、そういう研究を地道にしている人はいるわけで、あとは、ここにどういう形で社会的にお金の流れを活性化させるかという話だな。やっぱり、日本の研究者はいかがわしさがかけているのだな。あぁ、でも老人医療関連でロボットによる介護とか、歩行や動作を助けるパワースーツみたいなところは、最近、地道に話題となるようになってきたし、悪くはないのか。たぶん、2，30年のスパンで見ると、この分野は成功するんじゃないかと思う。しかし、自然言語処理という分野に関しては、何かそうしたものが欠けているような気がする。ようするに一般人の目から見たときに、これならばお金を使ってもいいんじゃないかという正当性を十分に持った説明が存在しない。一気に HAL やR2D2、C3PO の世界、あるいは心を持った鉄腕アトムの世界にいくのは、飛躍が大きすぎる。中間点でもう少し実現性があるかのように思える目標を設定すべきなんだろう。NIGHT 2000 のように知的な車ぐらいが適当なところなんだろうか。でも、やっぱり、いまいちなところがある。いかがわしさが足りない。そういう意味でもライフログみたいのは、うまいところなのだ。日本の場合は、膨大なウェブ情報からなんだか曖昧模糊とした知識抽出とかに走らざるを得ないようなところを「国防上の情報収集」と絞ってしまえるところにライフログの強みがある。研究としては、けっきょくやることは基本は変わらないと思うが、焦点を絞ることによって、より具体的に有効なことをしやすくなると思う。なんにせよ、せめて TRON 並みのいかがわしさを持った研究がメジャーになってほしいものだと思うが、うーむ、やっぱり TRON はいかがわしさが足りない。やっぱり日本人はまじめすぎるんだろうか。

  2003.07.31

  コメント(0)

• けっきょく spam より

  このところ感じるのは、けっきょく spam をゴミ箱に放り込むのは簡単だけど、それよりも、1) 完全な spam (単なるゴミなので、ゴミ箱直行便)2) かなり spam (たいていの場合、ゴミ箱行きだが Subject だけは見る)3) まあ spam (ある程度信頼できる筋、あるいは、何かを購入したサイトからのメールだけど、うざったいもの)4) spam だけど ... (メーリングリストなどへの spam)spam もある程度切り分けて扱いたい気がするが、それ以上に、むしろ spam ではないものの方が、問題な気がしてきた。メーリングリスト、メールマガジンなど、購読は自発的であって全般的に有用ではあるけれど、これをもう少し、効率的に読んだり捨てたりできるようになることが、一番時間の節約につながるような気がする。だって、完全な spam の方が捨てるのが一瞬で楽だもの。知り合いからのグリーティングカードもゴミ箱すてちゃって呆れられたけれど、変なサービス使うからいけない(笑)。やっぱり、選り分けと、これに加えて選り抜きがほしい。選り抜きは要約までは望まないけど、興味のある分野のものは、ハイライト表示してくれるといい。Becky を使っていると、キーワード登録ができるので、いくつかの言葉を登録したりもしているが、キーワードを含むメールはその周辺を別の色で表示するとかあると便利だろう。メーラーがもっとインテリジェント化すると、いいなと思う今日この頃。結局のところ、トピックセンテンスの抜き出し技術ということになるんだろうか。トピックセンテンスを抜き出したものを人工無能にしゃべらせることができれば、自分の趣味の中で少しは楽しい会話ができるんじゃなかろうか。話が飛んでも脈絡はある。話題 subject と、脈絡 context/implicit context。明確なコンテクストとは別次元の暗黙のコンテクストを持てるかどうかが楽しい会話の基本かもしれない。話題の転換はたいていの場合、implicit context の中で行われている。これを共有できるかどうかで共感の度合いも変わる。これが culture であったり、comunity であったり、あるいはもっと狭い範囲の文脈の共有化であったりする。共有できるコンテクストと、共有できないコンテクスト。なかなかコンピュータには乗らんなぁ。spam ってのは、コンテクストを無視するからこそ、spam なのだ。だけど、コンテクストを共有できる次元に spam が入り込んでしまうと、それはそれでまた面倒かもしれない。オリジナルの spam の話は、料理の注文というコンテクストの中で繰り返される spam なのだが、メールの spam は、コンテクストの共有度が限りなく低い。だからこそ問題なのだけど、問題じゃないのだ。ログを見ていたら、海外の超一流大学からのアクセスがあって驚いた。日本語関連を専攻している人かな。MeCab だの Chasen だの日本語処理だのの話題もこのページで扱っているから、検索エンジンでひっかかっちゃったとか。それとも、楽天広場めぐりをしていてたまたまきたのかな。後者であれば、非常に優秀な学生だろう。日本の文化を知る上で、日記は重要だから。前者だったら、特になんのおもしろみもない。あるいは留学中の人かな。それだと、もっと面白みがない。

  2003.07.22

  コメント(0)

• JUMAN

  日本語形態素解析システム JUMANの 4.0 が公開されたらしい。失礼ながら、JUMAN は開発が完全にストップしたと思い込んでいた。「約6万8千語の独自の辞書を新たに開発しました」ということなので、ちょっと期待してしまう。見てみよう。JUMAN のマニュアルを読んでみると JUMAN 3.0 から日本電子化辞書研究所(EDR)の日本語単語辞書の一部を利用していたのだな。これは気がついていなかった。で、JUMAN 4.0 以降のバージョンでは独自に構築した辞書を利用しているそうだ。なんと JUMAN のWindows 版やPerl モジュールは、MeCab の工藤拓氏が協力しているのか。で、マニュアルに戻り、形態品詞(名詞などのレベル)と品詞細分類(普通名詞、サ変名詞、固有名詞のレベル)の２つの改装の分類のうち、細分類は指定しなくてもいいと書いてある。そうすると、大量登録する場合には、最初に形態品詞だけつけておいて、あとでゆっくり細分類をつけていくということも可能かもしれないな。「3 辞書の定義とデータ構造」が気になって熟読。「利用者によって形態品詞名や連接関係などの文法情報やを自由に定義できることである」。うぅ、「情報や」「ｘｘｘ」「を」の「ｘｘｘ」が抜けてるよ....。熟読はここまでにして、あとはざっと眺める。辞書については、大規模テキスト中の統計量を元に独自に約6万8千語の独自辞書を構築したということだが、どういうテキストを使ったの書かれていないのが気になる。いつも使っている、MeCab も 7月3日に mecab 0.76 が公開されていた。Windows 版の辞書が ipadic-2.6.0 に変更されているようだ。ここのところお休みしていたお遊びをまたはじめようかな。専門用語（キーワード）自動抽出システムももっと遊ぼうと思いつつそのままだし。あんまり、人の作ったものばかり試していると、自分のものを作る時間がなくなるという話もあるのだが(笑)。うーん、こっちはとりあえず、Xrea のサイトつくり直して、ちょっとヘンなものを埋め込むところからはじめるかな。spambayes は、日本語の場合、何か手をいれないと精度がいまいちな気がするが、面倒なのでとりあえず放置。TinyBlog はちょっとシンプルすぎるので、もうちょっと高機能なものを今度は使ってみよう。候補は Pyblosxom 。国内で使っている人を探してみると このサイト が、pyblosxomはじめましたって書いてあるから使っているのだろう。あら、May 15， 2003に自分とこが紹介されていた。何はともあれ、多少手を入れれば日本語が使えそうだからやってみるかな。ということで、まずは本家からダウンロードしてみる。で、今日は終わり

  2003.07.19

  コメント(0)

全268件 (268件中 101-150件目)

< 1 2 3 4 5 6 >