傀儡師の館.Python

米エンロン社の電子メール150万通：その利用法(上)

エンロン社の電子メールがインターネット上に初めて出回ったのは2003年3月、米連邦エネルギー規制委員会(FERC)が、エンロン社の従業員176人が送受信した150万通以上の電子メールを公開したときのことだ。カリフォルニア州のエネルギー市場に対して同社が2000年に行なった市場操作に関する調査の一環として、FERCは電子メールを公表したのだ。

米エンロン社の電子メール150万通：その利用法(下)

学術機関に所属する研究者たちは、エンロン社のメールがまたとない公開データの宝庫であることをすぐに理解した。社会的ネットワーク、情報分析、情報検索などに興味を持つ研究者にとって、利用価値の高いデータなのだ。

Introducing the Enron Corpus (pdf) を見ると、158 ユーザの 619,446 メッセージをクリーニングして、200,399メッセージ(1ユーザあたり757メッセージ) にしぼり分析を加えている。フォルダ構成やスレッドに目を向けていて興味深い。61.63%のメッセージがスレッドを構成していて、1スレッドあたり平均で 4.1 など。

データは、Enron Email DatasetやProcessed Enron corpus (XML形式になっている)

Enron Emails で実際に検索ができる。また、exploring enron のように視覚化したサイトもある。


スパム・メールのフィルタリング状況をチェックするプロジェクトが発足

　エンロンの電子メール・メッセージには、普通ならなかなか入手できない私信やスパムが大量に含まれており、スパム研究には非常に役立つと、グラハム・カミング氏は述べている。

こうしたものを見るに付け、アメリカというのは、実におもしろい国だと思う。ちなみに上記のプロジェクトのページ SpamOrHam を見ると、SpamAssassin public corpus、TREC 2005 Public Spam Corpus) Spam Corpus へのリンクもある。一般に、コーパスを作ることの重要性は、アメリカの方が日本に比べて相当に進んでいる。日本のコーパスはやっとまともに予算が付いて進み始めたというところだろうか。そのうち、この話題は扱おうと思う。

なぜにエンロンコーパスについて、今頃書いているかというと、メールの0.71～1.02％は「ただ消えて無くなる」～Microsoft研究者らが論文主な原因はスパムフィルター の記事が出ていたから。spam がどうのこうのという問題よりも、エンロンコーパスが使われていることに興味がいってしまった。

エンロン裁判で公開された典型的なビジネスメールの文面を集めたメール約1,700通が利用された。

マイクロソフトの論文: Addressing Email Loss with SureMail: Measurement, Design, and Evaluation

Microsoft Research を見ると、マイクロソフトって今や研究機関としても、すごいものになっているなと改めて感じる。この15年の間に淡々と研究機関としての人と実力を蓄えている。これらの研究がすべて製品に活かされて利益を上げているかというと、そうでもないとは思うが研究機関としてはかなりの規模になっている。かつてのゼロックスのパロアルト研究所のように、マイクロソフトが取りこぼしてしまったものから次世代のおもしろいものが出てくる可能性もあるかもしれないななどとふと思った。ちょうど15年なのね。