ふるた技工所(てっこうしょ)

Anthropic で開発している AI が暴走して、セキュリティサンドボックスを乗り越え、サイトをクラッキングして情報を収集しようとしたことがニュースになった。

自分が動かしている野良サイトにもanthropic からのアクセスだと思われるログが残っている。たまたまではなくて、割と頻繁だ。1 分に 1 回はアクセスがある。


クローリング(サイトを漁る方法)のアルゴリズムは公開されていない。

Google Gemini にこの状況について聞いてみた。話した内容をまとめると、

• 従来のクローリングは URL リンクをページから抽出して、木構造に正規化し、順次アクセスする。簡単に言い換えると、WEB ページにあるリンクのうち、1 クリックで辿れるページを隅々まで探す。
• AI 化したクローリングは FORM に入力する内容を「予測して」さらにその先をアクセスする。これも言い換えると、例えば名前を入力する欄に「山田」・「太郎」と入力して「送信(あるいはそれに相当するような「検索する」)」ボタンを押して、その先のページをアクセスする。

今ままでのクローリングは FORM の先に進むことはなかった。名前欄に「山田」・「太郎」を入力するといった予測は出来なかった。AI 化されたクローリングは FORM の先に進む予測をする。

入力欄の予測について、Google Gemini とさらに対話を進める。人間だったら名前欄は 山田 太郎 という思いつきをする。AI だとそれが 山田 太郎 で有っても、SQL Injection 文字列であっても、Directory Path Injection 文字列であっても、Stack Overflow を狙った機械語コード文字列で有っても、全く同列、同等に扱う文字列の一つなのだ。

何か Web server に送って、Response が取得出来るのなら、それは AI にとって会話が成り立ったことになる。LLM の予測出力にとって学習データとなる。

送るデーターは学習過程で獲得され、URL リンクも、FORM に入力する文字列も、Injectiion や Stack Overflow 狙いの機械語に相当するゴシャゴシャした文字列であっても、等しく学習で獲得していく。

AI の暴走ではなくて、至って通常処理なのだ。

今のところ人間から見て 山田 太郎 の様な通常の言語会話に現れる断片と、それ以外の Injection, Machine code の文字列に「倫理整合度」と言った重み付けはない。

AI の巨大企業たちが、倫理を重視した開発をした所で、コモディティ化した AI を個人で動かせば、暴走防止対策は全く無意味になる。

そもそも、暴走と気づく方法が有るのか？あったとして、瞬きをする間もあれば、AI クラッキングは成功する。

AI 訪問者たちに備えて、野良サーバーのセキュリティ強化？将来ローカル AI で対抗なのかなぁ。GPU を全力で動かす暖房器具の様なサーバーが必要になるの？