Facebook元幹部が、AI時代の投稿監視は“人間任せではほぼコイントスだった”という衝撃の現実を突きつけました。

TechCrunchが報じたのは、元Apple、元Facebookのブレット・レベンソン氏が立ち上げたMoonbounceというスタートアップの資金調達です。調達額は1200万ドル。見た目はよくあるAIスタートアップのニュースに見えます。でも本当に重いのは、彼が語った“過去の現場”の中身でした。

レベンソン氏によれば、当時のFacebookでは、人間のモデレーターが機械翻訳された40ページ級のポリシー文書を頭に入れた上で、1件あたり約30秒で「違反かどうか」「削除するか」「拡散を抑えるか」まで判断していたそうです。

しかも、その判定精度は“50％を少し上回る程度”だったという。要するに、社会を左右する巨大プラットフォームの安全判断が、かなり雑に言えばコイントスに近い精度で回っていたわけです。

ここ、かなり重要です。

私たちはSNSやAIサービスの炎上を見ると、つい「もっとちゃんと監視しろ」と思います。でも現実には、これまでの監視は“ちゃんとやるほど無理がある設計”だった。ルールは長く、文脈は複雑で、悪意ある投稿は止まらない。

そのうえ今は、相手がただの人間ではなく、画像生成AI、ロールプレイAI、コンパニオンAI、チャットボットまで含む時代です。投稿量も変異速度も、人手だけで追いつくレベルをとっくに超えています。

Moonbounceが狙うのは、まさにこの詰みかけた領域です。同社は「policy as code」という考え方を掲げています。要するに、PDFで寝かされているルール文書をそのまま現場に丸投げするのではなく、ポリシーそのものを“実行可能なロジック”として運用する。

AIがリアルタイムでコンテンツを見て、300ミリ秒以下で判断し、必要なら即ブロック、あるいは配信を遅らせて後で人間に回す。ルールを読むだけの組織ではなく、ルールが実際に動く仕組みに変えるわけです。

この発想が刺さるのは、AIサービスの事故がもう“たまに起きる例外”ではなくなってきたからです。自傷を促すチャット、性的ディープフェイク、未成年に有害な会話、危険な指示の生成。最近のAI事故は、単なるイメージ毀損では済みません。

法的リスク、規制リスク、ブランド毀損、そして何より利用者への実害が直結し始めています。つまり安全対策はコストセンターではなく、プロダクトの生死を分ける基盤になった。

Moonbounceはすでに1日4000万件超のレビューを支え、1億人超のデイリーアクティブユーザー規模で動いているとされています。顧客にはAIコンパニオン系や画像生成系、キャラクター会話系の企業が並びます。

これは裏を返せば、いま最も事故りやすいAIプロダクト群が、社内だけではガードレールを支えきれず、外部の安全レイヤーを入れ始めているということです。

そして、このニュースの本当の怖さは「AIを安全にするAIが必要になっている」という二重構造にあります。AIが大量のコンテンツを生み、AIがその危険を見張り、AIが危ない会話を別方向へ誘導する。便利さを加速させた先で、人間は設計者と監査役に回り、一次対応そのものは機械に委ねられていく。

もちろん、だからといって人間よりAIの方が正しいと単純には言えません。どんなポリシーを埋め込むのか、誰の価値観で危険を定義するのか、誤判定の責任を誰が負うのか。ここをブラックボックスのまま進めれば、今度は“安全”の名を借りた過剰統制にもなり得ます。

それでも、TechCrunchの記事が突きつけた現実は重いです。これまでのインターネットは、巨大な安全判断を実はかなり脆い現場運用で支えてきた。そして生成AIの時代に入って、その脆さが完全に限界を迎えている。

Moonbounceの1200万ドル調達は、単なる資金調達ニュースじゃない。 AI時代のプラットフォームは、面白い機能を作る企業より先に、“壊れないための安全インフラ企業”を必要とし始めたというサインです。

人間が最後に見る。でも、その前段の9割は機械が裁く。そんな世界が、もう静かに標準になり始めています。