マーク・ザッカーバーグは昨日、Facebookがユーザーから報告された画像、動画、投稿を審査するコミュニティオペレーションチームに3,000人を雇用すると発表しました。これらの新規採用者は、ロバート・グッドウィン銃撃事件のような将来的な事態の影響を最小限に抑えるため、既存の4,500人の従業員に加わります。これはFacebookにとって相当な規模ではあるものの不可欠な投資ですが、同時に根本的な疑問も生じます。この仕事は自動化できないのでしょうか？
この労働規模は膨大です。Facebookは、ニューヨーク・タイムズ、ウォール・ストリート・ジャーナル、ワシントン・ポストの編集部を合わせた人数よりも多くの人材を雇用しています。Facebookは現時点で、これらの雇用が社員か契約社員か、また米国に拠点を置くか海外に拠点を置くかについては明らかにしていません。（コンテンツモデレーションの仕事内容に興味がありますか？2014年にアドリアン・チェンがコンテンツモデレーションについて掘り下げた記事を読むか、モデレーションのプロセスに関するこちらの動画をご覧ください。）
「これらのレビュアーは、ヘイトスピーチや児童搾取など、Facebookで許可していないコンテンツをより効果的に削除する上でも貢献してくれるでしょう」と、FacebookのCEO、ザッカーバーグ氏は述べている。「そして、自傷行為をしようとしている人や、他人から危険にさらされている人など、助けが必要な人を助けるのに最適な立場にある地域のコミュニティグループや法執行機関と、今後も協力していきます。 」（強調追加）
背景には、4月16日にクリーブランドで起きたロバート・グッドウィン殺害事件が隠されている。Facebookが公開したタイムラインによると、4月16日午後2時9分（東部時間）、ある男が殺人の意図を表明する動画を投稿した。2分後、男はグッドウィンを銃撃する動画を投稿した。その後まもなく、殺人容疑者はFacebookで5分間ライブ配信を行った。銃撃動画は午後4時に報じられ、4時22分までにFacebookは犯人のアカウントを停止し、動画を一般公開から削除した。最初の投稿からアカウント停止までわずか2時間強だが、Facebookの普及率と殺人事件の凄惨さから、全国ニュースとなった。
Facebookは、アップロード時に事前に検閲を行うコンテンツがあります。同社は、過去に削除されたヌード写真やポルノ写真が2度目にアップロードされた際に、自動システムを用いてそれらを検出しています。また、児童搾取写真の既知のマーカーデータベースと画像を相互参照するツール「PhotoDNA」も導入しており、これにより、該当する写真をブロックし、適切な法執行機関に通報することが可能です。どちらの場合も、自動化システムは既知の指標と照らし合わせてチェックを行っています。
プロセスにおける自動化の大部分は、人間のコンテンツレビュー担当者による手動の強制執行を支援しています。コンテンツが1,000回報告された場合、ツールは重複報告を認識するため、手動によるレビューは1回で済みます。他のツールでは、写真、投稿、または動画を特定の専門知識を持つレビュー担当者に誘導します。例えば、アラビア語を話す担当者は、シリアの過激派グループがFacebookの利用規約に違反する可能性のあるフラグ付きコンテンツをレビューできます。
それでも、重要なのは文脈を理解する人間の判断力です。コメントが憎悪やいじめに該当するかどうかを判断するために、Facebookは生身の人間に頼っています。特にFacebook Liveの場合、ライブ動画に関する報告を監視する専門チームがあり、一定の（明示されていない）人気度基準に達したライブ動画は自動的に監視されます。
FacebookがAIに積極的な役割を与えている分野が一つあります。3月、Facebookは自殺防止AIツールを導入しました。このツールは、自殺願望を示唆する可能性のある投稿を識別します。BuzzFeedによると、このAIは投稿やコメントをスキャンし、過去の対応を必要とする投稿との類似点を探すことができます。稀にモデレーターに直接警告する場合もありますが、多くの場合、ヘルプラインの電話番号など、自殺防止ツールをユーザーに表示します。さらに、AIは自傷行為を報告するボタンを、その人物の友人にとってより目立つように表示することで、Facebookの人間によるモデレーターに動画を報告してもらえる可能性を高めています。（Facebookはこの件について公式コメントを控えています。）
人間によるモデレーションに代わる当面の代替手段は、先制的な検閲である可能性が高い。
「私たちは、より検閲の厳しいFacebookを望んでいるのでしょうか？」と、イェール大学情報社会プロジェクトのレジデントフェロー、ケイト・クロニック氏は述べた。「過度に堅牢なシステムを導入すると、人々が適切に訓練されず、誤検知や検閲がさらに増える可能性があります。」
クロニック氏の研究は、Facebookをはじめとするプラットフォームをオンライン言論を統制するシステムとして捉えている。Facebookは、投稿内容とその掲載期間をどのように規制するかについて積極的な選択を行う必要があるとクロニック氏は主張する。そして、これを言論の問題から単なる技術的な課題へと変えるようなアルゴリズムによる魔法の弾丸は存在しない。
「こうした複雑な意思決定の問題を解決できるAIが実現するまでには、まだ何年もかかるでしょう」とクロニック氏は述べた。「単なる写真認識ではなく、写真認識に加え、さらに意思決定と分類を組み合わせなければならないのです。これらはすべて難しい認知の問題であり、私たちはまだ確実に解決できる段階には程遠いのです。」
写真認識の課題はコンピュータプログラミングにおいて非常に象徴的なものであり、それ自体が一種の寓話となっています。1966年、MITのシーモア・パパートは、夏休みの簡単な課題だと考えて、コンピュータに物体を認識させる訓練を提案しました。しかし、コンピュータに物体を認識させる訓練という分野は、夏休みで終わるどころか、途方もない課題であり、今日に至るまでGoogleやFacebookなどの企業が解決策の研究に資金と時間を注ぎ込んでいます。
「近い将来においては、これは AI の問題でもなければ AI による解決策でもない」とクロニック氏は言う。
