数週間前のパーティーで、「セサミストリート」を絵で表現するという、あまりやりたくない課題を課せられました。ビッグバードのはずなのに、なんとも滑稽な塊がホワイトボードマーカーから流れ出てきました。ところが、ゴミ箱らしきものの上に巻き毛の顔のようなものを置いた途端、誰かが答えを叫びました。人間というのは、お互いの下手な線画を推測するのが得意なのです。
しかし、コンピューターはそれほど熟練していません。ブラウン大学とベルリン工科大学が共同開発した新たなアルゴリズムは、この状況の改善を目指しています。これは、抽象的な描画の「意味的理解」を目的として設計された初のコンピューターアプリケーションであり、研究チームによると、検索アプリケーションやスケッチベースのインターフェースの改善につながる可能性があります。この研究と他の線画認識技術を基盤として、将来的にはiPhoneで指で何かを描いただけで、実際の答えが表示されるようになるかもしれません。
このプログラムは、単純な抽象スケッチを56%の確率で認識できます。これは人間の平均認識率73%を大幅に上回ります。写実性に著しく欠けるスケッチも検出可能であり、これが今回の画期的な点です。コンピューターは既に、例えば警察が描いた容疑者のスケッチと顔写真を比較するといった、正確なスケッチを認識できます。しかし、私たちが幼い頃から見てきたような抽象スケッチとなると、話は別です。
こう考えてみてください。ウサギの絵を描けと言われたら、おそらく出っ歯で大きな耳と誇張したひげのあるウサギを描くでしょう。他の人は、この漫画的な表現をすぐに見分けられるでしょう。私の友人たちがオスカー・ザ・グラウチの抽象的な描写を理解したように。しかし、実際にはオスカー・ザ・グラウチとは全く似ていないので、コンピューターにはそれが何なのか全く分かりません。ワトソンに「ジェパディ！」をプレイするように訓練するようなものです。人間なら見分けられる微妙なトリックや意味がありますが、白黒、1と0の世界で作られたコンピューターにとっては難しい課題となります。
ブラウン大学コンピュータサイエンス科のジェームズ・ヘイズ助教授と、ベルリン工科大学のマティアス・アイツ氏、マーク・アレクサ氏は、この課題の解決に着手しました。彼らは、人々が日常的に落書きしたくなるもののリストを作成し、250のカテゴリーに絞り込みました。そして、Amazonのクラウドソーシングプラットフォーム「Mechanical Turk」を利用して、スケッチアーティストを雇用しました。2万点ものユニークなスケッチを収集し、既存の機械学習アルゴリズムに入力してシステムを学習させました。このプロジェクトの成果として、人が描くオブジェクトをシステムが認識しようとする、楽しいリアルタイムコンピュータ絵文字アプリ「Pictionary」が誕生しました。ページの下部で動作の様子をご覧ください。
絵の中には貴重なものもあり、コンピューターによる推測の多くは笑えるものばかりです。セット全体はこちらでご覧いただけます。お気に入りをいくつかご紹介します。キリンの驚くべき正確さ、スポンジボブの絵の創造性、そして犬のように何にでも見えるロブスターの驚くべき不正確さなどです。
データセットを拡張するため、チームはこのコンセプトをゲーム化し、iOSまたはAndroidデバイスでプレイできるようにすることを検討しています。すでにiPhoneアプリがリリースされており、こちらからダウンロードできます。
研究者らによると、目標はスケッチベースの検索機能の向上だ。これにより、発話、動作、あるいは読み書きに障害のある人々にとってのコンピュータアクセシビリティが向上する可能性があり、さらにあらゆる言語に対応できる可能性がある。研究チームは先月、SIGGRAPHでこのプロジェクトを発表した。
[ブラウン大学経由]
