スマートフォンで音声コマンドを使用することは目新しいことではありませんが、Samsung の新しいデジタル アシスタントである Bixby は、音声認識の域を超え、ディープラーニングと拡張ビジュアル検索を組み込んでおり、デバイス内に存在する本物のデジタル アシスタントのような感覚を実現します。
BixbyはAppleのSiriやGoogle Assistantとすぐに比較されますが、これらは単に音声機能だと思われがちですが、SamsungはBixbyが情報を伝えるための独自のカードベースのビジュアルインターフェースを備えていると説明しています。音声機能はその一部に過ぎません。その他の機能は、視覚機能（カメラを使ってQRコードをスキャンしたり、表紙から本の値段を調べたり、テキストを翻訳したりするなど）、リマインダー、そしておすすめ機能です。Bixbyは、これら4つのスマート機能を総称する名称です。
サムスンでインテリジェンスとIoT（モノのインターネット）を担当するシニアディレクター、スリラム・トドラ氏は、水曜日に行われたGalaxy S8とS8+の発表イベントでBixbyを一般公開した。「Bixbyは状況を理解します」とトドラ氏は述べた。「画面上で何が起こっているかを把握しているのです。」
例えば、今行っていることのスクリーンショットを撮り、その画像を連絡先に送信するように指示できます。複数のアプリやサービスにまたがるこのような複雑なリクエストは、これまでデジタルアシスタントにとって問題となってきました。
「ビクスビーはインテリジェントなユーザーインターフェースだと私たちは言っています」とサムスンのサービス戦略担当副社長、モク・オー氏は月曜日の記者会見でのインタビューで語った。
オー氏はBixbyの完全性を強調した。つまり、アプリがBixby対応であれば、タッチでできることはすべて音声でも実行できるということだ。例えば、Bixbyにスマートフォンの表示言語を別の言語に切り替えるように頼めば、Bixbyがそれを実行するはずだ。また、このアシスタントは「認知的に寛容」なので、曖昧な要求にも対応できるはずだとオー氏は述べた。
オー氏はさらに、このスマートフォンの写真アプリ「ギャラリー」と、その中でユーザーが実行できる数千通りものタスクの組み合わせについて強調した。ユーザーが画像の切り抜きや編集を指示する方法は無数にあり、Bixbyはそれを処理できるはずだ。
「Bixbyには、様々な方法でディープラーニング技術を適用しています」とオー氏は述べた。その一つとして、Bixbyはリクエストを処理した後、ユーザーに「いいね」または「いいね」の選択肢を提示することで、Bixbyに処理結果を知らせ、学習を促している。「実際、私たちはこのために、テクノロジースタック全体の様々な側面に学習技術を適用しています」とオー氏は付け加えた。
カーネギーメロン大学で音声を専門とするコンピュータサイエンス研究教授のアレックス・ルドニッキー氏は、この親指を立てたり下げたりする機能はBixbyのような仮想エージェントにとって非常に重要だと述べた。「システムが学習できるように、つまり、ユーザーの望みと実際に起こることのつながりを理解できるように、何らかの強化が必要です」とルドニッキー氏は述べた。「現実的に考えると、エージェントは多くの間違いを犯すでしょう。」
Amazon の Alexa アプリにも同様の機能があり、ユーザーに希望どおりの動作をしたかどうかを尋ねます。
Bixbyは、リスニング機能に加え、現実世界も見通すことができます。S8に内蔵されたカメラを使って、Bixbyはシーン内の物体を検知し、その商品や関連商品に関する情報を検索できます。もちろん、Samsungのパートナー企業から商品を購入することも可能です。これは現在Siriにはない機能で、Googleアシスタントにはありますが、結果にはばらつきがあります。しかし、このような拡張現実のようなインタラクションは、パーソナルアシスタントとしてのAIにとって理にかなったステップと言えるでしょう。
ビジュアル検索に関しては、サムスンはショッピングにはAmazon、場所固有の機能にはFoursquare（トドラ氏は、ニューヨークの象徴的なフラットアイアンビルの写真を撮り、その情報や周辺のおいしい食事の選択肢を取得した例を挙げた）、さまざまな言語の標識の翻訳にはGoogle Translateなど、さまざまなパートナー企業と提携している。
最後に、オー氏は、Bixbyは状況パターンも把握できるようになると述べました。例えば、仕事帰りに車を運転して帰宅する際にいつも電話をかける場合、アシスタントがそれを察知して電話をかけるよう勧めるかもしれません。トドラ氏もデバイスの発表会でこの点に触れ、特定の時間にいつもUberを利用していることをBixbyが認識した場合、Uberの配車を提案する可能性があると述べました。
Bixbyには独自のホーム画面があり、典型的な使用状況から学習した情報に基づいてキュレーションされます。さまざまなアプリからの情報がカード形式で表示され、最も関連性の高いアプリが最上位に表示されます。そのため、朝は天気やメールなどを優先し、夜はソーシャルメディアを最上位に表示することがあります。ただし、Bixbyはユーザーからのフィードバックに基づいて、これらの表示を常に変化させます。
Neuraの最高マーケティング責任者であるクリス・ボンディ氏によると、一般的に、単純な音声認識や接続機能と人工知能を区別するのは、バーチャルアシスタントが提案を行うパターン認識と状況認識だ。Neuraは、パーソナライゼーションとユーザーの生活における文脈や瞬間の特定に重点を置いたAIエンジンを開発している。
