Agile Cat — in the cloud

Siri と Cortana と Google Now の学力テスト: その結果を1枚のチャートで!

Posted in Apple, Google, Microsoft, Mobile, Post-PC, Research by Agile Cat on October 11, 2014

CHART OF THE DAY: Google Now Is The Smartest Virtual Assistant
http://wp.me/pwo1E-7WD
Dave Smith – Oct. 10, 2014
http://www.businessinsider.com/chart-of-the-day-google-now-vs-siri-vs-cortana-2014-10

_ Business Insider

Earlier this week, Stone Temple Consulting compiled over 3,000 different queries tested against three major virtual assistant platforms: Google Now, Apple’s Siri, And Microsoft’s Cortana. The comprehensive study looked at how many sources of data these assistants use, comparing the accuracy of the results and keeping track of all the mistakes. It wasn’t a straight comparison of the personal assistants, but rather, the “knowledge” they are able to return when queried.

今週のはじめに Stone Temple Consulting が、3つの主要仮想アシスタント·プラットフォームである、Google Now/Apple Siri/Microsoft Cortana に対して、3000種類以上の問い合わせを投げかけるというテストを行い、その結果をまとめ上げた。 この包括的な調査は、個々のアシスタントが用いるデータ・ソース量と、回答結果における精度の比較、そして、すべての間違いのトラッキングに注目するものである。そして、パーソナル・アシスタントのダイレクトな比較というより、それらが質問を受けたときの、回答に用いることのできる「ナレッジ」を調べるものである。

In the end, Google Now was crowned the victor.

最後的な勝者は、Google Now である。

_  space

BI Intelligence

Based on Stone Temple’s data charted for us by BI Intelligence, Google Now returned results with correct answers 88% of the time. But even though Siri and Cortana look like they fail miserably in this test, the consulting team insists “scoring here was harsh,” and the company was looking for answers to be placed directly in a “knowledge panel,” which is defined as “content in the search results that attempts to directly answer a question asked in a search query.” In other words, yes, Google’s virtual assistant is much further along than others when it comes to having an accurate knowledge graph, but Siri and Cortana still offered results that were “at least somewhat helpful,” even if they weren’t direct answers to the questions.

Stone Temple のデーターから BI Intelligence が作成したチャートによると、Google Now は 88% の確率で、正しい答えを返している。しかし、このコンサルティング・チームは、実施したテストで Siri と Cortana が、無残な結果を生じたとしても、そのスコアは酷なものであると主張している。つまり、同社は、ナレッジ・パネル内にダイレクトに置かれる回答を探したのである。それは、検索クエリーでの質問に対して、ダイレクトに答える検索結果のコンテントとして、定義されているものである。Google の仮想アシスタントについては、お察しのとおりである。 つまり、正確な Knowledge Graph を手にしたときから、他とは異なるレベルまで、突き進んでしまったのだ。とは言え Siri と Cortana も、質問と咬み合わない答えを返す場合があるにしても、少なくと何らかの役に立つという結果を残している。

SEE ALSO: CHART OF THE DAY: The Ever-Changing Relationship Between Parents, Kids, And Their Multimedia

ーーーーー

この Stone Temple によるテストの内容は、3086 の質問に対して答えられたのが、Google Now で 1795回、Apple Siri で 908回、Microsoft Cortana で 630回というものであり、さらに、その中での正解率となると、文中のチャートになるというものです。 そして、全問に対する正解率を計算したところ、Google Now が 51%、Apple Siri が 16%、Microsoft Cortana が 8% という結果になりました。Google Now に関しては、Knowledge Graph の成長に応じて、その精度が向上していくのでしょうが、Siri と Cortana が Google Now に対抗していくなら、何らかの基本となるテクノロジーが必要だと感じてしまいます。Google Now に追いつけ追い越せという気概で、長い戦いになるでしょうが、頑張ってほしいと思います。

ーーーーー

<関連>

Google の Knowledge Graph は、スタートレックを目指す!
Knowledge Graph は、映画の画面をタップすれば俳優の名前も教えてくれる
Google の 音楽ナレッジ・グラフが、YouTube や Google Now と連動し始めた!
Google Now が iOS に侵攻 : Siri なんて単なるジョークだ
Amazon も Siri を追いかける : 音声認識の会社を買収
Microsoft の Cortana は、Apple Siri や Google Now と戦っていけるのか?

Comments Off on Siri と Cortana と Google Now の学力テスト: その結果を1枚のチャートで!

%d bloggers like this: