Agile Cat — in the cloud

TOPSY の Twitter 分析 API は、5 億クエリー/月 を処理する!

Posted in API, Big Data, Twitter by Agile Cat on February 3, 2011

At a Half Billion Queries Per Month, Topsy Launches Twitter Trending Analytics
Daniel Luxemburg, January 31st, 2011

_ ProgrammableWeb

clip_image001Topsy, a search tool based on real-time social media activity, has unveiled a new service called Topsy Social Analytics that tracks the rise and fall in popularity of specific pieces of online content as well as broader trends in online discussion. The analytics tool, like the Topsy API, uses publicly available data from Twitter to rank content and identify trends.

Topsy は、ソーシャル・メディアのリアルタイム・アクティビティに基づく、検索ツールを提供する企業である。 そして、Topsy Social Analytics という新しいサービスにより、広義なオンライン・ディスカッションの傾向と同様に、特定オンライン・コンテントの人気について、その増減を追跡すると発表した。 この 分析ツールは Topsy API に類似しており、パブリックに利用出来るデータを Twitter から取得し、コンテントのランキングや、傾向の識別を実現していく。

According to Topsy, the company focuses on such a rapid-fire communication medium because it “is the fastest growing source of information on the Web, with social graphs replacing PageRank as the new ’signal’ for identifying relevant content.”

こうした、矢継ぎ早に発せられるコミュニケーション・メディアは、Web 上で最も速く成長する情報ソースである。 そして、そこに Topsy がフォーカスするのは、適切なコンテントを識別する新しい「シグナル」として、「ソーシャル・グラフ」 が、これまでの PageRank をリプレイスしているという理由による。

Of course, that signal isn’t always entirely clear. Topsy sifts through data from Twitter, assigning influence weights to different users and taking spam accounts out of its tallies in order to get a clearer picture of what people are really linking to and talking about. That processing is at the heart of Topsy’s products. The information itself is free, available through Twitter’s API. But Topsy must be doing something to make it significantly more useful—the company is already serving 500 million requests each month, most of them through its own “Otter” API.

もちろん、それらのシグナルが、常に全体を明確にできるわけではない。 Topsy は、実際に人々がリンクし、話をしているものを明確にするために、まず、Twitter から得られるデータをフルイにかけ、続いて、それぞれのユーザーに影響力の指数を適用し、集計結果からスパムを取り除く。 こうした一連の処理が、Topsy プロダクトのコアとなっている。 そして、対象となる情報自身は、Twitter API 介して無償で入手できる。 しかし Topsy は、自社のサービスを有益なものにするために、なんらかの特別な処理を行なっているはずである。 つまり、同社は 5億リクエスト(月)に対応しているが、そこでは ” Otter ” という、独自の API が用いられている。

Some of the applications using the Topsy API treat the service like a search engine. For instance, one of the examples in Topsy’s list of featured Otter apps is “Social Media Fight“, which does nothing more than compare the number of hits two terms get, just like Google Fight years before it.

いくつかの、Topsy API を用いるアプリケーションは、検索エンジンのようなサービスを取り扱う。 実際に、Otter アプリケーションを活用する、Topsy リストのサンプルとして、“Social Media Fight“ というものがある。それは、たとえば、” Google Fight ” のような、2つのキーワードに関する、量的な比較のみを行う。

Other, more sophisticated implementations lean further towards the analysis end of Topsy’s functionality. HootSuite, a social media campaign management tool used by major brands and agencies, uses Topsy’s API to provide users insights into who influences who on Twitter.

その他にも、さらに洗練された実装モデルにより、Topsy の機能を用いた分析が実現される。 HootSuite は、主要なブランドや代理店により、広告キャンペーン管理ツールとして用いられるが、Twitter ユーザー間での影響力を分析するために、Topsy API を活用する。

Topsy’s new analytics product isn’t publicly available through an open API, but the site invites developers to get in touch with the company’s business development team about building integrations.

Topsy の新しい分析プロダクトを、オープンでパブリックなAPI を介して利用することはできないが、同社のビジネス・デベロップメント・チームに対して、デベロッパーから連絡を取るような方式が提供されている。

HootSuite or any other company that might make serious use of Topsy’s APIs could, of course, also just pull data directly from Twitter. But those companies would still be left with the task of processing the results into useful information, which is becoming a bigger and bigger job as Twitter’s user base grows. Topsy provides a layer between the raw tweets available from Twitter and organizations interested in what can be learned from that content collectively. It’s an interesting niche to fill and a testament to the expanding role of social web service APIs. The ecosystem is mature and active enough that it can maintain a services that exists as a layer between an API provider and consumers.

HootSuite などの企業は、Twitter からダイレクトにデータを引き出すために、Topsy の クラウド API に大きく依存している。 しかし、得られた結果から、有益な情報を取り出すためのプロセスが残されている。 この作業が、Twitter ユーザー数が増えるにつれて、ますます重要になっていくだろう。Twitter から取得される生のツイートと、コンテントの集合から生成される関心事の間に、Topsy はレイヤを提供する。 それは、局所的な関心事を充たすものであり、また、ソーシャル Web サービス API の役割が、急激に拡大していることの証明でもある。 このエコシステムは成熟しており、また、API の提供者と利用者を結ぶレイヤとしての、サービスを維持するために充分に機能している。


Agile_Cat でも、右ペインの上の方に、TOPSY へリンクするバナーを貼っていますが、なかなか分かりやすい分析結果だと思っています。 こうした機能が強化され、さらに API を介して利用できるようになってくると、クラウドのメリットが明確になってきますね! ーーー__AC Stamp 2


2011 年の クラウド API について、5 つのポイントを予想する
2倍に成長した 2010年の クラウド API – トレンドは Social と Mobile
Royal Pingdom が、クラウド API のベータ・テスターを募集!

Comments Off on TOPSY の Twitter 分析 API は、5 億クエリー/月 を処理する!

%d bloggers like this: