Agile Cat — in the cloud

Twitter が提供する、MySQL 関連のオープンソースとは

Posted in .Selected, Big Data, Storage, Twitter by Agile Cat on May 6, 2012

Twitter open sources its MySQL secret sauce
http://wp.me/pwo1E-4bb
By
Derrick Harris Apr. 9, 2012
http://gigaom.com/cloud/twitter-open-sources-its-mysql-secret-sauce/

_ Gigaom

Updated: Twitter has shared numerous aspects of its infrastructure over the past few years, and its decision to open source its work on MySQL might be the social media platform’s most useful contribution yet. Sure, open source big data tools are valuable, but they’re not MySQL.

Updated: Twitter は、この数年にわたって、自身のインフラストラクチャを、いくつかの切り口から共有してきた。 そして、MySQL に関する成果をオープンソース化していくという判断は、このソーシャルのメディアのプラットフォームから提供される、最も有用なコントリビューションとなるだろう。たしかに、オープンソースの Big Data ツールは貴重であるが、それらは MySQL ではないのだ。

Used by millions of web developers, MySQL is hugely popular; it’s the “M” in the LAMP stack that still underpins many web applications. But it has its problems, among them scalability and performance under the pressure of high transaction rates. This is part of the reason that NoSQL databases came into existence and continue to flourish. So, for anyone concerned with making MySQL scale, being able to see and build upon what a site like Twitter did with the code should be a big deal.

MySQL は、何百万という Web デベロッパーにより利用され、また、人気者でもある。そして、LAMP スタックの [M] として、数多くの Web アプリケーションを下からサポートしている。 しかし、ハイ・トランザクション・レートというプレッシャーを前提にすると、そのスケーラビリティとパフォーマンスに問題を抱えてしまう。 逆説的に言えば、それが NoSQL データベースの存在する理由であり、また、広く利用されている要因でもある。したがって、MySQL でスケールを実現しようする、あらゆる人々にとって、Twitter のようなサイトがコーディングした成果を参照し、それをもとに何らかを構築できることは、きわめて重要な事柄になるはずだ。

It’s not like Twitter is alone in working on MySQL’s shortcoming or anything — companies such as Tokutek and ScaleBase are centered around this very premise, and Facebook has done some amazing things with the database — but Twitter’s willingness to open source its code is critical. No vendor licenses, no support contracts and no lock-in, just a tried and true MySQL fork from one of the world’ most successful web platforms.

MySQL の欠点などに取り組んでいるのは、なにも Twitter だけではない。 しかし、そのコードを快くオープンにする Twitter の意思は、とても重要な意味を持つ(たとえば、TokutekScaleBaseなどは、こうした仮説を前提にビジネスを考えている。そして Facebook は、データベースに関する驚くべき成果を達成している)。ベンダーのライセンスや、サポート契約、そしてロックインのない世界だ。 そこにあるのは、この世界で最も成功した Web プラットフォームとしての、実証済みの MySQL フォークだけである。

imageAs it turns out, however, Twitter’s move in open sourcing its core MySQL code comes after the company already open sourced various components that sit atop MySQL. In 2010, it open sourced Gizzard, a middleware component for creating distributed databases that can serve tens of thousands of queries per second, and FlockDB shortly thereafter.

しかし、今にしてみると、コアとなる MySQL コードをオープンソースにしようとする Twitter の行動は、MySQL 上の多様なコンポーネントをオープンにしてきた、その後に続くものである。 2010年には、分散データベースを構築するミドルウェア・コンポーネントである、Gizzard をオープンソース化し、その直後に FlockDB もオープンにしている。それらは、秒あたり何万というクエリーを処理するものである。

Update: Someone alerted me that Facebook does have a site for sharing its MySQL patches, although it’s hosted at Launchpad. Earlier on Monday, commenters to a thread on the MySQL at Facebook page strongly urged Facebook to move its efforts to the far more popular Github, which is where Twitter hosts its code.

Update: Facebook には、MySQL パッチを共有するためのサイトがあるが、Launchpad にホストされていると、教えてくれる人がいた。 月曜日の朝のことだが、Facebook ページの MySQL スレッドで、こうした Facebook による成果は、よりポピュラーな Github に移行されるべきだと、強く催促するコメントがあった。 そこは、Twitter が、一連のコードをホストしている場所である。

Related research and analysis from GigaOM Pro:

-----

image文中に指摘されるように、Facebook と並んで Twitter も、ソフトウェアのオープン化について、さまざまな活動を展開してきました。 とくに、Hadoop が注目を浴び始めたころから、この 2つの巨大ソーシャルが LAMP スタックを用いて、その上で Big Data をハンドリングしていることが明らかにされ、大規模 Web サイト構築におけるデファクトが確定してきたのだろうと思います。それは、従来からのソフトウェア・ライセンス・ビジネスに終止符を打つものであり、また、その合理性を Android が証明しているのでしょう。 まだまた問題は山積みですが、特定の企業が権利を主張するより、それが一人一人のデベロッパーのスキル(経済)として分散されることで、エコシステムが確立され、また、イノベーションが促進されているのだと感じます。 --- image

-----

<関連>

誕生日を迎えた Twitter と、Jack Dorsey による6年前の初ツイート
正確に言うと、Twitter はソーシャルじゃないんだ – Jack Dorsey
Twitter サーチを 3倍速にする新アーキテクチャとは?
Twitter が提供する、Hadoop ライクな OSS とは?
Twitter の Trend API は、XML から JSON-Only へと移行する

 

10億人のユーザーを目指す、Twitter の 6つの戦略とは? _4

Posted in NoSQL, Twitter by Agile Cat on June 12, 2010

Six Ways Twitter May Reach its Big Hairy Audacious Goal of One Billion Users _4
DateMonday, June 7, 2010 at 8:06AM
http://highscalability.com/blog/2010/6/7/six-ways-twitter-may-reach-its-big-hairy-audacious-goal-of-o.html

image

まとめ: Will Twitter be First to One Billion Users?

You may read this article and think it’s way too fluffy and optimistic towards Twitter. That’s not my intent. There are plenty of people talking about how much Twitter sucks. Yes, Twitter could stumble. They could kill their ecosystem. They could do a lot of things. What I’ve been trying to do is identify the positive forces I see that could help Twitter reach a billion users. That’s quite a milestone in the very young history of the web. What will it take to reach the goal of serving 1/6th the population of Earth? It’s a fascinating question.

この記事を読んでみて、あまりにも Twitter が掴みどころなく、また、楽観的すぎると思うかもしれない。 しかし、それは私の意志ではない。 たとえば、たくさんの人々が、Twitter の酷さについて口を揃えて言う。 たしかに、Twitter はへまをやる。 そして、そのエコシステムを殺すこともできる。 つまり、数多くの選択肢を持っている。 ここでの私の意志は、Twitter による 10億ユーザーへの到達を促進すると思われる、ポジティブなパワーを識別することだ。 それは Web という世界における、短い歴史の中の、きわめて重要なマイルストーンとなる。 地球という惑星の 1/6 の人口に相当する人々に対して、サービスを提供するには何をしたら良いのだろうか? それは、魅力的な質問である。

Twitter’s efforts seem genuine and they’ve made substantial progress. They seem honestly interested in talking with people, learning, iterating, creating a culture, and spreading their tool. If their plan works it will encourage developers, which brings in users, which will then attract more developers. A virtuous circle which could substantially jump that growth rate and might make it possible for Twitter to reach their audacious goal of being the first to one billion users.

Twitter の努力は本物だと思われ、また、具体的に大きな進展を遂げている。 Twitter は、人々と話し合い、学習し、反復し、文化を作り、そのツール広めることに真摯である。もし、Twitter の計画が上手くいくなら、それがデベロッパーを後押しすることになり、結果としてユーザーが増えていく。 そして、そのことが、さらに多くのデベロッパーを惹きつける。 そうなれば、初めての 10億人のユーザーを目指す Twitter にとって、その成長率を引き上げ、大胆な目標を可能にする、好循環が生まれるかもしれない。

How possible? A billion users is a lot of users. Not unthinkable, but unprecedented. What is clear is Twitter has a vision, a set of goals, and the will to make it happen. That’s a hard combination to bet against. Having said that, the smart money is still on Facebook to reach a billion users first. Facebook is already nearly half way there and Facebook is harnessing many of the same wild forces as Twitter. It would be a fun proposition bet, if any casino is feeling creative.

どれぐらいの可能性が、あるのだろうか? 10億ユーザーとなると、その数は膨大なものとなる。 考えられないという事ではないが、前例がない。 明らかなのは、Twitter がビジョンを持ち、目標を設定し、それを実現するための意志を持っていることだ。 しかし、その組み合わせだけでは、掛金を積み上げるのも難しい。 つまり、そうは言っても、この 10億ユーザー獲得レースに関して、目の肥えた投資家の視線は、依然として Facebook に注がれている。 すでに Facebook は、その半分近くのユーザー数を獲得し、また、Twitter のように、熱狂的な支持者たちを引き連れている。 もし、カジノで大儲けしたいなら、Twitter にチップを積み上げるのも面白いだろう。

Related Articles

A Recap Of Chirp — Twitter’s First Developer Conference by Ahad Bokhari.
Videos on Justin.tv
Chirp 2010: Scaling Twitter

ーーーーー

最近の Twitter といえば、Cassandra を採用するという Ryan King のコメントを、大手のメディアではなく MyNoSQL というブログを介して発信したことが、とても印象的でした。 そのときから、あえて 『マスコミ飛ばし』 を選ぶ発想に興味を感じていましたが、この記事を読むと、それも Twitter の戦略の一部なのだと感じられます。なんというか、既存メディアとの付き合いのような、彼らかの視線から見た場合の、細かなスケールのことは一切考えていないわけです。

image

Google や Facebook もそうですが、従来からのビジネスの在り方の中に居場所を見つけ出すのではなく、そこに参加することで、それ自体を変えていこうとする勢力が、大きく台頭してきている状況が見て取れます。このような流れは民間だけに留まらず、オバマ政権の eGov に対しても感じることであり、『 新聞や TV といった既存メディアが、この世から消えても、私たちは何も困りません 』と、言っているように聞こえます。

今回の記事は、一風 変わった内容と構成で、書き手の意図が把握しきれず、訳していても何となく妙な感覚が付きまといました。 しかし、こうして最後まで読んでみると、自分自身の発想が、これまでの世の中の在り方に、制約を受けていたのだと理解できるようになりました。 そんなことだから、翻訳もしにくかったのでしょう。 ・・・ というわけで、今は目からウロコ状態の Agile_Cat です。

現時点で、Facebook には 4億人、Twitter には1億人のユーザーが居るわけで、そんなものが従来からの雛形に収まるわけがないのです。 その意味で、この記事は Twitter 現象を俯瞰し、読み手の視野を大きく広げてくれるという、皆さんにもオススメできるものではないかと、そんな風に思っています。 ぜひ、以下の順でご参照ください。 ーーー A.C.

<関連>
10億人のユーザーを目指す、Twitter の 6つの戦略とは? _1
10億人のユーザーを目指す、Twitter の 6つの戦略とは? _2
10億人のユーザーを目指す、Twitter の 6つの戦略とは? _3
10億人のユーザーを目指す、Twitter の 6つの戦略とは? _4
おおっ!と 驚きながら 数字で見る Twitter : Apr. 14, 2010

10億人のユーザーを目指す、Twitter の 6つの戦略とは? _3

Posted in NoSQL, Twitter by Agile Cat on June 11, 2010

Six Ways Twitter May Reach its Big Hairy Audacious Goal of One Billion Users _3
DateMonday, June 7, 2010 at 8:06AM
http://highscalability.com/blog/2010/6/7/six-ways-twitter-may-reach-its-big-hairy-audacious-goal-of-o.html

image

初めての方は、その1その2 から お読みください。

5: Ride the Farmville Network Effect – Farmville ライクなネットワーク効果に乗る

One of the most mysterious mysteries of the universe: why is Farmville so popular? Hundreds of millions of people play a game that seems pretty boring and requires a large commitment of work to play. What gives?

この世で最もミステリアスなミステリーは、何ゆえに、Farmville に人気が集まるのかという点だ。 何億という人々が、かなり退屈だと思われるゲームに参加し、そこで遊ぶために大きな約束を要求する。 何が与えられるのだろうか?

A. J. Liszkiewicz in Cultivated Play: Farmville has an interesting explanation: people are playing Farmville because people are playing Farmville. Farmville is popular because in entangles users in a web of social obligations. When users log into Facebook, they are reminded that their neighbors have sent them gifts, posted bonuses on their walls, and helped with each others’ farms. In turn, they are obligated to return the courtesies. As the French sociologist Marcel Mauss tells us, gifts are never free: they bind the giver and receiver in a loop of reciprocity.

Cultivated Play: Farmville において、A. J. Liszkiewicz が興味深い真実を示している。それは、『人々は Farmville で遊ぶか故に、Farmville で遊ぶ』という理屈である。社会的な義務としての Web の中で、ユーザー同士が絡みあるために、Farmville に人気が集まる。 Facebook にログインするときに、それそれのユーザーが期待するのは、隣人からの贈り物や、Wall 上での思わぬ喜び、そして、相互の助け合いなどである。 そして、それらを繰り返すにつれて、丁寧な返信という義務を負うようになる。 フランスの社会学者 Marcel Mauss によると、無償の贈り物は存在しない。 つまり、送り手と受けては、相互関係のループに縛り付けられる。

Twitter benefits from this same effect. People join Twitter because people are joining Twitter. I’ve seen this process over and over in the non-geek tech world. People go from thinking Twitter is silly, to seeing their friends and peers joining Twitter and benefiting, to then joining themselves. Once they figure out Twitter is a new way for people to pay attention to each other and interact across space and time, they get it. They’ll have conversations like "Hey, did you see my tweet on X? I sure did, it was great, did you see mine on Y? Sure did. Loved your take. It reminds me of what Frankenstein9 said on his stream. I noticed you tweeted you’ll be doing such such, I got some ideas on that…" If you aren’t in this game you’ll miss out on what your friends, colleagues, and persons of interest are doing.

Twitter のメリットも、それと同じ効果の上に成り立っている。 つまり、人々が Twitter に参加しているから、人々はTwitter に参加する。 こうしたプロセスは、オタクのいないテクノノロジーの世界で何度も確認されている。人々は最初に、Twitter は愚かだと考えるが、友人や仲間が Twitter に喜んで参加するのを見て、自分自身も参加するようになる。言い方を換えれば、人々が相互に注意を払い、時空を超えてインタラクトするための、新しい手法が Twitter だと一度理解されると、それらの人々も参加するようになる。そして、以下のような会話が生まれてくる。『 Hey、ボクのツイートXを見たかい?』 『 見たよ。 そころでキミはツイートYを見たかい?』 『 もちろんだよ』 『 キミのはイカしてるよ』 『 なんか、Frankenstein 9 の会話みたいね』 『 そうそう。ボクも同じことを考えていたんだ 』….  もし、このゲームに参加していないと、友人や仲間の関心事を聞き逃すことになる。

There’s a sort of social self-reinforcing game being played where people make social moves and Twitter is the game board. That kind of social obligation creates a viral loop engine for generating new players. Will that be enough of a driver to reach a billion users? Not on its own, but without at the aspect of game dynamics there wouldn’t be much of a chance.

人々が Twitter というゲームボードで、社会的に機能するところに、自己の社会性を強化するたぐいのゲームが存在する。 この種の社会的な義務により、新しいプレーヤーを生み出すための、ウィルス性のループ・エンジンを作り出される。 それは、10億人のユーザーに到達するだけのパワーを持ち得るのか? それ自身には無いだろう。しかし、こうしたゲームのダイナミックさを用いることなく、それを達成することもあり得ない。

6: Ubiquity – ユビキタスを実現する

If your goal is to be the pulse of the planet that means you have to be everywhere, in everything, you have to be ubiquitous. Towards that goal Twitter follows a different strategy than most websites who want to drive traffic through their front page. Twitter does nearly the opposite by giving users a choice of how they consume and use Twitter. The result is about 75 percent of traffic comes from third-party services over the Twitter API. Surprisingly, only 25 percent comes from the Twitter.com web site. With this strategy Twitter:

もし、その目的が、この世界に張り巡らされる動脈になることなら、すべてにおいてユビキタスにならなければならない。 その目標へ向けて、Twitter は他者とは異なる戦略を追求している。 それは、自身のフロントページへ向けてトラフィックを集約する、大半の Web サイトとは別の発想である。 Twitter を利用するための選択肢を、ユーザーに提供することで、ほとんど正反対の方向へ向かっている。 その結果として、トラフィックの約 75% が、サードパーティのサービスと Twitter API を介したものとなる。 驚くべきことに、Twitter.com Web サイトでのトラフィックは 25% にしか過ぎない。 この Twitter の戦略により:

Is now the 12th most popular web site.
Grew 752 percent in 2008.
Grew 1,358 percent in 2009.
Has 105 million users who send 55 million tweets a day at a peak rate of 1,000 messages per second.
Handles over 600 million searches a day.
Sees 3 billion API requests per day.

いまや、12番目に人気のあるサイトになっている
2008年に 752% の成長を達成した
2009年に 1,358% の成長を達成した
1億500万人のユーザーがいる
1日あたりのツイート数は 5500万
ピーク時には1000メッセージ/秒を記録する
1日に 6億回のサーチを処理する
1日に 30億回という API リクエストが確認されている

Some may think Twitter, with their recent moves, has drunk the kool-aid, taken the blue pill, and gone to the dark side. Twitter’s Evan Williams counters saying Twitter Is the Ecosystem:

最近の動向を見ると、Twitter は訳の分からない行動をとり、暗側へ行ってしまったと、思う人がいるかもしれない。 しかし、Twitter の Evan Williams は、それこそエコシステムだと反論している:

We’ve always believed in openness. we believe in an open system and the power of ideas. And that is not changing. Twitter is truly a collaboration and that is not changing.

私たちは常にオープンであり、オープンなシステムという発想とパワーを信じている。それは不変のものであり、Twitter は真のコラボレーションを求め、その考えに変わりはない。

One could argue by creating their own consistent UI presence and with strong competition from third-party UIs, Twitter will pull in even more users, not fewer. So even though Twitter has taken steps to control more of their own destiny, their strategy of being everywhere still seems firmly in place.

Twitter の一貫した UI プレゼンスの作成と、サードパーティー 製 UI との競合について議論が可能だが、Twitter は更に多くのユーザーを取り込んでいくだろう。 したがって、Twitter が自身の運命をコントロールする処置をとるにしても、彼らのユビキタス戦略(サードパーティ競合)は依然と健在だと思われる。

<続く>

ーーーーー

<関連>
10億人のユーザーを目指す、Twitter の 6つの戦略とは? _1
10億人のユーザーを目指す、Twitter の 6つの戦略とは? _2
10億人のユーザーを目指す、Twitter の 6つの戦略とは? _3
10億人のユーザーを目指す、Twitter の 6つの戦略とは? _4

10億人のユーザーを目指す、Twitter の 6つの戦略とは? _2

Posted in NoSQL, Twitter by Agile Cat on June 10, 2010

Six Ways Twitter May Reach its Big Hairy Audacious Goal of One Billion Users _2
DateMonday, June 7, 2010 at 8:06AM
http://highscalability.com/blog/2010/6/7/six-ways-twitter-may-reach-its-big-hairy-audacious-goal-of-o.html

image

初めての方は、その1から お読みください。

3: Hug Developers and Users – デベロッパーとユーザーを抱き込む

The overall impression I get watching the Chirp conference videos is that Twitter really wants to wrap its ever lengthening corporate arms around developers and users in a big giant Bear hug. Twitter acts as if they love developers and users and they are banking on that love being reciprocated.

Chirp Conference から得た全体的な印象は Twitter が、長期的な視野において、その大きな手でデベロッパーとユーザーを包み込もうと、本気で望んでいることだ。 Twitter はデベロッパーとユーザーを愛し、その見返りがあるかのように振舞っている。

Twitter repeatedly talks about wanting to help their developers build great stuff and enable innovation. They say Twitter is the ecosystem, so the healthier they can make the ecosystem the more they will grow. But talk is cheap and money is often the best form of support. Developers need to make money, so showing some concern over how developers put food on the table is a nice touch. Promoted tweets are how they want to share revenue with 3rd party apps. That’s love.

Twitter は、そのデベロッパーが偉大なものを構築し、また、革新を実現していけるよう、支援していくと繰り返し発言している。 そして、Twitter は自らをエコシステムであると言及している。 したがって、自身の成長よりも、エコシステムの構築の方が健全である。 しかし、その話は陳腐であり、また、大半のケースにおいて、現金の提供が最適な支援となる。 したがって、デベロッパーは利益を上げる必要になり、また、彼らの食卓にご馳走をおいてあげることが、すてきな感触をかもしだす。 どのようにして、Twitter とサードパーティは利益を共有するのだろか。 それこそ愛である。

Twitter has an actual goal of making developers happy. Not kidding, it was in the power point. Who knows how successful they will be, but by having developer happiness as goal it should mean something.  Part of that is making Twitter reliable and expanding capabilities. They want to support, fulfill, and make sure developers have all the tools they need to make great products. They are asking for help to give them feedback. They think there’s plenty of opportunity in the platform and they want you to think big and build big. So the story with developers is good.

Twitter は、デベロッパーを幸福にするための具体的な目標を持っている。 冗談ではなく、そのような PPT は存在した。どれぐらい Twitter が成功するのかを知っているにしても、デベロッパーの幸福を目的にするなら、何らかの理屈が存在すべきだ。 そうしたことが、Twitter を信頼感を与え、その能力を拡大していく。デベロッパーが素晴らしいプロダクトを作るために必要な、すべてのツールを提供するためのサポート/役割/約束を、Twitter は望んでいる。そして、Twitter はフィードバックを得るための、支援を求めていることになる。そのプラットフォームにおいて、たくさんのチャンスがあると考え、また、サードパーティに偉大な発想と構築を実現してほしいと望んでいる。 このストーリーは、デベロッパーにとって最適なものとなる。

Historically, the story with users has been not so good. The hug style with users has been more A-frame than Bear. Twitter has had a pretty bad UI and is quirky to use. New users are often bewildered by Twitter. Traditionally Twitter has counted on 3rd party developers to fill in those holes. Now they are trying to create a more unified experience by creating their own UI and focussing more on the user experience, making it "friction free." This prong of the strategy seems to have the most risk, but there is evidence of concern and effort. Will this be enough to reach the one billion user payday?

歴史的にみて、このストーリーをユーザーと共有することは、良い結果をもたらさなかった。 この、ユーザーと抱擁しあうスタイルは、忍耐というよりはもたれ合いの構造となる。 Twitter には、かなり酷い UI があり、その用法も風変わりだ。 Twitter の新しいユーザーが、しばしば当惑することになる。 これまでのところ、その穴埋めのために、サード・パーティーであるデベロッパーが当てにされてきた。現時点においては、Twitter は自身の UI を作ることで、さらに統一されたエクスペリエンスを作ろうとしている。 そして、使いにくさを排除するための、さらなるユーザー・エクスペリエンスに焦点を合わせている。この戦略の切っ先には、最大のリスクが伴うと思われるが、その関心と努力に関する証拠もある。しかし、10億人のユーザーから、利用料を得るのに充分だろうか?

4: Drive the Technology Out, Up, and Forward – テクノロジー取捨選択を推進する

We’ve already talked about all the major components of their infrastructure Twitter has open sourced. They are pushing the technological envelop. According to Alex Payne, Twitter has made a conscious effort to stop thinking of their architecture as a Rails app and start building isolated services that cooperate over a messaging backbone. We’ve seen the result of this realization. The site is more reliable, performs better, and is now primed for more user growth.

Twitter がオープンにしている大半のインフラストラクチャについて、すでに私たちは言及している。 それらは、テクノロジーを覆い包むものである。 Alex Payne によると、 Twitter はアーキテクチャについて、起動に乗ったアプリケーションであると考えるのを止め、そのメッセージ・バックボーンを協調する独立したサービスを構築しようと、意識的に努力しているとされる。この認識については、結果が確認されている。 このサイトは、さらなる信頼性を持ち、優れた能力を発揮し、そして、ユーザーの成長に備えて準備されている。

Twitter is also getting their operations act in good order. Part of that massive effort is bringing more under their own control by moving into their own data center.

また、Twitter は適切な手順で、その運用も改善している。 Twitter 独自のデータセンターへ引っ越すことで、その大規模な作業は、自らの管理に委ねられる。

Twitter, the ultimate API driven product, continues to innovate their API, adding new features like User Stream, Places, Annotations, and @Anywhere.

Twitter は究極の API 駆動型プロダクトであり、自身の API を継続して進化させ、ユーザーの Stream/Place/Annotation/@Anywhere などを加えていく。

When you take a look on all these fronts there’s no sign of slowing down, Twitter is actually speeding up. Will more users want to hop aboard?

スローダウンの兆候もなく、それらの機能について確認が可能となるとき、Twitter は本当にスピードアップされたことになる。 これまで以上のユーザーが、そこに飛び乗ろうとするだろうか?

<続く>

ーーーーー

<関連>
10億人のユーザーを目指す、Twitter の 6つの戦略とは? _1
10億人のユーザーを目指す、Twitter の 6つの戦略とは? _2
10億人のユーザーを目指す、Twitter の 6つの戦略とは? _3
10億人のユーザーを目指す、Twitter の 6つの戦略とは? _4
ーーーーー
おおっ!と 驚きながら 数字で見る Twitter : Apr. 14, 2010
Twitter が Cassandra を選んだ理由 — MyNoSQL
Hadoop : Twitter よ、お前もか!
yoshiyuki kanno さんの Apache Cassandra 用語集(日本語版)
Digg が Cassandra を採用する理由 by John Quinn

10億人のユーザーを目指す、Twitter の 6つの戦略とは? _1

Posted in Big Data, NoSQL, Twitter by Agile Cat on June 9, 2010

Six Ways Twitter May Reach its Big Hairy Audacious Goal of One Billion Users _1
DateMonday, June 7, 2010 at 8:06AM
http://highscalability.com/blog/2010/6/7/six-ways-twitter-may-reach-its-big-hairy-audacious-goal-of-o.html

image

alt

Twitter has a big hairy audacious goal of reaching one billion users by 2013. Three forces stand against Twitter. The world will end in 2012. But let’s be optimistic and assume we’ll make it. Next is Facebook. Currently Facebook is the user leader with over 400 million users. Will Facebook stumble or will they rocket to one billion users before Twitter? And lastly, there’s Twitter’s "low" starting point and "slow" growth rate. Twitter currently has 106 million registered users and adds about 300,000 new users a day. That doesn’t add up to a billion in three years. Twitter needs to triple the number of registered users they add per day. How will Twitter reach its goal of over one billion users served?

Twitter は 2013年までに10億人のユーザーに到達するという、身の毛もよだつ大胆な目標を持っている。 そして Twitter は、3つの圧力に立ち向かう。 まず、世界は 2012年に終わってしまうらしいが、私たちは楽天的になれると想定しよう。 次に Facebook の存在だ。 Facebook は現時点において 4億人以上のユーザーを持ち、また、この指標におけるリーダーとなっている。 Facebook は行き詰まるだろうか? それとも、Twitter より早く 10億人のユーザーに至るだろうか? そして最後に、Twitter における「低レベルな」スターティング・ポイントと、「遅い」成長率がある。 現在の Twitter には 1億600万人の登録ユーザーがいて、1日に約 30万人の新規ユーザーが加わっている。 しかし、それだけでは、3年のうちに10億人には届かない。 つまり、1日あたりの新規登録ユーザー数を、3倍に引き上げる必要がある。 どのようにすれは、Twitter は 10億ユーザーという目標に達するのだろうか?

From recent infrastructure announcements and information gleaned at Chirp (videos) and other talks, it has become a little clearer how they hope to reach their billion user goal: 1) Make a Big Hairy Audacious Goal 2) Hire Lots of Quality People 3) Hug Developers and Users 4) Drive the Technology Out, Up, and Forward 5) Ride the Farmville-like Network Effect 6) Ubiquity.

最近のビデオクリップや発言から、インフラストラクチャに関する情報を拾い集めることで、Twitter が10億ユーザーという目標を達成するための方法が、少しずつ明らかになってきた: 1) 身の毛もよだつほどの大胆な目標を設定する 2) たくさんの優秀な人材を雇用する 3) デベロッパーとユーザーを抱き込む 4)テクノロジー取捨選択を推進する 5) Farmville ライクなネットワーク効果に乗る 6) ユビキタスを実現する。

1: Make a Big Hairy Audacious Goal – 身の毛もよだつほどの大胆な目標を設定する

Twitter wants to be the first application to reach a billion users. They want to be the pulse of the planet. They want to rule the world. Twitter has a Big Hairy Audacious Goal and that makes all the difference.

Twitter が望むのは、10億ユーザーを抱える最初のアプリケーションになることだ。 それは、この惑星の動脈になることであり、また、 世界を支配していくものとなる。 つまり、Twitter の身の毛のよだつほどの目標 (Big Hairy Audacious Goal) は、空前絶後のものになる。

Google started small, incrementally proved themselves, and then exploded on the back of an unprecedented  emphasis on competition crushing infrastructure. Would Google have innovated to the same degree without a BHAG: Organize the world’s information and make it universally accessible and useful? I don’t see how.

Google は小じんまりとスタートし、徐々に自らを証明した後に、インフラストラクチャに厳しさを強いる競合において、前例のない圧倒的な対比を見せつけた。 Google は BHAG  (Big Hairy Audacious Goal) を必要とすることなく、同程度の革新を実現できたのだろうか? つまり、世界の情報を整理し、そこへのアクセスを実現し、そして有用なものにしたのかという疑問が残る。どのようにしてとなると、私には理解ができない。

A BHAG gives you permission to make harder decisions, take bigger risks, and invest more. It makes you think many orders of magnitude into the future. You just can’t mess with incremental improvements in SQL queries anymore. You have to be more thoughtful, more professional. You have to invest in tech, build platforms, automate, and think quality matters.

BHAG がもたらすのは、さらにり難しい判断と、大きいリスク、そして多額の投資である。 それは、将来における規模の、多様な状況について考えさせるものとなる。 つまり、SQL クエリーのインクリメンタルな改善を、無秩序に行うことは不可能になる。 そして、思慮深いプロフェッショナルが必要になる。 テクノロジーへの投資と、プラットフォームの作成、自動化、そして品質について考えなければならない。

We’ve seen this evolution with Chirp Conference and their technology choices. Twitter has switched from Mongrel to Unicorn for more efficient HTTP request handling. Twitter has created FlockDB, their own graph database to handle relationships. Twitter is using Hadoop for large scale analytics that are use to monitor and improve the system. Twitter has created Gizzard, a framework for sharding data across multiple data-stores. Twitter is switching to Cassandra for more scalability, easier operations, and cross data center functionality.

そのような革新を、私たちは Chirp Conference とテクノロジー選択を介して確認している。 さらに効率的な HTTP のリクエストの取扱いのために、Twitter は Mongrel から Unicorn へと移行している。また、リレーションシップを処理するための、独自のグラフ・データベースとして FlockDB を開発している。また、システムのモニターと改善のために、ラージ・スケール分析に適した Hadoop も利用している。 そして、マルチ・データ・ストアをまたいだ Sharding においては、Gizzard というフレームワークを作成している。 さらに、スケーラビリティの改善と、容易なオペレーション、そして、クロス・データセンター機能のために、Cassandra への切り替えを推進している。

Clearly this is a Twitter that has gone far beyond tuning ActiveRecord SQL queries and is now swinging for the fences on their infrastructure and their vision. Exactly as one might expect if you are driven by a Big Hairy Audacious Goal. It’s an attitude.

明らかなのは、Twitter がActiveRecord SQL クエリーの調整を超えて、彼らのビジョンとインフラストラクチャを隔てるカベを取り払おうとしていることである。 正確に言うと、身の毛のよだつ目標 (Big Hairy Audacious Goal) に突き動かされる人には、予期できるものなのだろう。 それも、ひとつの考え方である。

2: Hire Lots of Quality People – たくさんの優秀な人材を雇用する

You may have noticed the Twitter Fail Whale visiting a lot less lately. Twitter is now more reliable than Facebook and had a 99.91% uptime in April, 2010. It’s no coincidence that Twitter has also been hiring a lot of very competent people. It may be trite, but good people build good stuff, and as Twitter has been hiring good people Twitter has been getting better. You see their impact up and down the stack. Without these changes Twitter may have already swan dived into the dead pool. Their infrastructure has matured, which provides a solid base for building the next generation of user attracting features, without having to fear the great white whale.

最近になって、Twitter クジラの登場回数が、ぐっと少なくなっていることに気付いているかもしれない。 すでに、Twitter の信頼性は Facebook より高く、また、2010年4月には 99.91%のアップタイムを記録している。 とのことは、Twitter が数多くの優秀な人材を雇用しているのと、無関係なわけではない。 使い古された言い回しかもしれないが、優秀な人々は、優秀なものを作る。そして、Twitter が優秀な人々を雇用するにつれて、Twitter 自身が良くなってきている。 つまり、その影響について確認できるようになってきた。 すでに Twitter は、そうした変化を待つことなく、先の見えない世界に飛び込んでいる。 Twitter のインフラストラクチャは成熟してきた。 そして、巨大な白鯨を恐れることなく、ユーザーを惹きつける次世代の機能を構築するための、強固な基盤を実現している。

<続く>

ーーーーー

<関連>
10億人のユーザーを目指す、Twitter の 6つの戦略とは? _1
10億人のユーザーを目指す、Twitter の 6つの戦略とは? _2
10億人のユーザーを目指す、Twitter の 6つの戦略とは? _3
10億人のユーザーを目指す、Twitter の 6つの戦略とは? _4
ーーーーー
おおっ!と 驚きながら 数字で見る Twitter : Apr. 14, 2010
Twitter が Cassandra を選んだ理由 — MyNoSQL
Hadoop : Twitter よ、お前もか!
yoshiyuki kanno さんの Apache Cassandra 用語集(日本語版)
Digg が Cassandra を採用する理由 by John Quinn

%d bloggers like this: