Agile Cat — in the cloud

かなり マッド な、Facebook の アケオメ 対策とは?

Posted in .Selected, Big Data, Facebook by Agile Cat on January 10, 2012

How Facebook Handled the New Year’s Eve Onslaught
http://wp.me/pwo1E-3Nw
Wednesday, January 4, 2012 at 9:15AM
http://highscalability.com/blog/2012/1/4/how-facebook-handled-the-new-years-eve-onslaught.html

_ highscalability

How does Facebook handle the massive New Year’s Eve traffic spike? Thanks to Mike Swift, in Facebook gets ready for New Year’s Eve, we get a little insight as to their method for the madness, nothing really detailed, but still interesting.

Facebook は、どのようにして、強烈な New Year’s Eve のトラフィック・ピークに対処したのだろう? Mike Swift の働きにより、Facebook のアケオメ対策は完了していた。 詳細まで触れずとも、その気狂いじみた、しかし、きわめて興味深い、彼らの方法論について簡潔に洞察していこう。

Problem Setup

  • Facebook expects tha one billion+ photos will be shared on New Year’s eve.
  • Facebook’s 800 million users are scattered around the world. Three quarters live outside the US. Each user is linked to an average of 130 friends.
  • Photos and posts must appear in less than a second. Opening a homepage requires executing requests on a 100 different servers, and those requests have to be ranked, sorted, and privacy-checked, and then rendered.
  • Different events put different stresses on different parts of Facebook.
  • Different events put different stresses on different parts of Facebook.
    • Photo and Video Uploads – Holidays require hundreds of terabytes of capacity
    • News Feed – News events like big sports events and the death of Steve Jobs drive user status updates

 

  • Facebook は、大晦日に 10億枚以上の Photo がシェアされると予測していた。
  • Facebook の、8億人 のユーザーは、世界中に散在している。 そして、その 3/4 が、アメリカ国外に住んでいる。 それぞれのユーザーは、平均として 130人のフレンドとリンクしている。
  • Photo と Post は、1秒以内で表示されなくてはならない。 ホームページのオープンは、100 のサーバー上でのリクエスト実行を必要とする。そして、それらのリクエストに関しては、順位付けと、ソート、プライバシー・チェックが必須であり、その後に表示されることになる。
  • それぞれのイベントが、Facebook 上の別パートにストレスを与えることになる。
    • Photo and Video Uploads – 休日の場合には、数 100 Tera Byte のキャパシティが必要になる。
    • News Feed – 大がかりなスポーツ大会や、Steve Jobs の訃報のような News Event は、ユーザー・ステータスの更新を促進させる。

imageCoping Strategies

  • Try to predict the surge in traffic. 
  • Run checks on hardware and software to find problems.
  • Designate engineers to be on call.
  • Prepare to bring additional capacity online from data centers. Implication is that your architecture can handle additional capacity and make meaningful use of it.
  • Overbuild a matter of culture so big events aren’t big challenges.
  • Prepare emergency parachutes.  These are knobs that can be turned to survive system failures or unanticipated surges in traffic. For example, for a  capacity problem they can serve smaller photos to reduce bandwidth usage. The idea is to not go off-line completely when there’s a problem, but to degrade gracefully.
  • トラフィックが、急激に上昇する事態を予見する。
  • 問題を発見するために、ハードウェアとソフトウェアに関する入念な稼働チェックを行う。
  • エンジニアの待機。
  • データセンターのオンライン・キャパシティに関する、予備的な領域を用意する。その意味合いは、アーキテクチャが追加のキャパシティに対応し、それを有効に活用できるという事である。
  • ビッグ・イベントが大きな挑戦ではないと捉えるように、文化面での問題を克服する。
  • 緊急用のパラシュートを準備する。  それらは、システム障害から生き残り、予期できないトラフック上昇に対処するための命綱である。 たとえば、キャパシティに問題が生じたときに、Photo を小さなものに切り替えて、帯域幅の使用量を低減させる。 この発想は、問題が生じても、絶対にオフ・ラインにしない点に集約される。ただし、美しさは損なわれる。

Top Five Global Events for Facebook status updates in 2011

  • Death of Osama Bin Laden, May 2
  • Packers win the Super Bowl, Feb. 6
  • Casey Anthony verdict, July 5.
  • Charlie Sheen, early March.
  • Death of Steve Jobs, Oct. 5

Related Articles

 

ーーーーー

TAG indexこの 2012年が明けて 5分も経たずに、Twitter はあえなく クジラさんを出して白旗降伏でした。 TweetDeck からの API は活きていましたので、おそらく、Web サーバーのロード・バランシングが破綻したのだと思いますが、聞くところによると、HootSuite も死んでしまったようです。 その一方で、Facebook は普段と変わらず、押し寄せるトラフィックを淡々と処理していました。 そして、その背景には、こんな努力と工夫があるのだと、ただただ驚嘆するばかりです。 ーーー __AC Stamp 2

ーーーーー

<関連>

いまの Facebook では、4.74 人 を介すれば 8 億人 とつながるらしい
Facebook の規模は、2004年当時のインターネット全体に匹敵する
Facebook メッセージを支えるストレージ・インフラ
Facebook Timeline は、新しいプライバシーを試すのか?
Facebook が買収した MailRank って、あの Second Life の・・・

 

さらなる クラウド M&A が押し寄せる

Posted in .Selected, Businesses, OpenStack, Research by Agile Cat on January 10, 2012

More cloud computing M&A ahead
http://wp.me/pwo1E-3Nq
By
Barb Darrow Jan. 6, 2012
http://gigaom.com/cloud/get-ready-for-more-cloud-consolidation/

_ Gigaom

The wave of M&A activity swelling the cloud services sector won’t stop with the software-as-a-service (SaaS) arena. Internap’s planned $30 million purchase of Voxel, announced early this week, signals a land rush for cloud services, beyond SaaS, several experts said.

クラウド・サービス・エリアを揺さぶる M&A アクティビティの波は、SaaS アリーナの動きにより、留まることはないだろう。 今週の初めに(1/2)発表された、Internap が $30 million で Voxel を買収するという計画は、SaaS を超えたクラウド・サービス全般に対して、M&A が殺到する予兆になると、何人かの専門家は発言している。

Nearly everyone agrees that smaller, capable cloud services providers — companies like Bluelock, Cloud Sigma, and Virtustream, make attractive acquisition targets as legacy IT companies, larger cloud service providers, and even IT channel companies look to bulk up their offerings.

従来からの IT 企業や、大規模クラウド・サービス・プロバイダ、さらには IT チャネル企業であっても、それらがサービスを拡大するとき、小規模で有能なクラウド・サービス・プロバイダ(BluelockCloud SigmaVirtustream など)にとって、魅力的な買収ターゲットになると、ほとんど全ての人々が考えるだろう。

“There’s tons of consolidation coming because this is a big boy’s game,” said Andres Rodriguez, CEO of Nasuni, a cloud storage management company. “Look at the storage piece, it’s like the hard drive business. How many hard drive makers are there? Not many. For the same reason, those [few companies] with economies of scale survive.”  (Nasuni works with all the cloud storage providers so he’s pretty agnostic on this point.)

「 それらは、Big Boy たちのゲームであるがゆえ、とてつもないコンソリデーションが生じてくる。 ストレージの領域を見ると、HDD ビジネスに似ているのに気づくだろう。 いったい、どれだけの HDD メーカーがあるだろうか? 答えは、少数である。 それと同じ理由で、少数の企業だけが、規模の経済の中で生き残る」と、クラウド・ストレージ・マネージメント会社 Nasuni の CEO である Andres Rodriguez は発言している。  (Nasuni は、すべてのクラウド・ストレージ・プロバイダと協調しているため、この点において、彼は絶対者である)

Companies like Rackspace or Internap, are in the traditional hosting business have lots of server capacity but may need more of the software intelligence that a smaller player can bring them. We’ve already witnessed traditional tech players — Hewlett-Packard, Oracle, IBM and others — buy their way into more cloud services. Now watch for some of their channel partners to jump in as well.

従来からのホスティング・ビジネスを展開する Rackspace や Internap といった企業は、大量のサーバー・キャパシティを有しているが、小規模プレーヤーが提供する、さらなるソフトウェア・インテリジェンスを必要とするかもしれない。伝統的なテクニカル・プレーヤーである、Hewlett-Packard や、Oracle、IBM などが、多様なクラウド・サービスの中から、彼らの将来を買い求めているという状況を、私たちは既に目撃している。 いまは、彼らのチャンネル・パートナーの一部が、この流れに合流するのかどうか、注意深く観察すべきだろう。

That means companies that distribute or resell high-tech gear — companies like CDW and Staples — will enter the bidding war if they haven’t already, said Marty Wolf, president and founder of Martin Wolf M&A Advisors, a company that consults on M&A strategies.

それは、CDW や Staples といった、ハイテク・ギアの卸業/小売業に従事する企業が、競争入札に巻き込まれるか、すでに巻き込まれていることを意味すると、Martin Wolf M&A Advisors の President and Founder である Marty Wolf は、M&A ストラテジ・コンサルティングの視点から語っている。

Wolf agreed that cloud services represent “the ultimate game of scale” and that more traditional IT players will keep investing to up their ability to compete in that arena. But there’s another trend at work here as more small and medium businesses (SMBs) decide there’s no reason to keep buying servers and storage when they can outsource all that to the cloud. Many IT incumbents remain ill-equipped to deal with this class of business customers.

Wolf は、クラウド・サービスが「究極のスケール・ゲーム」だという表現に同意している。そして、従来からの IT プレーヤーたちは、アリーナでの戦闘能力を高めるために、投資し続けることになるとも言う。 しかし、数多くの中小企業(SMB)が、すべてをクラウドにアウトソースする際に、サーバーやストレージを購入し続ける必要がないと判断するとき、そこで動き出す、もう 1つのトレンドがある。しかし、IT に従事する、数多くの責任者たちが、こうしたレベルで物事を考えるビジネス・カスタマと、商取引するだけの準備ができていないところに問題がある。

“It’s one thing for EDS to outsource stuff for Kraft. They get that. But these big [IT] service companies aren’t good dealing with smaller businesses,” Wolf said. (EDS or Electronic Data Systems was the giant services company HP bought a few years back.)

「EDS が、Kraft にスタッフをアウトソースするのは、その一例である。 彼らは、そのような方式を採用しているが、こうした 大手[ IT ]サービス企業は、中小企業の取り扱いが上手くない」と、Wolf は言う。(EDS – Electronic Data Systems は、数年前に HP が買収した大手のサービス会社である)

That means that the tech resellers — or anyone with customer relationships with these SMBs — will buy up cloud services so they can keep those customers in the fold, Wolf said.

そして、テクニカル・リセラー(あるいは、SMB とビジネス・リレーションを持つ各種企業)が、その顧客を手元に置いておくために、クラウド・サービスを買い占めることになる、と Wolf は言う。

There is a potential dark side to all this action, Rodriguez warned. The cloud services companies that don’t get acquired and don’t scale “could be in a death spiral,” he said.

それら全てのアクションに、潜在的な Dark Side が存在すると、Rodriguez は警告している。 企業買収とスケール拡大の道を閉ざされたクラウド・サービス企業は、「デス・スパイラルに陥りかねない」と、彼は付け加えている。

Wolf, who is in the M&A biz after all, prefers to look on the bright side. As channel companies, legacy tech companies and bigger cloud providers jostle for position: “We’ll see confluence here like we haven’t seen since 1999.”

そして、チャネル・カンパニーや、従来からのテクノロジー企業、そして、大規模クラウド・プロバイダが、そのポジションを確保するために戦うとき、私たちは、1999年以降に見たことの無かった、大きな合流を目にすることになるだろう。

Photo courtesy of  Flickr user Perpetualtourist2000

Related research and analysis from GigaOM Pro:

ーーーーー

research新年早々の 1月2日に発表された、Internap による Voxel の買収計画を聞いたとき、ずいぶんとダイナミックな動きだと感じましたが、この記事を読むと、それで必須であったと思えてきます。 昨年の春に、Rackspace に先じるかたちで、OpenStack ベースのパブリック・クラウドを発表し、また、開発に着手した Internap は、そのサービス・インと同時に、大量の顧客を必要としていたのだと推測できます。 こうした流れが広まるなら、この先、大量の M&A が発生すると予測できますし、異業種間での熾烈な戦いが、随所で展開されていくのでしょう。 「究極のスケール・ゲーム」という表現が、IT の未来を示唆しているようにも思えます。 ほんとうに、目が離せませんね。 ーーー __AC Stamp 2

ーーーーー

<関連>

Internap が構築する、OpenStack-Based のパブリック・クラウドとは?
OpenStack の一番手 – Internap のビジネスが始まる
Internap は $30M で Voxel を買収し、さらに OpenStack を推進する
注目のクラウド・スタートアップ 10社 は、2012年 に大化けするだろうか?
Netflix は Verizon に買収されてしまうのか?

%d bloggers like this: