Agile Cat — in the cloud

Facebook の データセンター戦略に関する FAQ _2

Posted in Data Center Trends, Facebook, Open Compute by Agile Cat on October 4, 2010

The Facebook Data Center FAQ_2
September 27th, 2010 : Rich Miller
http://www.datacenterknowledge.com/the-facebook-data-center-faq-page-2/ 
We continue with the
Facebook Data Center FAQ.

前回に続いて、Facebook データセンター戦略に関する、Data Center Knowledge レポートの抄訳です。 このレポートは、単に Facebook のことだけではなく、アメリカのデータセンター業界のことも説明してくれているので、とても面白いです。 なお、FAQ_1 を読んでいない方は、以下の URL を先にど~ぞ。  ーーー A.C.

http://wp.me/pwo1E-1OC

ーーーーー

image

How Many Servers Does Facebook Have?

This chart provides a dramatic visualization of Facebook’s infrastructure growth. It documents the number of servers used to power Facebook’s operations.

このチャートにより、Facebook のインフラストラクチャが劇的に成長している様子がわかる。 つまり、Facebook の運営を強化するために用いられた、サーバー台数が記されている。

clip_image001

“When Facebook first began with a small group of people using it and no photos or videos to display, the entire service could run on a single server,” said Jonathan Heiliger, Facebook’s vice president of technical operations. Not so anymore. Technical presentations by Facebook staff suggest that as of June 2010 the company was running at least 60,000 servers in its data centers, up from 30,000 in 2009 and 10,000 back in April 2008.

『 少人数のグループが Facebook を使い始めた頃には、また、写真やビデオを表示することはなく、すべてのサービスがシングル・サーバー上で実行されている』と、Facebook の技術担当副社長である Jonathan Heiliger は発言している。しかし、もはや状況は大きく異なる。 Facebook のテクニカル・スタッフによるプレゼンテーションが示すのは、2009年の 30,000 台、そして 2008年4月の 10,000 台に対して、少なくとも 2010年6月以降は 60,000台のサーバーが、そのデータセンターで運用されてきた経緯である。

There are companies with more servers (see Who Has the Most Web Servers?for details). But the growth curve shown on the chart doesn’t even include any of the servers that will populate the Oregon data center – which may be the first of multiple data centers Facebook builds to support its growth.   

Facebook 以上にサーバーを保有している、いくつかの企業があるが、その詳細については  Who Has the Most Web Servers? を参照して欲しい。なお、このチャートに示される成長曲線には、Facebook の成長を促進するために、初めて同社が Oregon に構築する、データセンター群に移行されるものまで含まれている。

What kind of servers does Facebook use?

Facebook doesn’t often discuss which server vendors it uses. In 2007 it was buying a lot of servers from Rackable (now SGI), and is also known to have purchased servers from Dell, which customizes servers for its largest cloud computing customers.

Facebook は使用しているサーバーのベンダーについて、あまり話をしない。 2007年には、Rackable(現 SGI)から大量のサーバーを購入し、また、大量のクラウド・コンピューティング・カスタマーのためにカスタマイズされたサーバーを、Dell から購入したことも知られている。

Facebook VP of Technical Operations Jonathan Heiliger has sometimes been critical of major server vendors’ ability to adapt their products to the needs of huge infrastructures like those at Facebook, which don’t need many of the features designed for complex enterprise computing requirements. “Internet scale” companies can achieve better economics with bare bones servers that are customized for specific workloads.

Facebook の技術担当副社長である Jonathan Heiliger は、同社のような巨大インフラストラクチャのニーズに対して、プロダクトを適応させるメジャー・サーバー・ベンダーの能力について、懐疑的なときがある。そこでは、複雑なエンタープライズ・コンピューティングのために設計された、数多くの機能が必要とされない。つまり、『 インターネット・スケール 』 の企業は、特定のワークロードに最適化された最低限のサーバーを用いて、さらに優れた経済性を達成する方式を知っている。

clip_image002

← A look at the fully-packed server racks inside a Facebook data center facility.

In a conference earlier this year, Heiliger identified multi-core server vendors Tilera and SeaMicro as “companies to watch” for their potential to provide increased computing horsepower in a compact energy footprint. But reports that Facebook planned to begin using low-power processors from ARM – which power the iPhone and many other mobile devices – proved to be untrue. “Facebook continuously evaluates and helps develop new technologies we believe will improve the performance, efficiency or reliability of our infrastructure,” Heiliger said. “However, we have no plans to deploy ARM servers in our Prineville, Oregon data center.”

今年のはじめに開催されたカンファレンスで Heiliger は 、コンパクトなエネルギー・フットプリントでコンピューティングにパワーを提供することが可能な、『 同社が注目』する潜在能力を持つマルチコア・サーバ・ベンダーとして、Tilera と SeaMicro を認識している。ただし、ARM から提供される低電力プロセッサ(iPhone などのモバイル・デバイスにパワーを供給)を、Facebook が用いるという計画は、事実ではないと判明した。 『 Facebook が信じる新技術の開発を、継続して評価・促進していくことが、私たちのインフラストラクチャにおける性能/効率/信頼性を改善していく。 しかし、Oregon Prineville のデータセンターで、ARM サーバーをディプロイする計画はない 』と、Heiliger は発言している。

What kind of software does Facebook Use?

Facebook was developed from the ground up using open source software. The site is written primarily in the PHP programming language and uses a MySQL database infrastructure. To accelerate the site, the Facebook Engineering team developed a program called HipHop to transform PHP source code into C++ and gain performance benefits.

Facebook のサイトは、オープンソース・ソフトウェアを用いて、その基盤から構築されている。 それは、主として PHP プログラム言語で記述され、また、MySQL データベース・インフラストラクチャを用いている。

PHP ソースコードを C++ に変換することで性能を改善する、HipHopというプログラムの開発により、Facebook Engineering チームは、このサイトを加速させている。

Facebook has one of the largest MySQL database clusters anywhere, and is the world’s largest users of memcached, an open source caching system. Memcached was an important enough part of Facebook’s infrastructure that CEO Mark Zuckerberg gave a tech talk on its usage in 2009.

いずれにせよ、Facebook は最大級の MySQL データベース・クラスタを保有し、また、オープンソースのキャッシュ・システムである、memcachedにおける世界最大のユーザーである。CEO Mark Zuckerberg が、その用法について 2009年に説明したように、memcached は Facebook インフラストラクチャの、あらゆるパートでの重要な役割を担う。

Facebook has built a framework that uses RPC (remote procedure calls) to tie together infrastructure services written in any language, running on any platform. Services used in Facebook’s infrastructure include Apache Hadoop, Apache Cassandra, Apache Hive, FlashCache, Scribe, Tornado, Cfengine and Varnish.

さらに Facebook は、あらゆる言語で記述されたインフラストラクチャ・サービスを、あらゆるプラットフォーム上で実行することで連携を実現する、RPC(remote procedure calls)を用いたフレームワークを開発している。 Facebook のインフラストラクチャで用いられるサービスには、Apache Hadoop や、Cassandra、Apache Hive、FlashCache、Scribe、Tornado、Cfengine、Varnish などが含まれる。

How much Does Facebook Spend on Its Data Centers?

An analysis of Facebook’s spending with data center developers indicates that the company is now paying about $50 million a year to lease data center space, compared to about $20 million when we first analyzed its leases in May 2009.

Facebook がデータセンター・デベロッパーに費やすコストについては、最初の分析である 2009年 5月での $20 million と比較して、現時点では、そのデータセンター・スペースをリースするために $50 million が支払われとされる。

The $50 million a year includes spending is for leases, and doesn’t include the cost of the Prineville project, which has been estimated at between $180 million and $215 million. It also doesn’t include Facebook’s investments in server and storage hardware, which is substantial.

ただし、この $50 million はリース料であり、 $180 ~ $215 million と見積もられる Prineville プロジェクトのコストは含まれない。さらに言えば、サーバーとストレージに関する、相当額の投資も含まれていない。

Facebook currently leases most of its data center space from four companies:Digital Realty Trust, DuPont Fabros Technology, Fortune Data Centers and CoreSite Realty.

現時点において Facebook は、Digital Realty Trust / DuPont Fabros Technology / Fortune Data Centers / CoreSite Realty といった 4社から、そのデータセンター・スペースをリースしている。

Here’s what we know about Facebook’s spending on its major data center commitments:

以下は、大規模データセンターを運用するために、Facebook が支払っている費用について、私たちが把握している内容である:

  • Facebook is paying $18.1 million a year for 135,000 square feet of space in data center space it leases from Digital Realty Trust (DLR) in Silicon Valley and Virginia, according to data from the landlord’s June 30 quarterly report to investors.

  • Digital Realty Trust が 6月30日に出資者に提供した四半期レポートによると、Silicon Valley と Virginia において、Facebook は $18.1 million / 年で、135,000 平方フィートのデータセンセー・スペースを同社からリースしている。

  • The social network is also leasing data center space in Ashburn, Virginia from DuPont Fabros Technology(DFT). Although the landlord has not published the details of Facebook’s leases, data on the company’s largest tenants reveals that Facebook represents about 15 percent of DFT’s annualized base rent, which works out to about $21.8 million per year.

  • DuPont Fabros Technology (DFT) から、Ashburn, Virginia のデータセンター・スペースをリースしている。Facebook が支払うリース料に関して、同社は詳細なレポートを提供していない。 ただし、同社における最大級のテナントを示す資料によると、全体の 15% を Facebook がリースし、その費用は $21.8 million / 年と推測される。

  • Facebook has reportedly leased 5 megawatts of critical load – about 25,000 square feet of raised-floor space – at a Fortune Data Centers facility in San Jose.

  • San Jose の Fortune Data Centers において、Facebook は 25,000 平方フィートのスペースをリースし、5メガワットの電力を消費しているとされる。

  • In March, Facebook agreed to lease an entire 50,000 square foot data center that was recently completed by CoreSite Realty in Santa Clara.

  • この 3月に、Santa Clara の CoreSite Realty が提供した資料による、50,000 平方フィートのリースについて、Facebook は事実であると認めている。

  • Facebook also hosts equipment in a Santa Clara, Calif. data center operated by Terremark Worldwide (TMRK), a Palo Alto, Calif. facilityoperated by Equinix (EQIX) and at least one European data center operated by Telecity Group. These are believed to be substantially smaller footprints than the company’s leases with Digital Realty and DuPont Fabros.

That adds up to an estimated $40 million for the leases with the Digital Realty and DuPont Fabros, When you add in the cost of space for housing equipment at Fortune, CoreSite, Terremark, Switch and Data, Telecity and other peering arrangements to distribute content, we arrive at an estimate of at least $50 million in annual data center costs for Facebook.

Digital Realty や DuPont Fabros などからのリースを加えると、そのコストは $40 million になると思える。また、コンテント配信について、Fortune / CoreSite / Terremark / Switch and Data / Telecity などを加えると、Facebook のための年間データセンター・コストは、少なくとも $50 million という見積もりになる。

Facebook’s costs remain substantially less than what some other large cloud builders are paying for their data center infrastructure. Google spent $2.3 billion on its custom data center infrastructure in 2008, while Microsoft invests $500 million in each of its new data centers. Those numbers include the facilities and servers.

Facebook のコストは、他のメジャー・クラウド・ビルダーがデータセンターに支払う費用を大きく下回る。 Google は 2008年に、自身のデータセンター・インフラストラクチャに $2.3 billion を費やし、また、Microsoft も新しいデータセンターに $5 billion を投資している。ただし、それらの金額には、設備とサーバーも含まれている。

How Many People Are Needed to Run Facebook’s Data Centers?

As is the case with most large-scale data centers, Facebook’s facilities are highly automated and can be operated with a modest staff, usually no more than 20 to 50  employees on site. Facebook has historically maintained a ratio of 1 engineer for every 1 million users, although recent efficiencies have boosted that ratio to 1 engineer for every 1.2 million users.

大半の大規模データセンターと同様に、Facebook の施設は高度に自動化され、通常では 20~50人以下という少数のスタッフにより運営されている。Facebook は従来から、1人のエンジニアで 100万人のユーザーに対応しているが、最近の効率化により、その比率は 120万ユーザーへと跳ね上がっている。

Facebook’s construction project in Prineville is expected to create more than 200 jobs during its 12-month construction phase, and the facility will employ at least 35 full-time workers and dozens more part-time and contract employees.

Prineville における Facebook の構築計画は、その 12ヶ月におよぶ建設フェーズにおいて 200以上の仕事をもたらす。さらに、その設備を運用するために、少なくとも35人の常勤者と、それ以上のパートタイムや契約社員を雇用されるだろう。

<続く>

ーーーーー

なんというか、Rich Miller さんの、普段は聴かせてもらえない話を、聴かせていただきました、、、という感じのポストです。 けっこう長くて大変なのですが、こういうコンテントは、次が読みたくて訳し続けてしまいます :)  次回が最終回となります。 ーーー A.C.

ーーーーー

<関連>
Facebook の データセンター戦略に関する FAQ _1
Facebook の データセンター戦略に関する FAQ _2
Facebook の データセンター戦略に関する FAQ _3
ーーーーー
ARM サーバー DC の 一番手が Facebook になるというウワサ
Facebook の幹部が、ARM サーバーのウワサを否定
わずか四半期の間に、サーバー数が倍増した Facebook の事情
Facebook の HDFS クラスターは 21 PB !!!

%d bloggers like this: