Facebook と Google のサーバー保有台数を推測する – James Hamilton

Posted in .Selected, Data Center Trends, Facebook, Google, James Hamilton by Agile Cat on August 17, 2012

Fun with Energy Consumption Data
http://wp.me/pwo1E-4As
Sunday, August 12, 2012
http://perspectives.mvdirona.com/2012/08/13/FunWithEnergyConsumptionData.aspx

Facebook recently released a detailed report on their energy consumption and carbon footprint: Facebook’s Carbon and Energy Impact. Facebook has always been super open with the details behind there infrastructure. For example, they invited me to tour the Prineville datacenter just prior to its opening:

最近のことだが、Facebook のエネルギー消費とカーボン･フットプリントに関する詳細なレポートが発表された： Facebook’s Carbon and Energy Impact。 Facebook は、そのインフラストラクチャの背景となる詳細な情報を、きわめてオープンなかたちで提供してきた。たとえば、Prineville データセンターがオープンする前に、彼らは私を招待してくれたほどだ：

Reading through the Facebook Carbon and Energy Impact page, we see they consumed 532 million kWh of energy in 2011 of which 509m kWh went to their datacenters. High scale data centers have fairly small daily variation in power consumption as server load goes up and down and there are some variations in power consumption due to external temperature conditions since hot days require more cooling than chilly days. But, highly efficient datacenters tend to be effected less by weather spending only a tiny fraction of their total power on cooling. Assuming a flat consumption model, Facebook is averaging, over the course of the year, 58.07MW of total power delivered to its data centers.

Facebook の ”Carbon and Energy Impact” ページを読み通してみると、2011年における 532 million kWh という電力消費量に気づく。つまり、そのデータセンターでは、509m kWh が消費されたことを示している。そのサーバー負荷が上下するにしても、大規模データセンターにおける電力消費量の変動は、きわめて小さなものとなる。もちろん、夏季と冬季を比較すれば、そこでの冷却の必然性が異なるため、こうした外気条件が要因となる、電力消費量の若干の相違が生じる。しかし、きわめて効率のよいデータセンターにおいては、全体的な消費電力に対する気候変動からの影響が、ごく小さい範囲に収まる傾向にある。そして、このフラットな消費モデルを前提にすると、Facebook は年間を通じて、そのデータセンターに、58.07MW のトータル電力を供給したことになる。

Facebook reports an unbelievably good 1.07 Power Usage Effectiveness (PUE) which means that for every 1 Watt delivered to their servers they lose only 0.07W in power distribution and mechanical systems. I always take publicly released PUE numbers with a grain of salt in that there has been a bit of a PUE race going on between some of the large operators. It’s just about assured that there are different interpretations and different measurement techniques being employed in computing these numbers so comparing them probably doesn’t tell us much. See PUE is Still Broken but I Still use it and PUE and Total Power Usage Efficiency for more on PUE and some of the issues in using it comparatively.

Facebook のレポートによると、その Power Usage Effectiveness（PUE）は、1.07 という信じられないほどの値を叩き出している。つまり、サーバーに供給される 1 Watt に対して、その配電とメカニカルなシステムにおいて、わずか 0.07W だけが失われていることを意味する。大手オペレーター間では、ちょっとした PUE レースが行われている感があるので、パブリックに発表された PUE 値を、常に私は割り引いて捉える。大まかなところで確信できるのは、こうしたコンピューティングに関する値に関しては、それぞれの解釈と、それぞれの測定法が採用されていることだ。したがって、それは、私にとって、大きな意味をもたらさない。 PUE に関しては、PUE is Still Broken but I Still use itと PUE and Total Power Usage Efficiency を参照して欲しい。それを、比較で用いることで生じる、いくつかの問題が浮かび上がるだろう。

Using the Facebook PUE number of 1.07, we know they are delivering 54.27MW to the IT load (servers and storage). We don’t know the average server draw at Facebook but they have excellent server designs (see Open Compute Server Design) so they likely average at or below as 300W per server. Since 300W is an estimate, let’s also look at 250W and 400W per server:

Facebook の PUE である 1.07 を用いることで、IT（サーバーとストレージ）に、54.27 MW が供給されていることが分かる。私たちは、Facebook における平均的なサーバー負荷を知らないが、彼らは素晴らしいサーバー･デザイン（Open Compute Server Design を参照）を有しているため、サーバーごとの消費電力は、おそらく 300W を下回るだろう。 300W を推定値とする一方で、サーバーごとの消費電力を、250W と 350W に当てはめて見てみよう。

250W/server: 217,080 servers
300W/server: 180,900 servers
350W/server: 155,057 servers

As a comparative data point, Google’s data centers consume 260MW in aggregate (Google Details, and Defends, It’s use of Electricity). Google reports their PUE is 1.14 so we know they are delivering 228MW to their IT infrastructure (servers and storage). Google is perhaps the most focused in the industry on low power consuming servers. They invest deeply in custom designs and are willing to spend considerably more to reduce energy consumption. Estimating their average server power draw at 250W and looking at the +/-25W about that average consumption rate:

それとの比較データとして、 Google のデータセンターの例を挙げたい。そこでは、全体として 260MW が消費されている（Google Details, and Defends, It’s use of Electricity）。そして、Google の PUE は 1.14 だとレポートされているため、その IT インフラストラクチャ（サーバーとストレージ）に、228MW が供給されていると分かる。おそらく Google は、この業界で、低電力サーバーに最も注力している企業である。彼ら、カスタムなデザインに対して大きな投資を行い、また、エネルギー消費の削減に注力することを厭わない。そのサーバーにおける、平均的な消費電力を 250W と見積もり、また、その範囲を＋/- 25W まで広げてみると、以下のようになる。

225W/server: 1,155,555 servers
250W/server: 1,040,000 servers
275W/server: 945,454 servers

I find the Google and Facebook server counts interesting for two reasons. First, Google was estimated to have 1 million servers more than 5 years ago. The number may have been high at the time but it’s very clear that they have been super focused on work load efficiency and infrastructure utilization. To grow the search and advertising as much as they have without growing the server count at anywhere close to the same rate (if at all) is impressive. Continuing to add computationally expensive search features and new products and yet still being able to hold the server count near flat is even more impressive.

Google と Facebook におけるサーバーの台数を数えることで、2つの興味深い論点を見つけた。最初のものは、5年以上も前から、Google は 100万台のサーバーを持つと、推測されていたことだ。その時点において、100万台という数字は大きかったかもしれないが、ワークロードの効率化と、インフラストラクチャの有効利用について、彼らが熱心に取り組んできたことは明らかだ。増大するサーチとアドバタイジングに対応するために、サーバーの総数を増やすこともなく、インフラストラクチャを一定のレベルに押さえていることは素晴らしい。さらに言えば、計算上は高価なものとなるサーチ機能を拡張し、また、新しいプロダクトを追加し続けながら、ほとんど変わらぬサーバー総数を維持していることが、とても印象的である。

The second notable observation from this data is that the Facebook server count is growing fast. Back in October of 2009, they had 30,000 servers. In June of 2010 the count climbed to 60,000 servers. Today they are over 150k.

そして、一連のデータから見つけ出された 2つ目のポイントは、Facebook におけるサーバーの台数が、急速に増大している点である。 2009年 10月の時点において、彼らは 30,000台のサーバーを持っていた。2010年6月には、60,000台に上昇している。そして、いま、彼らは 150,000台以上を保有している。

–jrh

James Hamilton
e: jrh@mvdirona.com
w: http://www.mvdirona.com
b: http://blog.mvdirona.com / http://perspectives.mvdirona.com

ーーーーー

久々の、James Hamilton 先生です。こういうデータから、こんなふうに推論し、こんな結論を導き出すとは流石です。その途中で、PUE 信仰に対して一石を投じ、Google と Facebook の傾向についてまで、適切な論評を加えてくれるとは、まさに、至れり尽くせりです。訳していて、とても楽しかったですーーー