Agile Cat — in the cloud

Facebook データセンターにおける冷却の見直しと その効果

Posted in Data Center Trends, Facebook, Green IT, Open Compute by Agile Cat on October 15, 2010

Facebook Saves Big By Retooling its Cooling
October 14th, 2010 : Rich Miller

DC Knowledge

Facebook’s efforts to make its data centers more energy efficiency isn’t limited to its new facility in Oregon. The social network recently retooled the cooling system in one of its existing data centers in Santa Clara, Calif., slashing the facility’s annual energy bill by $229,000 and earning a $294,761 rebate from Silicon Valley Power.

Facebook が取り組んでいる、さらにエネルギー効率に優れたデータセンターの構築は、Oregon の新しい設備に限定されるわけではない。 最近のことだが、このソーシャル ・ネットワーク企業は、Santa Clara, Calif の既存データセンターの 1つで、そこに設置されている冷却システムを再編成した。そして、年間で $229,000 の電気使用料を節約し、Silicon Valley Power から $294,761 を払戻させた。


These before-and-after CFD modeling diagrams show the difference in airflow management once Facebook implemented cold aisle containment. ⇒

The company shared details of its efficiency project today at the Data Center Efficiency Summit 2010 hosted by the Silicon Valley Leadership Group (SVLG) on the Brocade campus in Santa Clara. Facebook pursued a multi-faceted approach in its retrofit of a 56,000 square foot data center, in which it is the only tenant and holds a long-term lease. The facility did not offer the option of using economizers, which allow data center operators to save money by using use fresh air in its cooling systems in place of energy-intensive chillers.

Silicon Valley Leadership Group(SVLG)により、Santa Clara の Brocade キャンパスで開催され Data Center Efficiency Summit 2010 において、同社はその効率化プロジェクトの詳細を開示した。 Facebook は、長期間にわたり単なるテナントとしてリースしている 56,000 平方フィートのデータセンタにおいて、多面的なアプローチにより装置の改善を追求した。 そのファシリティは、電力を用いる冷却装置を自然空冷に置き換えることで、データセンターの運用コストを節約するという、選択肢を提供していなかった。

Series of Best Practices
With economization off the table, Facebook implemented a series of best practices to dramatically reduce its energy use, including thermal modeling, installing cold aisle containment, reducing fan energy in servers, and raising the temperature of both supply air and chilled water. At the SVLG Summit, Facebook’s refinements were described by Director of Datacenter Engineering Jay Park and engineers Veerendra Mulay and Daniel Lee.

そのテーブルに経済的な発想が乗っていないという状況で、Facebook はエネルギー使用を劇的に低減するための、ベスト・プラクティスを実装した。そこには、排熱のモデリングや、コールド・アイル密閉の実装、サーバー消費電力の削減、供給する空気と冷却水に関する温度調整の緩和などが含まれる。今回の SVLG Summit において、この Facebook による改善は、Director of Datacenter Engineering である Jay Park および、エンジニアの Veerendra Mulay と Daniel Lee により説明された。

Here’s a look at the components of the project:


CFD Modeling: The first step in Facebook’s efficiency project was creating a thermal model of the data center using computational fluid dynamics (CFD) software that creates a 3D model of how cold air is moving through the facility, identifying potential “hot spots” as well as areas that are receiving more cold air than needed, wasting cooling and energy. The CFD study revealed that some of the cold air entering the room through the raised-floor was bypassing servers, cooling the room rather than the IT equipment, while warm exhaust air from the hot aisle was mixing with cold air in key areas.

CFD Modeling: Facebook の効率化プロジェクトにおける最初のステップは、CFD(computational fluid dynamics )ソフトウェアを用いて、そのファシリティ内を冷気が通り抜けるを様子を示す、データセンター排熱モデルを作成することだった。それにより、Hot Spot の可能性を識別するだけではなく、必要とされる以上の冷気を受けているエリアも識別し、冷却とエネルギーの浪費を低減する。 その CFD 調査により、上げ床を通ってサーバー・ルームに導かれる冷気の一部が、サーバーを回避してしまい、IT 装置よりも部屋を冷やしていることが明らかになった。その一方で、ホット・アイルからの暖気が、重要なポイントで冷気と混じっていることも分かった。

Cold Aisle Containment: Facebook took several steps to address the airflow problems identified in the CFD modeling. It began by installing a cold aisle containment system to isolate the hot and cold air in the data center. Roof panels were installed over the cold aisles, with fusible links to allow for adequate overhead fire suppression. Doors at each end of the aisle allowed access for tech staff. Facebook also took steps to seal every area where cold air could escape, using blanking plates, skirts for PDUs (power distribution units) and sealing cut-outs for cabling.

Cold Aisle Containment: Facebook は、CFD モデリングにより識別されたエアーフローの問題に取り組むために、いくつかのステップをとった。そして、データセンター内の暖気と冷気を分離するために、コールド・アイルを密閉することから始めた。まず、天井に付けられた火災予防設備を邪魔しないようにしながら、取り外し可能なリンクを用いて、コールド・アイルの上にルーフ・パネルが取り付けられた。 また、テクニカル・スタッフがアクセスできるように、そのアイルの両側にドアが付けられた。 さらに Facebook は、遮断板を用いて PDU(配電器)の周りにスカートを取り付け、ケーブルのためのくり抜きを密閉した。

Reducing the Number of CRAH Units: Once the cold aisle was encapsulated, less airflow was required to cool the equipment. This allowed Facebook to turn off 15 computer room air handlers (CRAHs), saving the energy required to operate those excess units.

Reducing the Number of CRAH Units: コールド・アイルの密閉が完了すると、対象となる装置を冷やすための冷気が低減された。 それにより Facebook は、15機の CRAH(computer room air handler)を停止できるようになり、不要になったユニットの分だけ、消費電力を引き下げることができた。

Reducing Server Fan Energy: Further savings were gained through adjustments to the server fans. “These fans are PWM fans – pulse with modulation,” Park explained. “They’re typically pre-set by the manufacturer to run at higher speeds. You modulate the fans to a lower speed and you bring less air through the servers. You can set this through software. Intel can tell you how to do this.”

Reducing Server Fan Energy: さらに、サーバー・ファンの調整を介して、さらなる消費電力の低減が実現された。 『 これらのファンは、PWM(pulse with modulation)ファン である 』と、Park は説明している。 『 それらは通常、製造業者により高回転で動作するようにプリ・セットされている。 より低回転で動作するようにファンを調整し、サーバーに当てる空気を減らす。 それは、ソフトウェアを介して設定できる。 その方式については、Intel に確認することが可能だ 』

Raising the Air Temperature: Facebook next concentrated on raising the rack inlet temperature as high as it could without triggering additional fan activity. Optimizing the cold aisle and server fan speed allowed Facebook to raise the temperature at the CRAH return from 72 degrees F to 81 degrees F.

Raising the Air Temperature:  続いて Facebook は、余計なファン・アクティビティを引き起こすことなく、許容できる範囲で、ラックへの吸気温度を引き上げることに全力を注いだ。 こうして、コールド・アイルと、サーバー・ファン・スピードを最適化するで、CRAH から戻される温度を、72度(22C)から81度(27c)まで引き上げることに成功した。

Raising the Water Temperature: The higher air temperature then allowed Facebook to raise the temperature of the supply water coming from its chillers, requiring less energy for refrigeration. The temperature of chiller water supply was raised by 8 degrees, from 44 degrees F to 52 degrees F.

Raising the Water Temperature: このような高い気温の設定は、冷却装置から導かれる冷却水の温度も緩和し、結果として消費電力を引き下げることになった。 結果的に、その水温を 44度(6.6c)から52度(11c)に引き上げることに成功した。

Facebook’s systematic application of best practices illustrated how energy efficiency projects can create a “waterfall affect” of cascading benefits. The company’s approach to the project made an impression upon its landlord, Digital Realty Trust.

Facebook におけるベスト・プラクティスの体系的な応用は、エネルギーの効率化プロジェクトにより、ウォーターフォール型のメリットが、連鎖的にもたらされる様子を例示している。 同社のプロジェクトに関するアプローチは、そのデータセンターのオーナーである Digital Realty Trust にも好印象を与えた。

“Facebook has distinguished itself as one of the leading efficiency teams among our global portfolio of thousands of customers,” said Jim Smith, CTO of Digital Realty Trust. “In addition, Facebook has been open and collaborative in their approach, enabling us to implement some of their strategies with our other customers.  Thus, we have the potential to multiply the energy savings and environmental protection across the infrastructure of many other companies.”

『 何千という顧客ののグローバルなポートフォリオの中で、Facebook の効率化は一流だと認識された 』と、Digital Realty Trust の Jim Smith は発言している。『 それに加えて Facebook は、そのアプローチをオープンに共有しているため、そのストラテジーを他の顧客に適用することが可能になった。  したがって、他の企業のインフラストラクチャ全体に関して、省エネと環境保護を高めていく可能性を有した 』


ソーシャル・ネットワークのスターとしての、表舞台での華やかな姿よりも、こうしたデータセンターやスケールアウトへの地味な取り組みを知るたびに、Facebook への期待を高めてしまいます。 最後の部分にあるように、そこで知り得たノウハウを、太っ腹で開示してしまう考え方にも、大きな拍手を贈りたいと思います。 昨日は、日本RAD での事例が紹介されていましたが、イイですね、こういう展開は。 ーーー A.C.


Facebook の データセンター戦略に関する FAQ _1
Facebook の データセンター戦略に関する FAQ _2
Facebook の データセンター戦略に関する FAQ _3
Data Center World 2010 at Las Vegas 写真集
鶏舎に学べ:Yahoo の PUE 1.1 の最新データセンター
世界最強 – Yahoo の鶏小舎データセンターは PUE 1.08
鶏舎型 DC をヨーロッパに展開する Yahoo!
Google が大規模データセンターをフィンランドに構築
どのようにして、Virginia 州知事は Microsoft 大規模 DC を誘致したのか?

Comments Off on Facebook データセンターにおける冷却の見直しと その効果

%d bloggers like this: