Facebook の巨大 DC を気化熱で冷やす、ミストの秘密について説明しよう

Posted in .Selected, Data Center Trends, Facebook, Green IT, Open Compute by Agile Cat on August 29, 2012

Water Efficiency at Facebook’s Prineville Data Center
http://wp.me/pwo1E-4F6
Thursday, August 9, 2012 · Posted by Daniel Lee
http://opencompute.org/2012/08/09/water-efficiency-at-facebooks-prineville-data-center/

For Facebook, good data center design is all about efficiency — how efficiently we use energy, materials, and water, and how they tie together to bring about cost efficiency. We’ve previously shared information on energy and materials efficiency, and today we’re releasing our first water usage effectiveness (WUE) measurements and information on how we’ve achieved what we think is a strong level of efficiency in water use for cooling in the first building at our Prineville, Ore., data center (which we’ll call Prineville 1 here).

Facebook にとって、優れたデータセンター･デザインとは、すべから有効性に集約される。つまり、どのようにして、電力と、物質と、水を、有効に利用し、また、コストの効率化に、如何にして結びつけるかということである。以前から、私たちは、電力と物質の有効利用について、その情報を共有してきた。そして、いま、私たちの WUE（Water Usage Effectiveness ）について、その基準と情報をリリースする。それは、Prineville, Ore. における最初のデータセンターで（ここで Prineville 1と呼ぶ）、水を用いた冷却における効率を、高次元に引き上げるという発想を、どのように具体化したのかという話でもある。

We’re sharing this information as part of our commitment to the Open Compute Project; we believe that open sharing and collaboration surrounding these kinds of best practices is crucial to ensuring that, as an industry, we’re innovating rapidly and minimizing our environmental impact.

この情報についても、Open Compute Project へ向けたコミットメントの一部として、私たちは共有している。この種のベスト･プラクティスを取り巻く、オープンな共用とコラボレーションは、環境に対する影響を迅速に改善し、また、確実に最小化していくことを、1つの産業として約束する上で、きわめて重要なことだと信じる。

After a year of operation, which required our retrofitting the building management system and adding water metering, we’ve found Prineville 1′s Q2 2012 WUE to be 0.22 L/kWh. By definition, WUE is an annualized calculation; however, we will report results on a quarterly basis, and those numbers will eventually become a 12-month trailing metric. WUE measures water used for cooling a data center only; it doesn’t measure water used for plumbing or offices, though Facebook minimizes water usage in these areas as well by using reclaimed water and waterless urinals in the bathrooms.

マネージメント･システムに対する変更と、水に関する測定の追加を要求する、1年間の運用を達成した後、私たちは、Prineville 1 における 2012年 Q2 の WUE が 0.22L /kWh であるのことを理解した。定義上、 WUEは年間を通じて計算されるべきであるが、私たちは四半期ベースの結果をレポートしていく。ただし、そこでの値は、最終的に、12ヶ月間を通した基準になるだろう。 WUE とは、データセンターを冷却するために用いられる、水に限定した測定となる。つまり、たとえば Facebook は、トイレにおける再生水や節水などにより、他の領域でも水利用を最小化しているが、それらの水道施設やオフィスで使用された水は測定されない。

We think that 0.22 L/kWh is a great result, but it should be noted that the WUE concept is fairly new and, to our knowledge, no one else has publicly reported WUE yet. We hope that other companies will soon start measuring and reporting WUE so we can begin setting benchmarks for the metric and working together to find new ways to improve.

私たちは 0.22 L/kWh を、素晴らしい結果だと捉えているが、WUE のコンセプトは最新のものであり、また、私たちの認識においては、他に誰かが WUE について、公式にレポートしたこともない。したがって、それらの点を留意しておくべきだろう。私たちは、他の企業が早急に WUE を測定し、その結果をレポートすることを希望している。そうすれば、この基準に対するベンチマークを設定し、また、改善のための方式を、協調して探っていくことが可能になる。

How Facebook Minimizes Water Usage for Cooling

Prineville 1′s mechanical system comprises a built-up penthouse that utilizes 100% outside air economization with a direct evaporative cooling and humidification (ECH) misting system. This design allows us to achieve a strong WUE. Details and specifications for this system can be found at http://www.opencompute.org/specs. This blog post provides insight into the water efficiency of the Open Compute Project (OCP) mechanical system deployed in Prineville.

Prineville 1 のメカニカル･システムは、ダイレクトな ECH（Evaporative Cooling and Humidification ）ミスト･システムによる、外気 100% のエコノマイザーを利用するために、作りこまれたペントハウスにより構成される。そして、このデザインにより、私たちは高度な WUE を達成するできた。このシステムに関する詳細と仕様は、www.opencompute.org/specs で参照できる。このブログ･ポストは、Prineville にディプロイされた Open Compute Project（OCP）メカニカル･システムの、水利用の効率に関する洞察を提供している。

Mixing outside air and return air. (Photo by Alan Brandt.)
クリックで拡大

Typical data center mechanical systems usually do not use outside air economization, instead recirculating up to 100% of the air used to cool the server room with a central chilled water plant and cooling towers, which consumes much more energy and water. It’s like using a window-mounted air conditioner to cool a room instead of putting a fan in a window when the outside temperatures are cooler than the temperature in the room.

一般的なデータセンターのメカニカル･システムでは、サーバー･ルームを冷やすために、外気エコノマイザーを使用しないのが通常である。それに代えて、センタライズされた冷却水プラントとクーリング･タワーにより、100% まで循環される空気が用いられるが、そこでは、より多くの電力と水が消費されてしまう。つまり、室内の空気より外気が冷たいときに、ファンを回転させて室内に冷気を送り込むのに代えて、窓に取り付けられたクーラーを使うようなものだ。

Mixing outside air and return air.
(Photo by Alan Brandt.)

Furthermore, the typical data center mechanical system consumes water via cooling towers, which process waste heat to the atmosphere via evaporation as a large fan blows air over media moistened with water. In addition to this evaporation, cooling towers require blow down, which is the dumping of the cooling tower water to sewage. Blow down is necessary for a cooling tower due to the water accumulating dissolved minerals as the water evaporates.

さらに、一般的なデータセンターのメカニカル･システムでは、クーリング･タワーにより水が消費されてしまう。なぜなら、水で湿らせた媒介物に対して、大型のファンで空気を吹き当てるという、気化熱を用いた方式により排熱プロセスを達成しているからだ。また、そこでの蒸発量に加えて、クーリング･タワーは大きな風量を必要とするため、貴重な水を下水へと無理やり流しこむことになる。つまり、気化熱を用いることで、水に溶け込んでいる鉱物質の濃度が上昇してしまうため、水を吹き飛ばすだけの風量が、クーリング･タワーには不可欠なものとなる。

The OCP mechanical system has no chillers or cooling towers. Instead, it uses outside air as a first stage of cooling, a process that is also referred to as outside air economization. Economization is utilized the entire year in Prineville 1, as the OCP system is designed to be single pass, where outside air enters the data center, warms up as it passes over the servers, and then is either recirculated or exhausted back outside. This system greatly minimizes the need for blow down, and it also doesn’t require the use of chemical treatments to combat biological intrusions like algae.

OCP のメカニカル･システムでは、チラーやはクーリング･タワーは用いられない。その代わりに、冷却のための第一段階として外気を用いる。しれは、外気エコノマイザーとも呼ばれるプロセスである。 OCP システムは、シングル･パスとしても設計されているため、Prineville 1 では年間を通じて、このエコノマイザーが用いられる。外気がデータセンター内に導かれ、サーバーの頭上を通過しながら熱を吸収し、その後に再循環されるか、屋外に排気されるかというかたちをとる。一般的に、このシステムは、クーリング･タワーにおける無駄を最小化する。そして、藻のような生物の混入に対処するための、化学的な処理も不要となる。

The second stage of cooling occurs via the direct ECH misting system. The ECH system drops the temperature of the air significantly via phase change of liquid water to water vapor in the direct path of supply air to the data hall. Evaporative cooling technology has been used for thousands of years for built environments. Perspiration is also a simple example of evaporative cooling.

冷却のための第二段階は、ECH ミスト･システムのダイレクトな適用によるものである。この ECH システムは、水から水蒸気への変換による劇的な温度の低下を、データセンター･ホールへ流れ込む空気に対して、ダイレクトに適用するものである。水蒸気によるクーリング･テクノロジーは、何千年にわたって、環境のために用いられている。また、発汗も、水蒸気によるクーリングの、シンプルな例である。

The ECH system is composed of the following equipment:

Water storage tanks
Booster pumps
Carbon filters
Water softeners
Reverse osmosis (RO) water purification skids
RO water storage tanks
Distribution pumps
Misting system pump skids
Mist eliminator
Water polishing system

この ECH システムは、以下の装置により構成されている：

貯水槽
昇圧ポンプ
硬水軟化剤
逆浸透圧（RO：Reverse Osmosis）浄水スキッド
逆浸透圧（RO：Reverse Osmosis）貯水槽
分散型ポンプ
ミスト･システム･ポンプ･スキッド
ミスト除去器
水洗浄システム

The booster pumps take water from the outdoor water storage tanks and pump the water through carbon filters for initial filtration. Water softeners then precipitate calcium, magnesium, and other minerals. Reverse osmosis (RO) skids then further purify the water of total dissolved solids. Our measurements indicate that 75% of the water brought into the data center is used for cooling (3 out of 4 parts of RO water are used for product), while the remaining 25% is blown down. The main purpose of the RO system is to purify the water to minimize the potential to clog the misting nozzles, as the ECH system includes thousands of high pressure misting nozzles with 150 micron diameter orifices, and using untreated water can create a maintenance issue because it can clog the nozzles.

ここで用いられる昇圧ポンプは、戸外の貯水タンクから水を汲み上げ、また、カーボン･フィルターによる最初のろ過を介して、水を送り出す。続いて、硬水軟化剤により、カルシウムやマグネシウムなどの鉱物を沈殿させる。さらに、逆浸透圧（RO：Reverse Osmosis）浄水スキッドにより、水中に溶解した物質を完全に浄化する。私たちの測定によると、データセンター内まで取り込まれ、冷却に用いられる水は全体の 75% であり（RO 水の 3/4 が運用のために用いられる）、また、残りの 25% は廃棄される。この RO システムの主たる目的は、ミスト･ノズルを詰まらせる可能性を最小に抑えるための、水の浄化にある。なぜなら、この ECH システムのミスト･ノズルは 150 micron 径であり、数千気圧というレベルの圧力がかかるからである。つまり、完全な浄化処理を行わない水を用いると、ノズルを詰まらせる可能性が高まり、メンテナンスの問題を引き起こすことになる。

Prineville 1′s misting system.
(Photo by Alan Brandt.)

Following purification, the RO product water is pumped into RO water storage tanks. Distribution pumps then pump the RO water at 40 PSI up to misting system pump skids that pump the water into stainless steel piping at 1000 PSI upon demand to meet temperature or humidity setpoints. The misting pump skids are equipped with variable frequency drives (VFDs) that can provide very fine-grained control of the misting system for accurate temperature and humidity controls.

浄化された後の水は、つまり RO 生成された水は、RO 貯水槽に送り込まれる。続いて、分散型のポンプが、ミスト･システムのポンプへ向けて、40 PSI まで加圧した RO 水を送り込む。さらに、ミスト･システムは、要件である温度と湿度に合致する 1000 PSI の圧力で、ステンレス･パイプへ RO 水を送り込む。このミスト･ポンプは、温度と湿度を正確にコントロールするために、VFD（Variable Frequency Drives：可変周波数ドライブ）を用いた、きわめて微細な調整を可能にする。

The stainless steel piping is routed to the misting nozzles, which are set up in an array, where the nozzles atomize the water, maximizing the misting water surface area – which in turn maximizes the evaporation rate. Approximately 85% of the misted water evaporates into the supply air stream. The remaining 15% is recaptured in a mist eliminator that is downstream of the misting nozzles. The recaptured RO water is put through a micron filter and UV lamp and then brought back to the RO water storage tanks, which is another method of water conservation designed within the system. The air is then delivered into the data center via fans that push the air down dry wall supply airshafts.

このステンレス･スチールのパイプは、水を霧状にするノズルの縦列へ向けて配管される。こうして、ミスト生成のためのミスト散布面を最大化し、また、揮発レートを最大化する。霧状にされた水の、約 85％がエアー･ストリームの中に取り込まれていく。残りの 15％は、ノズルの下床に設置された、ミスト除去器により回収される。そして、回収された RO 水は、1 micron のフィルタと、UV ランプを介した後に、RO 貯水槽へと戻される。それは、このシステムで設計されている、もう1つの水保全の方式である。そして、冷やされた空気は、水分を除去するための通気孔を持ったドライ･ウォールへ通過し、ファンによりデータセンター内へ送り込まれる。

The end result is a mechanical system that is more water efficient than a typical chilled water/cooling tower data center mechanical system. The design of Prineville 1 inherently uses less water as we require less hours of “cooling” since the OCP mechanical system uses free cooling via economization and can operate at higher temperatures. Higher operating temperatures require less energy to cool the air Additionally, the ECH system consumes less water – it’s a more-direct method of heat transfer to the supply air into the data hall, as it’s in the supply air stream, rather than a cooling tower that requires blow down.

最終的な結論として、このメカニカル･システムの水利用効率は、一般的なデータセンターにおける、チラーとクーリング･タワーの組み合わせに勝るものとなった。 Prineville 1 のデザインは、年間における冷却の期間が短ければ、その分だけ水の消費も抑えられるシステムとなっている。なぜなら、OCP のメカニカル･システムは、エコノマイザーによるフリー･クーリングを用いており、また、一般よりも高温での稼働にも対応しているからだ。より高温での稼働は、空気を冷やすための電力使用量を抑制する。それに加えて、この ECH システムは、水の消費量を根本的に抑制する。なぜなら、大量の風力を用いるクーリング･タワーと比較して、データセンター内に供給される空気に対して、効率の良い熱伝導の方式をダイレクトに適用できるからである。

Reporting WUE in the Future

Facebook will continue to release WUE metrics on a quarterly basis for all our data centers. The WUE for the second building at our Prineville data center should be available next year, when that building is online. Facebook is also working on WUE metrics for our Forest City, North Carolina, data center, and will report once we have enough data.

Facebook は、その全データセンターにおける WUE 測定に関して、四半期ごとのレポートを提供し続けていく。 Prineville データセンター２号棟における WUE は、稼働が予定されている来年には提供できるはずだ。さらに Facebook は、Forest City, North Carolina データセンターにおいても、同様に WUE 測定に取り組んでいる。そこでも、十分なデータが取得された段階で、レポートを提供する予定だ。

If you’re interested in learning more about how we designed our Open Compute data centers, download the electrical and mechanical specifications from the Open Compute website. To join the conversation, subscribe to the data center design mailing list If you’re interested in helping the industry tackle these efficiency issues and more, get involved with the Open Compute Project.

もし、Open Compute データセンターのデザインについて興味があるなら、Open Compute Web サイトから、Electrical and Mechanical Specifications をダウンロードして欲しい。また、ディスカッションに参加してもらえるなら、データセンター･デザイン･メーリングリストをサブスクリプトして欲しい。さらに、このエネルギーの有効利用に取り組む、私たちの業界に対して協力してもらえるなら、Open Compute Project に参加して欲しい。

ーーーーー

この記事を読むまで、このミスト･システムが、これほど重要なものだとは思っていませんでした。きわめて小径のノズルから、人工の霧を高圧で吹き出すためには、こんなに手間のかかる浄化が必要なのですね。先日の、Google 海水冷データセンターとは、また別の切り口からの水利用に興味シンシンです。巨大データセンターを、一切のチラーを用いずに、水の力で冷やしていこうとする Facebook と Google に拍手です。ーーー