Agile Cat — in the cloud

Zetta バイト時代に急接近する クラウド・トラフィック – Cisco レポート

Posted in Cisco, Data Center Trends, Network, Research, Web Scale by Agile Cat on December 20, 2011

Cisco: Cloud traffic fast approaching the zettabyte era
By
Derrick Harris Nov. 29, 2011
http://gigaom.com/cloud/cisco-cloud-traffic-fast-approaching-the-zettabyte-era/

_ Gigaom

According to data released Tuesday as part of Cisco’s Global Cloud Index, IP traffic over data center networks will reach 4.8 zettabytes a year by 2015, and cloud computing will account for one-third of it, or 1.6 zettabytes. The report itself is a refreshing reminder that while public Internet traffic gets most of the attention, data centers are working hard behind the scenes to make the web run. By 2015, data center networks will handle about five times the amount of data that will travel across the Internet.

Cisco の Global Cloud Index の一部として、この火曜日(11/29)にリリースされたデータによると、データセンターのネットワークを流れる IP トラフィックは 2015年までに 4.8 zettabytes/年に達し、その中でクラウド・コンピューティングが占める比率は 1/3(1.6 zettabytes )になるとされている。 このレポートが鮮やかに思い出させてくれるのは、パブリックなインターネットのトラフィックが大きな関心を得る一方で、Web を動かす背景において、データセンターに大きな負荷がかかることである。 2015年までにデータセンター・ネットワークは、全データの 5倍を取り扱うようになり、それだけのデータがインターネット上で交換されることになる

クリックで拡大 ⇒

To wrap one’s head around the disparity in traffic, one need only look at the life of a single email message. As Cisco’s Shruti Jain explained to me, a single 1MB message sent to a handful of people can account for about 50MB of data after each email system stores, replicates, scans and otherwise deals with the message. Data centers somewhere, whether within individual organizations or those operated by service providers such as Google, handle all those tasks.

トラフィックの認識に関するズレをするためには、1つの電子メール・メッセージの一生を見るだけで良い。 Cisco の Shruti Jain が説明してくれたように、ひと握りの人々に送られた 1MBのシングル・メッセージは、それぞれの電子メール・システムにおいてメッセージをストア/リプリケーション/スキャンなどを行うことで、およそ 50MBのデータ量を占めることになる。それぞれの組織が運用する場合でも、また、Google などのサービス・プロバイダが運用する場合でも、どこかのデータセンターで、それら全てのタスクが処理される。

クリックで拡大 ⇒

Of course, we’re using the Internet for a lot more than sending emails these days, which is why data center traffic volume is growing so fast. According to Cisco, data center traffic already was at 1.1 zettabytes in 2010, and will grow at a compound annual growth rate of 33 percent through 2015. Of that, traffic coming from cloud services will grow at a CAGR of 66 percent, from 121 exabytes in 2010 to 133 exabytes a month in 2015.

もちろん 私たちは、それよりもずっと多くの電子メールを送受信するためにインターネットを利用しており、それがデータセンターにおけるトラフィックを加速させる原因になっている。 Cisco によると、すでに 2010年の段階で、データセンター・トラフィックは 1.1 zettabytes になっており、また、2015年までは 33% の複合年間成長率(CAGR)で増大していくとされる。 その中で、クラウド・サービスが占めるトラフィックは、66% の CAGC で成長し、2010年の 121 exabytes/年から、2015年の 133 exabytes/月へと増大していくだろう。

For the purpose of the study, Cisco defined cloud services as having the following characteristics:

  • Ubiquitous access. The application or service can be accessed anytime, anywhere from multiple devices.
  • Persistent personalization. The application or service can apply basic user credentials and customized preferences or settings.
  • Virtual capacity/processing. The application/service can store or process data beyond the capacity of (and separate from) the connected end-user device point.
  • Flexible delivery. The application or service offers scalable provisioning, usage-based pricing, and can be delivered on-demand.

この調査を目的として、Cisco はクラウド・サービスの特質を、以下のように定義している:

  • Ubiquitous access. アプリケーションおよびサービスは、多種多様なデバイスから、時と場所を選ばずにアクセスされる。
  • Persistent personalization. アプリケーションおよびサービスは、基本的なユザー・クレデンシャルを適用し、プリファレンスとセッティングというカスタマイズを施される。
  • Virtual capacity/processing. アプリケーションおよびサービスは、接続されたエンドユーザー・ポイント容量を超えたレベルで(あるいは、それとは切り離されたレベルで)、データをストアし処理することになるだろう。
  • Flexible delivery. アプリケーションおよびサービスは、スケーラブルなプロビジョニングとユーザー・ベースの課金に対応し、また、オンデマンドで供給されるようになる。

For cloud computing specifically, the Global Cloud Index marks 2014 as a magic year: It’s the year cloud-based workloads will surpass traditional-data-center-based workloads in total volume.

とりわけ、クラウド・コンピューティングにおいては、Global Cloud Index により 2014年がマジック・イヤーとしてマークされている。つまり、クラウド・ベースのワークロードが、従来からのデータセンター・ベース・ワークロードを、この年に上回るとされているのだ。

Consumers rule in the data center, too

Probably not surprisingly, Cisco expects consumer-based workloads to dominate the traffic on data center networks. Cisco’s Doug Webster told me although business traffic actually will grow in volume from 259 exabytes in 2010 to 744 exabytes in 2015, that threefold growth pales in comparison to consumer traffic growth, which will grow nearly 5x by 2015.

おそらく、驚くまでのこともなく Cisco は、コンシューマ・ベースのワークロードにより、データセンター・ネットワークのトラフィックが独占されることを期待している。 Cisco の Doug Webster は、実際のビジネス・トラフィックが 2010年の 259 exabytes から 2015年の exabytes に増大するにしても、コンシューマ・トラフィックが達成するとされる、2015年時点の 5倍の成長率との比較において、その 3倍という成長率は見劣りがすると話している。

Webster said it’s workloads such as streaming video and other data-intensive activities that will power the surge in consumer traffic. In fact, he said, during “Internet primetime” in 2015 — the hours when the most people are online — data centers will be 2.5 times busier than they are on average. Internet traffic increases about 25 to 50 percent during those same hours.

Webster の話によると、ストリーミング・ビデオなどのデータ・インセンティブなアクティビティを伴うたワークロードが、コンシューマ・トラフィックを急上昇させることになる。 実際に、2015年における「インターネット・ゴールデン・アワー(最も多くの人々がオンラインになる時間帯)」には、データセンターの混雑ぶりが平均の 2.5倍 に達するという。そして、その時間帯には、インターネット・トラフィックも、通常の 25% ~ 50% 増となる。

クリックで拡大 ⇒

The study notes the increase in consumer traffic levels within data centers is largely attributable to cloud-based applications. Between 2000 and 2008, it states, peer-to-peer traffic dominated consumer Internet traffic, which didn’t put a strain on data centers. By 2015, however, 37 percent of consumer data center traffic will come from cloud applications, up from 14 percent in 2010.

この調査が指摘するのは、データセンターにおけるコンシューマ・トラフィックの増大が、主としてクラウド・ベースのアプリケーションに帰因することである。 2000年 ~ 2008年 の期間では、コンシューマ・インターネット・トラフィックを P2P が占有したが、データセンターに負担をかけることはなかった。 しかし、コンシューマ・データセンター・トラフィックのボリュームは、クラウド・アプリケーションの存在により、2010年の 14% から 2015年の 37% へと跳ね上がる。

Who’s ready for the cloud?

One final aspect of Cisco’s Global Cloud Index is an assessment of how ready certain geographic regions are to support various types of cloud-based applications. While all the regions — Latin America, the Middle East, Asia-Pacific, North America, Central and Eastern Europe, and Western Europe — are capable of supporting basic applications such as email, text messaging and social networking, only the latter five can handle basic applications such as HD video streaming, basic gaming and basic video chat.

Cisco の Global Cloud Index における最後の視点は、各種クラウド・ベースのアプリケーションのサポートが、それぞれの地理的なエリアにおいて、どのように整備されているかという査定である。 すべての地域において(Latin America/Middle East/Asia-Pacific/North America/Central and Eastern Europe/Western Europe)、電子メール/テキスト・メッセージ/粗シャル・ネットワークなどの、基本的なアプリケーションへの対応が可能となっている。しかし、HD ビデオ・ストリーミング/ゲーム/ビデオ・チャットといった、別の基本アプリケーションをサポートできるのは、Asia-Pacific/North America/Central Europe/Eastern Europe/Western Europe だけとなる。

Webster said that no regions, as a whole, can support advanced cloud applications such as advanced gaming, video chat and video conferencing, but that finding is somewhat misleading. Almost every region has average download and upload speeds capable of handling those applications, but latency is the major stumbling block. And, as both Webster and the study note, there are outliers in every region (e.g., Japan and South Korea in APAC, and the United Arab Emirates in the Middle East) that are much more ready than other countries in their areas.

先進的なゲーム/ビデオ・チャット/ビデオ・カンファレンスなどのクラウド・アプリケーションを、全体的にサポートしている地域はないが、それを見つけ出すことは難しいと、Webster は発言している。大半の地域が、それらのアプリケーションを取り扱うだけの、ダウンロードとアップロードにおける平均スピードを持っているが、レイテンシーが大きな障害となっている。 そして、 Webster と調査結果の双方が、すべての地域に島や半島があるが(たとえば、APAC における  Japan と South Korea や、Middle East の United Arab Emirates)、そこに位置する国々は、周辺諸国比較して優れたクラウド環境を有している。

クリックで拡大 ⇒

One interesting finding is that while North America lags near the middle in average upload and download speeds, it leads in both fixed broadband (27 percent) and mobile broadband (54 percent) penetration rates.

面白い発見があったので記しておくが、North America におけるアップロードとダウンロードの速度が、世界の平均程度というレベルであるのに対して、ブロードバンドの浸透率では、Fix(27%)と Mobile(54%)の双方で、世界をリードしているのである。  

Overall, Cisco’s study is valuable not so much because it tells us something we didn’t know — anyone following the web infrastructure space has seen data center growth skyrocket over the past couple years — but because it quantifies just how much traffic data centers are dealing with. The good news for the growing number of individuals and businesses that rely on cloud-based applications is that although the Internet itself might be under a great deal of strain, many service providers have proven very willing to invest in resources and architectures to ensure their data centers can handle whatever loads they’re asked to deal with.

全体的にみて、私たちが知らなかったことを伝える割には、この Cisco の調査は価値が低い。そして、Cisco の研究はそれほど貴重ではない。 つまり、Web インフラストラクチャの世界を追いかけてきた誰もが、この数年でデータセンターが急激に成長してきた様子を見ているのだ。しかし、この調査は、データセンターで取り扱われるトラフィックについて、そのデータ量を数値化している。クラウド・ベースのアプリケーションに、多くの人々と企業が依存するのは良いニュースである。インターネット自体は、きわめて大きな緊張の下に置かれているかもしれないが、数多くのサービス・プロバイダが、リソースへの投資を怠っていないことが分かった。そして、データセンターを保証するためのアーキテクチャが、そこで取り扱うべき、あらゆる負荷を処理していくだろう。

Related research and analysis from GigaOM Pro:
Subscriber content.
Sign up for a free trial.

ーーーーー

TAG index今年の 2月に、やはり Cisco の Visual Networking Index (VNI) が発行した、Global Mobile Data Traffic Forecast Update for 2010-2015 というレポートを紹介しました。そちらでは、モバイル・トラフィックが、2015年までに 6.3 Exa バイトにいたると報じられていました。いやはや、たいへんな時代になったものです。 ーーー __AC Stamp 2

ーーーーー

<関連>

日本と世界のインターネット・トラフィックを、7つの項目で比較する
ソーシャルごとの世界分布を グラフで参照
もうじき、.com のドメイン数が 1億個に届くという調査結果
Facebook の規模は、2004年当時のインターネット全体に匹敵する
クラウドは 他の IT と比べて、4倍速で急成長していく – IDC
16 枚のチャートで、2011 年の前半を振り返る

 

Facebook の OPC と Open Data Center Alliance がコラボ?

Posted in Data Center Trends, Facebook, Open Compute by Agile Cat on October 27, 2011

Open Compute and ODCA to Collaborate
September 29th, 2011 : Colleen Miller
http://www.datacenterknowledge.com/archives/2011/09/29/open-compute-and-odca-to-collaborate/

_ DC Knowledge

Will it be the beginning of a productive friendship? Working toward the goal of standards-based, interoperable cloud computing, the Open Data Center Alliance (ODCA) and Open Compute Project (OCP) launched a collaborative effort at the Intel Developer Forum 2011 to accelerate the adoption of cloud standards. The initiative also hopes to further efficient data center and infrastructure design; spur rapid hardware innovation; and encourage greater openness and industry collaboration. Intel serves as technical adviser to the ODCA. This seven-minute video (below) features Kirk Skaugen, Intel, and Frank Frankovsky, Facebook’s Open Compute lead, discussing how this partnership will benefit enterprises.

それは、生産的なフレンドシップの始まりなのだろうか? スタンダード・ベースとインターオペラビリティに基づく、クラウド・コンピューティングのゴールに向かって、ODCA(Open Data Center Alliance)と OCP(Open Compute Project)は、クラウド・スタンダードの採用を促進する、Intel Developer Forum 2011 へのコラボレーションを開始した。 このイニシアティブは、効率的なデータ・センターとインフラ・デザインおよび、ハードウェア革新の促進、さらなるオープン性と、業界における協調を奨励していく。 さらに Intel は、ODCA に対するテクニカル・アドバンザーを担う。 以下の 7分間のビデオは、Intel の Kirk Skaugen と、Facebook OCP リードの Frank Frankovsky が説明する、このコラボレーションによるエンタープライズへの貢献について、まとめたものである。

imageWhen Facebook open sourced its infrastructure, people asked “how applicable is this design strategy that Facebook has taken in the broader enterprise space? All enterprises want to move to a very highly efficient compute infrastructure,” Frankovsky said. This partnership will bring that efficiency to the enterprise, he said.

このインフラを、Facebook がオープン・ソース化したとき、「Facebook が、どれほどの範囲のエンタープライズ領域に対して、このデザイン・ストラテジーを適用させるのか? 」 と人々は尋ねた。 そして、「すべてのエンタープライズが、きわめて効率の良いコンピューティング・インフラストラクチャへの移行を望んでいる」と、Frankovsky は発言している。 このパートナーシップが、その効率をエンタープライズにもたらすだろうと、彼は付け加えている。

The Open Data Center Alliance, which is now comprised of more than 300 companies that represent over $100 billion in annual IT spending, this spring published the first release of usage models for Open Specifications for Cloud Computing. The Open Compute Project also recently published the first series of specifications for efficient motherboard, server and data center design. Members of both organizations are engaging in joint projects initially focused on rack-scale infrastructure; ultra-efficient server and storage designs; and scalable, open systems management.

ODCA(Open Data Center Alliance)は、年間で $100 billion 以上を IT に対して支出する、300 社以上の企業で構成されている。そして、この春には、Open Specifications for Cloud Computing モデルのための、最初の用法をリリースした。 同様に、最近になって OCP(Open Compute Project)も、効率の良いマザーボード/サーバー/データセンターに関する、デザイン仕様の最初のシリーズを発行した。 両組織のメンバーたちが、ラック・スケールのインフラおよび、きわめて効率的なサーバーとストレージのデザイン、そしてスケーラブルなオープンなシステム・マネージメントに焦点を合わせらたジョイント・プロジェクトに従事している。

The groups announced that members of ODCA infrastructure working group will collaborate with selected engineering projects of the Open Compute Project. In turn, the ODCA opens up a broader customer base to help to evaluate, support and innovate Open Compute hardware and specifications. More developments will be released Oct. 27 at the Open Compute Summit in New York, the groups said.

そのグループは、ODCA のインフラ WG のメンバーが、OCP の選ばれたエンジニアリング・プロジェクトに協力していくと発表している。 その代わりに、ODCA は膨大な顧客ベースを開放し、OCP のハードウェアとスペックの、評価/支援/革新を支えていく。より多くの開発成果が、New York で 10月27日に開催される、Open Compute Summit でリリースされると、このグループは発言している。

ーーーーー

TAG index昨日の、Paul Maritz の指摘が気になりますが、それに関係するのでしょうかね? データセンターでの特許という話は、あまり聞いたことがないのですが、その設計/構築/運用により、クラウドの質と価格が大きく変わってくるので、これまで以上に注目されるのは確かだと思います。 それで、寄らば大樹・・・ という考えが、Facebook にあるのかなぁと、勘ぐってしまいますね。 明日の、サミットでの話が楽しみです。 ---   __AC Stamp 2 @YNC

ーーーーー

<関連>

クラウドにより、大きく変化する DR (Disaster Recovery)
Google の アジア・データセンター戦略とは?
iCloud が Microsoft と Amazon で動くなら、あの 巨大 DC は空っぽなのか?
i/o ANYWHERE のコンテナ DC 紹介 – Youtube がカッコイイ
AST の Free Cooling コンテナ DC を Youtube で!

 

Facebook の Open Compute Summit が開催される

Posted in Data Center Trends, Events, Facebook, Open Compute by Agile Cat on October 25, 2011

Oregon データセンター・チームがホストするカンファレンスです ・・・

Thanks for your interest in the second Open Compute Summit. The nascent Open Compute community is actively seeking participants who are passionate about making strong technical contributions to defining and delivering the most efficient server, storage and data center designs.

We will have executives share the latest and greatest thoughts and innovations, and a number of community-participation sessions. We will be providing more details of the event schedule in the coming weeks.

imageSchedule

9:00am – 10:00am
Registration
10:00-12:30
Presentation from Frank Frankovsky and others from the Open Compute Project community—the theme is community enablement, adoption and engineering contributions.
2:00-5:00
Technical Workshops and Open Sessions
5:00-6:00
Plenary: a synthesis of each technical workshop and next steps.

Open Compute Projects Technical Workshops (2-5pm slot)

Storage
Building for the 100 year standard.
Open Rack
Mechanical design and modular power distribution.
The Adjacent Possible
Virtual IO.
Systems Management
Defining open systems management for the enterprise.
Datacenter Design
Building for different geographies.

ーーーーー

<関連>

Facebook – Oregon データセンターの写真が一挙公開!
Building Efficient Data Centers with the Open Compute Project
Agile_Cat 空撮隊 – Facebook Oregon データセンターを探索するも ・・・
詳細な解説つきの Facebook Oregon DC フォト・ツアー
Facebook の、次の巨大データセンターが North Carolina に!
Facebook Oregon DC の、第2期工事が早まるらしい
30 P Bytes の Hadoop HDFS を、どのようにして Oregon へ移動したのか

Google の アジア・データセンター戦略とは?

Posted in Asia, Data Center Trends, Google by Agile Cat on October 19, 2011

Google to Build Three Data Centers in Asia
September 28th, 2011 : Rich Miller
http://www.datacenterknowledge.com/archives/2011/09/28/google-to-build-three-data-centers-in-asia/

_ DC Knowledge

Google today announced a major expansion of its Internet infrastructure in Asia, saying it will build new data centers in Singapore, Taiwan and Hong Kong. The company will invest $100 million in each of the facilities, which will be Google’s first company-built data centers in the Asia-Pacific region.

今日(9/28)Google は、Singapore/Taiwan/Hong Kong におけるデータセンターの新設という、 Asia でのインターネット・インフラを大幅に拡張していく計画を発表した。 それぞれのファシリティに $100 million が投資され、アジア太平洋地域においても、Google 自身によるデータセンターの保有が始まることになる。

“More people are coming online every day in Asia than in any other part of the world, so locating data centers here is an important next stage of Google’s investment in the region,” Google said in a statement.

「世界のあらゆる地域の中で、日々のオンライン・ユーザーが最も多いのが Asia である。 したがって、ここにデータセンターを配置することは、Google の投資における次の重要なステージとなる」と、Google は公式に発言している。

A look at the inside of a Google data center in South Carolina, showing storage container modules. Google said today that it will build three new data centers in Asia. ⇒

Google has purchased land in each location, acquiring 15 hectares (37 acres) in Changhua County in Taiwan, 2.7 hectares in the Kowloon region of Hong Kong, and 2.45 hectares of land in the Jurong West section of Singapore. The data centers will be operational in one to two years, Google said, and will each employ between 5 and 20 employees.

Google が購入した用地は、Taiwan の Changhua County に15 ヘクタール(37エーカー)、Hong Kong の Kowloon 地域に 2.7ヘクタール、Singapore の Jurong West 地域に 2.45 ヘクタールである。 それぞれのデータセンターは、1年~2年で運用に入り、また、5人~20人の従業員を雇用することになると、Google は発言している。

Google has long looked to Asia as perhaps the most important growth market for the Internet. “The Asian population will the dominant user population of the Internet,” said Google Internet evangelist Vint Cerf, who wrote the software that connected the first servers on the Internet, in a 2009 video. “There’s no doubt about that at all.”

これまでの長い期間にわたって、Google は Asia を、インターネットにおける最も重要で、成長していくマーケットとして期待してきた。 「 Asia の人口が、インターネットのユーザー人口を支配していく。それについて、疑いの余地はない」と、Google の Internet エバンジェリストである Vint Cerf が、2009年のビデオで発言している。彼は、インターネット上のサーバに、初めて接続したソフトウェアを書いた人でもある。

Google has announced investments of more than $700 million in undersea cable infrastructure to provide it with faster connectivity between North America and the Asia-Pacific region. In 2008 Google said it would partner with Bharti Airtel, Global Transit, KDDI Corp., Pancet and SingTel on the $300 million Unity Trans-Pacific Cable. In 2009 it announced plans to team with KDDI, Bharti Airtel, Reliance to build a $400 million submarine cable dubbed Southeast Asia Japan Cable (SJC).

Google の発表によると、North America と Asia-Pacific 地域を高速で接続性する海底ケーブル・インフラに対して、これまでに 同社は $700 million 以上を投資している。 2008年の Google の発言によると、Bharti Airtel/Global Transit/KDDI Corp/Pancet/SingTel とのパートナーシップによる Unity Trans-Pacific Cable に $300 million が投資されている。 さらに 2009年には、KDDI/Bharti Airtel/Reliance との提携により、 Southeast Asia Japan Cable (SJC) と呼ばれる海底ケーブルに、$400 million を投資するとされている。

The company has been scouting multiple data center locations in Asia since late 2007. The company is said to have looked at potential sites in Taiwan, Malaysia, Japan, South Korea, India and even Vietnam.

また、同社は 2007年の終わりごろから、Asia におけるマルチ・データセンターのための場所を探していた。 そして、可能性のあるロケーションとして、Taiwan/Malaysia/Japan/South Korea/India が調査されたが、そこにはVietnam までもが含まれたという。

Google’s site location decisions reflect the prevailing trends in the market, as U.S. data center and cloud computing providers have typically avoided placing data centers in mainland China due to the country’s policies regarding content filtering. Over the past year, major providers have accelerated their expansions in the region. Earlier this year Digital Realty Trust built its first major data center in Singapore, not far from the location of the new Google facility, and has since announced expansions in Sydney and Melbourne. Meanwhile, colocation market leader Equinix has expanded in Tokyo, Singapore and Sydney. Yahoo is also building a major data center in Singapore.

Google のサイト・ロケーションに関する判断は、アメリカのデータセンターやクラウド・コンピューティング・プロバイダが、China 本土へのデータセンター展開を避けているように、マーケットにおける一般的な傾向に影響を与えた。その理由は、コンテント・フィルタリングに関する同国の政策にある。 そして、この 1年というもの、主要プロバイダが、この地域における施設の拡大を速めてきた。 今年の早い時期に Digital Realty Trust は、Google の新しいファシリティが遠くないところに、Singapore における初めての大規模データセンターを構築したが、それ以前にも、SydneyMelbourne の施設を拡張するつアナウンスしている。その一方で、コロケーション・マーケットのリーダーである Equinix は、Tokyo/Singapore/Sydney のファシリティを拡張している。同じく Yahoo も、Singapore に大規模データセンターを構築している。

Google said its new facilities “will be among the most efficient and environmentally friendly in Asia, subject to the same high technical and environmental standards we use worldwide,” said Google.

Google は、この新しいファシリティについて「 Asia におけるデータセンターの中で、最も効率がよく、環境に優しい物になる。 その目的は、私たちたワールドワイドで用いている、技術と環境を考慮したスタンダードの実現である」と、発言している。

Google didn’t provide details on its efficiency strategies for the region. Data center efficiency can be a challenge in some Asian markets, including Singapore, due to the higher ranges of heat and humidity common to the region, which are not ideal for approaches that rely on the use of outside air (free cooling) to cool servers.

Google は、この地域のための、効率面でのストラテジーにおいて、その詳細を提供していない。 データセンターの効率を考える際に、 Singapore などの地域における高い気温と湿度は、アジア・マーケットに共通する難題となり得る。その条件は、外気を用いる排熱型サーバーのアプローチにとって、理想的なものとはならない。

ーーーーー

ついに、Google データセンターのアジア進出が始まるのですね。 アメリカやヨーロッパとは異なり、高温多湿のアジアの気候にアジャストした、Google らしい高効率データセンターが出来上がるのだろうと期待してしまいます。 文中にも、その点が指摘されていますが、以下の <関連> の AST のポストに含まれる Youtube 動画が、アジアの気候と PUE について説明しています。 面白いですよ。 ーーー __AC Stamp 2

ーーーーー

<関連>

クラウドにより、大きく変化する DR (Disaster Recovery)
i/o ANYWHERE のコンテナ DC 紹介 – Youtube がカッコイイ
AST の Free Cooling コンテナ DC を Youtube で!
マーケットは世界 – Web ホスティングの巨人 SoftLayer の遠大な計画
アメリカの キャリア・エクスチェンジについて DCN が概説する

 

AST の Free Cooling コンテナ DC を Youtube で!

Posted in Data Center on Youtube, Data Center Trends by Agile Cat on August 26, 2011

Video Overview: AST’s Free Cooling Module
August 24th, 2011 : Rich Miller
http://www.datacenterknowledge.com/archives/2011/08/24/video-overview-asts-free-cooling-module/

_ DC Knowledge

AST Modular recently helped a data center customer in Sydney, Australia expand its capacity with a double-decker containerized solution that added 17 racks cooled by outside air. The installation featured one 40-foot container filled with racks of servers, supported by AST’s Modular Natural Free Cooling Technology, a cooling module that sits atop the IT container.

最近のことだが、 AST Modular は Sydney Australia における、データセンターの拡張を支援している。そこでは、17 ラックを取り込んだ、外気空冷を用いた二段重ねのコンテナによりキャパシティを拡大している。 この設備は、AST の Modular Natural Free Cooling Technology によりサポートされる。具体的には、サーバー・ラックで満たされた 40 フィートの IT コンテナの上に、冷却モジュールを設置する方式が特徴となっている。

AST Modular Natural Free Cooling
クリックで拡大 ⇒
 

AST says the unit achieves an actual metered Power Usage Effectiveness of 1.09. The climate in Sydney allows the customer to use indirect airside economizers (free cooling) for 92 percent of the year. The system is controlled by management software that can switch between several modes of cooling: 100 percent free cooling at temperatures below 19° C (66 degrees F), partial economization with the use of adiabatic cooling, or mechanical cooling for temperatures approximately above 26° C (78 degrees F). This video provides an overview of AST’s Natural Free Cooling design, with illustrations of airflow and the air-to-air heat exchanger. It runs about 5 minutes, 30 seconds.

AST の説明によると、このユニットは PUE 1.09 ( Power Usage Effectiveness)の実際値に達成している。 Sydney の気候により、この顧客は年間の 92% において、間接的なエアーサイド・エコノマイザー(free cooling)を利用できる。 このシステムは、いくつかの冷却モードを切り替える、マネージメント・ソフトウェアにより制御される。19° C (66 degrees F) の気温であれば、100% のフリー・クーリングが利用できる。間欠性のエコノマイザーを、断熱性の冷却と組み合わせることも可能だ。 さらに、気温が 26° C (78 degrees F) 以上の場合には、メカニカルな冷却できる。 このビデオは、AST Natural Free Cooling の提供を提供し、また、エアーフローと、air-to-air 熱交換の仕組みも示している。 全体で、約 5分 30秒のビデオとなる。

ーーーーー

Amazon が Oregon のデータセンターにコンテナ・モジュールをディプロイしたのが、たしか 6月の話だったと思います。 このビデオを見ると、AST の顧客として IBM がいるのでしょうかね? いずれにせよ、地球上のアチラ・コチラに、このような、最新のデータセンターが構築されていくのでしょうね。 ーーー __AC Stamp 2

ーーーーー

<関連>

Amazon データセンターについて、James Hamilton が語る
IPCORE デザインのコンテナ型データセンターとは?
Amazon が コンテナを Oregon DC にディプロイした!
写真で見る、モジュール型 データセンター
データセンターにおける電力消費に対して、クラウドは回答となり得るのか?

 

Facebook は 30 P Bytes の Hadoop HDFS を、どのようにして Oregon へ移動したのか

Posted in .Selected, Big Data, Data Center Trends, Facebook, Hadoop, Open Compute by Agile Cat on August 7, 2011

Facebook moves Hadoop stack to Prineville data center
Complete mammoth task by creating new process that can enhance future disaster recovery
Published 1st August, 2011 by Penny Jones
http://www.datacenterdynamics.com/focus/archive/2011/08/facebook-moves-hadoop-stack-to-prineville-data-center

image

Elephants, war rooms and 30 petabytes – this is what it takes to keep Facebook’s data in check according to one of its most recent blog posts. After building out its new data center in Prineville, Oregon, which opened in April this year, the Internet giant then had to find a way of migrating what is said to be the largest HDFS Hadoop cluster in the world into it.  Facebook uses Hadoop – a program named after a toy animal belonging to a developer’s child — to mine and manipulate its data sets, and distribute its storage across switches and stacks. As Hadoop use grows, however, so too does the power and infrastructure required to accommodate it.

エレファントと、作戦司令室と、30 ペタ・バイト - Facebook がデータを保持していくためには、それらが欠かせないと、最新のブログ・ポストに書かれている。 Prineville, Oregon に新しいデータセンターを構築し、この 4月にオープンしたインターネットの巨人は、世界でも最大級と言われる HDFS Hadoop クラスタを、そこへ移行するための方式を見つけ出す必要があった。 Facebook は Hadoop(開発者の子供が持っていたぬいぐるみにちなんで名付けられた)を、データセットのマイニングと操作のために使用し、そのストレージを、スイッチとスタックのいたるところに分散している。 しかし、Hadoop の利用が増大するにつれて、それを受け入れるための、さらなるパワーとインフラストラクチャが必要になってきた。

facebook_logoFacebook Engineer Paul Yang recently highlighted the challenges Facebook had when moving the Hadoop application stack to its newest data center. “We considered a couple of different migration strategies,” Yang said. “One was a physical move of the machines to a new data center – we could have moved all the machines within a few days with enough hands at the job.” Such a move, however, would have required Hadoop to be down for a period of time that could have been too long for analysts and users of Facebook.

Facebook の Engineer である Paul Yang は、最新のデータセンターに Hadoop アプリケーション・スタックを移行する際の、Facebook における課題にスポットライトを当てる。「私たちは、2種類のマイグレーション・ストラテジーについて検討した。 1つは、新しいデータセンターに、マシンを物理的に移行することであり、充分な人員を投入することで、私たちは数日のうちに、それを完了できたずだ 」と、Yang は発言している。しかし、そのような移行は、Hadoop に対して長すぎるダウンタイムを要求することになり、また、Facebook のアナリストとユーザーを待たせ過ぎることになる。

The solution was a complicated replication system set up to mirror changes from the old cluster to the new, larger cluster, which at switchover time could easily be redirected to the new cluster.  “This approach is more complex as the source is a live file system, with files being created and deleted continuously,” Yang said. This was done in two steps. First a bulk copy transferred most data from the source cluster to the destination using DistCp, a tool used for cluster copying. “Our Hadoop engineers made code and configuration changes to handle special cases with Facebook’s datasets, including the ability for multiple mappers to copy a single large file and for the proper handling of directories with many small files,” Yang said. A custom Hive plug in was then used to detect file changes and add these to an audit log.

そして、ソリューションとして選ばれたのは、古いクラスタから新して大規模なクラスタへ向けて、変更点をミラーリングしていくという、複雑なリプリケーション・システムであった。 それであれば、新しいクラスタにリダイレクトすることで、容易な切替が実現される。 「そのソースが、ライブ・ファイル・システムであり、また、ファイルが作成/削除が連続的に行われるため、このアプローチは更に複雑化していった」、と Yang が言う。 それは、2つのステップで完了した。 最初のステップは、ソース・クラスタからデスティネーションへ向けたバルク・コピーによる、大半のデータの転送である。 そこでは、クラスタ・コピーのための  DistCp というツールが用いられた。 「 私たちの Hadoop エンジニアたちは、Facebook のデータセットにおける特殊性に対応するために、コードとコンフィグレーションに手を加えた。それらの特殊性には、大規模なシングル・ファイルをコピーするためのマルチ・マッパー機能や、たくさんの小さなファイルを持つディレクトリの、適切な取り扱いなどが含まれる 」と、 Yang は付け加えている。 続いて、ファイルの変更を検出し、そのことを監査ログに加えていくために、カスタムな Hive プラグインが用いられた。

“At the final migration switchover time, we set up a camp in a war room and shut down Hadoop JobTracker so that new files would not be created. Then the replication system was allowed to catch up,” Yang said. DNS entries were then changed so hostnames referenced by Hadoop jobs pointed to servers in the new cluster.

そして、2つめのステップだが、「 最終的なマイグレーションとなる切替時において、私たちは作戦司令室にキャンプを設営し、それ以降に新しいファイルが作られないよう、Hadoop JobTracker をシャットダウンしていった。 続いて、リプリケーション・システムによる捕捉を実行していった」と、Yang は言う。 その後に、 DNS エントリーが変更され、新しいクラスタでサーバーを Hadoop ジョブが指し示めすことで、ホスト名が参照されるようになった。

Elephant challenges

The project was not, however, without its challenges. Yang said simply designing a system to handle the size of the replication project, given the huge amounts of data it was dealing with, put the team to the test. Facebook also had to ensure that replication of the system was fast enough to allow for corrupt files to be fixed without eating into the team’s schedule. “If the replication process could just barely keep up with the workload, then any recopy could have resulted in missed deadlines.

しかし、このプロジェクトは、チャレンジ無くして、成立するものではなかった。 Facebook が取り扱う膨大なデータ量を前提として、このリプリケーション・プロジェクトの規模を、シンプルに取り扱うようにシステムをデザインし、そのチーム自身がテストして行くようにしたと、Yang は言う。 さらに Facebook は、そのシステムのリプリケーションにより、チームのスケジュールを圧迫することなく、破損したファイルの修復を高速で処理していく必要があった。 そのリプリケーション・プロセスが、ワークロードに遅れを取とることなく追随できるなら、デッドラインの範囲内で、あらゆる再コピーが達成できる。

big-hadoop-logoThe result has not only been a shift to the new data center, where infrastructure is built out in a more efficient manner and space is available for further scaling out, but a new way of building in redundancy, according to Yang. “The replication system also demonstrated a potential disaster-recovery solution for warehouses using Hive,” Yang said. “Unlike a traditional warehouse using SAN/NAS storage, HDFS-based warehouses lack built-in data recovery functionality. “The replication system could increase the appeal of using Hadoop for high reliability enterprise applications.”

求められる結果は、新しいデータセンターへの単なる移行だけではなく、新しい方式による冗長性の構築も対象となっていた。つまり、さらに効率の良い方式でインフラストラクチャを構築し、また、将来のスケールアウトのための空間を確保することも、必要とされていた。「 このリプリケーション・システムは、Hive を用いたウェアハウスについて、DR(disaster-recovery)ソリューションを証明するものでもある」と、Yang が言う。 SAN/Nas ストレージを用いる伝統的なウェアハウスとは異なり、HDFS ベースのウェアハウスは、ビルトイン・データリカバリ機能を欠いている。「このリプリケーション・システムより、高信頼性のエンタープライズ・アプリケーションへの Hadoop の適用について、強くアピールすることが可能になった」と Tang は締めくくっている。

Related Stories

ーーーーー

まぁ、そうれは、そうするんでしょうが、30 Peta Bytes の引越しですか。。。 気の遠くなる内容の話ですが、それが、こうして、本当にできてしまうところに驚きます。 これからは、こんな引越しが、あちら こちら で、起こってくるんでしょうね ーーー __AC Stamp 2

ーーーーー

<関連>

Facebook は正攻法で、Billion 単位のメッセージを処理していく
Facebook は 20分間で、2.7M Photos/10.2M Comments/4.6M Messages を処理する!
Facebook における 1300万/秒 クエリーの秘密
Facebook の HBase は、毎月 1350億 メッセージを処理する!
Big Data を探せ! アメリカの 5つの具体的な事例とは?
Big Data – だれが、どこで、使うのか?

 

Facebook Oregon DC の、第2期工事が早まるらしい

Posted in Data Center Trends, Facebook, Open Compute by Agile Cat on July 31, 2011

Facebook Announces Expansion of Oregon Data Center
Posted by
Jennifer Moire on July 28th, 2011 10:10
http://www.allfacebook.com/facebook-announces-expansion-of-oregon-data-center-2011-07

image

Facebook is moving forward with an expansion of its Prineville, Oregon data center earlier than expected thanks to a little help from lawmakers and a much needed power upgrade. Data centers are mission critical for Facebook, which is seeing its membership skyrocket which translates into increased capacity.

Facebook は、Prineville, Oregon におけるデータセンターの拡張を、法的な問題や電力の供給を解決することで、予定よりも前倒して進めようとしている。 Facebook にとって、急増するメンバーシップを収容していくデータセンターは、ミッション・クリティカルな要素となる。

According to The Oregonian, when the company announced its Prineville plans 18 months ago, Facebook membership was only 350 million. That number has more than doubled to 750 million today.

The Oregonian によると、同社が 18ヶ月前に Prineville の計画を発表したとき、 Facebook のメンバーシップは 3億5000万人に過ぎなかった。 しかし、現時点において、その数は倍増し、7億 5000万人にいたる。

When Facebook opened its first wholly owned data center in April, the company left open the possibility of adding a second facility. However, the issue was capacity: A second data center would have added more demands to the power grid than the region could handle.

この 4月に初めて、Facebook が 100% 所有のデータセンターをオープンしたとき、その 2番目のファシリティを追加する可能性をほのめかしていた。 しかし、電力容量に問題があった。 つまり、2番目のデータセンターを加えるには、州当局が調整する以上の、電力供給が必要になる。

The newspaper reports that lobbying by local economic development boosters, Oregon’s congressional delegation, and cold weather that taxed the community’s electrical grid, persuaded the Bonneville Power Administration to add a transformer in Prineville by 2013, at least a year earlier than scheduled.

この新聞は、地域経済の活性化を図る、Oregon 下院議員派遣団によるロビー活動と、データセンターに適した気候についてレポートしている。そして、Facebook が使用する送電網に課税することで、また、2013年までに Prineville への送電量を増やすよう、Bonneville Power Administration を説得することで、少なくとも 1年以上の前倒しを検討しているようだ。

Facebook’s second data center in North Carolina is under construction and is part of the company’s transition to shift its servers onto company-owned facilities.

Facebook の 第 2データセンターは、North Carolina で建設中であり、また、同社が所有するファシリティに、そのサーバー群を移行する計画の一部を担っている。

ーーーーー

そうですか。 この 1年半でユーザー数が倍増しているのですね。 しかも、そこで増えているユーザー数が 4億人に達するわけですから、データセンターもキャパシティを大幅に拡張する必要があるのです。 ・・・とまぁ、口で言うのは簡単ですが、立地から、電力の確保から、多様な要因を調べて解決していくプロセスは、とても大変なことだと思います。 ーーー __AC Stamp 2

ーーーーー

<関連>

Facebook の、次の巨大データセンターが North Carolina に!
詳細な解説つきの Facebook Oregon DC フォト・ツアー
Agile_Cat 空撮隊 – Facebook Oregon データセンターを探索するも ・・・
対訳 – Building Efficient Data Centers with the Open Compute Project
Facebook – Oregon データセンターの写真が一挙公開!

 

データセンターにおける電力消費に対して、クラウドは回答となり得るのか?

Posted in Data Center Trends, Green IT by Agile Cat on July 18, 2011

Power is a problem. Cloud is the answer
By
Stacey Higginbotham Jun. 9, 2011, 3:00pm PT
http://gigaom.com/cloud/data-center-owners-say-power-is-a-problem-and-cloud-is-the-answer/

_ Gigaom

The majority of data center operators are relying on server virtualization, hot and cold aisle containment, and power-monitoring software as means to make their operations more energy-efficient, according to an industry survey. Still, a mere 58 percent of data center operators feel like reducing energy consumption is a worthwhile goal, according to the data shared Thursday by the Uptime Institute.

ある調査によると、大多数のデータセンター・オペレーターたちは、その運用におけるエネルギー効率を改善する手段として、サーバーの仮想化および、ホット/コールド・アイルの分離、そして電力モニタリング・ソフトウェアに頼っている。 しかし、この木曜日に、Uptime Institute でシェアされたデータによると、エネルギー消費を減らすようなデータセンター運用が、価値のあるゴールだとする回答は 58% に過ぎない。

imageThe Uptime Institute, a group that measures data center performance and efficiency, surveyed 525 data center owners and operators to discover several worthwhile sentiments about power consumption, cloud computing and even server consolidation. Some of this data was released at an event it held in May, but they sent me the consolidated results Thursday. Expect to see some of these numbers in PowerPoint slides at an event (such as our own Structure 2011 event in two weeks) near you given how influential Uptime’s data tends to be.

その Uptime Institute は、データセンターの性能と効率を測定するグループとして、電力消費量および、クラウド・コンピューティング、サーバー・コンソリデーションに関する価値のある意見を見出すために、525人のデータセンター・オーナーとオペレーターを調査した。このデータの一部は、5月に開催されたイベントで公表されたが、その整理された結果を、木曜日に受け取ることになった。 影響力のある Uptime におけるデータのトレンドを前提にすると、イベントで提供された PowerPoint スライドで(2週間の、私たちの Structure 2011 のように)、いくつかの数値がみえてくると期待できる。

  • Spending is one the rise, with 52 percent of respondents saying their data center budget increased in 2011, and 27 percent saying it increased by more than 10 percent.
  • Operators are running out of room and electricity, with 36 percent saying their data center facility would run out of power, cooling and/or space in 2011-2012.
  • Expect new data center construction to continue, as 40 percent plan build a new data center, while 62 percent said they would handle demand for more data center facilities by consolidating servers.
  • Some may go straight to the cloud, with one in five planning to move IT workloads to the cloud and almost three-fourths currently considering cloud computing for their data center needs. However, only 5 percent of respondents are considering or implementing public cloud computing over the next 12 months, while 42 percent are considering or implementing a private cloud, and 27 percent are looking at hybrid methods.
  • Flexibility wins, with 61 percent choosing the cloud for agility compared with 25 percent looking to reduce costs. A mere 9 percent are looking at the cloud because they are running out of capacity.

  • 支出が関心事として浮上している、回答者の 52%が、データセンター予算について、2011年は増加していると発言している。 そして、さらに 27% の回答者が、10% 以上の増大を指摘している。
  • オペレーターたちは、スペースと供給電力の不足を訴えている。36% の回答者が、自身のデータセンター・ファシリティにおいて、2011~2012 の間に、供給電力と、クーリング、スペースが使い果たされると発言している。
  • 新しいデータセンターの、継続的な建設が望まれている。 40% の回答者が、新しいデータセンターを計画しているという。 その一方で、62% の回答者が、サーバーのコンソリデーションにより、データセンター・ファシリティへの、さらなる需要に対応すると発言している。
  • 何人かの回答者は、そのままクラウドに移行する可能性を示唆している。5人に1人が、IT ワークロードの、クラウドへの移行を計画している。そして、大半とも言える、約 3/4 の回答者が、データセンターへのニーズに応じて、クラウド・コンピューティングを検討すると発言している。 ただし、今後の 12ヶ月において、パブリック・クラウドを検討するという回答は、全体の 5% に過ぎない。その一方で、42% がプライベート・クラウドを検討/実装し、また、27% がハイブリッドを模索している。
  • 柔軟性の勝利である。経費の削減をあげる 25%の回答者に対して、61% がアジリティを指摘している。 また、キャパシティの不足により、クラウドを検討しているのは 9% に過ぎない。

Image courtesy of Flickr user Torkildr.

Related content from GigaOM Pro (subscription req’d):

ーーーーー

アメリカにおいても、データセンター・リソースが逼迫しているようですね。 ただし、すぐにクラウドへ移行するというのではなく、あくまでも慎重に、徐々に比率を増やしていくという感じですね。 その一方で、右のグラフが示すように、新しいニーズも顕著であり、いろいろな事象が、並行して進んでいくのだろうと思います。 ーーー __AC Stamp 2

ーーーーー

<関連>

データセンター管理者に求められる 7つのスキルとは?
クラウド・コンピューティングのビジネス規模を Infographic で見る
写真で見る、モジュール型 データセンター
IPCORE デザインのコンテナ型データセンターとは?
GW プチ特集 – Data Center の 2011年 1月~4月

%d bloggers like this: