Agile Cat — in the cloud

Big Data on Micro Server というか、Hadoop in a Box というか、いずれにしても興味シンシン!

Posted in Big Data, Green IT, Hadoop by Agile Cat on June 15, 2011

Big data on micro servers?  You bet.
By Derrick Harris Jun. 13, 2011, 2:00pm PT
http://gigaom.com/cloud/big-data-on-micro-servers-you-bet/

_ Gigaom

Online dating service eHarmony is using SeaMicro’s specialized Intel Atom-powered servers as the foundation of its Hadoop infrastructure, demonstrating that big data might be a killer app for low-powered micro servers. The general consensus is that specialized gear from startups such as SeaMicro and Calxeda — which can save money and power by using processors initially designed for netbooks and smartphones instead of servers — will need to attract both applications and big-name users before it really catches on. Big data looks like it might bring both.

オンラインのデート・サービス(恋人紹介?)である  eHarmony は、SeaMicro の特化された Intel Atom サーバーを、Hadoop インフラストラクチャの基礎として使用し、いわゆる  Big Data が、低電力で稼働する Micro Server のキラー・アップになることを明示している。 一般論として、SeaMicro や Calxeda といったスタートアップが提供する特殊な装置(当初はネットブックやスマートホンのために設計された低電力 CPUが、サーバーの世界においても低予算と省電力を実現する)は、それらが本格的に広まる前に、アプリケーションとビッグ・ユーザーの双方を引き付ける必要がある。そして、Big Data は、その 2つを引き連れてくるように思える。

Calxeda CEO Barry Evans explained to me via e-mail why big data and micro servers are such a great match. “Big data is a great fit for us and ARM servers for three key reasons,” he wrote. “First,  it is an inherently scale-out application, requiring a lot of efficient processors. Second, it is a fast-growing market place without a lot of requirements for legacy baggage. Third, the application software is widely available to run on ARM today.”

Calxeda の CEO である Barry Evans は、Big Data と Micro Server の相性の良さについて、メールで私に説明してきた。 『 Big Data は、3つの大きな理由により、私たちと ARM Server に対して、素晴らしい相性を提供する。 第 1に、本質的にスケール・アウトのアプリケーションであり、数多くの効率的なプロセッサを必要とする。 第 2に、レガシーなお荷物を相手にすることなく、急成長する市場を突っ走れる。 第 3に、今日では、それらの広範囲におよぶアプリケーション・ソフトウェアを、ARM の上で実行できる 』と、彼は書いている。

image

SeaMicro’s SM10000-64 server ⇒

There arguably is a big difference between the ARM-based Calxeda and x86 (Atom)-based SeaMicro in terms of availability of software designed to run atop their respective architectures, but Evans’ first two factors are applicable across the micro server ecosystem.

ARM-based Calxeda と x86 (Atom)-based SeaMicro では、それぞれのアーキテクチャに合わせてデザインされたソフトウェアにおいて、相当量の相違点がある。 しかし、最初の 2つの要因は、Micro Server のエコシステムとは関係なしに立証されると Evens は言う。

Because Hadoop (and big data, in general) is a new undertaking for many organizations, most don’t likely have any infrastructure set aside for it, and it does require a scale-out architecture to best leverage the performance benefits of parallel processing. Speaking of Hadoop specifically, it also doesn’t require the types of high-end, high-powered gear that typically power enterprise data warehouse offerings. In this situation, micro servers present a compelling argument because they provide lots of cores and high efficiency in a small footprint.

Hadoop( および Big Data )は、数多くの組織が取り組むべき課題となっているが、その大半が専用のインフラストラクチャを有していない。しかし、同時に、並列処理におけるベスト・パフォーマンスを引き出すための、スケールアウトのアーキテクチャを必要としている。 とりわけ、Hadoop について言及すれば、典型的なエンタープライズ・データ・ウエアハウスが提供するような、ハイエンドのハイパワーの装置を必要としない。 このような状況において Micro Server は、小さなフットプリントで大量のコアと高性能を供給できるため、議論のための根拠を提供する。

SeaMicro packs 512 Intel Atom cores into a 10U-sized appliance that acts like a 1.28-terabit-per-second fabric and boasts a 75-percent reduction in energy usage compared with traditional servers. Calxeda, for its part, is putting 120 quad-core ARM Cortex A9 processors into a 2U box that it claims consumes only 5 Watts per node. As Stacey Higginbotham pointed out when discussing Calxeda’s plans, “Intel and AMD boxes using the x86 architecture can consume about 80 to 130 watts for a quad-core machine, while low-power versions of x86 chips can consume 30 watts.” For users wanting to stick with traditional server chips, Dell sells a line of cloudscale micro servers featuring Intel’s 30-Watt Xeon processors.

SeaMicro は、10U サイズのアプライアンスに、512 の Intel Atom コアを詰め込み、1.28-terabit-per-second のファブリックとして振舞う。そして、従来からのサーバーと比較して、75% の電力削減を実現することが自慢だ。 その点において Calxeda は、2U ボックスに 120 の quad-core ARM Cortex A9 を入れるが、そのぞれのノードにおける資料電力は、わずか 5Watt である。 Calxeda の計画について議論したとき、Stacey Higginbotham は 『 x86 アーキテクチャを用いる Intel や AMD のボックスは、quad-core マシンであれば約 80~ 130 Watts を消費するが、 x86 チップの low-power バージョンでああれば 30 Watt まで消費電力を引き下げられる 』 と指摘している。 ユーザーは従来からのサーバー・チップスから離れたがらないが、Dell は Intel の 30 Wats Xeon プロセッサをフィーチャーする、一連のクラウド Micro Server を販売している。

big-hadoop-logoeHarmony’s story aligns with Evans’ theory and is a prime example of why micro servers are so ideally suited for big data applications such as Hadoop. eHarmony began its Hadoop foray by running batch-processing jobs in the cloud, but soon found out that cloud computing can get very expensive when users are running many instances and have to transfer huge amounts of data to and from the cloud. Having never invested in hardware for its Hadoop cluster, eHarmony was free to look at a brand-new architecture like what SeaMicro provides. As Rich Miller of Data Center Knowledge reported, “the switch reduced its operating expenses by ‘tens of thousands of dollars a month,’ and its total cost of ownership (TCO) by 74 percent.”

eHarmony のストーリーは、Evans の理論と一致しており、また、Hadoop のような Big Data アプリケーションに対して、Micro  Server が適していることを、如実に示す重要な事例である。eHarmony における Hadoop の運用は、クラウドでのバッチ処理ジョブの実行から始まったが、ユーザーが大量のインスタンスを実行し、また、クラウドとの間で膨大なデータを転送する必要が生じるときに、クラウド・コンピューティングがきわめて高価なものになることに気づいた。 そして、Hadoop クラスタのためのハードウェアに投資していなかった eHarmony は、SeaMicro が提供するような、まったく新しいアーキテクチャを自由に探すことができた。Data Center Knowledge の Rich Miller が、『 このスイッチは、運用コストを月に何万ドルも引き下げ、TCO( total cost of ownership)も 74% まで削減した 』とレポートしたように。

Given the now public success at eHarmony, it’s possible we’ll actually start seeing OEM deals pop up between server makers like SeaMicro and Calxeda and big-data software vendors such as Cloudera. As both big data and micro servers catch on among mainstream organizations, it would make some sense for vendors to ride the wave together by pushing pre-integrated systems in which the software and hardware have been specifically tuned to work together. Hadoop in a box, if you will.

このような、eHarmony における成功が明確になれば、たとえば SeaMicro や Calxeda などの Micro Server メーカーと、Cloudera のような Big Data ソフトウェア・ベンダーの間で、OEM ビジネスが展開される可能性も出てくる。  Big Data と Micro Server の双方が、主要な組織において一般的になるにつれて、ソフトウェアとハードウェアの整合性を考えた、プリ・インテグレート・システムをプッシュすることで、この波に乗ってくるベンダーが注目されるだろう。つまり、あなたが望むなら、『 Hadoop in a box 』が手に入るわけだ。

We’ll be tackling the subject of next-generation distributed architecture in depth at Structure 2011 next week, including during a panel featuring Anant Agarwal, co-founder and CTO of fellow micro-server maker Tilera, and HP Labs’ Partha Ranganathan. The concept of packing lots of low-power cores into a small form factor has applications outside of big data — powering web applications probably being chief among them — and it should be very interesting to hear what new use cases might find themselves well suited for this architecture and how vendors such as Tilera, SeaMicro, Calxeda and even traditional server vendors must evolve to address this broader ecosystem of apps.

私たちが来週に開催する Structure 2011では、次世代の分散アーキテクチャというテーマを深く掘り下げていく。 そこには、Micro Server メーカー Tilera の co-founder and CTO である Anant Agarwal や、HP Labs の Partha Ranganathan によるパネルも含まれる。 また、小さなフォーム・ファクターに大量の省電力コアを詰め込むコンセプトは、Big Deta 以外の領域にも適用される。(Web アプリケーションに更なるパワーを供給することが、それらの中の最右翼であろう)そして、このアーキテクチャに適合する、新しいユースケースの発見についても、きわめて興味深い情報が得られるはずだ。さらに、Tilera や、SeaMicro、Calxeda といったベンダーだけではなく、従来からのサーバー・ベンダーも、この適用における幅広いエコシステムに取り組むはずであり、いろいろな意味で興味は尽きない。

Related content from GigaOM Pro (subscription req’d):

ーーーーー

最後まで訳してみて、またも GIGAOM にハメられたと気づいたのですが、昨日に続いて 2日連続でヤラれるとは ・・・ orz。 それにしても、こんな話を聴かされると Structure 2011 に行きたくなるのは当たり前の話でして、必死でこらえている人には、たいへん申し訳ないことをしてしまったと思っております、はい。 そんな方は、以下の関連資料 CBA 版は読まないでくださいね。 しかし、GIGAOM って、悪いヤツですねぇ :) ーーー __AC Stamp 2

ーーーーー

<関連>

CBA 岩見沢フォーラム:クラウドストレージの動向と実現プラン
ーーーーー
Hadoop ビジネスで、EMC が仕掛ける大勝負とは?
Asakusa 報道特集 – Hadoop を用いたバッチ・フレームワーク
Big Data を 美味しくいただくための、クッキング・ブックを作ろう
ーーーーー
Nvidia が開発する ARM ベースの Server CPU とは?
ARM ベースの Marvell Armada XP は、クラウドで革命を起こせるのか?
ARM A15 が登場! サーバーまでもカバーする性能
Smooth-Stone  – ARM チップで Intel とは別次元のデータセンターを目指す
ARM サーバーについて – 日本語記事のマトメ・ページです

 

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: