Agile Cat — in the cloud

Hadoop’s civil war: Does it matter who contributes most?
By Derrick Harris Oct. 7, 2011
http://gigaom.com/cloud/hadoops-civil-war-does-it-matter-who-contributes-most/

If you were going to buy a service contract for your open source software, would you prefer your service provider actually be the certifiable authority on that very software? If “yes,” you understand why Cloudera and Hortonworks have been playing a game of oneupsmanship over the past few weeks in an attempt to prove whose contributions to the Apache Hadoop project matter most. However, while reputation matters to both companies, it might not matter as much as fending off encroachments to their common turf.

あなたのオープン･ソース･ソフトウェアのために、サービス契約を結ぼうとするなら、そのサービス･プロバイダが実際に、対象となるソフトウェアのオーソリティとして証明されることを望むだろうか？ もし「 Yes 」と答えるなら、Apache Hadoop プロジェクトへの貢献において、数週間にわたって Cloudera と Hortonworks が、どちらが重要な役割を果したかと証明しようとして、火花を散らしていた理由を理解しなければならない。 しかし、当事者たちにとって評判が重要であっても、いつもの商売としての縄張りを守るほどには、重要でことでは無いのかもしれない。

Feature image courtesy of Flickr user aj82 ⇒

A few weeks ago, Hortonworks, the Hadoop startup that spun out of Yahoo in June, published a blog post highlighting Yahoo’s — and, by proxy, Hortonworks’ — impressive contributions to the Hadoop code. Early this week, Cloudera CEO Mike Olson countered with gusto, laying out a strong case for why Cloudera’s contributions are just as meaningful, maybe more so. Yesterday, it was Hortonworks CEO Eric Baldeschwieler firing back with even more evidence showing that, nope, Yahoo/Hortonworks is actually the best contributor. The heated textual exchange is just the latest salvo in the always somewhat-acrimonious relationship between Yahoo and Cloudera, but now that Team Yahoo is in Hadoop to make money, he who claims the most expertise might also claim the most revenue.

数週前のことだが（10月初旬）、Hadoop スタートアップである Hortonworks（6月に Yahoo からスピンアウト）は、Hadoop コードに対する素晴らしいコントリビューションを行ったとして、Yahoo にスポットライトを当てたブログを、その代理人としてポストした。そして今週の初めに、今度は Cloudera CEO である Mike Olson が、それ以上に Cloudera の貢献が有意義であるという、揺るぎない主張を並べ立て、自信満々に応じた。さらに 昨日（10/6）には、Hortonworks CEO である Eric Baldeschwieler が、さらに証拠が示しながら反撃していた。 まぁ、実際のところ、Yahoo / Hortonworks のペアが、最大の貢献者なのである。 このヒートアップした文面の交換は、常に緊張感を漂わせていた Yahoo と Cloudera が、互いに攻撃しあうパターンである。しかし、いまの Team Yahoo は、収益性を第一に求めているため、Hadoop に関する知識とノウハウを有する者たちが、さらなる対価を要求することもあり得る。

From Olson’s post ⇒

Hortonworks is betting its entire existence on it. With the company likely not offering its own distribution, Hortonworks will rely almost exclusively on its ability to support the Apache Hadoop code (and perhaps some forthcoming management software) for bringing in customers. This is a risky move.

Hortonworks は、そこに、存在の全てを賭けている。 ただし、同社は自身のディストリビューションを提供しない方針である。顧客に対して持ち込まれる Apache Hadoop コード（今後はマネージメント･ソフトウェアが加わる）をサポートするために、その能力の大半を費やすことになる。これは、リスキーなやり方である。

To make a Linux analogy, Hortonworks is playing the role of a company focused on supporting the official Linux kernel, while Cloudera is left playing the role of Red Hat selling and supporting its own open source, but enterprise-grade, distribution. Maybe Hortonworks should try to be Hadoop’s version of Novell. Whatever you think about the companies’ respective business models, though, it’s clear why reputation matters.

Linux に重ね合せてみると、Hortonworks は オフィシャル Linux カーネルのサポートに焦点を合わせて、その役割を演じる会社である。 それに対して Cloudera は、自社製オープンソースの販売とサポート行う、Red Hat の役割を演じているが、その対象はエンタープライズ･グレードのディストリビューションとなる。 おそらく、Hortonworks は、Novell の Hadoop バージョンになろうとするはずである。それらの会社のビジネス･モデルについて、何を考えるにしても、評判を大切にする理由は明確である。

From Baldeschwieler’s post ⇒

However, I’ve been told by a couple people deeply involved in the big data world that perhaps Hortonworks and Cloudera would be better served if they spent their energies worrying about a common enemy by the name of MapR. MapR is the Hadoop startup that has replaced the Hadoop Distributed File System with its own file system that it claims far outperforms HDFS and is much more reliable, and that already has a major OEM partner in EMC.

しかし、Big Data の世界に深く関わっている人々の話によると、Hortonworks と Cloudera が、彼らの共通の敵である MapR に対抗するために、そのエネルギーを費やすなら、さらに良いサービスを提供する可能性があるという。 MapR は Hadoop のスタートアップであるが、Hadoop Distributed File System を自身のファイル･システムで置き換える。それにより、HDFS を凌駕し、さらなる信頼性を提供すると主張するが、すでに、EMC というメジャーな OEM パートナーを有している。

Ryan Rawson, director of engineering at Drawn to Scale and chief an architect for working on HBase, told me that he’s very impressed with MapR and that it could prove very disruptive in a Hadoop space that has thus far been dominated by Cloudera and core Apache. “The MapR guys definitely have a better architecture [than HDFS],” he said, with significant performance increases to match.

Drawn to Scale の director of engineering であり、HBase の architect でもある Ryan Rawson は、MapR に感銘を受けていると話してくれた。そして、これまでのところ、Cloudera と Apache が支配してきた Hadoop の領域において、きわめて破壊的な存在であることが証明されるという。 ｢MapR は、HDFS よりも明らかに優れたアーキテクチャを有し」、また、パフォーマンスを大幅に向上させていると、彼は発言している。

Rawson’s rationale for finding such promise in MapR is hard to argue with. As he noted, it’s not “garage hobbyists” that are building out large Hadoop clusters, but real companies doing real business. If MapR’s file system outperforms HDFS by 3x, that might mean one-third the hardware investment and fewer management hassles. These things matter, he said, and everyone knows that there’s no such thing as a free lunch: even if they give away the software, Cloudera and Hortonworks still sell products in the form of services.

MapR の将来性を見つけ出すという、Rawson の理論的な根拠を説明することは難しい。 彼が指摘したように、MapR はリアルなビジネスを展開する現実の企業であり、大規模な Hadoop クラスタを作るだけの「ガレージ･ホビースト」ではない。 MapR のファイル･システムが、HDFS に対して 3倍の性能を持つなら、そのためのハードウェア投資は 1/3 となり、マネージメントの煩雑さも低減するだろう。 タダより高いものは無いというが、その点が重要だと、彼は言う。たとえ、ソフトウェアを提供するといっても、Cloudera と Hortonworks は依然として、サービスという形態でプロダクトを販売している。

It’s not just MapR that’s trying to get a piece of Apache Hadoop’s big data market share, either. As I explained earlier this week, there are and will continute to be alternative big data platforms that might start looking more appealing to customers if Hadoop fails to meet their expectations.

Apache Hadoop の  Big Data マーケットから、いくばくかのシェアを得ようとしているのは、MapR だけではない。 今週の初めに説明したように、もし Hadoop が顧客の期待に応えられないなら、その心を惹きつけようと狙っている、Big Data の代案は存在するし、これからも継続し続ける。

The Apache Hadoop community, led for the most part by Hortonworks and Cloudera, has some major improvements in the works that will help it address many of its criticisms, but they’re not here yet. Does it matter which company drives the code and patches for those improvements? Yes, it does. But maybe not as much as burying the hatchet and making sure the Apache Hadoop they both rely on remains worth using.

Apache Hadoop コミュニティは、その大部分を Hortonworks と Cloudera によりリードされ、数多くの批判に取り組むために尽力してきたが、答えを出すには早すぎる。それらの改良のためのコードとパッチを、どの会社が促進するのかという点が、はたして重要だろうか？ いや、重要なのだ。 ただし、手斧を買い求める必要もなく、両社は依存する Apache Hadoop の価値を、確実に活用し続けることになる。

Related research and analysis from GigaOM Pro:

• Infrastructure Q1: IaaS Comes Down to Earth; Big Data Takes Flight
• Defining Hadoop: the Players, Technologies and Challenges of 2011
• Putting Big Data to Work: Opportunities for Enterprises

ーーーーー

このコンテントが、Gigaom にポストされた直後に ［ Microsoft のOSS ベースのクラウド･サービス ］ が発表されたわけですが、ここで説明されている背景と重ね合わせると、Hortonworks の判断も理解できます。 Hadoop といえば Cloudera というパターンから、多様なプロバイダーが競い合う世界へと、このマーケット全体が、移行しつつあるように思えます。 ーーー

ーーーーー

＜関連＞

クラウドで Big Data をハンドリングする 6 社の事例
Yahoo! から派生した Hortonworks が 次期 Hadoop を語る
Twitter が提供する、Hadoop ライクな OSS とは？
Facebook は 30 P Bytes の Hadoop HDFS を Oregon へ移動
Microsoft は Azure のために、Dryad 以外の Hadoop 対抗をリリースする