Agile Cat — in the cloud

Big Data の調査:未来においても Hadoop の支配は続くのか?

Posted in Big Data, Hadoop, On Monday by Agile Cat on June 23, 2014

Big Data and Hadoop: Will Hadoop Continue to Dominate?
http://wp.me/pwo1E-7Ba

By Dick Weisinger – June 19, 2014
http://formtek.com/blog/big-data-and-hadoop-will-hadoop-continue-to-dominate/

_ formtek

When people talk Big Data today, often they’re talking about Hadoop, a technology first created by Doug Cutting in 2005.  Forrester Research says that “Hadoop is unstoppable as its open source roots grow wildly and deeply into enterprises.”

現時点において、人々が Big Data について語るとき、大半の場合、Hadoop の話になる。そのテクノロジーは2005年に Doug Cutting により作り出されたものである。Forrester Research は、「 オープンソースをルーツに持つものが成長し、エンタープライズにも強引に入り込んでくるにつれて、Hadoop も止められないものになる」と発言している

The following are just some of the vendors have built solutions around Hadoop: Amazon Web Services (AWS), Cloudera, Hortonworks, IBM, Intel, MapR Technologies, Microsoft, Pivotal Software, and Teradata.

この流れに従う形で、いくつかのベンダーが、Hadoop に関連するソリューションを構築している。 具体的には、Amazon Web Services (AWS)/Cloudera/Hortonworks/IBM/Intel/MapR Technologies/Microsoft/Pivotal Software/Teradata などの名前が挙げられる。

Analysts like Allied Market Research estimate that the Hadoop market will grow from $2.0 billion in 2013 to $50 billion in 2020.  The forecast includes software, hardware and services.  Today services represent about half of the Hadoop market.  But how realistic are estimates for a product market-size five-years out?

Allied Market Research などのアナリストたちは、Hadoop のマーケットが、2013年の $2.0 billion から、2020年は $50 billion にまで成長すると推定している。

そして、この予測には、ソフトウェア/ハードウェア/サービスが含まれる。 今日の Hadoop マーケットにおいては、サービスの割合が、全体の約半分を占めている。しかし、このマーケットの規模に関する、5年の推定値はというと、どの程度まで現実的なのだろうか?

Forrester ticks off the following four reasons as to why Hadoop is so hot today:

Forrester は、いまの Hadoop がホットな理由として、以下の 4つの理由を挙げている:

  • Provides lower cost storage
  • Based on open source innovation
  • Scales well
  • Provides businesses a way to squeeze profits from their data

Allied Market Research attributes the growth in Hadoop to a strong interest in managing structured and unstructured data and big data analytics.

また、Allied Market Research は、構造化/非構造化データと Big Data 分析の運用において、Hadoop が強い関心を引き寄せているとしている。

But Hadoop is a platform and forecasts about how Hadoop will grow don’t or can’t factor in the appearance of new competing technologies.  Estimates for how technologies will play out six years hence are very difficult to predict.  Consider the effect of the iPad and the fact that the first iPad was sold less than five years ago.   Things can change quickly.  When Big Data is considered as an umbrella category of technologies, it is almost certain to see huge growth between now and 2020, but whether Hadoop will continue to be the center of Big Data in 2020 is less clear.

しかし、Hadoop はプラットフォームであり、また、Hadoop の成長を予測するにあたり、それと競合する新しいテクノロジーを、考慮することは困難である。つまり、これから 6年の間に、どのようなテクノロジーが登場するかと予測することは、きわめて難しいことなのだ。考えて欲しいのは、iPad の出現による変化と、最初に iPad が販売されてから、まだ 5年も経ていないという事実である。すべては、素早く変化していく。Big Data が、テクノロジーの傘下にあると考えた場合、いまから 2020年までの間に、ほぼ確実に大きな成長が見られるだろう。しかし、2020年においても、Hadoop が Big Data の中心に居続けるかというと、明確な根拠があるわけでもない。

James Kobelius, IBM Big Data evangelist, says that “Hadoop’s footprint will continue to grow for some time in the big data arena, especially as the core open-source technologies evolve and enterprises invest more heavily in the technology.  However, Hadoop will be neither the dominant platform nor the architectural centerpiece of most enterprise big data deployments. But that also applies to any other big data platforms, current or emerging, that you might name.”

IBM の Big Data evangelist である James Kobelius は、「 Hadoop の実績は、Big Data という分野において、しばらくの間は成長していくだろう。 とりわけ、コア・オープンソース・テクノロジーが進化し、エンタープライズがテクノロジーに多額の投資を行う世界で、それは顕著になる。しかし、大半のエンタープライズが Big Data をディプロイしていくとき、Hadoop は支配的なプラットフォームではなく、アーキテクチャ上の中心に座ることもないだろう。つまり、いまは名前もない、新しい Big Data プラットフォームの適用もありえるのだ」と、発言している

ーーーーー

Hadoop といえば、その大元は Google の MapReduce になるのですが、Agile_Cat が敬愛する High Scalability の Todd Hoff さんが、「Google Instant では、リアルタイム検索のために MapReduce を排除!」という記事を、2010年 9月の時点で書いていました。 これは、Google がインクリメント・サーチを開始した時期と同じころの話であり、すでに違う世界でチャレンジしているのだなぁ・・・ と関心した記憶が蘇ってきました。 いまの Google 先生はというと、BigQuery というサービスを提供していますが、それと GCE 上の Hadoop の関係など、いったい、どうなっているのでしょうか? いろいろと、興味の尽きないフィールドですね。

ーーーーー

<関連>

IoT の調査: 依然として見えてこない、セキュリティとプライバシーの方向性
Digital Universe の調査: データの生成は、人間からマシンへ、そして先進国から途上国へ
Data Center の調査: 未来のデータセンターは、小型で手元に置かれるものになる
IoT の調査:ベンダーごとの呼び方があるが、やはり IoT は IoT だ!
Cloud Computing の調査:クラウドはオンプレミスを置き換えるものへとシフトしている

Comments Off on Big Data の調査:未来においても Hadoop の支配は続くのか?

%d bloggers like this: