Agile Cat — in the cloud

Redshift により データ・ウェアハウスの魔法を解く:James Hamilton

Posted in .Selected, Amazon, Data Warehousing, James Hamilton by Agile Cat on December 4, 2012

Redshift: Data Warehousing at Scale in the Cloud
http://wp.me/pwo1E-5js

Wednesday, November 28, 2012
http://perspectives.mvdirona.com/2012/11/28/RedshiftDataWarehousingAtScaleInTheCloud.aspx

_ perspectives

I’ve worked in or near the database engine world for more than 25 years. And, ironically, every company I’ve ever worked at has been working on a massive-scale, parallel, clustered RDBMS system. The earliest variant was IBM DB2 Parallel Edition released in the mid-90s. It’s now called the Database Partitioning Feature.

私の 25年以上にもおよぶキャリアは、データベース・エンジンの世界で、あるいは、その周辺で培われてきた。 そして、皮肉なことに、私が働いてきたすべての企業が、大規模スケール/パラレル/クラスター RDBMS システムに取り組んでいる。 最も初期の派生物は、90代半ばにリリースされた、IBM DB2 Parallel Edition であった。 いまでは、Database Partitioning Feature と呼ばれているものである。

Massive, multi-node parallelism is the only way to scale a relational database system so these systems can be incredibly important. Very high-scale MapReduce systems are an excellent alternative for many workloads. But some customers and workloads want the flexibility and power of being able to run ad hoc SQL queries against petabyte sized databases. These are the workloads targeted by massive, multi-node relational database clusters and there are now many solutions out there with Oracle RAC being perhaps the most well-known but there are many others including Vertica, GreenPlum, Aster Data, ParAccel, Netezza, and Teradata.

大容量のマルチノード並列方式は、スケーラブルな・リレーショナル・データベースシステムを実現する唯一の方法であるため、それらのシステムは、きわめて重要なものとなり得る。 もちろん、大規模スケールの MapReduce システムは、大量のワークロードを処理するという意味で、素晴らしい対案となる。 しかし、いくつかの顧客とワークロードは、ペタバイト・サイズのデータベースではなく、アドホックに SQL クエリーを実行するための、柔軟性と機能を必要とする。そこには、大容量マルチノードのリレーショナル・データベース・クラスターが、目標として定めたワークロードがある。そして、最も有名なのは Oracle RAC だとも思われるが、VerticaGreenPlumAster DataParAccelNetezzaTeradata などを含む、多様なソリューションも提供されている。

What’s common across all these products is that big databases are very expensive. Today, that is changing with the release of Amazon Redshift. It’s a relational, column-oriented, compressed, shared nothing, fully managed, cloud hosted, data warehouse. Each node can store up to 16TB of compressed data and up to 100 nodes are supported in a single cluster.

それら、すべてのプロダクトに共通する問題は、大規模なデータベースが、とても高価であるということだ。 しかし、いま、Amazon Redshift のリリースにより、それが変化している。 それは何かということであれば、リレーショナルであり、また、カラム指向で、圧縮機能を持ち、シェアード・ナッシングで、フル・マネージに対応する、クラウドにホストにされたデータ・ウエアハウスとなる。 それぞれのノードは、最大で 16 TB の圧縮データをストアすることが可能であり、また、最大で 100ノードが、シングル・クラスター内でサポートされる。

Amazon Redshift manages all the work needed to set up, operate, and scale a data warehouse cluster, from provisioning capacity to monitoring and backing up the cluster, to applying patches and upgrades. Scaling a cluster to improve performance or increase capacity is simple and incurs no downtime. The service continuously monitors the health of the cluster and automatically replaces any component, if needed.

Amazon Redshift は、データ・ウエアハウス・クラスターの、設定/運用/スケールに必要な、すべての作業を管理する。それは、クラスターのモニタリングとバックアップのためのキャパシティ・プロビジョニングから、パッチとアップグレードの適用にまで至る。 パフォーの改善と容量を増大するための、クラスターのスケーリングは、シンプルでありダウンタイムを引き起こさない。 このサービスでは、対象となるクラスターの健康状態が継続的にモニターされ、また、あらゆるコンポーネントの置き換えであっても、必要に応じて自動的に処理される。

The core node on which the Redshift clusters are build, includes 24 disk drives with an aggregate capacity of 16TB of local storage. Each node has 16 virtual cores and 120 Gig of memory and is connected via a high speed 10Gbps, non-blocking network. This a meaty core node and Redshift supports up to 100 of these in a single cluster.

それそれの Redshift クラスター上のコア・ノードは、24 台のディスク・ドライブを取り込み、16TB のローカル・ストレージの容量をアグリゲートしていく。 それぞれのノードは、16 の仮想コアと 120GB のメモリを持ち、また、10 Gbps/non-blocking の高速ネットワークに接続される。 Redshift はシングル・クラスター内で、このリッチなコア・ノードを、最大で 100 までサポートする。

There are many pricing options available (see http://aws.amazon.com/redshift for more detail) but the most favorable comes in at only $999 per TB per year. I find it amazing to think of having the services of an enterprise scale data warehouse for under a thousand dollars by terabyte per year. And, this is a fully managed system so much of the administrative load is take care of by Amazon Web Services.

数多く価格オプションが提供されているが(詳細については  http://aws.amazon.com/redshift を参照)、TB を年に $999 だけで利用するパターンが、最も推奨できる。 私が驚いたのは、年に $1000 もかけずに、エンタープライズ・スケール向けの、TB データ・ウエアハウス・サービスが実現されることだ。 そして、フル・マネージド・システムが提供されるため、アドミニストレータが対応すべき大半の負荷が、Amazon Web Services により処理されていく。

Service highlights from: http://aws.amazon.com/redshift

以下の各項目は、AWS 日本語サイトにアップされると思います:
http://aws.amazon.com/jp/products/

Fast and Powerful – Amazon Redshift uses a variety to innovations to obtain very high query performance on datasets ranging in size from hundreds of gigabytes to a petabyte or more. First, it uses columnar storage and data compression to reduce the amount of IO needed to perform queries. Second, it runs on hardware that is optimized for data warehousing, with local attached storage and 10GigE network connections between nodes. Finally, it has a massively parallel processing (MPP) architecture, which enables you to scale up or down, without downtime, as your performance and storage needs change.

You have a choice of two node types when provisioning your own cluster, an extra large node (XL) with 2TB of compressed storage or an eight extra large node (8XL) with 16TB of compressed storage. You can start with a single XL node and scale up to a 100 node eight extra large cluster. XL clusters can contain 1 to 32 nodes while 8XL clusters can contain 2 to 100 nodes.

Scalable – With a few clicks of the AWS Management Console or a simple API call, you can easily scale the number of nodes in your data warehouse to improve performance or increase capacity, without incurring downtime. Amazon Redshift enables you to start with a single 2TB XL node and scale up to a hundred 16TB 8XL nodes for 1.6PB of compressed user data. Resize functionality is not available during the limited preview but will be available when the service launches.

Inexpensive – You pay very low rates and only for the resources you actually provision. You benefit from the option of On-Demand pricing with no up-front or long-term commitments, or even lower rates via our reserved pricing option. On-demand pricing starts at just $0.85 per hour for a two terabyte data warehouse, scaling linearly up to a petabyte and more. Reserved Instance pricing lowers the effective price to $0.228 per hour, under $1,000 per terabyte per year.

Fully Managed – Amazon Redshift manages all the work needed to set up, operate, and scale a data warehouse, from provisioning capacity to monitoring and backing up the cluster, and to applying patches and upgrades. By handling all these time consuming, labor-intensive tasks, Amazon Redshift frees you up to focus on your data and business insights.

Secure – Amazon Redshift provides a number of mechanisms to secure your data warehouse cluster. It currently supports SSL to encrypt data in transit, includes web service interfaces to configure firewall settings that control network access to your data warehouse, and enables you to create users within your data warehouse cluster. When the service launches, we plan to support encrypting data at rest and Amazon Virtual Private Cloud (Amazon VPC).

Reliable – Amazon Redshift has multiple features that enhance the reliability of your data warehouse cluster. All data written to a node in your cluster is automatically replicated to other nodes within the cluster and all data is continuously backed up to Amazon S3. Amazon Redshift continuously monitors the health of the cluster and automatically replaces any component, as necessary.

Compatible – Amazon Redshift is certified by Jaspersoft and Microstrategy, with additional business intelligence tools coming soon. You can connect your SQL client or business intelligence tool to your Amazon Redshift data warehouse cluster using standard PostgreSQL JBDBC or ODBC drivers.

Designed for use with other AWS Services – Amazon Redshift is integrated with other AWS services and has built in commands to load data in parallel to each node from Amazon Simple Storage Service (S3) and Amazon DynamoDB, with support for Amazon Relational Database Service and Amazon Elastic MapReduce coming soon.

Petabyte-scale data warehouses no longer need command retail prices of upwards $80,000 per core. You don’t have to negotiate an enterprise deal and work hard to get the 60 to 80% discount that always seems magically possible in the enterprise software world. You don’t even have to hire a team of administrators. Just load the data and get going. Nice to see.

ペタ・バイト・スケールのデータ・ウエアハウスにおいて、コアあたり $80,000 を上回るような価格戦略を、神経を使って使いこなす必要は、もはや無くなった。エンタープライズに対して、60%~80% のディスカウント価格を提供するという、無意味な努力など、もう、不要になったのだ。つまり、エンタープライズ・ソフトウェアの世界に、常に潜んでいた魔法が解けるのである。そして、アドミニストレータ・チームを雇うことさえ不要になる。 単純にデータをロードして、それを動かすだけで良いのだ。 素晴らしい、光景じゃないか。

–jrh

James Hamilton
e: jrh@mvdirona.com
w:
http://www.mvdirona.com
b:
http://blog.mvdirona.com / http://perspectives.mvdirona.com

ーーーーー

imageついに、AWS が、ここまで攻め込んできましたね。まぁ、スパコン(CC2)まであるのですから、何でもアリなのだと思いますが、データ・ウエアハウスでも徹底的な価格破壊が行われるのでしょう。 たしか、2010年から 2011年にかけて、数多くのデータ・ウエアハウスが垂直統合されたと記憶していますが、それもこれも、Amazon を怖れての事だったのかも知れませんね。image

ーーーーー

<関連>

James Hamilton 特集
ーーーーー
EMC は新規のアプライアンスを武器に、Teradata と勝負、Oracle と勝負!
IBM が Netezza を $1.7 billion で買収と発表
Teradata と Cloudera が Hadoop で提携!
HP が Dell の 3割増をオファー – エスカレートする 3PAR 争奪戦
Cloudera と Netezza による、Hadoop の商用アプライアンスとは?
【速報】EMC も、ついにクラウドへ本格参入?

VMware は Cloud Foundry に、独自の道を歩ませるべきだ

Posted in .Selected, PaaS, Virtualization, VMware by Agile Cat on July 30, 2012

VMware Needs Focus; Shedding Cloud Foundry Will Help
http://wp.me/pwo1E-4vh
Posted by
Mike Fratto – July 17, 2012
http://www.networkcomputing.com/virtualization/240003872

image

ーーーーー

注記:この記事がポストされたのは、Nicira の買収が発表される前となります。

ーーーーー

If the news coming from GigaOM that VMware is spinning out Cloud Foundry, Greenplum and Project Rubicon are true, it’ll be a good thing for VMware and EMC. VMware has lost some focus in the last few years in trying to branch out into applications and cloud services.

GigaOM が伝えるように、ほんとうに VMware が Cloud Foundry/Greenplum/Project Rubicon がをスピンアウトしていくなら、それは VMware と EMC にとって良いことになるだろう。アプリケーションとクラウドサービスに手を広げるという観点において、これまでの数年で VMware は、いくつかのフォーカスを失っている。

VMware built up its virtualization product suite in the early years with a single-minded focus on products that built on and augmented server virtualization. Add-on features like vMotion, Distributed Resource Scheduler, High Availability, Fault Tolerance and Site Recovery Manager added significant value to server virtualization, letting IT do things unheard of prior to the hypervisor. And VMware’s been on the right track; features like those are highly desired, according to our 2011 InformationWeek survey, “State of Virtualization.” VMware was the only game in town for a long time, but the company hasn’t sat idly by. It brought wave after wave of useful products to market. VMware also fostered a vibrant partner program, which further enhanced its products. Meanwhile, competitors like Citrix and Microsoft fumbled for strategies like a one-handed juggler.

VMware は、早い時期に仮想化スイートを構築したが、それはサーバーの仮想化の上に構成/拡張されたプロダクトにだけ、フォーカスするものであった。そして、vMotion/Distributed Resource Scheduler/High Availability/Fault Tolerance/Site Recovery Manager といったアドオン機能を加え、サーバーの仮想化に大きな価値を与え、ハイパーバイザーの以前には予想も出来なかったことを、IT により具体化していった。そして、私たちの 2011 InformationWeek 調査である “State of Virtualization” において、VMware は適切な方向へ向かっており、その役割に大きな期待が集まっていると評価された。 そして、長い期間において、VMware は最上のものというポジションを維持していたが、その間に同社が何もしなかったというわけでもない。 つまり、有用なプロダクトを、次から次へとマーケットにもたらしたのだ。 さらに VMware は、自身のプロダクトを拡張していく、活気に満ちたパートナー・プログラムを促進していった。 その一方で、Citrix や Microsoft といったコンペティタたちは、片腕のジャグラーのような戦略で、商機を掴み損ねていた。

imageAs VMware added more features and integrated more of its own products with vSphere, there was always the threat that it would cross over the line with partners that offered competing products. Since VMware owned the ecosystem, it would naturally have an unfair advantage that it could exploit at the expense of its partners/competitors. Yet, due to VMware’s overwhelming market share in server virtualization, vendors with competing products had nowhere else to turn.

VMware は、さらに多くの機能を加えていった。 そして、それ自身のプロダクトを vSphere と統合するにつれて、競合製品を提供しているパートナーとの境界線を、踏み越えてしまうと危機に遭遇するようになった。 このエコシステムは VMware に所有されるため、パートナー/コンペティタを犠牲にする、不公平な優位性を常に有することになった。そして、VMware が仮想サーバーのマーケット・シェアを占有するため、競合製品を手にするベンダーたちは、方向転換すら困難になっていった。

When VMware announced Cloud Foundry, it was the company’s big move into PaaS. It had both a commercial service run by VMware and an open source software archive hosted at CloudFoundry.org. This was VMware’s first move to expand its reach outside of vSphere and server virtualization, but CloudFoundry.com never quite took off. PaaS is more attractive to startups that are launching new services where a PaaS offers a number of advantages, like low operational overhead and manageable costs over IaaS, or owning your own hardware. However, enterprises have been slow to adopt PaaS as a strategy. In fact, many organizations are still in the midst of getting their private cloud off the ground, and haven’t even considered a move to a PaaS service.

VMware が Cloud Foundry を発表したときに、同社は PaaS へ向けた大きなシフトを示した。 そして、そこには VMware が推進する商用サービスと、CloudFoundry.org がホストする OSS の双方が存在した。 つまり、vSphere と仮想サーバーの外側に広がる、VMware としての最初の動きであったが、まったくと言ってよいほど CloudFoundry.com は離陸していかなかった。 PaaS は、新しいサービスを立ち上げるスタートアップにとって魅力的であり、また、より多くのアドバンテージを提供する。たとえば、ハードウェアを所有する場合よりも、さらには IaaS を利用する場合よりも、低く抑えられた運用上のオーバーヘッドとコストが、その利点として挙げられる。 しかしエンタープライズは、これまでのところ、戦略をして PaaS を採用するに至っていない。 実際のところ、依然として数多くの組織は、そのプライベート・クラウドを立ち上げる途上にあり、また、PaaS への移行については、検討さえ行なわれていない状況にある。

There’s still a lot of opportunity in the server virtualization and private cloud markets. In our InformationWeek Report, “Private Cloud Vision vs Reality, only 21% of respondents said they had a private cloud and 30% were starting a private cloud project. In both camps, VMware was the top vendor chosen as part of respondents’ private cloud efforts. However, only 16% of the respondents had settled on a bundled private cloud offering. Thirty-eight percent were going to use best-of-breed products, 30% were undecided, and 16% will use open source and commercial offerings. Neither VMware’s continued dominance in server virtualization nor its ability to expand its share in private cloud are assured.

仮想サーバーとプライベート・クラウドの市場には、依然として大きなビジネス・チャンスが残されている。 私たちの InformationWeek Report である ”Private Cloud Vision vs Reality” では、回答者の 21% のみがプライベート・クラウドを保有しているとし、また、30% がプライベート・クラウドを立ち上げていると状況にあった。 その両方の領域において、VMware はプライベート・クラウドのプラットフォームとして、トップ・ベンダーに選ばれている。 しかし、回答者の 16% に過ぎないが、それらの企業は、セットとして提供されるプライベート・クラウドの採用を決定していた。 また、38% がベスト・オブ・ブリードのプロダクトを使うとし、30% が未決定であり、16% が OSS および商用プロダクトを使うと回答した。 仮想サーバーにおける VMware の優位性と拡張性を、プライベート・クラウドにも継続して展開できるかというと、そこに確実性は存在しない。

Given the strong interest in private cloud, the large majority of organizations that have yet to move to a private cloud, and the company’s market share, VMware is well positioned to thrive. Cutting loose distractions like Cloud Foundry, Greenplum and Project Rubicon will let VMware focus on its core strengths in a very lucrative market.

プライベート・クラウドへの強い関心と、大半の組織がプライベート・クラウドに移動していないという状況、そして、VMware のマーケット・シェアを前提にすると、同社の未来は明るい。 Cloud Foundry のような混迷を切り離すことで、Greenplum と Project Rubicon は VMware のフォーカスを、利益性の高いマーケットにおける基本的な強さへと向かわせるであろう。

And while the company is of a mind to spin out products, the acquisitions of slideware service SlideRocket, miro-blogging Socialcast and collaboration service Zimbra still seems like an off-the wall set of acquisitions with no supporting strategy. VMware should spin them out as well.

そして、同社がいくつかのプロダクトをスピンアウトさせたいと考える一方で、スライドウェア・サービスの SlideRocket や、マイクロ・ブログの Socialcast、そしてコラボレーション・サービスの Zimbra といった一連の企業買収には、戦略的な視点が欠けているように見える。 VMware は同様に、それらを上手くスピンアウトさせるべきだ。

Mike Fratto is editor of Network Computing. You can email him, follow him on Twitter, or join the Network Computing group on LinkedIN. He’s not as grumpy as he seems.

ーーーーー

image実は、この記事、先週の月曜日にポストの予定だったのですが、Nicira 買収の発表により延期となってしまった経緯があります。 それにしても VMware は、どちらの方向を向いていくのでしょうか? ここで指摘されるように、Cloud Foundry のスピンアウトは、VMware にとっても良い結果をもたたすように思えるのですが、そうなると Nicira 買収の意味は何処にあるのかという、新しい疑問が湧いてきてしまいますね。 ーーー

ーーーーー

<関連>

VMware の言うクラウド選択の自由と、Nicira の買収は矛盾しないのか?
VMware が Nicira を $1.26B を買収 : その背景にあるものは?
Paul Maritz が VMware CEO を退任するらしい
VMware は OpenFlow を静観する_1
VMware は OpenFlow を静観する_2
VMware は OpenFlow を静観する_3

 

Paul Maritz が VMware CEO を退任するらしい

Posted in .Selected, VMware by Agile Cat on July 19, 2012

VMware Blockbuster: Maritz Out As CEO After Four-Year Tenure
http://wp.me/pwo1E-4sg

By
Kevin McLaughlin, CRN – July 16, 2012
http://www.crn.com/news/virtualization/240003823/vmware-blockbuster-maritz-out-as-ceo-after-four-year-tenure.htm

_ CRN

Paul Maritz is out as VMware CEO, and he is being replaced by Pat Gelsinger, president and COO of EMC (NYSE:EMC)’s Information Infrastructure Products division, CRN has learned.

Paul Maritz が VMware CEO から退き、EMC Information Infrastructure Products Division の President and COO である Pat Gelsinger が、その後任に就くという情報を、CRN は得ている。

Multiple sources familiar with the situation confirmed the CEO switch to CRN Monday. But it is unclear if Maritz, who has led VMware since 2008, will be taking another position within EMC or leaving the company.

この状況に精通する多数の情報源から、この月曜日に、同社の CEO が入れ替わったことを、CRN は確認している。しかし、2008年から VMware をリードしてきた Maritz が、EMC グループ内で別のポジションをえるのか、辞職するのかについては、明らかにされていない。

A VMware spokesperson declined to comment, citing company policy of not responding to “rumors or speculation.” EMC did not respond to a request for comment.

VMware のスポークスマンは、「ウワサや推測」に対しては応じないという同社のポリシーを盾に、コメントを拒否している。また、問い合わせに関しても、返答が戻ってきていない。

Both Maritz, who joined EMC in 2008 in its acquisition of software startup Pi Corp, and Gelsinger, who joined EMC in 2009 after a 30-year career at Intel, have been rumored to be in line to replace EMC CEO Joe Tucci if and when he decides to retire.

Maritz は、ソフトウェア・スタートアップ Pi Corp の買収により、2008年に EMC に参加し、 Gelsinger は Intel で30年のキャリアを積み上げた後に、2009年に EMC に参加している。 そして、双方とも、EMC CEO である Joe Tucci が引退するときに、その後任に就くというウワサがあった。

With Gelsinger taking over as VMware CEO, it wouldn’t be surprising to see Maritz get the nod for the top spot at EMC, one longtime partner of both vendors told CRN.

Gelsinger が VMware CEO を引き継ぐことで、Maritz が EMC のトップに就くことになっても、いささかも驚きではないと、両ベンダーの長年におけるパートナーは、CRN に対して発言している。

Maritz has taken VMware to the next level during his four years at the helm, said the source, who requested anonymity because he is not authorized to speak on internal VMware matters. “Maritz’s departure would definitely be a loss for VMware, but Gelsinger has a great track record as well,” he said.

Maritz は 4年間にわたり、VMware の指揮権をとりながら、同社を次のステップへと引き上げてきたと、ある情報提供者は発言している(VMware の内規もあり匿名となる)。 「Maritz の退任は、VMware とって確かに損失となるが、Gelsinger も偉大な功績を有している」と、彼は続けている。

Gelsinger is a “strong and very credible leader,” said Jamie Shepard, executive vice president of technology solutions at ICI, a Marlborough, Mass.-based solution provider, when informed of the leadership change by CRN. “He knows the server CPU space, and his exposure to EMC and understanding of data intensive apps and how to store them would be a huge win for VMware,” he said.

Gelsinger は「パワフルで信頼できるリーダーだ」と、Jamie Shepard は言う。 彼は、Marlborough Mass. ベースのソリューション・プロバイダで ICI Technology Solutions 系の VP を努めており、このトップ交代劇について、CRN が情報をもたらしたときに、 「彼は サーバー CPU の領域に明るく、また、EMC に対する責任を全うしている。 つまり、データ・インセンティブなアプリケーションを理解し、VMware に大きな勝利をもたらすための、データのストア方式を知っているのだ」とも、発言している。

Another longtime VMware and EMC partner said he is surprised that it took this long for the lines to blur between EMC and VMware’s leadership ranks. “I remember when EMC acquired VMware, and how it was all going to stay separate and they weren’t going to swap executives, but no one ever believed that,” said the source.

VMware および EMC との長年のパートナー関係にある、もう一人の人物は、両社のリーダー間における位置づけを、あいまいにしていくために、これほど長く時間がかかったことに驚いている、と発言している。 「私は、EMC が VMware を買収した時のことを覚えている。そして、両社が独立した状態を保つように配慮し、経営陣を交換することを避けてきたが、それが続くとは、誰も信じていなかった」と、その情報源は語っている。

Executive Shuffle Part Of A Larger Plan?

imageVMware’s CEO switch may be part of a larger corporate restructuring. GigaOm reported Monday that VMware is mulling a spinoff of certain cloud-centric parts of its business, including its Cloud Foundry platform-as-a-service and assets from EMC (NYSE:EMC) Greenplum and Project Rubicon, a joint venture infrastructure-as-a-service involving VMware and EMC.

VMware における CEO の交代劇は、さらに大きなスケールで行なわれる、同社の再構築の一部なのかもしれない。月曜日の GigaOm は、PaaS である Cloud Foundry および、EMC/Greenplum/Project Rubicon の資産を含めた、一連のクラウド・セントリックなビジネスのスピンオフを、VMware は熟慮していると報じた。 つまり、VMware と EMC が関与する、ジョイント・ベンチャー IaaS が検討されているのだ。

Tod Nielsen, co-president of VMware’s application platform business, and Mark Lucovsky, vice president of engineering in charge of Cloud Foundry, are said to be in the running to lead the spun-off company, according to the GigaOm report.

GigaOm のレポートによると、VMware の Application Platform Business – Co-President である Tod Nielsen と、Cloud Foundry を担当する VP of Engineering の Mark Lucovsky が、新会社のリーダーに就くと言われているようだ。

Last week, EMC announced that Vice Chairman William “Bill” Teuber is now a member of the Office of the Chairman, tasked with oversight of strategy and business development in emerging markets. Teuber will continue sponsoring EMC’s largest accounts and will work with EMC to develop future executives.

先週に EMC は、Vice Chairman である William Bill Teuber が、Office of the Chairman のメンバーに加わり、急成長する新しいマーケットにおける全体的な戦略とビジネス開発を担当すると発表している。 Teuber は継続して EMC の大口顧客を支援し、また、将来における経営者たちの育成に貢献していく。

EMC also promoted 27-year veteran sales executive Bill Scannell to president of global sales and customer operations, which was previously Teuber’s role.

さらに EMC は、27年の経歴を持つ Sales Executive である Bill Scannell を、President of Global Sales and Customers に抜擢するが、同職の前任者は Teuber である。

VMware may shed more light on the leadership change and rumored spin-off plans in its second quarter earnings July 23.

VMware は、7月 23日に行なわれる Q2 収支報告会で、そのリーダーシップの変更と、ウワサのスピンオフ計画について、詳細を述べるかもしれない。

ーーーーー

TAG index今後のことは さて置き、これまでの 4年間において、素晴らしい舵取りをしてきた Paul Maritz に拍手を送りたいですね。 そして、VMware が IaaS に進出してくるというのも、とても面白い展開です。4月にポストした、「アメリカの 最強 IaaS プロバイダー Top-10 をリストアップ!」に、「パブリック・クラウド IaaS 最強のベンダーとして、リストアップされた 9社中の 4社が、VMware ベースのインフラストラクチャに」と書かれているように、超大物が参戦してくるわけです。 7月23日に、何が発表されるのでしょうか? これは見逃せませんね! ーーー image

ーーーーー

続報: 7/19 – 09:20 AM

EMC CEO Joe Tucci’s new job descriptions for Maritz and Gelsinger:
Pat will now lead Cloud Infrastructure at VMware, and Paul will look across our technology strategy with a particular focus on Big Data and the next generation of cloud-oriented applications that will be built on top of these foundations.

Maritz は EMC の要職に就くようです!

ーーーーー

<関連>

VMware は OpenFlow を静観する_1
VMware は OpenFlow を静観する_2
VMware は OpenFlow を静観する_3
VMware が考える、ソフトウェア定義によるデータセンターとは?
VMware の考える SDN は、OpenFlow だけでは完成しない

Hitachi がスマート・グリッドで Silver Spring と提携

Posted in Green IT by Agile Cat on February 24, 2012

Hitachi & Silver Spring link up over smart grid
http://wp.me/pwo1E-3WV
By
Katie Fehrenbacher Feb. 23, 2012
http://gigaom.com/cleantech/hitachi-silver-spring-link-up-over-smart-grid/

_ Gigaom

Japanese giant Hitachi and Valley smart grid network provider Silver Spring Networks are teaming up over product development as well as a potential investment. An announcement from the companies this morning states that “Hitachi will acquire convertible bonds with stock acquisition rights to be issued by Silver Spring,” and the companies say they will work on R&D for new products for the smart grid.

日本の大手である Hitachi と、Silicon Valley のスマート・グリッド・ネットワーク・プロバイダ Silver Spring Networks が、製品開発において協調だけではなく、資本提携も匂わしている。 今朝のことだが、両社からの発表によると「Silver Spring から発行される株式取得権利付きの転換社債を、Hitachi が購入する予定」と述べている。さらに両社は、スマート・グリッドの新プロダクトを開発するために、R&D に取り組むとも発言している。

Hitachi is a massive conglomerate with hundreds of businesses, including quite a few in the smart grid like energy management systems, transformers, battery storage technology, and lighting. Hitachi is also working on the Hawaii smart grid demonstration project with a variety of other companies.

Hitachi は広範囲におよぶ複合企業であり、エネルギー管理システム/変圧器/バッテリー・ストレージ・テクノロジー/照明といった、スマート・グリッド関連の事業も含めて、何百というビジネスを展開している。また Hitachi は、Hawaii スマート・グリッド・デモンストレーション・プロジェクトに、その他の企業と共に取り組んでいる。

Silver Spring, which filed for an IPO last summer, has yet to go public and has been turning to large companies for partnerships and investment. In December the company raised $24 million from storage and IT giant EMC. Will Silver Spring end up being sold off to one of these big players?

Silver Spring は昨年の夏に IPO 申請をしており、今後に控える株式公開へ向けて、大手企業とのパートナーシップや資本提携に目を向けている。 そして、昨年 12月には、ストレージと IT の大手である EMC から、$24 million を調達している。 それらの大手企業のいずれかに、Silver Spring は買収されることになるのだろうか?

Related research and analysis from GigaOM Pro:

ーーーーー

TAG indexアメリカのスマート・グリッドというと、必ず登場してくるのが Silver Spring です。この Hitachi との提携により、日本市場に良いかたちのプレッシャーがかかってくると良いなぁ~~~ と期待してしまいます。 まったく知りませんでしたが、Silver Spring は EMC からも資本を入れているのですね。 EMC と言うと、Greenplum と MarR で、スマートグリッドから吸い上げられる Big Data を Hadoop で解析というシナリオが目に浮かんできますが、そんな展開が実現すると、とても面白そうですね。 ーーー __AC Stamp 2

ーーーーー

<関連>

Facebook Oregon データセンターが LEED の Gold を受賞
Cleantech Open で見かけた、5 つのスマートグリッド・スタートアップたち
NTT America が DC にディプロイする燃料電池とは?
Obama 政権が公表した、スマート・グリッドを構築するための具体策とは?
アメリカ政府は今日、スマート・グリッドの推進策を表明する

 

Hadoop 王国は、戦国時代へと 突入する?

Posted in .Selected, Big Data, Hadoop by Agile Cat on October 21, 2011

Hadoop’s civil war: Does it matter who contributes most?
By
Derrick Harris Oct. 7, 2011
http://gigaom.com/cloud/hadoops-civil-war-does-it-matter-who-contributes-most/

_ Gigaom

If you were going to buy a service contract for your open source software, would you prefer your service provider actually be the certifiable authority on that very software? If “yes,” you understand why Cloudera and Hortonworks have been playing a game of oneupsmanship over the past few weeks in an attempt to prove whose contributions to the Apache Hadoop project matter most. However, while reputation matters to both companies, it might not matter as much as fending off encroachments to their common turf.

あなたのオープン・ソース・ソフトウェアのために、サービス契約を結ぼうとするなら、そのサービス・プロバイダが実際に、対象となるソフトウェアのオーソリティとして証明されることを望むだろうか? もし「 Yes 」と答えるなら、Apache Hadoop プロジェクトへの貢献において、数週間にわたって Cloudera と Hortonworks が、どちらが重要な役割を果したかと証明しようとして、火花を散らしていた理由を理解しなければならない。 しかし、当事者たちにとって評判が重要であっても、いつもの商売としての縄張りを守るほどには、重要でことでは無いのかもしれない。

Feature image courtesy of Flickr user aj82 

A few weeks ago, Hortonworks, the Hadoop startup that spun out of Yahoo in June, published a blog post highlighting Yahoo’s — and, by proxy, Hortonworks’ — impressive contributions to the Hadoop code. Early this week, Cloudera CEO Mike Olson countered with gusto, laying out a strong case for why Cloudera’s contributions are just as meaningful, maybe more so. Yesterday, it was Hortonworks CEO Eric Baldeschwieler firing back with even more evidence showing that, nope, Yahoo/Hortonworks is actually the best contributor. The heated textual exchange is just the latest salvo in the always somewhat-acrimonious relationship between Yahoo and Cloudera, but now that Team Yahoo is in Hadoop to make money, he who claims the most expertise might also claim the most revenue.

数週前のことだが(10月初旬)、Hadoop スタートアップである Hortonworks(6月に Yahoo からスピンアウト)は、Hadoop コードに対する素晴らしいコントリビューションを行ったとして、Yahoo にスポットライトを当てたブログを、その代理人としてポストした。そして今週の初めに、今度は Cloudera CEO である Mike Olson が、それ以上に Cloudera の貢献が有意義であるという、揺るぎない主張を並べ立て、自信満々に応じた。さらに 昨日(10/6)には、Hortonworks CEO である Eric Baldeschwieler が、さらに証拠が示しながら反撃していた。 まぁ、実際のところ、Yahoo / Hortonworks のペアが、最大の貢献者なのである。 このヒートアップした文面の交換は、常に緊張感を漂わせていた Yahoo と Cloudera が、互いに攻撃しあうパターンである。しかし、いまの Team Yahoo は、収益性を第一に求めているため、Hadoop に関する知識とノウハウを有する者たちが、さらなる対価を要求することもあり得る。

From Olson’s post ⇒

Hortonworks is betting its entire existence on it. With the company likely not offering its own distribution, Hortonworks will rely almost exclusively on its ability to support the Apache Hadoop code (and perhaps some forthcoming management software) for bringing in customers. This is a risky move.

Hortonworks は、そこに、存在の全てを賭けている。 ただし、同社は自身のディストリビューションを提供しない方針である。顧客に対して持ち込まれる Apache Hadoop コード(今後はマネージメント・ソフトウェアが加わる)をサポートするために、その能力の大半を費やすことになる。これは、リスキーなやり方である。

To make a Linux analogy, Hortonworks is playing the role of a company focused on supporting the official Linux kernel, while Cloudera is left playing the role of Red Hat selling and supporting its own open source, but enterprise-grade, distribution. Maybe Hortonworks should try to be Hadoop’s version of Novell. Whatever you think about the companies’ respective business models, though, it’s clear why reputation matters.

Linux に重ね合せてみると、Hortonworks は オフィシャル Linux カーネルのサポートに焦点を合わせて、その役割を演じる会社である。 それに対して Cloudera は、自社製オープンソースの販売とサポート行う、Red Hat の役割を演じているが、その対象はエンタープライズ・グレードのディストリビューションとなる。 おそらく、Hortonworks は、Novell の Hadoop バージョンになろうとするはずである。それらの会社のビジネス・モデルについて、何を考えるにしても、評判を大切にする理由は明確である。

From Baldeschwieler’s post ⇒

However, I’ve been told by a couple people deeply involved in the big data world that perhaps Hortonworks and Cloudera would be better served if they spent their energies worrying about a common enemy by the name of MapR. MapR is the Hadoop startup that has replaced the Hadoop Distributed File System with its own file system that it claims far outperforms HDFS and is much more reliable, and that already has a major OEM partner in EMC.

しかし、Big Data の世界に深く関わっている人々の話によると、Hortonworks と Cloudera が、彼らの共通の敵である MapR に対抗するために、そのエネルギーを費やすなら、さらに良いサービスを提供する可能性があるという。 MapR は Hadoop のスタートアップであるが、Hadoop Distributed File System を自身のファイル・システムで置き換える。それにより、HDFS を凌駕し、さらなる信頼性を提供すると主張するが、すでに、EMC というメジャーな OEM パートナーを有している。

Ryan Rawson, director of engineering at Drawn to Scale and chief an architect for working on HBase, told me that he’s very impressed with MapR and that it could prove very disruptive in a Hadoop space that has thus far been dominated by Cloudera and core Apache. “The MapR guys definitely have a better architecture [than HDFS],” he said, with significant performance increases to match.

Drawn to Scale の director of engineering であり、HBase の architect でもある Ryan Rawson は、MapR に感銘を受けていると話してくれた。そして、これまでのところ、Cloudera と Apache が支配してきた Hadoop の領域において、きわめて破壊的な存在であることが証明されるという。 「MapR は、HDFS よりも明らかに優れたアーキテクチャを有し」、また、パフォーマンスを大幅に向上させていると、彼は発言している。

Rawson’s rationale for finding such promise in MapR is hard to argue with. As he noted, it’s not “garage hobbyists” that are building out large Hadoop clusters, but real companies doing real business. If MapR’s file system outperforms HDFS by 3x, that might mean one-third the hardware investment and fewer management hassles. These things matter, he said, and everyone knows that there’s no such thing as a free lunch: even if they give away the software, Cloudera and Hortonworks still sell products in the form of services.

MapR の将来性を見つけ出すという、Rawson の理論的な根拠を説明することは難しい。 彼が指摘したように、MapR はリアルなビジネスを展開する現実の企業であり、大規模な Hadoop クラスタを作るだけの「ガレージ・ホビースト」ではない。 MapR のファイル・システムが、HDFS に対して 3倍の性能を持つなら、そのためのハードウェア投資は 1/3 となり、マネージメントの煩雑さも低減するだろう。 タダより高いものは無いというが、その点が重要だと、彼は言う。たとえ、ソフトウェアを提供するといっても、Cloudera と Hortonworks は依然として、サービスという形態でプロダクトを販売している。

It’s not just MapR that’s trying to get a piece of Apache Hadoop’s big data market share, either. As I explained earlier this week, there are and will continute to be alternative big data platforms that might start looking more appealing to customers if Hadoop fails to meet their expectations.

Apache Hadoop の  Big Data マーケットから、いくばくかのシェアを得ようとしているのは、MapR だけではない。 今週の初めに説明したように、もし Hadoop が顧客の期待に応えられないなら、その心を惹きつけようと狙っている、Big Data の代案は存在するし、これからも継続し続ける。

The Apache Hadoop community, led for the most part by Hortonworks and Cloudera, has some major improvements in the works that will help it address many of its criticisms, but they’re not here yet. Does it matter which company drives the code and patches for those improvements? Yes, it does. But maybe not as much as burying the hatchet and making sure the Apache Hadoop they both rely on remains worth using.

Apache Hadoop コミュニティは、その大部分を Hortonworks と Cloudera によりリードされ、数多くの批判に取り組むために尽力してきたが、答えを出すには早すぎる。それらの改良のためのコードとパッチを、どの会社が促進するのかという点が、はたして重要だろうか? いや、重要なのだ。 ただし、手斧を買い求める必要もなく、両社は依存する Apache Hadoop の価値を、確実に活用し続けることになる。

Related research and analysis from GigaOM Pro:

 

 

 

ーーーーー

TAG indexこのコンテントが、Gigaom にポストされた直後に [ Microsoft のOSS ベースのクラウド・サービス ] が発表されたわけですが、ここで説明されている背景と重ね合わせると、Hortonworks の判断も理解できます。 Hadoop といえば Cloudera というパターンから、多様なプロバイダーが競い合う世界へと、このマーケット全体が、移行しつつあるように思えます。 ーーー __AC Stamp 2

ーーーーー

<関連>

クラウドで Big Data をハンドリングする 6 社の事例
Yahoo! から派生した Hortonworks が 次期 Hadoop を語る
Twitter が提供する、Hadoop ライクな OSS とは?
Facebook は 30 P Bytes の Hadoop HDFS を Oregon へ移動
Microsoft は Azure のために、Dryad 以外の Hadoop 対抗をリリースする

 

Hadoop ビジネスで、EMC が仕掛ける大勝負とは?

Posted in .Selected, Hadoop, VMware by Agile Cat on May 19, 2011

EMC Makes a Big Bet on Hadoop
By Derrick Harris
May. 9, 2011, 11:30am PT
http://gigaom.com/cloud/emc-hadoop/

_ Gigaom

EMC is throwing its weight behind Hadoop. Today, at EMC World, the storage giant announced a slew of Hadoop-centric products, including a specialized appliance for Hadoop-based big data analytics and two separate Hadoop distributions. EMC’s entry is most definitely going to shake up the Hadoop and database markets. EMC is now the largest company actively pushing its own Hadoop distribution, and it has an appliance that will put EMC out in front of analytics vendors such as Oracle and Teradata when it comes to handling unstructured data.

EMC は Hadoop ビジネスにおいて、大きな勝負を仕掛けようとしている。 今日の EMC World において、このストレージの巨人は、大量の Hadoop セントリックなプロダクトを発表した。そして、その中には、Hadoop ベースの大規模データ分析アプライアンスと、2種類の Hadoop ディストリビューションが含まれる。 今回の EMC の参入により、Hadoop とデータベース市場の再編が確実に進むことになるだろう。 これからの EMC は、独自 Hadoop ディストリビューションを積極的にプッシュする、最大級の企業となる。また、同社は、非構造データのハンドリングにおいて、Oracle やTeradata といった分析ベンダーの行く手に EMC を位置づける、アプライアンスを有することになる。

EMC’s flagship Hadoop distribution is called Greenplum HD Enterprise Edition. EMC describes it as “a 100 percent interface-compatible implementation of the Apache Hadoop stack” that also includes enterprise-grade features such as snapshots and wide-area replication, a native network file system, and integrated storage and cluster management capabilities. The company also claims performance improvements of two to fives times over the standard Apache Hadoop distribution.

EMC におけるフラッグシップ Hadoop ディストリビューションは、Greenplum HD Enterprise Edition と呼ばれるものである。 それについて、EMC は「 Apache Hadoop スタックに対して 100% のインターフェイス互換性を持つ実装」と説明している。そして更に、スナップ・ショットおよび、広域リプリケーション、ネイティブのネットワーク・ファイル・システム、統合化されたストレージ、クラスタ管理機能といった、エンタープライズ・グレードの機能を、そこに含まむという。また、標準的な Apache Hadoop ディストリビューションに対して、2/5 の時間内で処理を完了するという、パフォーマンスの改善についても主張している。

Mapr Magic

imageIt’s noteworthy that many of these capabilities are also available in startup MapR’s HDFS alternative, and that MapR CEO John Schroeder took the stage at a morning EMC World press conference announcing the news. EMC Greenplum’s Luke Lonergan wouldn’t confirm to me that EMC’s Enterprise Edition will use MapR as the primary storage engine, but it’s not too difficult to connect the dots.

そして、注目すべきは、これらの機能の多くが、MapR の HDFS 選択肢として、その立ち上げに利用される点である。このニュースは、MapR の CEO である John Schroeder が、EMC World における朝のプレス・カンファレンスで、そのステージ上で表明したものである。 EMC Greenplum の Luke Lonergan は私に対して、EMC の Enterprise Edition における主要ストレージ・エンジンとして、MapR を使用する可能性を肯定しなかったが、この二点結ぶことは、それほど困難なものではない。

However, while the Enterprise Edition is proprietary in part, the Greenplum HD Community Edition is fully open source and still makes big improvements over what’s currently available with the Apache version. In fact, Lonergan told me, Community Edition is based on Facebook’s optimized version of Hadoop. Like Cloudera’s distribution for Hadoop, Community Edition pre-integrates Hadoop MapReduce, Hadoop Distributed File System, HBase, Zookeeper and Hive, but it also includes fault tolerance for the NameNode in HDFS and the JobTracker node in Hadoop MapReduce. These improvements are underway within Apache thanks to Yahoo , but they’re not included in any official release yet.

そして、この領域における Enterprise Edition がプロプライエタリなものであるにしても、Greenplum HD Community Edition は完全なオープンソースであり、また、現時点の Apache バージョンで利用できる機能に、大きな改善を加えている。 さらに Community Edition は、Lonergan が言うように、Hadoop の Facebook オプティマイズ・バージョンをベースにしているようだ。 Cloudera ディストリビューションと同様に、この Community Edition には、Hadoop MapReduce および、Hadoop Distributed File System、HBase、Zookeeper、Hive がプリ・インテグレートされているが、それらに加えて、HDFS における NameNode と Hadoop MapReduce のJobTracker ノードのための、フォールト・トレランスも含まれている。 Hadoop に関する一連の改良は、Yahoo の貢献により Apache 内で進行しているが、そのオフィシャル・リリースには、これらの機能が含まれていない。

Too Much Hadoop?

imageI asked a couple of weeks ago whether the Hadoop-distribution market could handle all the players it now hosts, and now that question is even more pressing. As Luke Lonergan put it during the press conference, EMC is an “8,000-pound elephant” in the Hadoop space, and that should make Cloudera, IBM, DataStax and (possibly) Yahoo shake seek higher ground.

2 週間前に私は、Hadoop ディストリビューション・マーケットは、それをホストする全プレーヤーを養えるかという疑問を呈したが、この問題に関する緊急性が高まってきている。今回のプレス・カンファレンスにおいて、Luke Lonergan は、その点に触れた。 EMC は、Hadoop スペースにおける「8,000ポンドの象」であり、それにより、Cloudera や、IBM、DataStax、Yahoo(もしかすると)などは、より高度な領域へと追い立てられるだろう。

For Cloudera, EMC is major threat because it competes directly against Cloudera’s open-source and proprietary products. It even has partnerships with a large number of business intelligence and other up-the-stack vendors, some of which already are Cloudera partners. These include Concurrent, CSC, Datameer, Informatica, Jaspersoft, Karmasphere, Microstrategy, Pentaho, SAS, SnapLogic, Talend, and VMware.

Cloudera にとって、EMC の戦略は、オープンソースとプロプライエタリのプロダクトで直接にぶつかるため、きわめて大きな脅威となる。 つまり、数多くの BI 企業と、それに連なるベンダーとのパートナーシップの問題であるが、すでに Cloudera と協業している企業も、いくつかあるのだ。 そして、その中には、Concurrent および、CSC、Datameer、Informatica、Jaspersoft、Karmasphere、Microstrategy、Pentaho、SAS、SnapLogic、Talend、VMware などが含まれる。

Oh, and Cloudera and Greenplum have an existing integration partnership. As Lonergan noted, “This definitely marks a change [in that relationship].” The two are now competitors, after all.

そして、何たることに、Cloudera と Greenplum も、すでにインテグレーション・パートナーシップを交わしているのだ。 Lonergan は、「 それは(そのパートナーシップは)、確実に変化する」 と、指摘している。 結局のところ、両社はコンペティター同士になってしまったわけである。

EMC vs Big Blue

imageIBM is still the largest company involved in selling Hadoop products, but it presently suffers from the problem of not having yet announced its official Hadoop distribution. EMC’s Hadoop distributions will be available later this quarter. I noted recently how EMC is following IBM’s lead in acquiring capabilities across the big data stack — from Hadoop to predictive analytics — and today’s news further proves how competitive the two storage heavyweights might become in the analytics space, too.

依然として、IBM も Hadoop プロダクトに関連する巨大企業であるが、これまでにオフィシャル Hadoop ディストリビューションを発表していないという問題に苦しんでいる。EMC の Hadoop ディストリビューションは、この四半期の後半に、入手が可能になるだろう。最近のことだが、Hadoop から予測・分析にまでいたる、ビッグ・データ・スタックをまたぐ領域において、どのようにして EMC は、IBM との差を縮めていくのかと、その点に私は注目していた。そして、今日のニュースにより、この 2人のストレージ巨人が、分析のスペースにおいても、競い合っていく可能性が生じてきた。

IBM isn’t the only big-name vendor that should be worried about EMC’s new Hadoop-heavy plans, though. The EMC Greenplum HD Data Computing Appliance should make appliance makers Oracle and Teradata, as well as analytic database vendors such as HP, ParAccel and others, quite nervous. The appliance is like the existing EMC Greenplum Data Computing Appliance, only it lets customers process Hadoop data within the same system as their Greenplum analytic database. Presently, most analytic databases and appliances integrate with Hadoop, but still suffer from the latency of having to send data over the network from Hadoop clusters to the database and back.

しかし、EMC の新しい Hadoop 戦略を気にする大手ベンダーは、IBM だけではない。 この EMC Greenplum Data Computing Appliance は、Oracle や Teradata といったアプライアンス・メーカーだけではなく、HP や ParAccel といった分析用データベースのベンダーもナーバスにさせる。 このアプライアンスは、既存の EMC Greenplum Data Computing Appliance に似ており、Greenplum 分析データベースとしての同一システム内に配置された、Hadoop によるデータ処理を顧客に提供していく。現時点において、大半の分析データベースとアプライアンスは、Hadoop とインテグレートされているが、Hadoop クラスタからデータベースとバックエンドに、データを転送する際のネットワーク・レイテンシーに誰もが悩んでいる。

IBM already has integrated Hadoop with its other big data tools, including with InfoSphere BigInsights, Watson and Cognos Consumer Insight, and I have to believe a version of its Netezza analytics appliance with Hadoop co-processing will be on the way shortly, possibly in conjunction with its official Hadoop distribution release.

すでに IBM は、ビッグデータ・ツールと Hadoop を統合しており、その戦略には、InfoSphere BigInsights および、WatsonCognos Consumer Insight などが含まれている。 そして、Hadoop 処理系を取り込んだ、Netezza 分析アプライアンスの新バージョンが、まもなくリリースされると信じたいが、それは、オフィシャル Hadoop ディストリビューションのリリースと関連するのかもしれない。

Lonergan also noted that EMC is working closely with VMware, of which EMC is the majority stockholder, on integrating EMC’s Hadoop products with VMware’s virtualization and cloud products, as well as its GemStone distributed database software.

話は戻るが、EMC の子会社である VMware が、この件に関して EMC と緊密に連携していることを、Lonergan は指摘している。つまり、EMC の Hadoop プロダクトを、VMware の仮想化/クラウド・プロダクトを統合するだけではなく、GemStone の分散データベース・ソフトウェアとも統合しようというのだ。

There still will be opportunities for community collaboration among all the open source Hadoop distributions — Cloudera, DataStax Brisk and EMC Greenplum HD Community Edition — but we’ll see how willing they are to work together now that the competition has really heated up. All of a sudden, EMC looks like the strongest Hadoop company going, and everyone else needs to figure out in a hurry how they’ll counter today’s landscape-altering news.

すべてのオープンソース Hadoop ディストリビュータ(Cloudera/DataStax Brisk/EMC Greenplum HD Community Edition)には、コミュニティを協力させる機会が残されているだろう。しかし、ほんとうに競合が激化してきたいま、それらのディストリビュータが、どれほど本気で協調できるのかと思ってしまう。 突然のことだが、EMC が最強の Hadoop カンパニーにみえてきた。 そして他社は、風景を変える今日のニュースへの、早急な対応策が必要になったことを、理解しなければならないだろう。

Related content from GigaOM Pro (subscription req’d):

 

ーーーーー

EMC VMware 艦隊にとって欠けていた、とても重要なピースが、こうもキレイに解決されるとは思ってもいませんでした。 なんというか、お見事な展開で、脱帽ものです。 ーーー __AC Stamp 2

ーーーーー

<関連>

VMware を分析すると、OS を持たない 新しい Microsoft に見えてくる
VMware は WaveMaker を買収し、開発スタイルを変革する
EMC は新規のアプライアンスを武器に、Teradata と勝負、Oracle と勝負!
EMC による Greenplum の 買収(2010年 7月)
VMware と Verizon の 超弩級 提携 と ハイブリッド・クラウドとは?
Yahoo!は、独自の Hadoop Distribution を止めて、Apache コミュニティに協力する
Hadoop ベンダーたちは、銀行から利益を得られるのか?
Cloudera と Netezza による、Hadoop の商用アプライアンスとは?

Cloudera と Netezza による、Hadoop の商用アプライアンスとは?

Posted in Cloudera, Data Warehousing, Hadoop by Agile Cat on July 16, 2010

Hadoop Gets Commercial Cred as Cloudera and Netezza Connect
By
Derrick Harris
Jul. 15, 2010, 10:29am PDT

Gigaom

a24f399c-159c-4c9f-aa12-4bc45b64f58c

Commercial Hadoop champion Cloudera is building a connector to enable movement of data between Netezza’s data warehousing appliance and Hadoop clusters built atop Cloudera’s Distribution for Hadoop (CDH). It’s the latest instance of an analytics vendor integrating Hadoop support (via a Cloudera partnership or otherwise) and further evidence that Hadoop has legs as a commercial technology for big data analysis.

商用 Hadoop の雄である Cloudera は、データの移動を可能にするためにコネクターを構築し、Netezza のデータウエア・ハウジング・アプライアンスと、Cloudera’s Distribution for Hadoop (CDH)上の Hadoop クラスタを結ぼうとしている。 それは、Hadoop をサポートすることで(Cloudera などの協業により)、分析能力を提供するベンダーの最新の事例であるだけではなく、大規模データ分析のための商用テクノロジーとして、Hadoop が商用へ向けて守備範囲を広げていることの証明でもある。

Netezza already supported Hadoop within Netezza’s TwinFin appliance, but this partnership goes beyond support and aims to actually make the data movement and transformation process easier.

Netezza の TwinFin アプライアンスでは、すでに Hadoop がサポートされているが、今回の協業は単なるサポートを超えて、実際のデータ移動と転送プロセスを、より容易にすることを目指している。

For data warehousing vendors, the decision to add Hadoop support is all about customer choice. Hadoop clusters are ideal for storing large volumes of unstructured data, processing it and making it ready for analysis, whereas appliances like TwinFin are limited in scale and focus on analyzing standard data types. When the two are combined – especially via specifically designed connectors like in this case – analyses can be carried out across all the data in the combined environment.

データウエア・ハウジング・ベンダーにとって、 Hadoop のサポートは、すべてが顧客のチョイスになっている。 Hadoop クラスタは、大量の非構造化データのストアおよび、その処理と分析のための準備において理想的である。 それに対して、 TwinFin のようなアプライアンスは、スケールの点で制約されており、また、スタンダードなデータタイプの分析にフォーカスしている。 この 2つが接続されるとき、つまり、このケースのようなコネクターをデザインするとき、すべての分析されるべきデータが、接続された環境のいたるところで処理されるようになる。

What’s a bit interesting about this partnership is that it’s with Netezza. I understand that Cloudera and analytics database vendor Greenplum were working together, but there’s no telling how the EMC acquisition affected that work. Given the depth of this partnership – technology, sales and support – it’s possible Cloudera has all but settled on Netezza as its data warehousing sidekick for the time being.

この協業で興味深いのは、その相手が Netezza であることだ。 私の理解では、分析データベース・ベンダーである Greenplum と、Cloudera は協調してきたはずだ。そして、EMC による Greenplum 買収の影響については定かではない。テクノロジー/セールス/サポートに関する緊密なパートナーシップを前提として、いまのところ、Cloudera は Netezza をデータウエア・ハウジングの相棒として、落ち着いたという可能がある。

Of course, it’s neither the first nor the last time we’ll see Cloudera – much less Hadoop, in general – involved in some type of integration efforts. As organization of all types are bombarded by Big Data, business intelligence, database and data warehousing vendors all realize that Hadoop support is becoming a must-have, and it seems safe to say that Hadoop has finally made the journey from search engines to mainstream businesses.

もちろん、それは Cloudera にとって、ましてや Hadoop にとって、最初で最後というわけではなく、また、さまざまなインテグレーションが絡んでくるだろう。 つまり、すべてのタイプの組織が、Big Data ボンバーを食らっているという現状がある。 ビジネス・インテリジェンス/データベース/データウエアハウジングにおける、すべてのベンダーにとって Hadoop サポートが不可欠になっている。 そして、最終的には Hadoop が、サーチ・エンジンからメインストリーム・ビジネスへと至る、長い長い旅路を走破することになると、確信を持って言える。

Photo courtesy of Flickr user Elizabeth Ann Collette.

ーーーーー

いつもは、ひたすら感服の GIGAOM ですが、今回ばかりは 『 @okachimachiorz さんの言っていることじゃん! 』という感じでした。 我が Twitter 仲間の慧眼に脱帽です。 ーーー A.C.

ーーーーー

<関連>
EMC も、ついにクラウドへ本格参入?
EMC の Greenplum 買収に関する、今朝の報道
Hadoop Summit – Jun 29 2010
Hadoop で スマートグリッドを、図とデータで見る!
Microsoft readying Hadoop for Windows Azure の対訳
HDFS のスケーラビリティを考察する
Gridmix3 : Apache Hadoop の実運用負荷をエミュレート
Hadoop による Web 広告システムの構築と運用 :ヨーロッパでの事例

EMC の Greenplum 買収に関する、今朝の報道

Posted in Data Warehousing, VMware by Agile Cat on July 8, 2010

EMC to build on cloud computing services with Greenplum purchase

EMC昨夜の Data Center Knowledge で知ったニュースですが、eBay などのウェアハウスである Greenplum を、EMC が買収するとのことです。 最も信頼性の高いストレージとは、たとえ、それがコモディティ製品で構成されているにしても、プロバイダー側で冗長性とメンテナンスを提供してくれる クラウド だ、ということなのでしょうか? この、EMC が打ち出した新しい方針が、クラウドをさらに加速していくような気がします。今朝の Google.com からの ニュースを ど~ぞ。 ーーー A.C.

ーーーーー

The Daily Start-Up: EMC Lands A Real Greenplum
Wall Street Journal (blog) – Scott Austin – ‎5 hours ago‎
After the market closed yesterday EMC announced it acquired Greenplum, a maker of data-warehousing software. The terms of the all-cash …

EMC Harnesses Cloud Data with Greenplum Purchase
PC World – Tony Bradley – ‎6 hours ago‎
EMC announced a definitive agreement to purchase Greenplum, a privately-held provider of data warehousing technology. …

EMC buys Greenplum
Computerworld (blog) – ‎6 hours ago‎
In today’s podcast: EMC buys Greenplum; Singapore bank suffers serious IT failure; and Cathay Pacific to offer in-flight broadband. …

EMC To Buy Data Warehousing Vendor Greenplum
InformationWeek – Doug Henschen – ‎6 hours ago‎
EMC announced yesterday it has signed a definitive agreement to acquire Greenplum, a San Mateo, Calif.-based provider of analytic database …

EMC to acquire data analyzer Greenplum
BusinessWeek – Stephen Lawson – ‎9 hours ago‎
EMC plans to acquire Greenplum for an undisclosed sum and form a new division around the privately held company’s data warehousing …

All 65 related articles »

Blogs

EMC To Buy Greenplum
Barron’s (blog) – Eric Savitz – ‎Jul 6, 2010‎
EMC (EMC) today said it agreed to acquire Greenplum Inc., a privately held San Mateo, California-based provider of data warehousing …

EMC to acquire data software firm in move to combat Oracle
Local Tech Wire (blog) – ‎3 hours ago‎
LTW, AP RESEARCH TRIANGLE PARK, NC – Shares in data storage technology firm EMC (NYSE: EMC), which has a large and growing presence in the Triangle, …

EMC Buys Greenplum – Big Data Realignment Continues
Enterprise Irregulars (blog) – Merv Adrian – ‎6 hours ago‎
EMC’s acquisition of Greenplum, announced today as a cash transaction, reaffirms the obvious: the Big Data tsunami upends …

All 16 related blogs »

United States

EMC buys San Mateo-based Greenplum
San Jose Mercury News – Scott Duke Harris – ‎16 hours ago‎
In a new development in the high-stakes battle over "Big Data," EMC on Tuesday announced plans to acquire Greenplum, …

EMC to buy data analysis company Greenplum
BusinessWeek – ‎20 hours ago‎
Data storage specialist EMC Corp. said Tuesday that it is buying Silicon Valley startup Greenplum Inc. in an effort to lower the cost of analyzing …

EMC to acquire Greenplum
CNET – Sam Diaz – ‎21 hours ago‎
EMC said Tuesday that it will acquire private data-warehousing company Greenplum in an all-cash transaction, though the terms of the deal were …

All 49 related articles from United States »

Massachusetts

Will EMC, Greenplum Acquisition Spark Data Warehouse Consolidation?
eWeek – Brian Prince – ‎3 hours ago‎
Storage giant EMC announced this week that it plans to acquire data warehousing vendor Greenplum. Analysts say the move could be a harbinger of more …

EMC-Greenplum acquisition shakes up data warehousing appliance market
SearchServerVirtualization.com – Mark Brunelli – ‎7 hours ago‎
EMC Corp. said today that it plans to acquire Greenplum Software, a maker of embedded analytical databases and cloud-based …

Greenplum Purchase Gets EMC into the Big Data Game
Xconomy – Wade Roush – ‎16 hours ago‎
Boston is already a powerhouse in “big data.” It’s home to companies like Netezza, Dataupia, Vertica, and Lightwolf Technologies, which all help enterprises …

All 13 related articles from Massachusetts »

San Mateo, CA

EMC Is Buying Greenplum
Intelligent Enterprise (blog) – Curt Monash – ‎20 hours ago‎
EMC is buying Greenplum. Most of the press release is a general recapitulation of Greenplum’s marketing messages, the main exceptions being (emphasis mine): …

All 2 related articles from San Mateo, CA »

ーーーーー

<関連>
【速報】EMC も、ついにクラウドへ本格参入?

Tagged with: , ,
%d bloggers like this: