Agile Cat — in the cloud

Data Warehousing の調査: あの Bob Muglia が率いる Snowflake が、Azure と AWS にガチンコ勝負を挑む

Posted in Amazon, Big Data, Data Warehousing, IoT, Microsoft, On Monday by agilecat.cloud on July 6, 2015
Cloud-based Data Warehousing: Snowflake, Microsoft Azure and Amazon Redshift
Dick Weisinger – June 25th, 2015
http://formtek.com/blog/cloud-based-data-warehouse-snowflake-microsoft-azure-and-amazon-redshift/
_ formtek
Data warehousing traditionally required a company to extract and download huge volumes of data from various business software systems into a central repository for analysis.  The process to prep the data was slow which meant that the analysis was always run against data that was already partially stale.
 
データ·ウェアハウスの概念は、多様なビジネス·ソフトウェア·システムから、膨大なデータをダウンロードした後に、分析のためのセンター・リポジトリに展開するものとなる。 そして、それを実現する企業が、常に待ち望まれてきた領域である。つまり、データを準備するプロセスに時間がかかり、そこでの分析といっても、すでに意味を失ったデータまでが含まれてしまうという状況であった。
 
Vermeer_3But recently we’re seeing a new generation of data warehousing, one based on cloud computing.  This week saw the announcement of general availability of Snowflake.  Snowflake is a cloud-based data warehouse running on Amazon AWS.  The company is led by Microsoft veteran Bob Muglia.  Snowflake received $26 million in funding in October 2014 and has received another round of $45 million this past week.
 
しかし、最近は、クラウド·ベースのデータ・ウェアハウスが、新しい世代の到来を告げているようだ。今週は、Snowflake が、一般への提供が始まったと、アナウンスメントを発している。Snowflake とは、Amazon AWS 上で走る、クラウド・ベースのデータ・ウェアハウスのことである。そして、同社は、Microsoft で数々の実績を築きあげてきた、あの Bob Muglia により率いられている。なお、Snowflake は 2014年10月に $26 million のファンドを獲得し、さらに先週には、別のラウンドで $45 million の資金を得ている。
 
The Snowflake data warehouse is in direct competition with Microsoft’s Azure SQL Data Warehouse and Amazon’s Redshift cloud data warehouse.
 
もちろん、Snowfake のデータ・ウェアハウスは、Microsoft の Azure SQL Data Warehouse と Amazon の Redshift クラウド・データ・ウェアハウスに対して、ダイレクトなコンペを挑むものとなる。
 
What’s unique about Snowflake among the crowd of other recent data-focused startups is that it isn’t based on Hadoop and it was built from scratch with the cloud in mind. Features of Snowflake include:
 
このところ、データにフォーカスしたスタートアップたちが、かなりの勢いで登場してきているが、それらの中で Snowflake がユニークなのは、Hadoop をベースにしていない点である。つまり、クラウドを念頭に置いて、ゼロ・スタートで構築されているのだ。Snowflake の特徴とされる点は:
 
  • Native support for structured, machine-generated and semi-structured data
  • Scalability of data, workloads and users for multi-dimensional elasticity
  • Self tuning of data distribution and storage, and query execution
  • Security. Uses authentication, granular access control and data encryption
 
  • 構造化データ/機械生成データ/半構造化データを、ネイティブでサポート
  • データ/ワークロード/ユーザーをスケーラブルにすることで、多次元弾性を確保
  • データ配信/ストレージ/クエリー実行における、セルフ・チューニング
  • セキュリティ:ユーザー認証/緻密なアクセス・コントロール/データの暗号化
 
ーーーーー
On Monday誰が、何を、必要としているのかを、的確に理解している人が、自信作を世に問うというストーリーですね。 お久しぶりです、Bob Muglia さん。こうして、その後の活躍を知ることができて、とても嬉しい気分です。 そして、機械生成データをネイティブでサポートというのは、まさに IoT 時代のデータ・ウェアハウスという感じで、とてもイケていますよね。 Snowflake の活躍を期待しています! _AC Stamp
ーーーーー
<関連>
Bob Muglia の辞任は、Windows Azure にとって悲運の呪文に?
Bob Muglia 氏の Microsoft 離脱に関する報道
PDC と Silverlight について – Bob Muglia
Amazon の Redshift がスタート! 警戒する HP、IBM、Teradata、Oracle など・・・
Google の DataFlow は、MapReduce の正当な継承者になり得るのか?
 

Comments Off on Data Warehousing の調査: あの Bob Muglia が率いる Snowflake が、Azure と AWS にガチンコ勝負を挑む

四強 の 2013年 : Amazon の マトメ

Posted in .Chronicle, .Selected, Amazon by Agile Cat on December 12, 2013

ブッチギリの強さを見せつけました・・・
http://wp.me/pwo1E-71a

Agile_Cat_Loupe

 

IaaS の王者として君臨する Amazon にとって、この 2013年は順風満帆の年だったと言えるでしょう。 以下のリストにもある、『 Amazon の レモネード哲学 : こうすれば 新聞社くらい買収できる!』というポストを読んで頂ければ分かると思いますが、Amazon はすべての利潤を顧客に還元することで、他の参入を許さないという徹底した戦略を展開しています。しかし、リテール・ビジネスを収益源とする Amazon のように、まったく異なる分野で大きな利益を上げ、また、クラウドのリテラシとインフラを有している企業となると、話は別です。 その最右翼は Google であり、これまでの GAE(Google App Engine)に加えて、GCE(Google Compute Engine)という IaaS プラットフォームを投入してきました。 また、オープンソース・クラウドである OpenStack と CloudStack も、徐々に浸透し始めています。 こちらの強みは、ユーザーとして利用する側が、その全体をデザインしている点です。 とは言え、こうしたコンペティターたちが成長してきたのも、クラウドの原型を生み出し、磨き上げてきた、Amazon があってこその話です。その意味において、Amazon AWS の 2013年は、素晴らしい進化を遂げ、また、大きな成果をもたらしてきた年だったのです。

 _  space

1/15: Gartner の IaaS マーケット論評 : その 15 社とは?
1/22: PaaS をリードする : Top-10 プロバイダー とは?
2/06: Kindle Fire 8.9 の Retina は、iPad より $200 も 安い – Youtube
2/18: Amazon の Redshift がスタート! 警戒する HP、IBM、Teradata、Oracle
2/20:
Amazon AWS のビジネス規模は、あなたの推測を遥かに上回る
3/12: Amazon の Kindle Phone だが、その量産が 6月以降に ズレ込むらしい
3/17: Google Compute Engine 対 Amazon EC2 : 性能をチャートで比較する
3/21: $99 の Kindle Fire HD という ウワサ は、どうなっているの?
4/09: Amazon AWS も、ついに モバイル BaaS に参入か?
4/10: Salesforce も Rackspace も、目指すは モバイル BaaS なのだ!
4/15: Amazon は Storage Gateway で オンプレミス を吸い上げる
4/16: Apple vs. Amazon : リテールの収益をチャートで比較
4/19: Amazon S3 の Object が、あっという間に2兆を超えた!
4/23: Amazon も Siri を追いかける : 音声認識の会社を買収
6/01: 2013 Q1 のクラウド売上は $2B : 順位は AM>SF>MS>IBM>GO
6/12: Amazon AWS には、リージョン間で 200倍もの速度差があるって?
6/19: Telcom の持論 と Amazon の実践 : クラウド・バトルは どうなる?
7/01: Amazon のモバイル・ビジネス : その潜在能力を分析する
7/21: App Store の名称をめぐる、Apple と Amazon の係争が収束した
7/31: Amazon の 従業員数は 97,000 人 : ついに Microsoft に迫ってきた
8/20: 今度は Amazon.com がダウン : US リージョンで 約 45分間
9/07: Amazon スマホ 戦略: 無償の Kindle Phone と衛星ワイヤレス
11/08: Amazon の レモネード哲学 : こうすれば 新聞社くらい買収できる!
11/18: AWS re:Invent を、Kinvey の ワン・ストップ Hub から俯瞰する

 _  space

amazon-55aもう1つ、どのように Amazon が考えているのか、気になるところがあります。それは、AWS 上でのモバイル・アプリ開発を促進するための、Mibile BaaS(Backend as a Services)プロバイダーとの連携に関することです。ちょうど、昨年の今ごろは、Parse との間に蜜月感が漂っていたのですが、その Parse を買収したのは Facebook でした。また、それと同時に Google は、やはり BaaS の実力者である、Kinvery との提携を発表しています。もともと、ビジネスとしての水平分散を目指している、Parse や Kinvey といった BaaS プロバイダーたちは、特定の大手クラウド・プロバイダーとは馴染まない、彼ら独自のビジネス・モデルを持っています。したがって、Google と Kinvey の関係も、垂直統合には至りませんでした。この、モバイルバック・エンドという領域で、Amazon は、どのような方針を打ち出すのか? それも、2014年の見どころの 1つです。

Comments Off on 四強 の 2013年 : Amazon の マトメ

Amazon AWS のビジネス規模は、あなたの推測を遥かに上回る

Posted in .Selected, Amazon, Businesses, Data Warehousing by Agile Cat on February 20, 2013

Amazon’s cloud is bigger, more profitable than we think, report says
http://wp.me/pwo1E-5FM

By
Barb Darrow – Jan. 7, 2013
http://gigaom.com/2013/01/07/amazons-cloud-is-bigger-more-profitable-than-we-think-report-says/

_ Gigaom

photo: Flickr/Will Merydith

Summary: In a new research note, Macquarie Capital contends that Amazon Web Services is not only profitable, it would be a $19 billion business if it were counted as a standalone entity. That’s not peanuts. Amazon, of course, isn’t saying boo.

Summary: Macquarie Capital における先日の調査では、もし Amazon Web Services を単体として計算するなら、収益を上げているだけではなく、$19 billion のビジネスに至ると指摘されている。 それは、とるに足らないという金額ではない。 もちろん、Amazon にとっても、悪い話ではない。

ーーーーー

If you want a good debate, just ask a group of pundits about the size and profitability of Amazon Web Services then sit back with some popcorn. There are two main schools of thought: One holds that AWS is a business with razor-thin margins that is underwritten by the Amazon retail juggernaut and should that business take a tumble, AWS will fall with it. The other holds that Amazon makes good dough off of AWS, and that it could be a viable standalone business unit.

もし、異論があるにしても、この優秀なグループに対して、Amazon Web Services の規模と収益性を尋ねれば、あとはポップコーンを抱え込んだまま、イスに座って黙るしかない。 そこには、メインとなる論派が 2つある。 1つは、 AWS が Amazon リテールという巨大な存在により支えられる、紙一重のビジネスであり、また、そのリテール・ビジネスになるなら、AWS も転落するという考え方である。 もう 1つは、Amazon は AWS をベースに収益を上げており、また、AWS は単体としても価値のあるビジネスだという考え方である。

Count Macquarie Capital in the second camp. In a new research note, Macquarie estimates that the overall cloud market will hit $71 billion in 2015 and pegged AWS’ addressable part of that market at $38 billion. Those numbers are considerably larger than Gartner’s previous estimates of $56 billion for the overall cloud market size and $28 billion for AWS’ piece of the pie. In the note, analyst Ben Schachter said AWS could now be worth $19 billion as a standalone entity, based on a 5X multiple of Macquarie’s 2013 AWS revenue estimate of $3.8 billion, or $30 billion using an 8X multiple.

Macquarie Capital の考え方は、2編目のグループに属する。 この新しい調査で Macquarie は、クラウド全体のマーケットが 2015年には $71 billion に達し、そのうちの $38 billion を、AWS が確実に取るだろうと推定している。 それらの数字は、以前に Gartner が見積もった、クラウド全体を $56 billion とし、AWS に与えられるパイを $28 billion とするものよりも、かなり大きい。 この指摘において、アナリストである Ben Schachter は、現時点の AWS 単体で $19 billion の価値があるとしている。それは、Macquarie の 2013年の予測である、AWS の収入を $3.8 billion をベースにすると 5倍である。そして、$30 billion は 8倍に相当する。

クリックで拡大 ⇒

Macquarie is betting that growing enterprise adoption — a key AWS priority — will feed that momentum. According to the report:

Macquarie は、エンタープライズへの適用(AWS の重点項目)の増加が、その勢いを加速させるという考え方に賭けている。それは、以下のレポートによる:

“We highlight that much of AWS‟s past growth has come from SMBs [small and medium businesses] and start-ups. While these will continue to drive growth globally, in 2013 we expect a more concerted effort to focus on growing the AWS business at large enterprises. Importantly, the broadening platform offered by AWS is helping to drive adoption in larger enterprises (moving up the tech stack, with RedShift and other recent product launches). Additionally, we think emerging markets offer a significant opportunity, as many enterprises in these regions will likely bypass traditional technology infrastructure and go straight to the cloud.”

私たちが強調したいのは、これまでの AWS における成長の多くが、SMB [small and medium businesses]やスタートアップに依存している点である。 それらの勢力が、世界的な規模で成長を遂げている一方で、私たちの 2013年に関する予測では、大企業での AWS ビジネスの増大に焦点が当たることになる。 重要なことは、 AWS が提供する幅広いプラットフォームが、大企業での採用を促進している点である(RedShift などの最新プロダクトにより、テクノロジー・スタックを上位へ広げている)。 それに加えて、途上国のマーケットが、大きなチャンスをもたらすと、私たちは考えている。つまり、それらの地域における数多くのエンタープライズが、従来からのテクノロジー・インフラを回避して、ダイレクトにクラウドへと向かうときに、AWS に機会が生じることになる。

Redshift is the new data warehousing solution Amazon announced at AWS:Reinvent two months ago and that takes aim at expensive solutions from Hewlett-Packard (Vertica), Oracle, SAP, and IBM

Redshift とは、2ヶ月前の AWS:Reinvent において、Amazon が 発表した、新しいデータ・ウエアハウジング・ソリューションのことである。そして、それは、Hewlett-Packard(Vertica)や、Oracle、SAP、IBM などが提供する、高額ソリューション・レイヤをターゲットにしている。

クリックで拡大 ⇒

Of course all of these estimates are based on analysis of numbers that Amazon doesn’t provide. The company lumps AWS revenue in  with “other” revenue from marketing and promotion activities, other seller sites and co-branded credit cards. Given that, AWS remains pretty much a black box, but I would be willing to bet, all of  Amazon CEO Jeff Bezos’ talk of low-margin, high-volume business aside, that Amazon is not doing cloud services as a philanthropic exercise.

もちろん、これらすべての予測は、数値データの分析に基づいたものであり、また、それらを Amazon が提供しているわけでもない。 同社は、AWS の収益について、他の項目と混ぜあわせたかたちで公表している、具体的には、マーケティングとプロモーションのアクティビティや、他の販売サイト、ブランド・クレジットカードなどの収入の中に、AWS の収入が隠されている。 つまり、AWS の大半がブラック・ボックス化されているのである。Amazon の CEO である Jeff Bezos が語っている、薄利多売のビジネスという観点は余談として、以下のように締めくくりたい。Amazon のクラウド・サービスは、博愛主義的な行動として、存在しているわけではない。

Related research

ーーーーー

TAG indexベールに包まれた Amazon AWS のビジネス規模ですが、Agile_Cat としては、2011年の 『Amazon AWS の年商は、どう見ても $ 1 billion を超えている』 と、2012年の 『Amazon AWS は、いったい どれくらい儲かっているのか?』 に続き、これで 3回目のレポートとなります。これまでの予測と異なり、Redshift の登場により、これからの成長率が上昇するという見方が入っています。 それだけ、このウェアハウジング・ビジネスが、大きな影響を業界に与えていくのだと思えてきますね。 image

ーーーーー

<関連>

Amazon の Redshift がスタート! 警戒する HP、IBM、Teradata、Oracle など
IDC:データ分析市場は、2016年までに $51 B ビジネスに成長する

AWS のコストを分析する:TripAdvisor と Pinterest
Pinterest : 自動シャットダウン・システムで、AWS の時間単価を $54 から $20 へ
トップを快走する AWS と、それを追いかける 7人の チャレンジャー
CIO が クラウド とモバイル の分析を急ぐべき理由 : Gartner から学ぶ

Comments Off on Amazon AWS のビジネス規模は、あなたの推測を遥かに上回る

Amazon の Redshift がスタート! 警戒する HP、IBM、Teradata、Oracle など・・・

Posted in .Selected, Amazon, Data Warehousing by Agile Cat on February 18, 2013

Watch out HP, IBM, Teradata, Oracle: Amazon Redshift is here
http://wp.me/pwo1E-5FB

By
Barb Darrow – Feb. 15, 2013
http://gigaom.com/2013/02/15/watch-out-hp-ibm-teradata-oracle-amazon-redshift-is-here/

_ Gigaom

photo: Barb Darrow

Summary: Can Amazon take on the giants of data warehousing and win? Now we’ll be able to find out as its Paraccel-based Redshift service comes online.

Summary: Amazon は、データ・ウエアハウジングの大手たちに挑戦し、勝つことができるのか? そして、いま、Paraccel ベースの Redshift サービスが登場したことで、私たちは、その戦いぶりを目の当たりにしていくだろう。

Amazon announced plans for Redshift, its answer to pricier data warehouses from IBM, HP, Oracle, Teradata last November and, as promised, it’s broadly available in the first quarter of 2013.

昨年の 11月の Amazon がアナウンスした Redshift の計画は、IBM/HP/Oracle/Teradata といった高額なデータ・ウエアハウスに対する回答であり、そのときの約束によると、2013年 Q1 には広範囲で利用が可能となっていた。

Redshift, based on technology from ParAccel, claims to offer big-time data warehouse capability for a tenth of the price of legacy suppliers and, as of today, customers can start finding out for themselves if it lives up to the hype. If it does, it will uphold Amazon’s reputation for disrupting tech giants. Redshift availability was announced on the AWS blog.

ParAccel のテクノロジーをベースとする Redshift は、レガシー・サプライヤの 1/10 の価格で、一流のデータ・ウエアハウス機能を提供すると主張する。そして、現時点において、顧客たちは自分自身のために、それが誇大広告なのかどうかを、調べ始めることが可能になった もし、このデータ・ウエアハウスが実現するなら、テック・ジャイアントたちを崩壊させ、Amazon の名声を保つだろう。 Redshift の提供開始が、ついに AWS ブログで発表されたのだ。

One of the service’s key attractions, according to several attendees at last November’s AWS: Reinvent show where it was announced, was that Redshift will let customers keep on using their analytics tool of choice, be it MicroStrategy, Jaspersoft or Cognos.  Since training up people on new analytics is a big expense and time suck, that is important. According to the blog:

昨年 11月に開催された、AWS: Reinvent に参加した人たちによると、このサービスにおける重要なポイントの 1つは、MicroStrategy/Jaspersoft/Cognos といった分析ツールを、ユーザーたちに使い続けさせる点にあるという。  新しい分析手法のトレーニングは、大きな支出と、時間の消費を伴うため、こうしたサポートは重要である。 同社のブログによると:

“You can use the High Storage Extra Large (15 GiB of RAM, 4.4 ECU, and 2 TB of local attached    compressed user data) for $0.85 per hour or the High Storage Eight Extra Large (120 GiB of RAM, 35 ECU, and 16 TB of local attached user data) for $6.80 per hour. With either instance type, you pay an effective price of $3,723 per terabyte per year for storage and processing. One Year and Three Year Reserved Instances are also available, pushing the annual cost per terabyte down to $2,190 and $999, respectively.”

ユーザーは、High Storage Extra Large(15 GiB の RAM、4.4 ECU、2 TB のローカル接続された圧縮ユーザーデータ)を、1時間あたり $0.85 で利用できる。 また、High Storage Eight Extra Large(120 GiB の RAM、35 ECU、16 TB のローカル接続されたユーザーデータ)の場合は、1時間あたり $6.80 となる。 いずれのインスタンス・タイプを用いるにしても、ストレージとプロセッシングの年間費用としては、1 TB あたり $3,723 という、とても経済的な価格体系が提供される。 また、One Year と Three Year の Reserved Instances も提供され、それぞれの 1TB あたりのコストは、$2,190 および $999 まで引き下げられる。

It’s clear that Amazon’s Redshift will compete not only with things like EMC Greenplum, IBM Netezza and HP Vertica, but also with BitYota and Treasure Data which also run on AWS infrastructure. And it will also spar with Paraccel’s own data warehouse. But Paraccel CEO Chuck Berger told InformationWeek that he expects Amazon’s version will whet the appetite of customers for Paraccel’s own on-premises implementation. For more on Redshift check out AWS’ introductory video here:

Amazon Redshift にとって明確なことは、EMC Greenplum/IBM Netezza/HP Vertica などと争うでけはなく、同じく AWS インフラ上に提供される、BitYota /Treasure Data などとも競合していく点である。 さらに言えば、Paraccel 自身のデータ・ウエアハウスとも、戦うことになるだろう。 しかし、Paraccel CEO である Chuck Berger が InformationWeekに語ったところによると、この Amazon バージョンにより、Paraccel 自身のオンプレミス実装に対する、顧客の欲望が刺激されているとのことだ。 また、以下の紹介ビデオにおいても、Redshift の詳細を確認できる:

___space

___space

Related research

ーーーーー

imageついに登場ですね。そして、AWS の新たなチャレンジの始まります。文中でも紹介されている、昨年 11月の発表と前後して、James Hamilton 先生の 『 Redshift により データ・ウェアハウスの魔法を解く 』という抄訳をポストしていますが、そこでは ーーー「ペタ・バイト・スケールのデータ・ウエアハウスにおいて、コアあたり $80,000 を上回るような価格戦略を、神経を使って使いこなす必要は、もはや無くなった。エンタープライズに対して、60%~80% のディスカウント価格を提供するという、無意味な努力など、もう、不要になったのだ。つまり、エンタープライズ・ソフトウェアの世界に、常に潜んでいた魔法が解けるのである。そして、アドミニストレータ・チームを雇うことさえ不要になる。 単純にデータをロードして、それを動かすだけで良いのだ。 素晴らしい、光景じゃないか」ーーー とマトメられています。ワクワクする話ですね。image

ーーーーー

<関連>

【AWS発表】Amazon Redshift がどなたでもご利用可能に!
ーーーーー
AWS のコストを分析する:TripAdvisor と Pinterest
NASDAQ の FinQloud は、AWS ベースの金融サービス・プラットフォームだ
Amazon Glacier は、DEEP & FREEZE なコールド・データを取り扱う
Amazon AWS の年商は、どう見ても $ 1 billion を超えている

Comments Off on Amazon の Redshift がスタート! 警戒する HP、IBM、Teradata、Oracle など・・・

Redshift により データ・ウェアハウスの魔法を解く:James Hamilton

Posted in .Selected, Amazon, Data Warehousing, James Hamilton by Agile Cat on December 4, 2012

Redshift: Data Warehousing at Scale in the Cloud
http://wp.me/pwo1E-5js

Wednesday, November 28, 2012
http://perspectives.mvdirona.com/2012/11/28/RedshiftDataWarehousingAtScaleInTheCloud.aspx

_ perspectives

I’ve worked in or near the database engine world for more than 25 years. And, ironically, every company I’ve ever worked at has been working on a massive-scale, parallel, clustered RDBMS system. The earliest variant was IBM DB2 Parallel Edition released in the mid-90s. It’s now called the Database Partitioning Feature.

私の 25年以上にもおよぶキャリアは、データベース・エンジンの世界で、あるいは、その周辺で培われてきた。 そして、皮肉なことに、私が働いてきたすべての企業が、大規模スケール/パラレル/クラスター RDBMS システムに取り組んでいる。 最も初期の派生物は、90代半ばにリリースされた、IBM DB2 Parallel Edition であった。 いまでは、Database Partitioning Feature と呼ばれているものである。

Massive, multi-node parallelism is the only way to scale a relational database system so these systems can be incredibly important. Very high-scale MapReduce systems are an excellent alternative for many workloads. But some customers and workloads want the flexibility and power of being able to run ad hoc SQL queries against petabyte sized databases. These are the workloads targeted by massive, multi-node relational database clusters and there are now many solutions out there with Oracle RAC being perhaps the most well-known but there are many others including Vertica, GreenPlum, Aster Data, ParAccel, Netezza, and Teradata.

大容量のマルチノード並列方式は、スケーラブルな・リレーショナル・データベースシステムを実現する唯一の方法であるため、それらのシステムは、きわめて重要なものとなり得る。 もちろん、大規模スケールの MapReduce システムは、大量のワークロードを処理するという意味で、素晴らしい対案となる。 しかし、いくつかの顧客とワークロードは、ペタバイト・サイズのデータベースではなく、アドホックに SQL クエリーを実行するための、柔軟性と機能を必要とする。そこには、大容量マルチノードのリレーショナル・データベース・クラスターが、目標として定めたワークロードがある。そして、最も有名なのは Oracle RAC だとも思われるが、VerticaGreenPlumAster DataParAccelNetezzaTeradata などを含む、多様なソリューションも提供されている。

What’s common across all these products is that big databases are very expensive. Today, that is changing with the release of Amazon Redshift. It’s a relational, column-oriented, compressed, shared nothing, fully managed, cloud hosted, data warehouse. Each node can store up to 16TB of compressed data and up to 100 nodes are supported in a single cluster.

それら、すべてのプロダクトに共通する問題は、大規模なデータベースが、とても高価であるということだ。 しかし、いま、Amazon Redshift のリリースにより、それが変化している。 それは何かということであれば、リレーショナルであり、また、カラム指向で、圧縮機能を持ち、シェアード・ナッシングで、フル・マネージに対応する、クラウドにホストにされたデータ・ウエアハウスとなる。 それぞれのノードは、最大で 16 TB の圧縮データをストアすることが可能であり、また、最大で 100ノードが、シングル・クラスター内でサポートされる。

Amazon Redshift manages all the work needed to set up, operate, and scale a data warehouse cluster, from provisioning capacity to monitoring and backing up the cluster, to applying patches and upgrades. Scaling a cluster to improve performance or increase capacity is simple and incurs no downtime. The service continuously monitors the health of the cluster and automatically replaces any component, if needed.

Amazon Redshift は、データ・ウエアハウス・クラスターの、設定/運用/スケールに必要な、すべての作業を管理する。それは、クラスターのモニタリングとバックアップのためのキャパシティ・プロビジョニングから、パッチとアップグレードの適用にまで至る。 パフォーの改善と容量を増大するための、クラスターのスケーリングは、シンプルでありダウンタイムを引き起こさない。 このサービスでは、対象となるクラスターの健康状態が継続的にモニターされ、また、あらゆるコンポーネントの置き換えであっても、必要に応じて自動的に処理される。

The core node on which the Redshift clusters are build, includes 24 disk drives with an aggregate capacity of 16TB of local storage. Each node has 16 virtual cores and 120 Gig of memory and is connected via a high speed 10Gbps, non-blocking network. This a meaty core node and Redshift supports up to 100 of these in a single cluster.

それそれの Redshift クラスター上のコア・ノードは、24 台のディスク・ドライブを取り込み、16TB のローカル・ストレージの容量をアグリゲートしていく。 それぞれのノードは、16 の仮想コアと 120GB のメモリを持ち、また、10 Gbps/non-blocking の高速ネットワークに接続される。 Redshift はシングル・クラスター内で、このリッチなコア・ノードを、最大で 100 までサポートする。

There are many pricing options available (see http://aws.amazon.com/redshift for more detail) but the most favorable comes in at only $999 per TB per year. I find it amazing to think of having the services of an enterprise scale data warehouse for under a thousand dollars by terabyte per year. And, this is a fully managed system so much of the administrative load is take care of by Amazon Web Services.

数多く価格オプションが提供されているが(詳細については  http://aws.amazon.com/redshift を参照)、TB を年に $999 だけで利用するパターンが、最も推奨できる。 私が驚いたのは、年に $1000 もかけずに、エンタープライズ・スケール向けの、TB データ・ウエアハウス・サービスが実現されることだ。 そして、フル・マネージド・システムが提供されるため、アドミニストレータが対応すべき大半の負荷が、Amazon Web Services により処理されていく。

Service highlights from: http://aws.amazon.com/redshift

以下の各項目は、AWS 日本語サイトにアップされると思います:
http://aws.amazon.com/jp/products/

Fast and Powerful – Amazon Redshift uses a variety to innovations to obtain very high query performance on datasets ranging in size from hundreds of gigabytes to a petabyte or more. First, it uses columnar storage and data compression to reduce the amount of IO needed to perform queries. Second, it runs on hardware that is optimized for data warehousing, with local attached storage and 10GigE network connections between nodes. Finally, it has a massively parallel processing (MPP) architecture, which enables you to scale up or down, without downtime, as your performance and storage needs change.

You have a choice of two node types when provisioning your own cluster, an extra large node (XL) with 2TB of compressed storage or an eight extra large node (8XL) with 16TB of compressed storage. You can start with a single XL node and scale up to a 100 node eight extra large cluster. XL clusters can contain 1 to 32 nodes while 8XL clusters can contain 2 to 100 nodes.

Scalable – With a few clicks of the AWS Management Console or a simple API call, you can easily scale the number of nodes in your data warehouse to improve performance or increase capacity, without incurring downtime. Amazon Redshift enables you to start with a single 2TB XL node and scale up to a hundred 16TB 8XL nodes for 1.6PB of compressed user data. Resize functionality is not available during the limited preview but will be available when the service launches.

Inexpensive – You pay very low rates and only for the resources you actually provision. You benefit from the option of On-Demand pricing with no up-front or long-term commitments, or even lower rates via our reserved pricing option. On-demand pricing starts at just $0.85 per hour for a two terabyte data warehouse, scaling linearly up to a petabyte and more. Reserved Instance pricing lowers the effective price to $0.228 per hour, under $1,000 per terabyte per year.

Fully Managed – Amazon Redshift manages all the work needed to set up, operate, and scale a data warehouse, from provisioning capacity to monitoring and backing up the cluster, and to applying patches and upgrades. By handling all these time consuming, labor-intensive tasks, Amazon Redshift frees you up to focus on your data and business insights.

Secure – Amazon Redshift provides a number of mechanisms to secure your data warehouse cluster. It currently supports SSL to encrypt data in transit, includes web service interfaces to configure firewall settings that control network access to your data warehouse, and enables you to create users within your data warehouse cluster. When the service launches, we plan to support encrypting data at rest and Amazon Virtual Private Cloud (Amazon VPC).

Reliable – Amazon Redshift has multiple features that enhance the reliability of your data warehouse cluster. All data written to a node in your cluster is automatically replicated to other nodes within the cluster and all data is continuously backed up to Amazon S3. Amazon Redshift continuously monitors the health of the cluster and automatically replaces any component, as necessary.

Compatible – Amazon Redshift is certified by Jaspersoft and Microstrategy, with additional business intelligence tools coming soon. You can connect your SQL client or business intelligence tool to your Amazon Redshift data warehouse cluster using standard PostgreSQL JBDBC or ODBC drivers.

Designed for use with other AWS Services – Amazon Redshift is integrated with other AWS services and has built in commands to load data in parallel to each node from Amazon Simple Storage Service (S3) and Amazon DynamoDB, with support for Amazon Relational Database Service and Amazon Elastic MapReduce coming soon.

Petabyte-scale data warehouses no longer need command retail prices of upwards $80,000 per core. You don’t have to negotiate an enterprise deal and work hard to get the 60 to 80% discount that always seems magically possible in the enterprise software world. You don’t even have to hire a team of administrators. Just load the data and get going. Nice to see.

ペタ・バイト・スケールのデータ・ウエアハウスにおいて、コアあたり $80,000 を上回るような価格戦略を、神経を使って使いこなす必要は、もはや無くなった。エンタープライズに対して、60%~80% のディスカウント価格を提供するという、無意味な努力など、もう、不要になったのだ。つまり、エンタープライズ・ソフトウェアの世界に、常に潜んでいた魔法が解けるのである。そして、アドミニストレータ・チームを雇うことさえ不要になる。 単純にデータをロードして、それを動かすだけで良いのだ。 素晴らしい、光景じゃないか。

–jrh

James Hamilton
e: jrh@mvdirona.com
w:
http://www.mvdirona.com
b:
http://blog.mvdirona.com / http://perspectives.mvdirona.com

ーーーーー

imageついに、AWS が、ここまで攻め込んできましたね。まぁ、スパコン(CC2)まであるのですから、何でもアリなのだと思いますが、データ・ウエアハウスでも徹底的な価格破壊が行われるのでしょう。 たしか、2010年から 2011年にかけて、数多くのデータ・ウエアハウスが垂直統合されたと記憶していますが、それもこれも、Amazon を怖れての事だったのかも知れませんね。image

ーーーーー

<関連>

James Hamilton 特集
ーーーーー
EMC は新規のアプライアンスを武器に、Teradata と勝負、Oracle と勝負!
IBM が Netezza を $1.7 billion で買収と発表
Teradata と Cloudera が Hadoop で提携!
HP が Dell の 3割増をオファー – エスカレートする 3PAR 争奪戦
Cloudera と Netezza による、Hadoop の商用アプライアンスとは?
【速報】EMC も、ついにクラウドへ本格参入?

Comments Off on Redshift により データ・ウェアハウスの魔法を解く:James Hamilton

%d bloggers like this: