Agile Cat — in the cloud

Microsoft が発表した、OSS ベースのクラウド・サービスとは?

Posted in .Selected, Big Data, Hadoop, James Hamilton, Microsoft by Agile Cat on October 14, 2011

Microsoft Announces Open Source based Cloud Service
Thursday, October 13, 2011



We see press releases go by all the time and most of them deserve the yawn they get. But, one caught my interest yesterday. At the PASS Summit conference Microsoft Vice President Ted Kummert announced that Microsoft will be offering a big data solution based upon Hadoop as part of SQL Azure. From the Microsoft press release, “Kummert also announced new investments to help customers manage big data, including an Apache Hadoop-based distribution for Windows Server and Windows Azure and a strategic partnership with Hortonworks Inc.”

私たちが目にするプレス・リリースは、その大半が退屈なものである。 しかし、昨日のことだが、とても興味深いものを見つけた。 PaaS Summit カンファレンスで、Microsoft Vice President である Ted Kummertが、Hadoop ベースの Big Data ソリューションを、SQL Azure の一部として提供すると発表したのだ。 その、Microsoft のプレスリリースによると、「 Kummert のアナウンスには、Windows Server と Windows Azure での、Apache Hadoop ベース・ディストリビューションと、Hortonworks との戦略的パートナーシップが含まれており、Big Data を取り扱う顧客を支援するための、新たな投資が行われる」とされる。

Clearly this is a major win for the early startup Hortonworks. Hortonworks is a spin out of Yahoo! and includes many of the core contributors to the Apache Hadoop distribution: Hortonwoks Taking Hadoop to Next Level.

明らかなことは、スタートアップである Hortonworks に、大きな成功がもたらされることだ。 Hortonworks は Yahoo! からのスピンアウトであり、また、Apache Hadoop ディストリビューションにおけるコア・コントリビュータである: Hortonwoks Taking Hadoop to Next Level

imageThis announcement is also a big win for the MapReduce processing model. First invented at Google and published in MapReduce: Simplified Data Processing on Large Clusters. The Apache Hadoop distribution is an open source implementation of MapReduce. Hadoop is incredibly widely used with Yahoo! running more than 40,000 nodes of Hadoop with their biggest single cluster now at 4,500 servers. Facebook runs a 1,100 node cluster and a second 300 node cluster. Linked in runs many clusters including deployments of 1,200, 580, and 120 nodes. See the Hadoop Powered By Page for many more examples.

さらに、このアナウンスメントは、MapReduce プロセシング・モデルにとっての、大きな勝利を意味する。 最初に Google で考案され、そして MapReduce として提供された:Simplified Data Processing on Large Clusters 。 つまり、Apache Hadoop のディストリビューションは、MapReduce のオープンソース実装である。 Hadoop は、Yahoo! において、きわめて広範囲で利用されている。いまでは、40,000 以上のノードが実行され、最大のシングル・クラスタは 4,500 サーバーにまで至っている。 また、Facebook は、1,100 ノードのクラスタと、300 ノードクラスタを運用している。さらに、LinkedIn も、1,200/580/120 のノードのディプロイメントを含めて、多数のクラスタを実行している。その他の、多数の事例に関しては、Hadoop Powered By Page を参照して欲しい。

In the cloud, AWS began offering Elastic MapReduce back in early 2009 and has been expanding the features supported by this offering steadily over the last couple of years adding support for Reserved Instances, Spot Instances, and Cluster Compute instances (on a 10Gb non-oversubscribed network – MapReduces just loves high bandwidth inter-node connectivity)and support for more regions with EMR available in Northern Virginia, Northern California, Ireland, Singapore, and Tokyo.

クラウドにおいては、2009年の初頭より AWS が Elastic MapReduceの提供を開始し、この 2年の間に、着実に機能を拡張してきた。Reserved Instances や、Spot Instances、Cluster Compute Instances(on a 10Gb non-oversubscribed network – MapReduces just loves high bandwidth inter-node connectivity)を追加し、Northern Virginia/Northern California/Ireland/Singapore/Tokyo などのリージョンをサポートしている。

Microsoft expects to have a pre-production (what they refer to as a “community technology Preview”) version of a Hadoop service available by the “end of 2011”. This is interesting for a variety of reasons. First, its more evidence of the broad acceptance and applicability of the MapReduce model. What is even more surprising is that Microsoft has decided in this case to base their MapReduce offering upon open source Hadoop rather than the Microsoft internally developed MapReduce service called Cosmos which is used heavily by the Bing search and advertising teams. The What is Dryad blog entry provides a good description of Cosmos and some of the infrastructure build upon the Cosmos core including Dryad, DryadLINQ, and SCOPE.

Microsoft は「2011年の終わり」までに、Hadoop サービスのプリ・プロダクション・バージョン(彼らの言う “community technology Preview”)を持ちたいと望んでいる。  このことは、さまざまな点で興味深いものである。 第一に、MapReduce モデルが、広範囲で受け入れられ、その適用性が証明されたことになる。  さらに驚くべきことは、Microsoft による MapReduce 提供が、オープンソースである Hadoop ベースで行われることである。つまり、Microsoft が内製し、Bing サーチと広告チームで利用されている、Cosmos という MapReduce サービスを押しのけることになる。 What is Dryad ブログのエントリーには、Cosmos に関する丁寧な説明と、その上に構築された Dryad/DryadLINQ /SCOPE などの情報が提供されている。

As surprising as it is to see Microsoft planning to offer MapReduce based upon open source rather than upon the internally developed and heavily used Cosmos platform, it’s even more surprising that they hope to contribute changes back to the open source community saying “Microsoft will work closely with the Hadoop community and propose contributions back to the Apache Software Foundation and the Hadoop project.”

つまり、Microsoft 内部で開発され、各部門で利用されている Cosmos プラットフォームよりも、オープンソース・ベースのMapReduce の提供を計画している点は、驚くべきことである。そして、「Microsoft は Hadoop コミュニティと緊密に作業を進め、Apache Software Foundation と Hadoop Project に対してコントリビュートシていく」と言い、そこで得られた成果を、オープンソース・コミュニティに戻していきたいとしている点に、さらに驚かされる。

· Microsoft Press Release: Microsoft Expands Data Platform
· Hortonsworks Press Release: Hortonworks to Extend Apache Hadoop to Windows Users
· Hortonworks Blog Entry: Bringing Apache Hadoop to Windows

Past MapReduce postings on Perspectives:

· MapReduce in CACM
· MapReduce: A Minor Step Forward
· Hadoop Summit 2010
· Hadoop Summit 2008
· Hadoop Wins TeraSort
· Google MapReduce Wins TeraSort
· HadoopDB: MapReduce over Relational Data
· Hortonworks Taking Hadoop to Next Level

James Hamilton

b: /


TAG index昨年の夏に Ray Ozzie が去り、秋には Bob Muglia を解任してしまい、大事な時期に空白の数カ月をもたらしてしまった Microsoft ですが、久々に良いニュースが聞けて嬉しいですね。 また、最初の Hadoop World が開催されてから( 3回目の Hadoop World NYC は11月)、わずか 2年で、Hadoop も重要なポジションを確立しましたね。そちらの側から見ても、とても嬉しいニュースです。 なお、文中でも参照している Hortonworks に関する記事は、<関連>の先頭にありますので、よろしければ、ご参照ください。ーーー __AC Stamp 2



Yahoo! から派生した Hortonworks が 次期 Hadoop を語る by J.H.
Big Data を探せ! アメリカの 5つの具体的な事例とは?
クラウドで Big Data をハンドリングする 6 社の事例
OpenFlow と Big Data の 深い関係について
HP が $10B で 買収する Autonomy は、Big Data のスペシャリスト?


NIST の Cloud Architecture – プロバイダとユーザーのスコープ

Posted in .Selected, NIST by Agile Cat on October 14, 2011

NIST Cloud Computing Reference Architecture より ・・・

TAG index

2. Cloud Computing Reference Architecture: An Overview
2.7 Scope of Control between Provider and Consumer


『 US Government(USG)におけるクラウド・コンピューティングの導入と実装は、テクニカ/非テクニカルな要因に応じたものとなる。基本的な参照ポイントは、NIST definition of Cloud Computing に基づくものとなるが、政府機関の規模で利用可能にするために、全体的なフレームワークの記述が必要になる。このドキュメントは、コンポーネント間の正確な通信と、クラウド・コンピューティングを実現することになる、NIST Cloud Computing Reference Architecture (RA) and Taxonomy (Tax) を提供する。』 とのことです。 ーーー __AC Stamp 2


The Cloud Provider and Cloud Consumer share the control of resources in a cloud system. As illustrated in Figure 8, different service models affect an organization‟s control over the computational resources and thus what can be done in a cloud system. The figure shows these differences using a classic software stack notation comprised of the application, middleware, and OS layers. This analysis of delineation of controls over the application stack helps understand the responsibilities of parties involved in managing the cloud application.

Cloud Provider と Cloud Consumer は、クラウド・システムにおけるリソースのコントロールを共有する。Figure 8 に示すように、それぞれのサービス・モデルが、個々の組織におけるコンピューティング・リソースと、クラウド・システムの機能対するコントロールに影響を与える。以下の図では、それらの組織における、従来からのソフトウェア・スタックが構成する、アプリケーション/ミドルウェア/OS の各レイヤを用いて、相違点を示している。 クラウド・アプリケーションの管理に責任を負うチームは、このコントロールを図解する分析により、アプリケーション・スタックへの理解を促進していく。

Figure 8: Scope of Controls between Provider and Consumer

The application layer includes software applications targeted at end users or programs. The applications are used by SaaS consumers, or installed/managed/ maintained by PaaS consumers, IaaS consumers, and SaaS providers.

このアプリケーション・レイヤには、エンドユーザーを対象とするソフトウェア・アプリケーションやプログラムが含まれる。そのアプリケーションは、SaaS Consumer により使用されるが、PaaS Consumer あるいは、IaaS Consumer 、SaaS Provider によりインストール/管理/維持される。

The middleware layer provides software building blocks (e.g., libraries, database, and Java virtual machine) for developing application software in the cloud. The middleware is used by PaaS consumers, installed/managed/maintained by IaaS consumers or PaaS providers, and hidden from SaaS consumers.

ミドルウェア・レイヤは、対象となるクラウドにアプリケーション・ソフトウェアをディプロイするための、ソフトウェア・ビルディング・ブロック(ライブラリ、データベース、Java VM など)を提供する。 そのミドルウェアは、PaaS Consumer により使用されるが、 IaaS Consumer あるいは PaaS Provider によりインストール/管理/維持され、また、SaaS Consumer からは隠される。

The OS layer includes operating system and drivers, and is hidden from SaaS consumers and PaaS consumers. An IaaS cloud allows one or multiple guest OS‟s to run virtualized on a single physical host. Generally, consumers have broad freedom to choose which OS to be hosted among all the OS‟s that could be supported by the cloud provider. The IaaS consumers should assume full responsibility for the guest OS‟s, while the IaaS provider controls the host OS.

この OS レイヤには、OS 自身とドライバが取り込まれ、また、SaaS Consumer と PaaS Consumer からは隠される。 IaaS クラウドは、物理的シングル・ホスト上で仮想化される、マルチ・ゲスト OS を実行するとができる。 Consumer は一般的に、Cloud Provider がサポートする全 OS の中から、ホストしてもらう OS を選ぶという、広範囲におよぶ自由を持っている。IaaS Consumer は、ゲスト OS に関する全責任を負うべきであり、また、IaaS Provider はホスト OS をコントロールすることになる。


この話は、今年の 4月に、SaaS/PaaS/IaaS とセキュリティの責任範囲 というタイトルで説明しましたが、そには Security and Privacy というドキュメントからのものでした。 以前のものはクラウドの安全性という点に絞って、このスコープについて説明していますが、今回のものはアーキテクチャから見ている点が、異なるようです。 ーーー __AC Stamp 2



NIST がクラウドのための Roadmap と Architecture を発表
NIST の Cloud Architecture 序文
NIST の Cloud Architecture 概要



Comments Off on NIST の Cloud Architecture – プロバイダとユーザーのスコープ

%d bloggers like this: