Agile Cat — in the cloud

Microsoft readying Hadoop for Windows Azure の対訳

Posted in Hadoop, Microsoft by Agile Cat on May 4, 2010

Microsoft readying Hadoop for Windows Azure
By David Worthington
5/3, 2010


日本時間の 5/4 の午後に飛び込んできたニュースです。 超大急ぎの、ウルトラ・ラフ対訳でポストした後に、実は玉川さんに 「ちょっとチェックを~~~」 と、お願いしてみたところ、すばらしい校正をしていただけました :)  ・・・ というわけで、玉川竜司バージョンを、是非、どうぞ。 ーーー A.C.



Microsoft is preparing to provide Hadoop, a Java software framework for data-intensive distributed applications, for Windows Azure customers.

Microsoft は Windows Azure の顧客に対して、データ集約分散のためのアプリケーションのための、Java ソフトウェア・フレームワークである Hadoop を提供すべく準備を進めている。

Hadoop offers a massive data store upon which developers can run map/reduce jobs. It also manages clusters and distributed file systems. Microsoft will provide Hadoop within a "few months," said a Microsoft executive who wished to remain anonymous.

Hadoopは、デベロッパーが Map/Reduce を実行できる大規模なデータストアを提供する。クラスタと分散ファイル・システムもまた管理する。 Microsoft の首脳が、「数カ月」のうちに Hadoop を提供すると発言しているが、彼は匿名を望んでいる。

The technology makes it possible for applications to analyze petabytes of both structured and unstructured data. Data is stored in clusters, and applications work on it programmatically.

このテクノロジーにより、構造化されているか否かによらず、ペタ・バイト・オーダーのデータを分析するアプリケーションが実現される。 それらのデータはクラスタに格納され、アプリケーションはプログラムによってそれらのデータを処理する。

"They are probably seeing Hadoop adoption trending up, and possibly have some large customers demanding it," said Forrester principal analyst Jeffrey Hammond.

「おそらく、MIcrosoft は、Hadoop の適用がトレンドになっていることを確認しており、また、いくつかの大手顧客の要求もあったのかもしれない」と、Forrester の主席アナリストである Jeffrey Hammond は発言している。

"Microsoft is all about money first; PHP support with IIS and the Web PI initiative were all about numbers and creating platform demand. If Hadoop support helps creates platform demand for Azure, why not support it? Easiest way to lead a parade is to find one and get in front of it."

「Microsoft は常に金額を第一に考えます。 つまり、IISによるPHPのサポートや Web PIイニシアティブは、数字が重要であり、プラットフォームに対する需要を喚起するためのものでした。 もし、Hadoop のサポートが、Azure プラットフォームに対する需要の喚起に寄与するなら、それをサポートしない手はないでしょう? パレードを導く最も容易な方法は、それを探し出して、その先頭に立つことなのです」

Microsoft’s map/reduce solution, codenamed "Dryad," is still a reference architecture and not a production technology.

「Dryad」という コードネームを持つMicrosoftのMap/Reduceソリューションは、現時点では実用のテクノロジーではなく、リファレンス・アーキテクチャに過ぎない。

Further, AppFabric, a Windows Azure platform for developing composite applications, currently lacks support for data grids. Microsoft has experienced difficulty in porting Velocity, a distributed in-memory application cache platform, to Windows Azure, because Velocity requires administrative privileges to install, the anonymous executive told SD Times.

さらに、複合アプリケーションを開発するためのWindows AzureのプラットフォームAppFabricは、現時点ではデータ・グリッドに対するサポートが欠落している。 Microsoftは、分散型のインメモリ・アプリケーション・キャッシュ・プラットフォームであるVelocityのWindows Azureへの移植に際して困難を経験した。その理由は、インストールする際にアドミニストレータ特権が必要だったからだと、この匿名の首脳は SD Times に打ち明けている。

"Do they feel so ‘way behind’ that they are rolling out a Java-based product without a .NET-based ‘superior’ alternative ready to go?" asked Larry O’Brien, a private consultant and author of the "Windows & .NET Watch" column for SD Times. "Perhaps they feel that distributed map/reduce is not really all that important, that they can put Hadoop on the ‘check-off box’ and it won’t be embarrassing that it gives Java developers a capability that .NET developers don’t have?"

「.NET ベースの ”より優れた”代案を用意することなく、Java ベースのプロダクトを市場に送り出すほど、Microsoft が"立ち後れてしまった"と感じているのでしょうか?」と、プライベート・コンサルタントであり、SD Times の "Windows & .NET Watch" の著者である Larry O’Brien” は疑問を投げかける。 「おそらく、Microsoft は、Map/Reduce がそれほど重要だとは感じていないので、Hadoop には確認用のチェックボックスをつけておくことができれば、それがJava デベロッパーに対して、NET デベロッパーが持たない力を提供することは、べつに恥ずかしいことではないのでしょう」

The Azure platform is not restricted to .NET development. Microsoft partnered with Soyatec to produce the Azure SDK for Java. However, using Hadoop as a data grid solution is a departure from Microsoft’s approach to data access.

Azure プラットフォームは、.NET 開発に限定されているわけではない。 Microsoft は Soyatec と組んで、Azure SDK for Java を作った。 しかし、Hadoop をデータ・グリッド・ソリューションとして用いることは、Microsoft におけるデータ・アクセスのアプローチからの脱却を意味する。

.NET’s existing data access APIs, such as the ADO.NET Entity Framework, provide an object-relational mapping (ORM) framework that abstracts data from the application.

ADO.NET Entity Framework のような、.NETにおける既存のデータ・アクセスAPIは、アプリケーションからデータを抽象化するためのORM(object-relational mapping )フレームワークを提供する。

Microsoft’s Velocity caching technology resides in the business logic layer, in the sense that it is in-memory and object oriented, said William Bain, CEO of ScaleOut Software. Dryad emphasizes its parallel computation model, which can be integrated with file storage, he added.

MicrosoftのVelocityキャッシング・テクノロジーは、それがインメモリでありオブジェクト指向であるという意味において、ビジネス・ロジック・レイヤに配置される と、ScaleOut Software の CEO である William Bain は言う。 Dryadでは、ファイル・ストレージとの統合が可能なパラレル・コンピューティング・モデルが強調されている、と彼は付け加えている。

Hadoop integrates parallel data analysis with the data storage layer rather than solely residing in the business logic layer. Its use of its own distributed file system with data accessed from the file system "creates its storage integration and the associated complexity," Bain claimed

Hadoop は、ビジネス・ロジック・レイヤだけに存在するというより、パラレル・データ分析をデータ・ストレージ・レイヤと統合するものだ。 つまり、独自の分散ファイル・システムからアクセスされるデータと、そのファイルシステムの利用は「ストレージとのインテグレーションと、それに伴う複雑さを生み出す」と、Bain は主張する。

"Map/reduce is definitely lower-level than SQL," said O’Brien. "However, because it’s more like a powerful mathematical technique than a black box whose internal workings are unclear, it’s not necessarily ‘more complex’ to think through a tough data analysis problem in terms of map/reduce. Map: ‘Farm out all of this identical work to a whole bunch of different computers.’ Reduce: ‘Gather those results and combine duplicates.’ Feed the reduced dataset into another map/reduction process. Conceptually, that’s pretty easy to reason with!"

「たしかにMap Reduceは、SQLと比較して低レベルだ」と、O’Brienは言う。 「しかし、内部の処理が不明確なブラック・ボックスと比較すれば、よりパワフルで数学的なテクニックに近いので、Map/Reduceの観点からタフなデータ分析の問題について考えたとしても、必ずしも「より複雑」なわけではない。 Map:このすべての同一の処理を、様々なコンピュータの集合体に対して請け負わせる。Reduce:それらの結果を集め、複製分を集約する。Reduce されたデータセットを、別の Map/Reduction プロセスにフィードする。 概念的には、きわめて納得がいくことだ。

Microsoft can gain a data grid capability in Azure by acquiring a partner such as ScaleOut Software or Alachisoft, said Forrester senior analyst Mike Gualtieri. Microsoft is not far behind other platform players in providing distributed data grids on the cloud, he added.

Microsoft は、ScaleOut Software や Alachisoft といったパートナーを手にいれることで、Azure にデータ・グリッド機能を加えることができると、Forrester の senior analyst である Mike Gualtieri は発言している。Microsoft は、分散データ・グリッドのクラウドへの提供という点では、他のプラットフォーム・プレーヤーにそれほど後塵を拝してはいないと、彼は付け加えている。

ScaleOut Software uses a memory-based approach to map/reduce analysis. Its parallel method invocation integrates parallel query with map/reduce on object collections stored in the grid.

ScaleOut Software では、Map / Reduce 分析のために、メモリベースのアプローチを用いている。 その並列メソッド呼び出しは、グリッドにストアされたオブジェクトのコレクションに対するMap / Reduceと、パラレル・クエリーを統合する。

“In-memory, object-oriented map/reduce within the business logic layer offers important advantages in reducing development time and maximizing performance,” said Bain. “Over time, we are confident that this approach will efficiently handle petabyte data sets, which currently rely on file-based implementations.”

「インメモリでオブジェクト指向のmap/reduceをビジネス・ロジック・レイヤに置けば、開発時間の短縮とパフォーマンスの最大化という重要なアドバンテージが得られる」と、Bain は言う。 「現時点ではファイル・ベースの実装に依存しているペタバイトのデータセットをも、このアプローチなら効果的に処理できると確信するようになった」

Additionally, there are open-source map/reduce solutions for .NET. A project called hadoopdotnet ports Hadoop to the .NET platform. It is available under the Apache 2.0 open-source license. MySpace Qizmt, a map/reduce framework built using .NET, is another alternative. It is licensed under GNU General Public License v3.

加えて、.NET用のオープンソース Map / Reduceソリューションも存在する。 ”hadoopdotnet”と呼ばれるプロジェクトは、Hadoopを.NET プラットフォームに移植するものだ。これは、Apache 2.0オープンソース・ライセンスのもとで利用できる。.NETを用いて構築されたMap/ReduceフレームワークであるMySpace Qizmtは、もう 1つの選択肢だ。こちらは、GNU General Public License v3 のもとでライセンスされている。


Hadoop による Web 広告システムの構築と運用 :ヨーロッパでの事例
TechDays のキーノートは、ここに注目!
Windows Azure チームが、アイデアを募集!
Microsoft は オープンソースへ走ると、O’Reilly が予言!
Bing と Yahoo の関係

Comments Off on Microsoft readying Hadoop for Windows Azure の対訳

%d bloggers like this: