Agile Cat — in the cloud

Hadoop が Microsoft の教材に?

Posted in Hadoop, MS-MapReduce by Agile Cat on September 5, 2009
    MapReduce を認め、Hadoop を学習し、Dryad へ向かっていこう!

    Simon Guest さんが TechED(US)で使った Windows Azure スライドに、とても興味深い一節がありましたので、簡単に紹介しますね。これまで、Microsoft が避けてきた MapReduce に対する評価に、正面から取り組んでいるのです。 私としては、一番 聴きたかったところです。

    すべての基軸が Microsoft の中だけに存在していた時代から、新しい枠組みへと IT の世界は移行しているのですが、それは認め難いという雰囲気でしたよね、これまで。。。 その一方で、外側にできてしまった MapReduce という強固な基軸を無視し続けることが、もう出来なくなっているのも事実だと思います。

    最も合理的な方法は、それを物差しとして利用し、その目盛りのどの位置に、どのようなカウンターをぶつけていくのか、その点を Microsoft が説明していくことです。 それが、情報の発信側と受け手の間で、ショートカットとして機能し、しかも、齟齬を減らしていくのです。

    その Simon さんの一節の出だしが、以下のスライドです。”MapReduce により IT がさらに広がった” とでも解釈すべきなのでしょうかね? (↓)

    MapReduce 1

    以下は、Map に関する説明です。 こんなに解りやすい Map の資料は今までに無かったと思います。(↓)

    MapReduce 2

    同様に、Reduce の説明です。 これまた、解りやすい!(↓)

    MapReduce 3

    ここで、Google、Yahoo、Facebook が、どれだけのデータを MapReduce を用いて日々分析しているのか、その値を示しています。(↓)

    MapReduce 4

    MapReduce のオープンソース版である、Hadoop に関する説明です。(↓)

    MapReduce 5

    "Jim は、今日のオンプレミスで、この問題を、どのように解決するのだろうか?" (Jim というのは、このスライドに出てくるアバターのことです)(↓)

    MapReduce 6

    これが、Azure におけるソリューションです! (推測ですが、Queue と Table があるので、おそらく、そうなんでしょう)(↓)

    MapReduce 7

    1:MapReduce は実績があるが、最初は把握しにくい。

    2:既存のフレームワークを勉強しよう。とりわけ Apatch Hadoop がお勧め。

    3:将来へ向けて、Dryad(DryadLINQ)と調べよう。(↓)

    MapReduce 8

    どんなデモが行われたのでしょうね? ”Inspired by MapReduce” とハッキリ書いてあるところに好感が持てます。(↓)

    MapReduce 9

    ・・・というわけで、Agile Cat でもお勧めの、、、"Hadoop” と "Cosmos + Scope" も ど~ぞ!

    それと、Data Consistency の違いによる住み分けにも、興味がありますね。。。

4 Responses

Subscribe to comments with RSS.

  1. nsharp said, on September 5, 2009 at 11:16 am

    こちらのメッセージとあわせると、さらに興味深い。(・∀・)

    (スライド161枚目)
    「SQL Azure as a factor for migration/move from on premises」

    けっこうきわどい本音が読めて、全体にわたってすごくおもしろいスライドですね。

  2. Agile Cat said, on September 5, 2009 at 11:52 am

    nsharpさん、ど~もです。
    そうなんでよね、Microsoft の本音がドコにあるのか、それが見えないからヤキモキするんですよね。そこで Microsoft の良心である Simon が、、、とう感じがしますね。それにしても、189 ページもあるスライドって、彼らしい(笑)

  3. nsharp said, on September 20, 2009 at 12:34 am

    時間が経ったエントリにコメントで恐縮ですが・・・、

    つい最近MySpaceが公開したQizmtは、.NET開発者にとってのMapReduceの教材として
    Hadoopのオルタナティブに十分なり得るという感触です。(・∀・)

    http://code.google.com/p/qizmt/

    数日触った程度ですが、使いやすさの面でも非常に好感触です。
    Microsoftが近いうちにHadoopよりもQizmtを猛プッシュする展開もすごく考えられます。w

  4. Agile Cat said, on September 20, 2009 at 12:50 am

    nsharp さん、こんばんは。

    Qizmt ですか、、、 それは知りませんでした。教えていただき、ありがとうございます。 Microsoft も既に何らかの MapReduce を使っているはずで、Bing や SkyDrive は、どうしているんだろうと、しきりに推測しているところです(笑)

    MapReduce 系のテクノロジーは、キャッシュ的な役割も担えるはずで、そこから RDB 系などにつないでいくパターンも含むと、利用できる範囲がグッと広がるはずだと思っています。

    ただ、、、どのようなアプリケーションが考えられるのかというと、なかなかイメージが湧かず、そんなこんなで Hadoop World に行って来ようかと、考えているところです。

    また、何かありましたら、ぜひ、教えてください。


Comments are closed.

%d bloggers like this: