Agile Cat — in the cloud

Microsoft Dublin フォト・ギャラリー

Posted in Data Center Trends by Agile Cat on September 30, 2009

Inside Microsoft’s Dublin Mega Data Center

Data Center Knowledge より
September 28th, 2009 : Rich Miller
From <
http://www.datacenterknowledge.com/inside-microsofts-dublin-mega-data-center/>

MS Dublin 2 The exterior of the new super-efficient Microsoft data center in Dublin

Microsoft の Dublin は、データセンターにおけるマイルストーンである。この新しい設備は、Microsoft のクラウド・コンピューティングにパワーを提供するが、同じくらいの規模を持つデータセンターと比べて、そこで消費される電力と冷却水は、低く抑えられている。

Microsoft の発表によると、その PUE(Power Usage Effectiveness) は 1.25 であり、業界全体の平均値である 2.0、そして 同社の平均値である 1.6 を大きく下回る。

詳しくは、以下の Photo Gallery で、、、ど~ぞ。

NAVIGATION:

Tagged with: ,

Google Sites API とは?

Posted in Google by Agile Cat on September 29, 2009

Google Sites API Lets Developers Move Data to, from Wikis

eWeeks より
By: Clint Boulton --- 2009-09-24

http://www.eweek.com/c/a/Messaging-and-Collaboration/Google-Sites-API-Lets-Developers-Move-Data-To-From-Wikis-849988/

Google releases an API that lets programmers move data freely to and from Google Sites. The API gives developers full read/write access to all Sites content. Application developers can use the programming interface to write programs to migrate Web pages, documents and other content from intranets, content management applications and other wiki applications. The API embodies the tenets of Google’s Data Liberation Front, which aims to help users move personal data in and out of Google’s services with simple import and export functions.

Google がリリースする API により、プログラマは Google Site との、自由なデータのやり取りが可能となる。この API により、すべての Site コンテンツに対する完全な read/write アクセスが、開発者に与えられる。つまり、アプリケーション・プログラマは、イントラネットや、コンテント管理アプリケーション、そして wiki アプリケーションなどから、Web ページやドキュメントなどを移行させるプログラムを、このプログラミング・インターフェースを用いて記述できるようになる。

Drawing on programming work from its Data Liberation Front, Google Sept. 24 released an API intended to let programmers move data freely to and from Google Sites.

9月24日にリリースされた Google の API は、Google サイトとの自由なデータのやり取りを目的として、Data Liberation Front におけるプログラミング作業を活用するものとなる。

Google Sites is the wiki component of the Google Apps suite of cloud computing applications. Google Sites lets users upload file attachments and add information from Google Docs, Google Calendar and other Google Apps to a Web page to be shared with users in a department or workgroup. The application competes with wiki apps from MindTouch, Socialtext, Atlassian and IBM, among other providers.

Google Site とは、クラウド・コンピューティング・アプリケーションである、Google App スイートの wiki コンポーネントである。Google Site は添付ファイルのアップロードをユーザーに促し、部門やワーキング・グループなどにおける情報共有を推し進めていく。また、Google Docs や、Google Calendar、Google Apps などからの情報を、共有 Web ページに移行させる。つまり、MindTouch や、 Socialtext、Atlassian、IBM などが提供する wiki apps と、このアプリケーションは競合することになる。

The Google Sites API, launched from Google Code Labs, makes use of the Google Data protocol to provide developers with full read/write access to all Sites content. Software developers can use the programming interface to write programs to migrate Web pages, documents and other content from intranets, content management applications and other wiki applications, Scott Johnston, senior product manager for Google Sites, told eWEEK.

この Google Sites API は、Google Code Labs から提供されるものであり、すべての Site コンテンツに対する完全な read/write アクセスを提供する、 Google Data プロトコルの利用を促進していく。 そして、アプリケーション・プログラマは、このプログラミング・インターフェースを用いて、イントラネットや、コンテント管理アプリケーション、そして wiki アプリケーションなどから、Web ページやドキュメントなどを移行させるプログラムを記述できる。Google Sites のシニア・プロダクト・マネージャである Scott Johnston は、eWEEK に対して、そのようにコメントを発している。

Conversely, "If you choose to stop using Google Sites, you can bring your content with you," Johnston said. "We want to lock you in because you like the product, not because we have your content."

その反対に、” Google Sites の利用を停止するという選択肢もあり、その場合には、コンテンツを取り戻すことが可能だ。このプロダクトが魅力的だから、ユーザーを取り込めるのであり、ユーザーのコンテンツを拘束するものではない” と、Johnston は語る。

The API includes this import/export tool to let users download an entire Google Site wiki to their computers’ local hard drives. The tool uses HTML microformats to generate an XHTML version of Sites content for offline browsing and simple HTTP hosting that can also be imported back into Websites.

この API に含まれるimport/export ツールにより、ローカルのハード・ドライブの中に、 Google Site wiki 全体をダウンロードできる。 このツールで用いられる HTML マイクロフォーマットにより、オフライン・ブラウジング対応の、Site コンテンツにおける XHTML バージョンが生成される。さらに、Web サイトへのインポートを可能にする、シンプル HTTP ホスティングも実現される。

"We have companies and users that are putting a lot of important information inside Sites, and they want the comfort of knowing they can back it up if they want to," Johnston said.

”重要な情報を大量に、Site の中に置こうとする企業とユーザーがいて、必要に応じて、それらを取り戻せる安心を欲している” と、Johnston は語る。

The API embodies the tenets of Google’s Data Liberation Front, which was formally launched Sept. 14 with the goal of creating import and export functions to help users move their data in and out of Google’s services.

この API は、Google の Data Liberation Front 構想の結晶であり、当初は 9月14日に公開されるとされていた。 その import/export 機能の作成におけるゴールは、ユーザーのデータを、Google のサービスとの間でやり取りさせることである。

Google is positioning tools released under the Front as alternatives to more traditional software from companies such as Microsoft and IBM, which are very rigid about keeping user data within the construct of their collaboration applications.

この ツールのリリースについて Google は、Microsoft や IBM などが提供する従来型ソフトウェアの代案である、Front に合わせるかたちで位置づけている。 それらのコンペティタは、彼らのコラボレーション・アプリケーションとユーザー・データを、強く結び付けたがっている。

Google no doubt hopes these gestures of good faith will endear it to more businesses considering whether or not to use Google Apps. Google could use such gestures; the company’s cloud model has been damaged by a few Google Apps outages.

Google が信じているのは、こうした誠意のある対応が、Google Apps を使用するしないにかかわらず、ビジネスにおいて好まれることである。Google が伝えたがっていることは、ごく僅かの Google Apps が停止することで、同社のクラウド・モデルがダメージを受けているという現実である。

Earlier Sept. 24 Google’s Gmail experienced service degradation for 2 hours when Google Contacts went wonky. On Sept. 1, Google’s Gmail went down for 2 hours. Such downtime episodes undercut Google’s credibility among enterprise users, some of whom pay $50 per user, per year for Google Apps.

Google Contacts の不調により、9月24日の早朝 2時間にわたり、Gmail が影響を受けている。 また、9月1日には、Gmail が 2時間にわたり停止した。こうした機能の不調が、Google Apps に年間で $50 を費やす、エンタープライズ・ユーザーたちの信頼を損ねている。

<関連>

http://www.itmedia.co.jp/enterprise/articles/0909/25/news039.html

 

Tagged with: , ,

あれこれ 09_26_2009

Posted in .Chronicle by Agile Cat on September 26, 2009

カテゴリ追加と、よく読まれたポスト

コンピュータが吐き出す暖気が、心地よく感じる朝です。 空を見れば、秋らしい Azure と Cloud が広がっています。。。

新しいカテゴリとして、.Culture を追加しました。 司馬遼太郎のエッセイ「アメリカ素描」から引用した文書が並んでいますが、それらを読むと、クラウドってアメリカそのものなんだなぁと、感じてしまいます。 お仕事モードから離れたいとき、また、お閑なときに、お勧めです。

それと・・・

このところのアクセス数を見ると、やはり皆さんも、クラウドでのデータの持ち方に興味がある、という結果が出ています。 こんな ↓ イメージが定着しつつあるのかと思います。

Consistency

この辺りをテーマにした、アクセスの多かったポストを、以下に並べておきます:

Google 的 クラウド連携の ABC ?
Database Sharding _1
Hadoop が Microsoft の教材に?
Hadoop DFS Architecture_1
エンタープライズ RDBMS を Hadoop で補完 _1

よろしかったら、ど~ぞ --- A.C.

Google データセンターの水冷設備

Posted in Data Center on Youtube by Agile Cat on September 26, 2009

これは ベルギーのデータセンター?

冒頭で Belgium と言っているように聞こえますね。 川から水を引き込んで、濾過して、コンピュータを冷やすなんて、少し前までは想像もつかない世界でしたが、Google だけではなく Microsoft も採用する、一般的な手法になってきたようです。

ビデオを見ると、まるで、水道局みたいという感覚に陥ります。Nichoras Carr 氏が、ユーティリティ・コンピューティングと言っている意味が、なんとなく解るような気もしてきますね。

Tagged with:

Bing 8月のシェアが急上昇

Posted in Businesses by Agile Cat on September 26, 2009

7月とくらべて 20% 程度のシェア拡大が ・・・

eWeek によると、8月の Bing のシェアが急上昇しているようです。 何社かのリサーチャーの中から、以下の Hitwise のデータをもとにして、18% のシェア上昇を見出しにしています。そのほかにも、Nielsen の調査では、22% の伸びが報告されているとのことです。

Bing 09_08

http://image.exct.net/lib/fefc1774726706/m/1/SearchEngines_Aug09.pdf

あまりにも強すぎる Google に対して、チャレンジしていって欲しいですね。

Tagged with: , ,

データセンターと砂嵐

Posted in Data Center Trends by Agile Cat on September 25, 2009

Sydney Data Centers Weather Dust Storm

Data Center Knowledge より
September 23rd, 2009 : Rich Miller

日本でもニュースになっていましたが、シドニーとブリスベンの砂嵐は、現地のデータセンターにも影響を及ぼしたようです。Macquarie Telecom などのデータセンターでは、外気を取り込むための吸気口を閉じて対応したそうですが、室温の上昇に備えた熱センサーの設定変更や、アクセス制限などが必要になったとのことです。

たまたま、外気による自然冷却を用いた、Microsoft Dublin データセンターの記事がありましたが、このような状況にも対応できるのかと、疑問に思ってしまいます。 もちろん、アイルランドで砂嵐など、起こりえないのでしょうが ・・・

Sydney DC Dust Storm

The view of the Sydney Opera House is obscured by red dust from a major dust storm that has engulfed the city.

詳しくは、こちらで ど~ぞ

From <http://www.datacenterknowledge.com/archives/2009/09/23/sydney-data-centers-weather-dust-storm/>

Moblin と Silverlight と Wiki-OS

Posted in SOHO with Cloud by Agile Cat on September 25, 2009

なんか、良さそうな感じですね・・・

まずは、All About Microsoft より ・・・

 

Intel Developer Forum on September 23 で、Novell の Moonlight version ではなく、Microsoft 自身のものでもない、Atom ベースの Moblin 用 Silverlight がデモされたとか。 10月 6日の Windows Mobile 6.5 に続いて、二羽目のハトが、シルクハットから飛び出すのでしょうか ?

スミマセン。間違えがありました!(修正:11:35AM, Sep 25th)

 

That’s one way to get Silverlight on a mobile device: Port it to Moblin Linux September 23rd, 2009
http://blogs.zdnet.com/microsoft/?p=4051
Posted by Mary Jo Foley @ 11:53 am

To date, whenever anyone asked Microsoft officials when the company will deliver a version of Silverlight running on mobile phones, the answers range from a flat-out no comment, to a “real soon now/stay tuned.”

Most company watchers assumed that Microsoft would make Silverlight available on Windows Mobile devices first ― and, if Microsoft still plans to pull any rabbits out of its Windows Mobile hat on October 6, launch day for Win Mobile 6.5 phones, maybe it will.

But at the Intel Developer Forum on September 23, Intel demonstrated Microsoft’s Silverlight 3 running on an Atom-based Moblin device. That means Silverlight ― and not Novell’s Moonlight version of it, but Microsoft’s own Silverlight ― will run on mobile Linux netbooks, phones and more, as of early 2010.

それに加えて、Silverlight で動く Wiki-OS ・・・

https://www.wiki-os.org/what_is_wiki_os.htm

wiki_os

なんというか、領域の定義と、住み分けの再構成が進んでいるような気がします。それにしても、Symbian 用の Silverlight DL サイトが、まだ見つからないのですがと思ったら ・・・

Will Silverlight for mobile plug-in on WM be any different from the one on S60?

Silverlight provides a consistent experience across the Web and mobile devices. The same Silverlight applications will work on both Windows Mobile and Nokia S60 devices.

・・・ということらしいです --- A.C.

The Anatomy of Hadoop I/O Pipeline _1

Posted in Big Data, Hadoop I/O Pipeline by Agile Cat on September 25, 2009

 

YDN Hadoop and Distributed Computing at Yahoo!

Hadoop and Distributed Computing at Yahoo!

August 27, 2009

From <http://developer.yahoo.net/blogs/hadoop/>

今日から何回かに分けて、Hadoop I/O Pipeline に関する対訳を掲載していきます。この領域に関するドキュメントは初めてのものらしく、読んでいても解らないことばかりです。 訳について、問題などありましたら、また、こう読むべきみたいなアドバイスがありましたら、ぜひコメントをつけてください。 Windows Azure + Dryad につながる知識が共有できればと思います。 --- A.C.

Introduction

In a typical Hadoop MapReduce job, input files are read from HDFS. Data are usually compressed to reduce the file sizes. After decompression, serialized bytes are transformed into Java objects before being passed to a user-defined map() function. Conversely, output records are serialized, compressed, and eventually pushed back to HDFS. This seemingly simple, two-way process is in fact much more complicated due to a few reasons:

Hadoop MapReduce における一般的なジョブでは、入力ファイルは HDFS からが読み込まれる。 そのファイル・サイズを低減するために、通常ではデータの圧縮と解凍が行われた後に、シリアライズさたバイト列が Java オブジェクトに変換され、ユーザー定義された map () 関数に引き渡される。 その反対に、出力レコードにもシリアライズと圧縮が行われ、最終的に HDFS の中にプッシュバックされる。この双方向のプロセスはシンプルに見えるが、いくつかの理由により、実際には複雑なものとなる:

  • Compression and decompression are typically done through native library code.
  • End-to-end CRC32 checksum is always verified or calculated during reading or writing.
  • Buffer management is complicated due to various interface restrictions.

一般的には、ネイティブのライブラリ・コードを介して実行される圧縮と解凍

一般的には、Read/Write の際に常に検証/計算される End-to-End CRC32 チェックサム

多様な制約事項により、複雑化していくバッファ管理

In this blog post, I attempt to decompose and analyze the Hadoop I/O pipeline in detail, and explore possible optimizations. To keep the discussion concrete, I am going to use the ubiquitous example of reading and writing line records from/to gzip-compressed text files. I will not get into details on the DataNode side of the pipeline, and instead mainly focus on the client-side (the map/reduce task processes). Finally, all descriptions are based on Hadoop 0.21 trunk at the time of this writing, which means you may see things differently if you are using older or newer versions of Hadoop.

このブログ・ポストで試みるのは、Hadoop I/O パイプラインに関する詳細な分解と分析であり、また、実現可能な最適化の追求である。 その説明を具体的にしていくために、gzip 圧縮されたテキスト・ファイルを対象として、ライン・レコードを Read/Write するサンプルを、随所で利用していく。 また、パイプラインの DataNode 側の詳細には入らない代わりに、主としてクライアント側(map/reduce タスク・プロセス)に焦点を合わせる。この執筆は Hadoop 0.21 の主要部分に基づいているため、あなたの利用しているバージョンとの間で、若干の違いが生じるかもしれない。

The Anatomy of Hadoop I/O Pipeline _1
The Anatomy of Hadoop I/O Pipeline _2
The Anatomy of Hadoop I/O Pipeline _3
The Anatomy of Hadoop I/O Pipeline _4
The Anatomy of Hadoop I/O Pipeline _5

%d bloggers like this: