Agile Cat — in the cloud

USA Today が提供する、アメリカ国勢調査の分析 API

Posted in .Selected, API, DaaP, Government by Agile Cat on June 23, 2011

Analyze 2010 U.S. Census Trends With the USA Today Census API
Allen Tipper, June 9th, 2011
http://blog.programmableweb.com/2011/06/09/analyze-2010-u-s-census-trends-with-the-usa-today-census-api/

_ ProgrammableWeb

The US Census is a treasure trove of valuable information for many people. From salesmen trying to market to curious people trying to learn about new cultural trends, the Census is a great source of information. Accessing this data in a computer readable form is sometimes difficult, however. The USA Today Census API simplifies the process, at least for the 2010 census.

アメリカ国勢調査は、数多くの人々にとって貴重な情報の宝庫である。たとえば、新しい傾向などに興味のある人々に対して、セールスの作戦を考えるとき、この国勢調査は素晴らしい情報源となる。 ただし、このデータを、コンピュータでアクセスして、読みだすことが難しいときがある。 しかし USA Today Census APIでは、少なくとも 2010年の国勢調査位について、このプロセスを単純化している。

From USA Today’s announcement:

clip_image001Since its founding, USA TODAY has focused on covering the entire country, not just one region or group of people. We cover who the American people are and how they live no matter where they live. One way we do this is to pay a lot of attention to demographic data. Our reporters analyze it constantly and talk to many people about what it means.

That’s why we’re excited to share the USA TODAY Census API. It’s a simple way to pull highlights from Census 2010 for tens of thousands of places. For these data points, we also have data available from Census 2000 to allow comparisons (though open access here is limited to 2010 data, please contact us at api@usatoday.com if you are interested in full access). Data includes basic demographics, such as population totals, and ready-to-use percentages for subjects such as race and housing vacancy.

USA Today のアナウンスメント

USA TODAY は創立時から、特定の地域や人々のグループだけではなく、この国の全土と、すべての人々にフォーカスしてきた。どこに住み、どのような生活していても、その人がアメリカ国民であれば、私たちは注目していく。 それを可能にする 1つの方法は、人口統計データの詳細にまで注意を払うことである。 私たちのリポーターは、それを常に分析し、また、その意味を多くの人々に説明する。

そこに、USA TODAY Census API を共有し、また、嬉しく思う理由がある。 つまり、数えきれないほどの地域について、Census 2010 からのハイライトを引き出すための、シンプルな方式が提示される。 それぞれのデータ・ポイントにおいて、Census 2000 から得られる情報を比較できる(オープンまアクセスは、2010年のデータに制限されるが、フル・アクセスに興味があるなら api@usatoday.com まで連絡して欲しい)。このデータには、基本的な人口統計が含まれており、選挙や空き家探しといった用途に、ただちに対応できる。

You can search info about Population, Race, and Housing for any area you choose, using intelligent keywords. You can get all of the data about a place, or just one of those, with different calls. Access to population history is available, but requires contacting them, and most likely paying an unspecified amount. Even with just the 2010 data, one could figure out a lot of useful things.

あなたは、インテリジェントなキーワードを用いて、人口、人種、住宅などの情報を、あらゆるエリアから検索できる。 また、ある地域の全データを入手することも、特定のデータを入手することも可能である。 人口の履歴へのアクセスも可能であるが、事前に確認して、データ量に応じた対価を支払うことになるだろう。 ただし、2010 年のデータだけであっても、有用な情報を得ることができる。

image

It would be great to see this API integrated into CityClash (pictured above), which I covered in April in a best new mashups post. CityClash provides city ratings and rankings by people.

この API を統合している CityClashは、適切な事例となるだろう。それは、4月の Best New Mashups Post でカバーされている。 CityClash は、人口データを用いた、都市の評価と順位を提供している。

The Census API is one of 8 USA Today APIs. Like the others, this one is RESTful. The Census API uses a mildly nonstandard JSON format, but most parsers should be able to deal with it. You will need an API key, which you can get at USA Today’s developer site. Although this one is free, be sure to read their Terms of Use, which include the need to give proper attribution when using their API. After jumping through those hoops, however, there’s a lot of great data there.

Census API は、USA Today が提供する 8種類の API の 1つである。 その他のと同様に、RESTful を使用している。 Census API は、標準とは言えない JSON フォーマットを使用するが、大半のパーサーにおいて、その取り扱が可能であるべきだ。 あなたは、API キーを必要とするようになるが、USA Today デベロッパー・サイトから入手できる。 それは無償であるが、必ず Terms of Use を読んで欲しい。そこには、この API を利用する際に必要となる、正式な権利関係が記されている。 それらの関門を潜り抜ければ、大量の素晴らしいデータが利用できるようになる。

ーーーーー

The USA Today って、アメリカでホテルに泊まると、毎朝 ドアの下から放り込まれる、あのタブロイド紙のことですよね。 これまで、手にとって眺めるということも、ほとんど有りませんでしたが、この記事を読む限り、言っていることと、やっていることが、キチッと噛み合っている新聞なのですね。 また、最近では 『 Facebook でプライバシーを護るための、8種類のプロテクション 』という記事が、USA Today からのものだったので、驚きました。というわけで、早速 Tech Blog を iGoogle に RSS フィードです。 ーーー __AC Stamp 2

ーーーーー

<関連>

すべてが API になるべきだという、FCC の主張とは?
Data.gov が存続の危機! Data 2.0 カンファレンスは救えるのか?
New York City の地下鉄では、クラウド API が吊り広告に?
2011 年の クラウド API について、5 つのポイントを予想する

 

IPCORE デザインのコンテナ型データセンターとは?

Posted in Data Center Trends by Agile Cat on June 23, 2011

Interop 2011 でお披露目するために、厚木から幕張まで爆走してきた!

image

Interop 2011 に行かれた方なら、ご覧になったかも知れませんが、その会場に突如として現れたのが、コンテナ型データセンターというか、データセンターを構成するコンテナというか、とにかく厚木から幕張まで自走してきたという、バケモノのような機械なのです。 このコンテナを大量のコンピュータによる集合体として利用するには、外部から電源を供給しなければなりませんが、太い電源ケーブルをガチャンとつなげば、それで OK です。もちろん、インターネットに接続するわけですから、ネットワーク・ケーブルもつなぎます。 それ以外には? そう、それ以外には、何もいらないのです。 もちろん、この中に詰め込まれているサーバー群には、OS をはじめとするソフトウェアが実装されている必要がありますが、そこまでの準備が完了しているなら、電源とネットワークを供給するだけで、すぐに機能してくれるのが、この IPCORE がデザインしたコンテナ型データセンターなのです。

Agile_Cat がアメリカのデータセンター動向に興味を持ち始めたのは、2009年の初めころでしたが、その時に出会ったのが、以下の James Hamilton さんの論文です。 この論文は 2007年 1月 8日に作成されており、そこから2年が経過したところで、Agile_Cat は初めて、それを読んだことになります。 いまから数えると、4年以上も昔のことですが、その頃から James Hamilton さんは、クラウド・コンピューティングの到来を予測していたかのように、ステートレスなシステムにおける冗長性を前提とした、データセンターの未来像を提示していました。その部分を、ちょっと紹介してみますね。

仮に、回復不能なハードウェア障害が50台で発生しても、1000台のシステムモジュールを前提とすれば、もともとの設計能力の 95%がまだ稼働していることになる。原則的な要件は、個別のノードにおける障害が全体的なサービスの可用性に影響を与えないように、ソフトウェアアプリケーションに充分な冗長性を実装することである。

こうしたアプリケーションにおける冗長性の問題は、ステートレスな処理ノードとして理解されており、大半のインターネット・スケールのシステムが、そのように稼働している。それ以上に難しい問題はステートフルなアプリケーションでは、ステートをディスクにセーブする場合もあれば、コール間の回復不能なステートに依存している場合もある。そのための解決策の1つは、永続性のあるステートを、シングルポイントの障害を共有しない、多数の冗長性システムに書き込むことである。おそらく、Google GFS は、この大規模スケールのデザインパターンにおいて、最も広く知られている共通の例である。

詳しくはコチラへ ⇒ コンテナ・データセンターの イ・ロ・ハ by James Hamilton

なにやら難しいことが書いてありますが、『 1台の HDD が故障したからといって、何らかの機能が停止してしまうような考え方はダメです。 それこそ、コンテナを 1台の巨大なサーバーのように捉えて、その中に詰め込まれるサーバー・マシンの、たとえば 5% くらい動かなくなっても、全体として機能するような設計をしなさい 』ということです。 そして、別のところでは、『 耐用年数を 3年くらいに設定して、その期間が過ぎたら、コンテナごと交換してしまいなさい 』とも、言っています。

たしかに、ものすごく合理的で興味深い考え方ですが、それは マダマダ先のことだと、そのときに Agile_Cat は思っていたのでした。 しかし、その年(2009年)の 4月に、世界中が飛び上がって驚くようなビデオが Youtube で公開されたのです。 データセンターに興味を持たれている方であれば、何度も見ているはずの Google Container Data Center Tour という動画です。

このビデオでは、45台のコンテナに 45,000 台のサーバーを格納し、10Mワットの電力密度を実現し、PUE (Power Usage Effectiveness) は 1.25 と言っているようで。45,000 台といっても、それは物理サーバーのことでしょうから、いくつの仮想サーバーが稼動しているのかと考えると、気が遠くなりますね。しかし、この 40 フィート・コンテナに 1000台のサーバーを詰め込むという発想は、もう既に古いものとなっており、その 2倍以上の実装密度が、現時点(2011/6)では当たり前になっています。

そして、Microsoft の Chicago や、Opera の Iceland、そして、つい先日に発表された Amazon の Oregon などで(以下、左から順に)、このコンテナ型データセンターが構築されています。 Agile_Cat の重要な情報源である、Data Center Knowledge の説明によると、それら全てのコンテナ型データセンターは、1階にサーバーを配置し、2階に熱交換器を配置するデザインになっているようです。 上記の Youtube における Google の事例とは、ちょっと考え方が異なるようですが、Google の場合は水による熱交換を行っているため、コンパクトなコンテナ(平屋を2段積み)で済んでいるようです。

その一方で、コンテナという密閉空間を用いず、もっと広大な空間にラックを配置し、そこに取り込んだ外気に乗せて、サーバー・マシンから生じる熱を逃がしてしまうという、排熱型データセンターも活躍しています。 この方式を採用し、その情報を、積極的に外部に提供しているのは、YahooFacebook です(以下、左と中央)。 Yahoo の鶏小舎と呼ばれるデータセンターは、アメリカ東海岸の New York 近郊に構築されています。 また、Facebook は 西海岸の Oregon です。 当然のこととして、それぞれの気候が前提になるので、Yahoo と Facebook では、外気を用いた排熱型といっても、まったく同じ手法を用いているわけでは有りません。 また、この考え方を推進している企業として、東京の真ん中で排熱型データセンターを運用している、日本RAD(以下、右)の存在も見逃せません。

そして、今回の IPCORE の 走るコンテナ・データセンターの登場となるのですが、CBA 岩見沢 Forum の、『 広域分散・連携システムの技術基盤 』 という資料を参照してみると、Opera や Amazon とは異なり、また、水冷を多用する Google とも異なる、きわめてオリジナリティの高いデザインが施されていると分かります。 そして、その特徴は、きわめてコンパクトにデザインされ、このコンテナの屋根部分に収納された熱交換システムにあるようです。

IPCORE デザインの、コンテナ型データセンターの特徴

① 8本のラックと100Kw相当のPDUと空調装置を20フィート/コンテナに集約
② 環境が悪い屋外(-20度~40度)への直接設置が可能な内部構造
③ ISOコンナナの強固な構造と、新開発の内部構造により、耐地震性能を強化
④ 新開発の間接外気冷却装置により、業界最高性能のPUE1.1を実現
⑤ 世界唯一の商用電源(AC電源)レスでも稼動可能なデータセンター
⑥ 24×7を実現する、多種類の監視及び遠隔操作機能

少なく見積もっても、コンテナだけで、密閉空冷、開放空冷、密閉水冷、新型熱交換(IPCORE デザイン)の 4パターンがありますし、コンテナではなく、一般的な建造物にサーバーを格納する手法もあります。 それぞれの用途や、そこで許されるコストに応じて、もっとも効果的なデータセンター・デザインが選ばれていくことになりますが、その辺りの詳細については、Fhide さんのブログを参照してください。ポイントは、『設備から積み上げる方法でなく、利用方から決めて設備に落としてゆけば、おのずと設備にかけられる費用が決まり、また、てスケールアウトできるような事業モデルであれば、コンテナ単位という分かり易い事業計画が可能です。』 という、この一節です。

ISOコンテナデータセンター 始動!
ISOコンテナデータセンタの意義(その1)
ISOコンテナデータセンタの意義(その2)

そして、たまたまですが、海の向こうでは SeaMicroCalxeda などから、Intel Atom や ARM を用いた、いわゆる低電力マイクロ・サーバーが製品化され始めています。この領域に関しては、IPCORE でも製品化を進めているとのことで、以下の特徴を持った Intel Core i7 サーバーと、Intel Atom でドライブするストレージが稼動しています。

IPCORE デザインの、マイクロ・サーバーの特徴

① 低電力仕様1uで50wを基準値、従来機の1/2~1/10
② 常温動作工業品仕様により高温(40~50℃)での連続動作可能。
③ 低電圧直流給電トライブリッド対応。 DC単一電源。
④ 遠隔制御機構 POWER-SWの on/off 及び RESET-SW を遠隔操作。
⑤ 軽量化 1u で max5kg (350kg/㎡床用) 1uで2.5kg (170kg/㎡床用)
⑥ 両面実装全てのI/Oはフロント接続。後面は排気口のみ。
⑦ 32台×両面= 64台実装しても、3.2KW。

こうした低電力型の CPU によるマイクロ・サーバーは、コンテナ型データセンターとも相性が良さそうです。 この10フィート・コンテナにギッチリ詰めたら、いったい何コアになるんでしょうね? そして、どれくらいの処理能力を提供してくれるのでしょうね! とても楽しみです。

以上、駆け足で、IPCORE デザインのコンテナ・データセンターについて、そのポジションを説明してきましたが、近いうちに設計者である品川さんにから、マイクロ・サーバーも含めてお聞きして、もっと詳しいことをレポートしたいと思っています。ーーー__AC Stamp 2

以下は、Interop 2011 での IPCORE データセンター・スナップ集です :)

ーーーーー

<関連>

GW プチ特集 – Data Center の 2011年 1月~4月
Data Center 2010 総集編 Agile_Cat 版

%d bloggers like this: