Agile Cat — in the cloud

AWS S3 にストアされる Object が [ 1兆 ] を超えた

Posted in .Selected, Amazon, Research, Storage by Agile Cat on July 12, 2012

AWS now stores 1 trillion objects in S3
http://wp.me/pwo1E-4qo
By
Derrick Harris Jun. 12, 2012
http://gigaom.com/cloud/aws-now-stores-1-trillion-objects-in-s3/

image

Amazon Web Services’ Simple Storage Service (S3) now hosts more than a trillion — yes, a trillion — objects for its cloud computing customers, proving once again that AWS is the king of the cloud.

Amazon Web Services の Simple Storage Service Service(S3)だが、ホストとしているオブジェクトの数が、ついに1兆を超えた。 Yes、1 Trillion である。 それらのオブジェクトは、そのクラウド・ユーザーたちからのものであり、AWS が Cloud King であることが、あらためて証明された。

To get a concept of how big a trillion is, Amazon’s Jeff Barr in a blog post announcing the new peak calls on the following examples: “That’s 142 objects for every person on Planet Earth or 3.3 objects for every star in our Galaxy. If you could count one object per second it would take you 31,710 years to count them all.” I recently heard TED founder Richard Saul Wurman discuss the national debt by noting that in order to reach a trillion-dollar debt, you’d have to lose $1 million a day every day for about 2,739 years.

1兆という規模を把握しやすくするために、Amazon の Jeff Barr はブログ・ポストを介して、以下の事例における新しい Peak Call を説明している。「それは、地球上のすべての人々が、142 オブジェクトを所有するに等しく、また、銀河の星々で数えると、1つの星あたり 3.3 オブジェクトとなる。 もし、1つのオブジェクトを数えるために 1秒を要するなら、すべてを数え終えるまでに 31,710年を必要とする」。 つい先日、TED の Founder である Richard Saul Wurman が、国家の負債が 1兆ドルに達すると注意を促していたが、1日あたり 100万ドルを浪費しても、1兆ドルに至るには 2,739年もかかる。

So, yeah, Amazon S3 is a wildly successful cloud storage service attached to a wildly successful cloud computing platform overall. As more big data services use S3 as the storage layer — off the top of my head, I can think of several Hadoop services alone that do  – it’s just going to keep growing beyond the degree to which web applications alone would force it to scale. Although, S3 does

そう、つまり、Amazon S3 とは、とんでもなく成功したクラウド・コンピューティング・プラットフォームにアタッチされた、やたら大成功を収めたたクラウド・ストレージ・サービスなのである。 さらに、Big Data サービスがストレージ・レイヤーとして S3 を使うにつれて(あまり深く考えることなく、いくつかの Hadoop サービスを思い浮かべてしまうが) 、単なる Web アプリケーションがスケールしていくレベルを超えて、このストレージは成長し続けるだろう。

For a bit of perspective on its rate of growth, consider the following: As of October, it was hosting 566 billion objects, growing to 762 billion in January and 905 billion in April. According to Barr, “Lately, we’ve seen the object count grow by up to 3.5 billion objects in a single day (that’s over 40,000 new objects per second).”

その成長率に関して、ちょっとだけ、以下のように考えて欲しい。 つまり、昨年 10月の段階で、5660億のオブジェクトがホストされていた。 それが、1月には 7620億になり、4月には 9050億へと成長してきた。 Barr は、「 先日に確認したことだが、1日あたり 35億オブジェクト(毎秒 40,000 のオブジェクト)が増えている計算になる」と、説明している。  

How soon until we hit the quadrillion mark?

1000兆に達するのに、どれほどの時間を要するのだろう?

Feature image courtesy of Shutterstock user Slavoljub Pantelic.

Related research and analysis from GigaOM Pro:

ーーーーー

image以下の<関連>を見て頂ければ分かりますが、これまでも Amazon は、その規模を説明するツールとして、S3 にストアされる Object の数を用いてきました。 二番手に来るはずの Rackspace とは、どのくらいの差があるのでしょう? その他 もろろもろのクラウドとは、どのような比率になるのでしょう? でも、Amazon が、この手法を用いる限り、他のクラウドは、この数字を絶対に公表しないだろうと、最近は、そのように思えてきました。 ーーー image

ーーーーー

<関連>

Amazon S3 にストアされる Object が [1兆 ] に近づいている
Amazon S3 にストアされるオブジェクトは、4490 億を数える
Amazon S3 のオブジェクト数が 2620 億個に!
Amazon S3 は 1000億のオブジェクトをホストする
Amazon S3 は 1年で3倍に成長
ーーーーー
Amazon AWS は、いったい どれくらい儲かっているのか?

 

NASA は OpenStack を捨て、Amazon に乗り換えたのか?

Posted in .Chronicle, .Selected, Amazon, Government, OpenStack by Agile Cat on June 14, 2012

Did NASA ditch OpenStack for Amazon?
http://wp.me/pwo1E-4jB

By Barb Darrow Jun. 12, 2012
http://gigaom.com/cloud/did-nasa-ditch-openstack/

_ Gigaom

If folks were given to reading tea leaves, they might read a lot into a recent blog post by NASA CIO Linda Cureton in which she discussed IT reform at the U.S. space agency.

あなたが、茶葉占いばかりしている暇人なら、NASA 宇宙局の IT を刷新しようという、CIO の Linda Cureton のブログポストも読んでいるかもしれない。 

imageShe mentioned a few specific cloud computing efforts, including a project at the Jet Propulsion Laboratory that uploaded 250,000 photos of Mars onto Windows Azure, Microsoft’s cloud computing platform as a service. The resulting Be A Martian initiative served up more than 2.5 million data queries, “proving that the cloud can be a terrific way to reach and engage the public,” she wrote.

彼女は、いくつかのクラウド・コンピューティングへの取り組みについても言及したが、その中には、Microsoft の PaaS である Windows Azure に、火星を撮影した 250,000 の写真をアップロードした、Jet Propulsion Laboratory のプロジェクトも含まれている。この Be A Martian イニシアティブの結果として生じた 250 万回のクエリーは、「クラウドを介して、情報を大衆に届けることが、素晴らしい方法になり得ることの証明である」と、彼女のブログには書かれている。

She also said Amazon Web Services played a big role at NASA:

NASA shifted to a new web services model that uses Amazon Web Services for cloud-based enterprise infrastructure. This cloud-based model supports a wide variety of web applications and sites using an interoperable, standards-based, and secure environment while providing almost a million dollars in cost savings each year.

そして、彼女は、Amazon Web Services が NASA で大きな役割を果たしているとも書いている:

NASA は、クラウドベースのエンタープライズインフラに関して、Amazon Web Services を用いる、新しい Web サービスモデルにシフトした。
このクラウドベースのモデルは、インターオペラビリティ/スタンダードベース/セキュアな環境の上で、多種多様な Web アプリケーションとサイトをサポートしているが、その一方で、年間で約 100 万ドルのコストを低減している。

imageWhat she did not mention was anything about OpenStack, the infrastructure as a service platform that grew out of initial work by NASA and Rackspace. OpenStack is being pushed as an alternative to Amazon Web Services by several tech heavyweights including Hewlett-Packard, IBM, and Red Hat. This blog piqued my interest because, in late March, another NASA official said publicly that the agency is backing off additional OpenStack development.

彼女は、OpenStack について、それが NASA と Rackspace により立ち上げられ、巣立っていった IaaS であるにも関わらず、なにも言及していない。OpenStack は、Hewlett-Packard や IBM、Red Hat などを含む、大手テック・カンパニーにより、Amazon Web Services を置き換えるものとしてプッシュされている。3月の下旬に、別の NASA 当事者が、今後の OpenStack に関する開発から手を引くと発言しているだけに、このブログには興味をかきたてられる。

At the time of that earlier report, a NASA spokesman elaborated via email:

If NASA’s cloud computing requirements can be met through commercially available services, then it is not necessary for NASA to continue in a development role in cloud computing. NASA continues to have significant interest in using the OpenStack platform, and takes pride in the contributions made to the furthering of that technology area. Further OpenStack development is desirable and would increase the interest of commercial providers which ultimately benefits NASA and other seekers of cloud services.

以前にレポートが提供された時点で、NASA のスポークスマンはメールで詳細を説明している:

もし、NASA におけるクラウド・コンピューティングの要件が、商用サービスを介して満たされるなら、NASA がクラウド・コンピューティングの開発を担い続ける必要はなくなる。NASA は OpenStack プラットホームを利用することに、大きな興味を持ち続けており、また、テクノロジー・エリアを推進さたコントリビューションを誇りにしている。OpenStack に関しては、さらなる開発が望まれ、また、商用プロバイダの興味を惹きつけているため、究極的には NASA などのクラウド・サービスを追求する組織にとって、役立つものになっていくだろう。

So NASA was stepping back from development work, which made sense, but it could still be using OpenStack. Now, however, Cureton’s blog  –  which Amazon evangelist Jeff Barr highlighted on the AWS site –  raises questions about whether NASA is changing technology partners.  The space agency, after all, is undergoing a change of mission itself. I pinged NASA and OpenStack for comment Monday and will update this with their response.

しかし、いまになって、この  Cureton のブログである。 Amazon のエバンジェリストである Jeff Barr が AWS サイトで取り上げたからなのだろうか? NASA はテクノロジー・パートナーを取り替えたのかという疑問が湧いてくる。結局のところ、NASA は、自身のミッションを変えつつある。私は月曜日に、NASA と OpenStack にコメントを求めてみた。 なんらかの反応があったら、アップデートしていくつもりだ。

Feature photo courtesy of Flickr user jurvetson
Related research and analysis from GigaOM Pro:
Subscriber content. Sign up for a free trial.

    * Infrastructure Q1: IaaS Comes Down to Earth; Big Data Takes Flight
* A field guide to cloud computing: current trends, future opportunities
* Amazon’s DynamoDB: rattling the cloud market

ーーーーー

imageAWS ブログにおける Jeff Barr さんのポストは、6月11日「NASA Saves nearly $1M Per Year By Using AWS」です。文中でも指摘されているように、NASA の役割はクラウドの開発ではありません。 そう考えると、いつかは来る日が、現実に訪れたと捉えることができます。 そして、これからも、自身にとって最適なプラットフォームが見つかれば、また、移動していくのでしょう。 それが、クラウドの本質ともいえます。 --- image

ーーーーー

<関連>

CloudStack vs. OpenStack : Citrix の言う Amazon ライク説を論破する _1
CloudStack vs. OpenStack : Citrix の言う Amazon ライク説を論破する _2
OpenStack Essex のコントリビューターたちに感謝! – including MIDOKURA

Amazon の CC2 インスタンスは、クラウド・スーパー・コンピュータなのです!

Posted in .Chronicle, .Selected, Amazon by Agile Cat on November 17, 2011

Amazon Goes XXL: Introduces CC2 Instance
By Joe Brockmeier / November 16, 2011 8:00 AM
http://www.readwriteweb.com/cloud/2011/11/amazon-goes-xxl-introduces-cc2.php

_ Read Write

If you like your Amazon EC2 instances biggie-sized, Amazon has some good news for you. The AWS folks have introduced a CC2 instance type that comes fully loaded with “incredible specifications” for anyone using AWS for High Performance Computing (HPC) applications. Amazon grabbed the 42nd spot on the Top 500 list using 1,064 CC2 instances, and delivered a speed of 240.09 teraFLOPs. Now you too can run your own supercomputer.

もし、いまよりも大規模な Amazon EC2 インスタンスが必要なら、この Amazon からのニュースは歓迎されるかもしれない。AWS は、High Performance Computing (HPC) アプリケーション用に AWS を使用するユーザーのために、信じがたいスペックを提供する、豪華な CC2 インスタン・スタイプを導入した。 Amazon は、1,064 個の CC2 インスタンスを用いて、スパコン・トップ 500 リストの、42番目の処理能力を達成しているが、その計算速度は 240.09 tera FLOPs に至るという。そして、いま、あなたも、自分自身のスーパー・コンピュータを実行できるようになった。

_ AmazonThe official name for the instance is the Cluster Compute Eight Extra Large, but they’re dubbing it CC2. It sports two 8-core Intel Xeon processors with Hyper-Threading enabled, which gives the beast 32 hardware execution threads. Amazon’s Jeff Barr writes that this will provide 88 EC2 Compute Units, or 90 times the rating of the original EC2 small instance.

このインスタンスのオフィシャルな名前は、Cluster Compute Eight Extra Large であるが、Amazon は CC2 と呼んでいる。 それは、Hyper-Threading 対応の、2つの  8-core Intel Xeonプロセッサを誇示し、また、32 の Hardware Execution Thread を提供する。 Amazon の Jeff Barr は、EC2 Compute Units の 88倍、あるいは、オリジナルの EC2 Small Instance の 90倍という性能を提供すると、記述している。

The CC2 instance type comes with 60.5 GB of RAM, and 3.37 TB of instance storage. Amazon recommends using its Linux AMI or Windows 2008 R2, and has a guide for setting up Windows HPC clusters if that’s your thing.

そして、この CC2 インスタンス・タイプは、60.5 GB の RAM と、3.37 TB のインスタンス・ストレージと伴に提供される。 Amazon は、Linux AMI あるいは Windows 2008 R2 の使用を推奨している。 そして、Windows を選択する場合のために、Windows HPC クラスタ設定ガイドを提供する。

Pricing

The CC2 comes with a price tag that reflects its girth. Standard pricing is $2.40 per hour, and that goes up to $2.97 per hour for Windows instances. For comparison, a micro instance is only $0.02 an hour, and the default (small) instance is $0.085 per hour. That would be about $1,728 per month for the CC2 instance.

CC2 は、その規模を反映した価格体系を有している。 標準的な価格は、1時間あたり $2.40 である。そして、Windows インスタンス場合には、1時間あたり $2.97 となる。 比較のために、その他の価格体系を示すが、マイクロ・インスタンスの場合には、1時間あたり $0.02 であり、また、ディフォルト(small)インスタンスの場合は、1時間あたり $0.085 となる。そして、CC2 インスタンスを 1カ月間にわたり使用すると、約 $1,728 の対価が必要になる。

If you’re going to be doing a lot of computing with the CC2 type, you can pay up-front for a reserved instance and get significantly cheaper hourly pricing. The 1-year-term pricing is $4,146 up-front and that drops the hourly pricing to just $0.54 per hour for the Linux instance, and $0.75 per hour for the Windows instance.

また、CC2 タイプを用いて、大量の計算処理をしたいなら、リザーブ・インスタンスに対して前払いすることで、時間あたりの単価を大幅に引き下げることができる。 たとえば、1年分の対価として $4,146 を支払うなら、Linux インスタンスの時間単価は $0.54 となり、また、Windows インスタンスは $0.75 まで引き下がる。

The CC2 instance is likely to be overkill for most organizations, but if you really need horsepower, it’s good to know you can spin it up quickly. Using AWS for HPC? Tell us all about it in the comments!

この CC2 インスタンスは、大半の組織にとって過大になると思われるが、それだけの処理能力を必要とする可能性があるなら、直ちに利用できる環境があることを、知っておくべきだろう。 HPC のために、AWS を利用しますか? もし、ご意見があるなら、コメントで知らせて欲しい!

See Also

 

ーーーーー

TAG indeximage今年の 6月ですが、Amazon の Oregon データセンターに関する報道があり、また、つい先日に稼動したというニュースも流れていました。 もし、この CC2 インスタンスが Oregon からも供給されるなら、この写真のようなコンテナ型データセンターがベースになるのでしょうかね?  このところ、日本で報道されている スパコン 京 とは、ずいぶんと違う佇まいです。 そして、運用コストに大きな差が生じることになります。CC2 と 京 の間には、比較にならないほどの性能差がありますが、一般社会との距離感にも、比較にならないほどの差を感じます。 こうした、CC2 の価格体系を見ると、そう思わざるを得ませんね。 ーーー ac-stamp-232

ーーーーー

<関連>

スループット指向のアーキテクチャ- Amazon EC2 で GPU を正しく使うために
GPGPU を用いたソートについて考える – James Hamilton
Amazon S3 – 5 TB のシングル・オブジェクトは お好き?
Elastic Beanstalk とは? – Amazon CTO の Werner Vogels が語る
iPad 2 を何枚つめば、スパコン 京 を超えられるのか?

%d bloggers like this: