Agile Cat — in the cloud

Storage の調査: Long-Term Low-Cost のコールド・ストレージは 5 PB へと向かうのか?

Posted in .Selected, Facebook, On Monday, Open Compute, Storage by Agile Cat on April 7, 2014

Storage: Long-Term Low-Cost COLD Storage Solutions

By Dick Weisinger – April 4, 2014

_ formtek

Recently at the Open Compute Summit, Facebook VP of Engineering, Jay Parikh described how Facebook has rigged together a system based on 10,000 Blu-ray discs that fit into a single cabinet, capable of storing 1 petabyte of data.  Facebook plans to improve on this first attempt and be able to reach 5 petabytes per cabinet.  Compared to existing hard disk solutions, Parikh says that the Blu-ray solution will be 50 percent cheaper and use 80 percent less energy. It will also provide 50 years worth of durability for data stored on the discs.

先日の Open Compute Summit で Facebook VP of Engineering である Jay Parikh が説明したのは、1万枚の Blu-ray ディスクをベースにしたシステムを単一の筐体に収め、1 Peta Byte のデータをストアするという、Facebook で試している方式である。また、Facebook は、この試みを改善することで、キャビネットあたりに 5 Peta Byte をストアしようと計画している。Parikh が言うには、既存のハード·ディスク·ソリューションと比較して、この Blu-ray ソリューションでは、コストが 50% も低減され、また、電力消費量は 80% もカットされるようだ。そして、ディスクに保存されたデータに対しては、50年の耐久性という価値も提供される。

Sony, original creator of Blu-Ray technology, and Panasonic have also recently teamed up to address the need for finding a robust long-term low-cost solution for archiving content.  They’ve recently announced that they would jointly produce a 300 GB optical disc for long-term archival.  The product family is to be named “Archive Disc” and should become available in 2015.  The target is to create Blu-Ray optical discs with a 1 TB capacity and to then package them into a disc cartridge containing 12 discs.

Blu-Ray テクノロジー の発案者である Sony と、つい先日に Panasonic が提携したが、アーカイブ・コンテンツのたための、堅牢な Long-Term Low-Cost ソリューションが、そこでの取り組みとなる。 そして、Long-Term アーカイブのために、300 GB の光ディスクを、恊働で生産すると発表している。このプロダクト・ファミリーは、“Archive Disc” と命名され、2015年には利用が可能になるはずだ。そのターゲットは、1 TB の容量を持つ Blu-Ray ディスクを開発であり、また、ディスク・カートリッジ内に、12枚のディスクをパッケージ化することである。

Not everyone is buying into the Facebook strategy.  Mark Peters, a senior analyst at Enterprise Strategy Group, commented that “some of what Facebook was doing was laying out a challenge to storage vendors.  I think what they were really communicating was that there is a need for low cost reliable storage.”

誰もが、Facebook の戦略に与するわけではない。Enterprise Strategy Group のシニア・アナリストである Mark Peters は、「 たしかに、Facebook における幾つかの取り組みは、ストレージ・ベンダーへの挑戦を提起した。そして、実際に彼らが発信したことは、低コストで高信頼性のストレージに、大きなニーズがあるということだったと、私は理解している」と述べている。

Bruce Kornfeld, Interim CMO at Spectra Logic, questions the logic of using Blu-Ray for commercial purposes.  Kornfeld said that “over the last 20 years the commercial data storage industry has attempted to commercialize multiple consumer technologies including CD ROM, CD Writeable, DVD writeable, 4mm Digital Audio Tape, 8mm video tape, and VHS video tape – with mixed results.  Consumer technologies offer high-volume and typically low cost storage media. The ‘low cost’ strengths of these technologies have also led to their downfall as they lack the device robustness and data reliability required by commercial data storage applications. In addition, consumer grade drives and media just don’t last very long. Blu-ray disc drive load mechanisms are probably good to a few thousand load/unload cycles. This compares with an LTO tape drive that is rated to 250,000 load/unload cycles. As you can see – the difference in durability is substantial!”

Spectra Logic の Interim CMO である Bruce Kornfeld は、Blu-Ray の商用目的での利用に対して、論理的に無理があると、異を唱えている。 そして、「 これまでの20年間において商用データ・ストレージ業界は、複数のコンシューマ・テクノロジーを商用化しようと試みてきた。そこに含まれるのは、CD ROM/CD Writeable/DVD Writeable/4mm Digital Audio Tape/8mm Video Tape/VHS Video Tape であり、また、それらの組み合わせである。たしかに、コンシューマ・テクノロジーは、一般的にみて大容積で低コストな記憶媒体を提供する。 しかし、それらのテクノロジーにおける低コストの強みは、商用データ・ストレージ・アプリケーションで必要な、デバイスの堅牢性とデータの信頼性を欠いているため、意味を持つものになり得ない。また、コンシューマ向けのドライブやメディアは、きわめて寿命が短い。Blu-Ray ディスク・ドライブのロード・メカニズムは、おそらく数千回の Load/Unload サイクルをサポートするだけだ。250,000回の Load/Unload サイクルに対応する、LTO テープ・ドライブの仕様と比較して欲しい。 誰もが分かるように、 耐久性が段違いなのだ!」と述べている


この コールド・ストレージについては、すでに「 Blu-ray ディスクを 10000枚:Facebook が考えるペタ/エクサ時代のコールド・ストレージとは? 」という抄訳でお伝えしていますが、Sony と Panasonic が提携して、新たなソリューションを展開するというのは、とても嬉しい話ですね。 文中で、Mark Peter さんが述べているように、Open Compute の目的は、ユーザーが本当に欲しいものを、すぐれたベンダーに安価に提供してもらうことです。その意味で、Sony と Pnasonic の提携は、とても素晴しいことです。 なお、Bruce Kornfeld さんには、No Comment です 🙂  __AC Stamp 2



Cloud の調査:エンタープライズがクラウドを導入する5つの大きな理由
IoT の調査:テック・ベンダーたちは、一般顧客へのアプローチを模索する
Hybrid File の調査:エンタープライズに必須なのは、パブリックとオンプレミスのブレンドだ!
Web Programming の調査:Google の Dart は Javascript をリプレースできるのか?
Mobile Security の調査:エンタープライズ と Android と フリー・アプリ

Comments Off on Storage の調査: Long-Term Low-Cost のコールド・ストレージは 5 PB へと向かうのか?

Blu-ray ディスクを 10000枚:Facebook が考えるペタ/エクサ時代のコールド・ストレージとは?

Posted in Data Center Trends, Open Compute, Storage by Agile Cat on January 29, 2014

Facebook has built a prototype system for storing petabytes on Blu-ray

By Derrick Harris – Jan 28, 2014

_ Giga Om

Summary: During the Open Compute Summit in San Jose, Facebook VP of Engineering Jay Parikh shared some big statistics for the company’s cold storage efforts, including those for a protoytpe Blu-ray system capable of storing a petabyte of data today.

Summary: San Jose で開催中の Open Compute Summit において、Facebook VP of Engineering である Jay Parikh は、同社におけるコールド・ストレージに関する、いくつかの情報を共有したが、そこには、すでにペタバイト・データをストアできる、Blu-ray システムを用いるものが含まれていた。


At last year’s Open Compute Summit, Facebook VP of Engineering Jay Parikh suggested the company might consider Blu-ray discs as a medium for improving durability and cutting costs for its long-term cold storage efforts. Now, Parikh said Tuesday during a keynote at this year’s event, the company is actually doing it.

昨年の Open Compute Summit でも、Facebook VP of Engineering である Jay Parikh は、Blu-ray ディスクが活用されるかもしれないと発言していたが、このメディアを用いることで、これまでの長期間において取り組んできた、コールド・ストレージの耐久性が向上し、また、コストが低減されることを示唆する内容であった。そして、今年のイベントのキーノートでは、同社が実際に、それを推進していることを発表した。

Facebook has built a prototype Blu-ray system capable of storing 10,000 discs and 1 petabyte of data in a single cabinet, with plans to scale it to 5 petabytes per cabinet. Blu-ray storage would save the company 50 percent in costs and 80 percent in energy usage over its existing hard-disk-based cold storage methods, Parikh said, and will provide 50 years worth of durability for data stored on the discs.

Facebook が開発しているプロトタイプは、10000 枚のディスクをシングル・キャビネットに格納し、1 Peta Byte ストレージを構築する Blu-ray システムのことであり、キャビネットごとの容量を 5 Peta Byte にスケールする計画も進んでいるという。そして、この Blu-ray ストレージは、同社における既存の HDD ベースのコールド・ストレージと比べて、50% のコストを低減し、80% の電力を削減し、また、ディスクに保存されたデータに対して 50年の耐久性を提供するものになると、Parikh は発言している。

That’s not the only tidbits Parikh shared about the company’s cold storage efforts, though. He said that the first site is now in production and storing 30 petabytes of data, but a second will be coming online soon. Within a couple months, Facebook expects to have 150 petabytes of data in cold storage, which is just a fraction of the 3 exabytes each facility is designed to house.

しかし、Parikh が共有したものは、同社のコールド・ストレージに関する、ちょっとしたトピックというものではない。彼が言うには、30 Peta Byte のデータをストアする最初のサイトが、すでにプロダクション・システムとして運用されており、2番目のサイトも近々に運用に入るらしい。そして Facebook は、数ヶ月以内に 150 Peta Byte のデータをコールド・ストレージに取り込む予定だが、その容量については、それぞれのファシリティで設定している、3 Exa Byte の一部に過ぎないとしている。

One other nugget worth noting from the morning as it relates to Facebook’s innovation on the storage front: In order to save money over data center-grade SSDs but still speed up the process, Facebook is now booting web servers using netbook-grade SSDs, hardware executive Matt Corddry said.

また、今日の午前中に Facebook が明らかにした、ストレージのイノベーションに関連する、もう1つの貴重な情報は、データセンター・グレードの SSD に対するコストを削減しても、プロセスの処理速度をスピード・アップできるというものだ。具体的には、ネットブック・グレードの SSD の活用であり、Facebook では、それを用いて Web サーバーをブートしていると、Hardware Executive である Matt Corddry が発言している。

Related research

The fourth quarter of 2012 in cloud January 2013
How direct-access solutions can speed up cloud adoption December 2012
The role of converged infrastructure in the data center December 2012


TAG indexこういう発想は、プロダクトを売る側では、絶対に生まれてこないものなのでしょうね。文中にもあるように、これまで通りに、HDD をコールド・ストレージに使ってもらえるなら、単純に考えて、売上が2倍になるのですから。。。 しかし、ペタやエクサのレベルで、大量のデータをストアしなければならない、ユーザーのニーズを考えれば、このような方式が優れていることが一目で分かります。そして、さらに素晴らしいのが、電力コストを 80% も削減できるという点です。イイですね! これ! image



Open Compute Project : ついに Microsoft も参加を表明した!
SAP と HANA が、Open Compute に恋する理由
Linaro が OCP に参加 : Linux on ARM in DC が加速していく!
OCP オープン・スイッチ仕様を Broadcom と Intel と Mellanox が提出
2013年 : Open Compute Project の マトメ
2013年 : 世界の データセンターの マトメ

Comments Off on Blu-ray ディスクを 10000枚:Facebook が考えるペタ/エクサ時代のコールド・ストレージとは?

Amazon Glacier は、DEEP & FREEZE なコールド・データを取り扱う

Posted in .Selected, Amazon, Storage by Agile Cat on October 1, 2012

Storage: The Amazon Solution to Long Term Data Archival

By Dick Weisinger, on September 27th, 2012

_ formtek

Amazon is targeting a new market with the release of their Amazon Glacier service: long-term data archival.  The new service could seeks to revolutionize the archival market.  Glacier archival costs are significantly cheaper than traditional archival methods, and it is offered as a cloud service, it’s use would eliminate the need for on-site archival infrastructure.  It’s called Amazon ‘Glacier’ because it targets the ‘cold storage‘ market.

Amazon が Glacier のリリースにより、新たにターゲットとするマーケットは、長期間におよぶデータのアーカイブである。  この新しいサービスは、アーカイブ・マーケットに革命を起こそうとしている。  Glacier のアーカイブ・コストは、これまでのアーカイブ方式とくらべて、きわめて安価であり、また、クラウドのサービスとして提供される。 つまり、オン・サイトのアーカイブ・インフラを、不要にするものとなる。それを Glacier(氷河)と呼ぶのは、Amazon がコールド・ストレージ・マーケットをターゲットにしているからである。

Glacier is cheap, costin just a penney per stored gigabyte per month, that’s about one tenth the cost of storage with Amazon’s S3.  The drawback though is that storage retrieval times can be on the order of three to five hours, not to mention the time then needed to download that data.  And if you access more than 5 percent of your stored data, access fees begin to kick in.  Once the data has been retrieved, it will be kept available for download for 24 hours and protected by 256-bit Advanced Encryption Standard (AES-256).

Glacier は安い。 1 GB を 1ヶ月に渡りストアしても、1ペニーに過ぎない。 つまり、Amazon S3 のストレージ・コストの、およそ 1/10 である。  そして、このストレージからの抽出に、3~5 時間を要するという弱点もあるが、それは言うまでもなく、データのウンロードに必要な時間を意味する。  そして、あなたがストアしたデータの、5% 以上にアクセスところから、アクセスに関する課金が始まる。  データが抽出された直後から、24時間におよぶダウンロードのり用が可能となり、また、256 bit の Advanced Encryption Standard (AES-256)によるプロテクションが適用される。

TechNewsWorld quotes Altimeter Group analyst Chris Silvia describing Amazon Glacier by saying that  ”This is deep freeze, cold data.  This is data that is stored for long-time backups. Not something you need to … access a lot. It is cheap, it is slow, but it removes an operational cost of running your own on-site backup including tape systems.”

TechNewsWorld が引用するのは、Altimeter Group のアナリスト Chris Silvia の発言であり、Amazon Glacier について「それは、DEEP & FREEZE なコールド・データである。  そして、長時間にわたるバックアップのために、ストアされるデータである。 つまり、頻繁なアクセスに必要とするものではない。 それは安価であるが遅い。 しかし、それにより、テープ・システムを含めた、オンサイトのバックアップを、自身で運用するコストが取り去られる」と表現している。

Amazon’s Glacier is particularly well suited for the archival of items that require long-term retention and that will only require infrequent access.

Amazon Glacier は、とりわけ長期的な保存を必要とし、また、頻繁なアクセスが不要な、アーカイブに適したものである。

Alyssa Henry, Vice President of AWS Storage Services, said that “Today, most businesses rely on expensive, brittle, and inflexible tape for their archiving solution.  This approach requires expensive upfront payments, is difficult to operate and maintain, and leads to wasted capacity and money.  Amazon Glacier changes the game for companies requiring archiving and backup solutions because you pay nothing upfront, pay a very low price for storage, are able to scale up and down whenever needed, and AWS handles all of the operational heavy lifting required to do data retention well.”

AWS  Storage  Services の Vice President である Alyssa Henry は、「 いま、大半の企業は、そのアーカイブ・ソリューションのために、高価で、壊れやすく、融通のきかない、テープに依存している。  このアプローチは、高額の前払い支出を必要とし、運用と保守を難しくし、無駄な容量とコストへと導くものだ。  Amazon Glacier は、企業が必要とするアーカイブとバックアップのソリューションについて、基本的な考え方を置き換えていく。なぜなら、何の前払い費用も生じることはなく、また、ストレージ支払われるコストは少額であり、必要に応じてスケールの調整が可能であり、そして、データ保持を下支えする運用術についても、そのすべてが AWS により適切にハンドリングされるからだ」と発言している

Amazon hasn’t described the exact technology being used by Glacier.  Some speculate that the technology is based on tape backup.  But Jack Clark at ZDNet came to these conclusions after some snooping and talking with Amazon engineers:

Amazon は、Glacier に用いられるテクノロジーについて、正確な内容までは発言していない。  このテクノロジーは、テープ・バックアップに基づいているとも推測できる。  しかし、ZDNet の Jack Clark は、Amazon エンジニアたちと反して情報収集した後に、以下の結論に到達した:

  • Glacier uses commodity low-RPM hard drives
  • Amazon is able to only spin up a percentage of all drives at one time, which causes the retrieval delay time
  • Once retrieved from these system, it’s moved to a holding area from which it can then be downloaded
  • Glacier は、低回転のコモディティ HDD と使用している。
  • Amazon は、全体的なドライブの、ごく一部だけを起動させる方式を実現しているが、そのため、読出しに遅延時間が生じる。
  • このシステムからの抽出が始まると、ダウンロードが可能なホールディング・エリアへと、対象データは移動していく。


image今年の 3月に、『 Amazon が安いのか? Hosting が安いのか? コスト分析モデルで比較する! 』という抄訳をポストしましたが、そこでは Amazon S3 のコストについて、単純にストレージに置くための費用よりも、データセンターからインターネットへ向けた、アウトバウンド・トラフィックの費用がポイントになると指摘されていました。 また、8月には、『 無限のストレージを、$4/月で提供する Backblaze の秘密とは? 』 という抄訳もポストしています。一概にクラウド・ストレージと言っても、ホット・データとコールド・データを切り分け、適切なものを使っていくという、ノウハウの蓄積が重要になってきますね。 image



分散オブジェクト・ストアの Basho が CloudStack に参加
DynamoDB および、ホット SSD + コールド S3 というパターン
AWS S3 にストアされる Object が [ 1兆 ] を超えた
Google Cloud SQL の価格が発表された!
Google Drive/Dropbox/SkyDrive/Box の 比較テスト: 30 日間


Comments Off on Amazon Glacier は、DEEP & FREEZE なコールド・データを取り扱う

%d bloggers like this: