Agile Cat — in the cloud

Storage の調査: Long-Term Low-Cost のコールド・ストレージは 5 PB へと向かうのか?

Posted in .Selected, Facebook, On Monday, Open Compute, Storage by Agile Cat on April 7, 2014

Storage: Long-Term Low-Cost COLD Storage Solutions
http://wp.me/pwo1E-7nI

By Dick Weisinger – April 4, 2014
http://formtek.com/blog/storage-long-term-low-cost-cold-storage-solutions/

_ formtek

Recently at the Open Compute Summit, Facebook VP of Engineering, Jay Parikh described how Facebook has rigged together a system based on 10,000 Blu-ray discs that fit into a single cabinet, capable of storing 1 petabyte of data.  Facebook plans to improve on this first attempt and be able to reach 5 petabytes per cabinet.  Compared to existing hard disk solutions, Parikh says that the Blu-ray solution will be 50 percent cheaper and use 80 percent less energy. It will also provide 50 years worth of durability for data stored on the discs.

先日の Open Compute Summit で Facebook VP of Engineering である Jay Parikh が説明したのは、1万枚の Blu-ray ディスクをベースにしたシステムを単一の筐体に収め、1 Peta Byte のデータをストアするという、Facebook で試している方式である。また、Facebook は、この試みを改善することで、キャビネットあたりに 5 Peta Byte をストアしようと計画している。Parikh が言うには、既存のハード·ディスク·ソリューションと比較して、この Blu-ray ソリューションでは、コストが 50% も低減され、また、電力消費量は 80% もカットされるようだ。そして、ディスクに保存されたデータに対しては、50年の耐久性という価値も提供される。

Sony, original creator of Blu-Ray technology, and Panasonic have also recently teamed up to address the need for finding a robust long-term low-cost solution for archiving content.  They’ve recently announced that they would jointly produce a 300 GB optical disc for long-term archival.  The product family is to be named “Archive Disc” and should become available in 2015.  The target is to create Blu-Ray optical discs with a 1 TB capacity and to then package them into a disc cartridge containing 12 discs.

Blu-Ray テクノロジー の発案者である Sony と、つい先日に Panasonic が提携したが、アーカイブ・コンテンツのたための、堅牢な Long-Term Low-Cost ソリューションが、そこでの取り組みとなる。 そして、Long-Term アーカイブのために、300 GB の光ディスクを、恊働で生産すると発表している。このプロダクト・ファミリーは、“Archive Disc” と命名され、2015年には利用が可能になるはずだ。そのターゲットは、1 TB の容量を持つ Blu-Ray ディスクを開発であり、また、ディスク・カートリッジ内に、12枚のディスクをパッケージ化することである。

Not everyone is buying into the Facebook strategy.  Mark Peters, a senior analyst at Enterprise Strategy Group, commented that “some of what Facebook was doing was laying out a challenge to storage vendors.  I think what they were really communicating was that there is a need for low cost reliable storage.”

誰もが、Facebook の戦略に与するわけではない。Enterprise Strategy Group のシニア・アナリストである Mark Peters は、「 たしかに、Facebook における幾つかの取り組みは、ストレージ・ベンダーへの挑戦を提起した。そして、実際に彼らが発信したことは、低コストで高信頼性のストレージに、大きなニーズがあるということだったと、私は理解している」と述べている。

Bruce Kornfeld, Interim CMO at Spectra Logic, questions the logic of using Blu-Ray for commercial purposes.  Kornfeld said that “over the last 20 years the commercial data storage industry has attempted to commercialize multiple consumer technologies including CD ROM, CD Writeable, DVD writeable, 4mm Digital Audio Tape, 8mm video tape, and VHS video tape – with mixed results.  Consumer technologies offer high-volume and typically low cost storage media. The ‘low cost’ strengths of these technologies have also led to their downfall as they lack the device robustness and data reliability required by commercial data storage applications. In addition, consumer grade drives and media just don’t last very long. Blu-ray disc drive load mechanisms are probably good to a few thousand load/unload cycles. This compares with an LTO tape drive that is rated to 250,000 load/unload cycles. As you can see – the difference in durability is substantial!”

Spectra Logic の Interim CMO である Bruce Kornfeld は、Blu-Ray の商用目的での利用に対して、論理的に無理があると、異を唱えている。 そして、「 これまでの20年間において商用データ・ストレージ業界は、複数のコンシューマ・テクノロジーを商用化しようと試みてきた。そこに含まれるのは、CD ROM/CD Writeable/DVD Writeable/4mm Digital Audio Tape/8mm Video Tape/VHS Video Tape であり、また、それらの組み合わせである。たしかに、コンシューマ・テクノロジーは、一般的にみて大容積で低コストな記憶媒体を提供する。 しかし、それらのテクノロジーにおける低コストの強みは、商用データ・ストレージ・アプリケーションで必要な、デバイスの堅牢性とデータの信頼性を欠いているため、意味を持つものになり得ない。また、コンシューマ向けのドライブやメディアは、きわめて寿命が短い。Blu-Ray ディスク・ドライブのロード・メカニズムは、おそらく数千回の Load/Unload サイクルをサポートするだけだ。250,000回の Load/Unload サイクルに対応する、LTO テープ・ドライブの仕様と比較して欲しい。 誰もが分かるように、 耐久性が段違いなのだ!」と述べている

ーーーーー

この コールド・ストレージについては、すでに「 Blu-ray ディスクを 10000枚:Facebook が考えるペタ/エクサ時代のコールド・ストレージとは? 」という抄訳でお伝えしていますが、Sony と Panasonic が提携して、新たなソリューションを展開するというのは、とても嬉しい話ですね。 文中で、Mark Peter さんが述べているように、Open Compute の目的は、ユーザーが本当に欲しいものを、すぐれたベンダーに安価に提供してもらうことです。その意味で、Sony と Pnasonic の提携は、とても素晴しいことです。 なお、Bruce Kornfeld さんには、No Comment です :)  __AC Stamp 2

ーーーーー

<関連>

Cloud の調査:エンタープライズがクラウドを導入する5つの大きな理由
IoT の調査:テック・ベンダーたちは、一般顧客へのアプローチを模索する
Hybrid File の調査:エンタープライズに必須なのは、パブリックとオンプレミスのブレンドだ!
Web Programming の調査:Google の Dart は Javascript をリプレースできるのか?
Mobile Security の調査:エンタープライズ と Android と フリー・アプリ

Facebook は Open Compute のおかげで、この3年で 1200億円も節約できた!

Posted in .Selected, Data Center Trends, Facebook, Green IT, Open Compute by Agile Cat on March 12, 2014

Facebook: Open Compute Has Saved Us $1.2 Billion
http://wp.me/pwo1E-7j5

January 28th, 2014 – By: Rich Miller
http://www.datacenterknowledge.com/archives/2014/01/28/facebook-open-compute-saved-us-1-2-billion/

_ DC Knowledge

SAN JOSE, Calif. – Over the last three years, Facebook has saved more than $1.2 billion by using Open Compute designs to streamline its data centers and servers, the company said today. Those massive gains savings are the result of hundreds of small improvements in design, architecture and process, write large across hundreds of thousands of servers.

Facebook は直近の 3年間において、データセンターやサーバーを効率化する Open Compute のデザインを使用しすることで、$1.2 Billion 以上のコスト削減を達成したと述べている。この、膨大なコストの削減は、デザイン/アーキテクチャ/プロセスにおける小さな改善の集大成であり、それらは、無数のサーバー群をまたぐかたちで顕在化している。

Facebook CEO Mark Zuckerberg, at left, discusses the company’s infrastructure with Tim O’Reilly of O’Reilly Media yesterday at the Open Compute Summit in San Jose, Calif. (Photo: Colleen Miller)

The savings go beyond the cost of hardware and data centers, Facebook CEO Mark Zuckerberg told 3,300 attendees at the Open Compute Summit in San Jose. The innovations from Open Compute Project have saved Facebook enough energy to power 40,000 homes, and brought carbon savings equivalent to taking 50,000 cars off the road, Zuckerberg said.

ハードウェアやデータセンターにおける、こうしたコストの削減は、Facebook の収益性を超えたところでも意味を持つと、San Jose で開催された Open Compute Summmit で、CEO である Mark Zuckerberg は 3300人の参加者に語っている。Open Compute Project から始まったイノベーションは、Facebook が消費するエネルギーから、40,000 戸分の電力を削減している。それは、路上を走行する自動車で換算すると、5万台分の二酸化酸素を削減することになると、Zuckerberg は述べている。

The innovations created by Open Compute provide a major opportunity for other companies to achieve similar gains, he said “People are spending so much on infrastructure,” said Zuckerberg, who discussed Facebook’s initiatives with technology thought leader Tim O’Reilly of O’Reilly Media. “It creates a pretty broad incentive for people to participate.”

Open Compute がもたらすイノベーションにより、それぞれの企業が同様のメリットを得るという、チャンスが提供される。この Facebook の取り組みについて Zuckerberg は、「 人々はインフラストラクチャに、あまりにも多くの労力を費やしている。 そして、Open Compute は、そこに参加する人々に対して、きわめて広範囲におよぶインセンティブをもたらす」と、O’Reilly Media の思想的リーダーである Tim O’Reilly に説明していた。

An Open Legacy for Facebook

The focus on open hardware was a logical outgrowth of the way the company views the world, according to Zuckerberg. “Facebook has always been a systems company,” he said. “A lot of the early work we did was with open systems and open source.”

Zuckerberg によると、オープンなハードウェアにフォーカスすることは、世界を見据える Facebook にとって論理的な帰結となる。そして、彼は、「 Facebook は、常にシステムの企業であり続けてきた。そして、私たちが取り組んできた、その初期における成果の多くは、オープンなシステムとなり、オープンソースとなってきた」と続けている。

The $1.2 billion in savings serves as a validation of Facebook’s decision to customize its own data center infrastructure and build its own servers and storage. These refinements were first implemented in the company’s data center in Prineville, Oregon and have since been used in subsequent server farms Facebook has built in North Carolina, Sweden and Iowa.

$1.2 Billion というコスト削減は、データセンターのインフラを独自にカスタマイズし、また、独自のサーバーとストレージを構築していくという、Facebook の判断における妥当性を確認するものでもある。これらの洗練された発想は、最初に Prineville, Oregon のデータセンターに実装された後に、North Carolina および Sweden、Iowa の Facebook サーバファームに適用されてきた。

“As you make these marginal gains, they compound dramatically over time,” said Jay Parikh, Vice President of Infrastructure Engineering at Facebook.”We’re actually saving a ton of money.”

[ こうした、小さなメリットの積み上げを、長期間に渡って継続していくことで、劇的な融合が生じる。現実に、私たちは、膨大なコスト削減を達成した 」と、Facebook の Vice President of Infrastructure Engineering である Jay Parikh は述べている。

The designs for Facebook’s servers, storage units and data centers have since been contributed to the Open Compute Project, the non-profit community organization driving the open hardware movement.

Facebook の サーバとストレージのユニットおよび、データセンターのデザインは、オープンなハードウェアのムーブメントを促進する、非営利コミュニティである Open Compute Project に、ずっとコントリビュートされ続けてきた。

This happened, Parikh said, because Facebook was willing to set aside the conventional ways that servers and data centers were built, and try something new. The Open Compute Project can extend these savings to other companies, he said.

Facebook は、サーバーやデータセンターを構築する、従来からの方法と平行して、新しいことに挑戦したいと望んできたので、こうした変化が生じた、と Parikh は発言している。そして、Open Compute Project により、その他の企業でも、同じようなコストの削減が達成される。

“You really should be looking at OCP,” said Parikh. “You could be saving a lot of money.

「 ぜひ、OCP に注目してほしい。そうすれば、膨大なコストの削減が可能になる」と、Parikh は述べている。

RELATED POSTS:

Open Compute Summit, 2014
Open Compute Reports Progress on Open Network Switch
Facebook Adapts Open Compute for Colo Space
Facebook Brings Open Compute into its Colo Space
Closer Look: Facebook’s Open Compute Servers

ーーーーー

TAG indexそれにしても、$1.2 Billion というのは大きいですね。 100円で換算しても 1200億円ですから、メガ・データセンターの構築費に相当するくらいのコストが浮いたことになります。ちょうど 3年前に、Oregon のデータセンターがオープンしていますから、年間で 400億円くらいの計算になりますね。 そして、その後も Noth Carolina と、Sweden、Iowa が構築されているのですから、この数値は年々拡大していくことになります。自然環境へ影響を考えても、素晴らしいことです! 今月は、台北に OCP サーティフィケーション・センターがオープンしました。 アジアにも、このような事例がほしいですね。image

ーーーーー

<関連>

Facebook が選んだ CA の DCIM:どのように ハイパー・スケールを管理するのか?
Blu-ray ディスクを 10000枚:Facebook が考えるペタ/エクサ時代のコールド・ストレージとは?
Open Compute Project : ついに Microsoft も参加を表明した!
2013年 : Open Compute Project の マトメ
2013年 : 世界の データセンターの マトメ

Blu-ray ディスクを 10000枚:Facebook が考えるペタ/エクサ時代のコールド・ストレージとは?

Posted in Data Center Trends, Open Compute, Storage by Agile Cat on January 29, 2014

Facebook has built a prototype system for storing petabytes on Blu-ray
http://wp.me/pwo1E-79F

By Derrick Harris – Jan 28, 2014
http://gigaom.com/2014/01/28/facebook-has-built-a-prototype-system-for-storing-petabytes-on-blu-ray/

_ Giga Om

Summary: During the Open Compute Summit in San Jose, Facebook VP of Engineering Jay Parikh shared some big statistics for the company’s cold storage efforts, including those for a protoytpe Blu-ray system capable of storing a petabyte of data today.

Summary: San Jose で開催中の Open Compute Summit において、Facebook VP of Engineering である Jay Parikh は、同社におけるコールド・ストレージに関する、いくつかの情報を共有したが、そこには、すでにペタバイト・データをストアできる、Blu-ray システムを用いるものが含まれていた。

ーーーーー

At last year’s Open Compute Summit, Facebook VP of Engineering Jay Parikh suggested the company might consider Blu-ray discs as a medium for improving durability and cutting costs for its long-term cold storage efforts. Now, Parikh said Tuesday during a keynote at this year’s event, the company is actually doing it.

昨年の Open Compute Summit でも、Facebook VP of Engineering である Jay Parikh は、Blu-ray ディスクが活用されるかもしれないと発言していたが、このメディアを用いることで、これまでの長期間において取り組んできた、コールド・ストレージの耐久性が向上し、また、コストが低減されることを示唆する内容であった。そして、今年のイベントのキーノートでは、同社が実際に、それを推進していることを発表した。

Facebook has built a prototype Blu-ray system capable of storing 10,000 discs and 1 petabyte of data in a single cabinet, with plans to scale it to 5 petabytes per cabinet. Blu-ray storage would save the company 50 percent in costs and 80 percent in energy usage over its existing hard-disk-based cold storage methods, Parikh said, and will provide 50 years worth of durability for data stored on the discs.

Facebook が開発しているプロトタイプは、10000 枚のディスクをシングル・キャビネットに格納し、1 Peta Byte ストレージを構築する Blu-ray システムのことであり、キャビネットごとの容量を 5 Peta Byte にスケールする計画も進んでいるという。そして、この Blu-ray ストレージは、同社における既存の HDD ベースのコールド・ストレージと比べて、50% のコストを低減し、80% の電力を削減し、また、ディスクに保存されたデータに対して 50年の耐久性を提供するものになると、Parikh は発言している。

That’s not the only tidbits Parikh shared about the company’s cold storage efforts, though. He said that the first site is now in production and storing 30 petabytes of data, but a second will be coming online soon. Within a couple months, Facebook expects to have 150 petabytes of data in cold storage, which is just a fraction of the 3 exabytes each facility is designed to house.

しかし、Parikh が共有したものは、同社のコールド・ストレージに関する、ちょっとしたトピックというものではない。彼が言うには、30 Peta Byte のデータをストアする最初のサイトが、すでにプロダクション・システムとして運用されており、2番目のサイトも近々に運用に入るらしい。そして Facebook は、数ヶ月以内に 150 Peta Byte のデータをコールド・ストレージに取り込む予定だが、その容量については、それぞれのファシリティで設定している、3 Exa Byte の一部に過ぎないとしている。

One other nugget worth noting from the morning as it relates to Facebook’s innovation on the storage front: In order to save money over data center-grade SSDs but still speed up the process, Facebook is now booting web servers using netbook-grade SSDs, hardware executive Matt Corddry said.

また、今日の午前中に Facebook が明らかにした、ストレージのイノベーションに関連する、もう1つの貴重な情報は、データセンター・グレードの SSD に対するコストを削減しても、プロセスの処理速度をスピード・アップできるというものだ。具体的には、ネットブック・グレードの SSD の活用であり、Facebook では、それを用いて Web サーバーをブートしていると、Hardware Executive である Matt Corddry が発言している。

Related research

The fourth quarter of 2012 in cloud January 2013
How direct-access solutions can speed up cloud adoption December 2012
The role of converged infrastructure in the data center December 2012

ーーーーー

TAG indexこういう発想は、プロダクトを売る側では、絶対に生まれてこないものなのでしょうね。文中にもあるように、これまで通りに、HDD をコールド・ストレージに使ってもらえるなら、単純に考えて、売上が2倍になるのですから。。。 しかし、ペタやエクサのレベルで、大量のデータをストアしなければならない、ユーザーのニーズを考えれば、このような方式が優れていることが一目で分かります。そして、さらに素晴らしいのが、電力コストを 80% も削減できるという点です。イイですね! これ! image

ーーーーー

<関連>

Open Compute Project : ついに Microsoft も参加を表明した!
SAP と HANA が、Open Compute に恋する理由
Linaro が OCP に参加 : Linux on ARM in DC が加速していく!
OCP オープン・スイッチ仕様を Broadcom と Intel と Mellanox が提出
2013年 : Open Compute Project の マトメ
2013年 : 世界の データセンターの マトメ

%d bloggers like this: