Agile Cat — in the cloud

Storage の調査: Long-Term Low-Cost のコールド・ストレージは 5 PB へと向かうのか?

Posted in .Selected, Facebook, On Monday, Open Compute, Storage by Agile Cat on April 7, 2014

Storage: Long-Term Low-Cost COLD Storage Solutions
http://wp.me/pwo1E-7nI

By Dick Weisinger – April 4, 2014
http://formtek.com/blog/storage-long-term-low-cost-cold-storage-solutions/

_ formtek

Recently at the Open Compute Summit, Facebook VP of Engineering, Jay Parikh described how Facebook has rigged together a system based on 10,000 Blu-ray discs that fit into a single cabinet, capable of storing 1 petabyte of data.  Facebook plans to improve on this first attempt and be able to reach 5 petabytes per cabinet.  Compared to existing hard disk solutions, Parikh says that the Blu-ray solution will be 50 percent cheaper and use 80 percent less energy. It will also provide 50 years worth of durability for data stored on the discs.

先日の Open Compute Summit で Facebook VP of Engineering である Jay Parikh が説明したのは、1万枚の Blu-ray ディスクをベースにしたシステムを単一の筐体に収め、1 Peta Byte のデータをストアするという、Facebook で試している方式である。また、Facebook は、この試みを改善することで、キャビネットあたりに 5 Peta Byte をストアしようと計画している。Parikh が言うには、既存のハード·ディスク·ソリューションと比較して、この Blu-ray ソリューションでは、コストが 50% も低減され、また、電力消費量は 80% もカットされるようだ。そして、ディスクに保存されたデータに対しては、50年の耐久性という価値も提供される。

Sony, original creator of Blu-Ray technology, and Panasonic have also recently teamed up to address the need for finding a robust long-term low-cost solution for archiving content.  They’ve recently announced that they would jointly produce a 300 GB optical disc for long-term archival.  The product family is to be named “Archive Disc” and should become available in 2015.  The target is to create Blu-Ray optical discs with a 1 TB capacity and to then package them into a disc cartridge containing 12 discs.

Blu-Ray テクノロジー の発案者である Sony と、つい先日に Panasonic が提携したが、アーカイブ・コンテンツのたための、堅牢な Long-Term Low-Cost ソリューションが、そこでの取り組みとなる。 そして、Long-Term アーカイブのために、300 GB の光ディスクを、恊働で生産すると発表している。このプロダクト・ファミリーは、“Archive Disc” と命名され、2015年には利用が可能になるはずだ。そのターゲットは、1 TB の容量を持つ Blu-Ray ディスクを開発であり、また、ディスク・カートリッジ内に、12枚のディスクをパッケージ化することである。

Not everyone is buying into the Facebook strategy.  Mark Peters, a senior analyst at Enterprise Strategy Group, commented that “some of what Facebook was doing was laying out a challenge to storage vendors.  I think what they were really communicating was that there is a need for low cost reliable storage.”

誰もが、Facebook の戦略に与するわけではない。Enterprise Strategy Group のシニア・アナリストである Mark Peters は、「 たしかに、Facebook における幾つかの取り組みは、ストレージ・ベンダーへの挑戦を提起した。そして、実際に彼らが発信したことは、低コストで高信頼性のストレージに、大きなニーズがあるということだったと、私は理解している」と述べている。

Bruce Kornfeld, Interim CMO at Spectra Logic, questions the logic of using Blu-Ray for commercial purposes.  Kornfeld said that “over the last 20 years the commercial data storage industry has attempted to commercialize multiple consumer technologies including CD ROM, CD Writeable, DVD writeable, 4mm Digital Audio Tape, 8mm video tape, and VHS video tape – with mixed results.  Consumer technologies offer high-volume and typically low cost storage media. The ‘low cost’ strengths of these technologies have also led to their downfall as they lack the device robustness and data reliability required by commercial data storage applications. In addition, consumer grade drives and media just don’t last very long. Blu-ray disc drive load mechanisms are probably good to a few thousand load/unload cycles. This compares with an LTO tape drive that is rated to 250,000 load/unload cycles. As you can see – the difference in durability is substantial!”

Spectra Logic の Interim CMO である Bruce Kornfeld は、Blu-Ray の商用目的での利用に対して、論理的に無理があると、異を唱えている。 そして、「 これまでの20年間において商用データ・ストレージ業界は、複数のコンシューマ・テクノロジーを商用化しようと試みてきた。そこに含まれるのは、CD ROM/CD Writeable/DVD Writeable/4mm Digital Audio Tape/8mm Video Tape/VHS Video Tape であり、また、それらの組み合わせである。たしかに、コンシューマ・テクノロジーは、一般的にみて大容積で低コストな記憶媒体を提供する。 しかし、それらのテクノロジーにおける低コストの強みは、商用データ・ストレージ・アプリケーションで必要な、デバイスの堅牢性とデータの信頼性を欠いているため、意味を持つものになり得ない。また、コンシューマ向けのドライブやメディアは、きわめて寿命が短い。Blu-Ray ディスク・ドライブのロード・メカニズムは、おそらく数千回の Load/Unload サイクルをサポートするだけだ。250,000回の Load/Unload サイクルに対応する、LTO テープ・ドライブの仕様と比較して欲しい。 誰もが分かるように、 耐久性が段違いなのだ!」と述べている

ーーーーー

この コールド・ストレージについては、すでに「 Blu-ray ディスクを 10000枚:Facebook が考えるペタ/エクサ時代のコールド・ストレージとは? 」という抄訳でお伝えしていますが、Sony と Panasonic が提携して、新たなソリューションを展開するというのは、とても嬉しい話ですね。 文中で、Mark Peter さんが述べているように、Open Compute の目的は、ユーザーが本当に欲しいものを、すぐれたベンダーに安価に提供してもらうことです。その意味で、Sony と Pnasonic の提携は、とても素晴しいことです。 なお、Bruce Kornfeld さんには、No Comment です :)  __AC Stamp 2

ーーーーー

<関連>

Cloud の調査:エンタープライズがクラウドを導入する5つの大きな理由
IoT の調査:テック・ベンダーたちは、一般顧客へのアプローチを模索する
Hybrid File の調査:エンタープライズに必須なのは、パブリックとオンプレミスのブレンドだ!
Web Programming の調査:Google の Dart は Javascript をリプレースできるのか?
Mobile Security の調査:エンタープライズ と Android と フリー・アプリ

NSA の Prism は、プロバイダーの手を借りなくても、こんなふうに個人データを盗み出せる

Posted in .Selected, Government, Privacy by Agile Cat on June 10, 2013

How the NSA might snoop personal web data without the provider’s knowledge
http://wp.me/pwo1E-6dZ

By Barb DarrowJun. 7, 2013
http://gigaom.com/2013/06/07/how-the-nsa-might-snoop-personal-web-data-without-the-providers-knowledge/

_ Gigaom

Summary: Whether these top tier tech vendors were complicit or dupes in government spying on people’s data, this news does nothing to help their credibility.

Summary: 人々のデータをスパイするという問題において、それらの一線級のベンダーは加担していたのか、あるいは、騙されていたのかという点に注目が集まっている。 しかし、このニュースが、彼らへの信頼を支持するかというと、そういう意図で書いたものもない。

ーーーーー

One of the biggest questions out of the NSA snooping controversy was how much 9 tech vendors –  Microsoft, Yahoo, Google, Facebook, PalTalk, AOL, Skype( msft), YouTube and Apple —  knew about a National Security Administration program for snooping on their users data.

NSA による覗き見という論争において、最大の問題となっているものには、Microsoft/Yahoo/Google/Facebook/PalTalk/AOL/Skype/YouTube/Apple といった 9社のハイテク・ベンダーが、どのくらいまでを知っていたのかという視点も含まれる。 つまり、National Security Administration が、彼らのユーザーのデータを、どのようにして覗き見るかという方式のことである。

They all denied — in carefully worded ways — that they provided direct access to customer information. The source of the original story — ostensibly leaked NSA slides obtained by the Washington Post and The Guardian — indicated that the National Security Agency tapped directly into these company servers to get at customer meta data.

それら、すべてのベンダーたちは、顧客情報へのダイレクト・アクセスを提供しているという指摘に対して、慎重に言葉を選びながら否定している。オリジナル・ストーリーの情報源は(表向きは、NSA のスライドが Washington Post と The Guardian によりリークされたとなっている)、National Security Agency(NSA)が、顧客のメタ・データを取得するために、それらの企業のサーバーにダイレクトにアクセスすると述べていた。

In a radio interview Friday on WBUR, Post reporter Barton Gellman said it’s more likely that the slide was poorly worded and that the NSA placed its own “black boxes” on vendor property next to the servers in question. Those black boxes could mirror the server and be queried as a proxy while giving those vendors plausible deniability if asked whether their own servers had been accessed.

金曜日の WBUR ラジオ・インタビューにおいて、Washington Post 記者である Barton Gellman は、それらのスライドでは説明が不十分であるが、それらのベンダーの施設内に置かれたサーバーの隣に、NSA が独自の "ブラック・ボックス" を配置した可能性が高いと、その問題点について述べていた。それらのブラック・ボックスは、対象となるサーバーをミラーリングし、そこへのアクセスについて質問されたときに、ベンダーたちに尤もらしい否認を与えながら、プロキシとして照会するものだという。

Obviously, if that is the case it’s hard for vendors to plead ignorance to what was going on. But there are ways the government could harvest people’s Google and Facebook and other data without those vendors knowing.

そのようなことが起こっていたとするなら、ベンダーたちが不可知であると自己弁護するのは、明らかに難しいものとなる。しかし、政府には、ベンダーたちのノウハウに頼ることなく、Google や Facebook などのデータを、取り込んでいくための方法がある。

First, they could eavesdrop on the HTTP traffic flowing over the internet — which is not usually encrypted. Or there could be a covert back door into these services themselves, something that Jon Oltsik, senior principal analyst at Enterprise Strategy Group finds hard to believe.

まず、彼らは、インターネット上を流れる HTTP トラフィックを盗聴できる。通常、それは暗号化されていない。 さもなければ、 Enterprise Strategy Group のシニア主席アナリストである  Jon Oltsik が見つけた、信じがたい秘密のバックドアのようなものが、それらのサービスに含まれるのかもしれない。

Facebook’s data center in Prineville, Ore

And, there have been reports that government agencies are indeed collecting data provided from internet service providers and telcos.  On Friday, The Wall Street Journal said that the NSA’s gathering data on Verizon customers, is just the tip of the iceberg. According to the Journal:

そして、金曜日のことだが、インターネット・サービス・プロバイダーやテレコムから提供されたデータを、政府機関が実際に収集しているという報告があった。 The Wall Street Journal は、NSA が Verizon の顧客データを収集していると発言したが、同誌によると、それは氷山の一角となる:

“… people familiar with the NSA’s operations said the initiative also encompasses phone-call data from AT&T Inc. and Sprint Nextel records from Internet-service providers and purchase information from credit-card providers.

"… NSA の活動に精通している人物が言うには、このイニシアチブは AT&TSprint Nextel から通話記録を、そして、インターネット・サービス・プロバイダーから通信記録を、さらには、クレジットカード・プロバイダーからは購入情報などを取り込んでいることになる。

Update: One security expert who did not want to be named becuase he does work for government agencies said if the NSA is doing what it does best — which is traffic analysis. This is stuff like who is talking to whom and for how long and when. “It is a kind of social network mapping … questions arise if there is a radio in an uninhabited jungle [or] when I call Djokar Tsarnaev at 1 a.m. or when one call comes in and one call goes out continguously,” he said via email.

Update: 政府機関のために作業している、ある匿名希望のセキュリティ専門家は、NSA にとって最適なことが行われているとしたら、それはトラフィック分析である、と発言している。それは、誰が誰と、いつの時点で、どのくらいの時間を、通話に費やしているのかという類の分析である。「 ソーシャル・ネットワーク・マッピングの一種である。無人島のジャングルから電波が発信されていたら、疑念が生じるだろうか?  私が深夜の 1時に、Djokar Tsarnaev(Boston 爆発事件の容疑者)に電話していたら、どう思う? つまり、誰から連絡があり、誰に連絡しているのかを、継続的に追いかけていくのさ」と、彼はメールで教えてくれた。

If this is the sort of traffic analysis the NSA is doing — the default assumption — then there is “no requirement for the cooperation of the endpoints, only the carriers,” he said. In all internet-based TCP/IP situations, the communications are all multi-hop, and thus there is no need to surveil all possible paths, just the “must go through” paths,” he continued. “If I can listen one hop outside your firewall, then there is nothing you can do about it, you won’t know I am doing it, and to the extent that traffic analysis is sufficient for the surveillance team, the job is done.”

デフォルトの仮定として、その種のトラフィック分析を NSA が行なっているなら、「エンドポイントからの協力は不要であり、キャリアだけが居ればよい」と、彼は発言している。 インターネット・ベース TCP/IP の状況下では、すべての通信はマルチ・ホップであるため、すべての可能性をもつ経路を調査する必要はない。「必ず通過しなければならない、パスだけを見れば良い。ファイアウォールの外側で、あなからの 1ホップをリッスンしてしまえば、それに対して、あなたは抵抗できない。そして、あなたは、私が行なっていることを知ることができない。そして、監視チームにとっては十分な、トラフィック分析の範囲が得られ、その後のジョブが実行されていく」と、彼は続けている。

This is really key stuff. When you post updates to your Facebook page or Google Drive, that data typically flows unencrypted over the web. That data-in-transit could, in theory, also be intercepted at the routers directing traffic or at Content Delivery Network (CDN) points that optimize traffic flow. We just don’t know, because security agencies won’t say. But the upshot is, if the government is collecting that traffic, it truly does have a ton of information about everything you do, or at least everything you say. That is truly a sobering use of big data.

これは、きわめて重要な指摘である。あなたが、Facebook Page や Google Drive にポストするとき、Web 上の暗号化されていないフローが用いられる。そして、理論的に考えるなら、転送中のデータは、トラフィックの行き先を指示するルーターや、トラフィック・フローを最適化する Content Delivery Network (CDN) において、傍受される可能性がある。それについて、セキュリティ機関が発言することはないので、私たちが知らないだけ、という状況になっていく。そして、政府がトラフィックを収集しているなら、たとえば、あなたの行動や発言のすべてが含まれる、膨大な情報が蓄積されていることになる。ありのままに結論づけるなら、それも Big Data における真実である。

As we learned last year, it may well be compiling a full dossier on you (and everyone) which it’s storing in the no-longer-quite-so-top-secret giant NSA data center in Bluffdale Bluffton, Utah,

私たちが、昨年に学んだように、そこからすべての人々の、完全な調書が編纂されるのだろう。そして、もはやトップ・シークレットではなくなった、Utah, Bluffdale の NSA データセンターに保存されているのだ。

Beyond that, we probably won’t know the truth of what Google, Microsoft, et al. knew and if or how much they participated in snooping for years to come.

Google や Microsoft などの真実について、それ以上のことを知ることができない。そして、それらの企業が、これからの数年間において、どのようなかたちで盗聴に参加していくのかも、知ることができない。

This story was updated at 4 p.m. PDT to correct the name of the town where the NSA data center is located and again at 9:14 a.m. PDT on June 8 to add additional comment and context from a security expert.

Related research

ーーーーー

TAG indexこの背景には、4月に起こった、ボストンでの爆破テロがあるのでしょう。 たしかに、こうした情報の収集と分析があれば、あのような事件を未然に防げたのかもしれませんが、誰がスパーバイザーになれるのか? また、スーパーバイザーを誰かに委ねてよいものか? ・・・という、永遠の議論が残されてしまいますね。 その意味で、この記事は、一連のプロバイダーに対する嫌疑を追うのではなく、インターネットにおける盗聴という、きわめて現実的な事象と、事の本質を捉えています。 さすが、GiaOM という感じの、良記事です。  __AC Stamp 2

ーーーーー

<関連>

諜報機関 NSA による Prism 問題とは? とりあえずのリンク集を作りました
Wikipedia や WordPress など、1500 以上のサイトが Anti-SOPA でブラックアウト
SOPA の投票は延期! Freedom of Internet は勝利したのか?
SOPA は 止まったのか? – オバマ政権が反対を表明
SOPA 関連の マトメ・ページを作りました

%d bloggers like this: