Agile Cat — in the cloud

2014 Agile Cat:大人になった Facebook の マトメ

Posted in .Chronicle, Facebook, Open Compute by Agile Cat on December 27, 2014

意外と少なかった FB 関連のポスト数、、、でも、、、
http://wp.me/pwo1E-87I

OCP Japan をお手伝いしているという立場もあり、今年は無意識のうちに Facebook との距離感を考えていたのでしょう。 そのため、ポストするコンテントも絞り込んでいたのだと思いますが、こうして 2014年の Facebook を振り返ってみると、若さでゴリゴリ押していく企業から、大人の思慮がにじみ出てくる企業へと、そのポジションを引き上げてきた様子が浮かび上がってきます。おそらく、Open Compute Project や Internet.org といった、ノン・プロフィットの活動を生み出し、それを限りなくパブリックなものに変容させていくという Facebook のスタンスに、ある種の落ち着きが感じられるからなのでしょう。

とは言え、一介の企業が、こうした活動を推進していくためには、それを支える経済力が必要であり、また、その経営陣にはマネタイズとボランティアという、相反する局面を平行して推進していくだけの度量が求められます。 その意味でも、モバイル・アドを真っ先に成功させ、そこから生まれる余裕により、いくつかの社会貢献を成功させてきた手腕を評価したいです。

もっと現実的に見ていけば、それもビジネスなのですが、インフラに関する整備と情報共有を推進し、企業としての効率を高めた上で、そこから生まれる余剰を、途上国マーケットへ投資していくという、壮大なビジョンを実施してきたのは、この Facebook と Google だけだったと思います。 そして、一人のアジア人として、有難うと言いたいことなのです。

ーーーーー

01/28: Facebook は OCP のおかげで、この3年で 1200億円も節約できた!
02/04: Facebook が Open Graph の デベロッパー・コレクションを停止した
02/19: WhatsApp:① 買収額の $19 Billion を、歴史の中に位置づけてみる
02/19:
WhatsApp:② 10億人という ユーザー数に、FB よりも早く到達する? 
02/21: WhatsApp:③ Facebook を上回る、ユーザーを惹きつけるパワー
02/20: WhatsApp:④ Skype や Line と、どのように世界を住み分ける?
02/21: WhatsApp:⑤ 今年の試算だと、テレコムたちは $33 B も奪い取られる
02/20:
WhatsApp:⑥ キャリアの SMS ビジネスを、メッセージ・アプリが破壊

ーーーーー

04/01: モバイル・ブラウザは終わったのか? アプリによる 86% の占有
04/04:
Long-Term Low-Cost のコールド・ストレージは 5 PB へと向かう?
04/09: インドの FB ユーザー数が1億人:しかも 84% がモバイル接続だ!
04/22: 快速 WhatsApp は、すでに5億ユーザーに到達している!
04/28:
Google の Before/After で激変したプラットフォーム勢力図
04/30:
Facebook モバイル艦隊の快進撃が始まる
05/15:
Youtube と Facebook がモバイル・トラフィックの 1/3 を占有している
05/20: Google と Facebook で 75% を支配するモバイル広告
05/23:
B2C は Facebook で B2B は LinkedIn:大きく異なるソーシャル・シェア
06/19: Facebook と OCP から、Wedge という名の オープン・スイッチが発表!
06/20: 木曜日の夕方に生じた Facebook のダウンは、中国からの DDoS 攻撃?
06/30: Instagram:200億枚のイメージを AWS から FB Bare-Metal へ!

ーーーーー

07/15: Google と Facebook が支配する モバイル広告の世界
07/17:
Facebook が実験する BUY ボタン:Amazon や eBay の脅威に?
07/23:
Facebook 脅威の Q2 決算:3000 億円の売上げと 48% の粗利率 !
07/24: FB + WhatsApp + Instagram のユーザー数は、世界の総人口の 1/3
07/28:
Facebook Page for iPhone という、Apple にとって悩ましき存在とは?
09/03: Facebook が買収し続けている特許の内容が、とても興味深い
09/05:
Facebook のゴージャスな DC を、15枚の写真で紹介しよう!
09/22:
Facebook が語るモバイル・チューニングの極意:これで途上国も OK!
09/26: ソーシャルと滞在時間:Engagement Index 指標で FB がダントツ!
09/26: 広告:Yahoo と AOL を統合しても、Google と Facebook は止まらない
09/29: Facebook アドが 外の世界へ: Atlas が Google に 本気で挑んでいく

ーーーーー

10/06: クッキーは死んだ: そして Facebook/Google/Apple の広告が激変
10/16: モバイル・アドに苦悩する Google と、答えを見つけ出した Facebook
10/20:
FB アプリ:Push + Delta + Thrift で モバイル帯域を 40% も削減!
10/28: Facebook の 2014 Q3 決算を分析する:モバイル広告の伸びがスゴイ!
10/28: Facebook がビッグ・ウェーブに乗った:収益の 66% はモバイルから
10/30: Facebook の Graph API がアップデート、そして AD API も強化!
11/05:
iOS から Android へ : Facebook は優先順位を切り替えるのか?
11/13:
Facebook と Google によりソーシャル・ログインの 80% を占有

ーーーーー

テック・ジャイアントには、未来を語って欲しいし、夢を見せて欲しいし、ロマンに浸らせて欲しい。 その意味で、2014年は Facebook と Google の、二強の年だったと、個人的に捉えています。そして、2015年は、それが四強に戻り、さらには五強・六強へと、育っていって欲しい年なのです。

ーーーーー

<2014年:マトメの一覧>

2014:Top-20 ポスト 総マトメ(root)

ーーーーー

2014:月曜版 On Monday のマトメ
2014:王者の風格 Google のマトメ
2014:大人になった Facebook の マトメ
2014:新しい動向の マトメ
2014:とっても元気な アジアの まとめ
2014:データセンター と インフラ の マトメ
2014:ディジタル広告の マトメ
2014:ソーシャル関連の マトメ
2014:iOS/Android/iPad/Chromebook の マトメ
2014:日曜版の マトメ
2014:クラウドの一年を 振り返る、チャート の マトメ

ーーーーー

2013: 総マトメ Top-10
2012: 総まとめ ページ

Comments Off on 2014 Agile Cat:大人になった Facebook の マトメ

Dell/HP/Intel/Emerson が構築する Redfish は、IPMI 以来のスタンダードになり得るのか?

Posted in Data Center Trends, DCIM, Energy, Green IT by Agile Cat on September 26, 2014

Dell, HP, Intel and Emerson partner to develop new industry standard: Redfish
http://wp.me/pwo1E-7U5
Brian Karlovsky | Sept. 9, 2014
http://www.arnnet.com.au/article/554452/dell-hp-intel-emerson-partner-develop-new-industry-standard-redfish/

Dell, HP, Intel and Emerson are set to develop a new industry standard to increase the productivity of system administrators through improved datacentre management, analysis and security.

Dell/Emerson/HP/Intel が、データセンターにおける管理/分析/セキュリティの改善を通じて、システム・アドミニストレータの生産性を向上させるべく、新しい業界スタンダードを作成しようとしている。

The new specification, Redfish, is still under development and will be one of the most comprehensive since the Intelligent Platform Management Interface (IPMI) was first launched in 1998, according to a statement.

この、新しい仕様である Redfish は、現時点において作成中である。 そして、このパートナーシップのステートメントによると、1998年に立ち上げられた Intelligent Platform Management Interface (IPMI) 以来の、最も包括的なものになるという。

_  space

_  space

Redfish uses a modern network interface style, allowing access to data using even simple, script-based programming methods. It will be designed to improve scalability and expand data access and analysis, help lower costs, and further enable feature-rich remote management while ensuring a secure solution that protects investment.

Redfish では、きわめてシンプルなスクリプトベースのプログラミング・メソッドにより、データへのアクセスを実現するために、最新のネットワーク·インターフェース·スタイルが用いられる。そのデザインは、スケーラビリティを向上させ、データに関するアクセスと分析を強化し、また、コストの削減を促進しながら、さらにリッチなリモート・マネージメントを実現するものであるが、投資を保護するセキュアなソリューションも約束される。

According to a company statement, the group collaborating on Redfish development is focused on ensuring the specification enhances interoperability across multiple server environments and significantly simplifies management, allowing administrators to speak one language and be more productive. It will also enable access to massive amounts of information and the ability to translate the data into actionable insights for system monitoring and management.

この団体のステートメントによると、Radfish 仕様の作成におけるグループとしての協調は、マルチ・サーバー環境をカバーするインターオペラビリティと、大幅に簡素化された管理形態にフォーカスするものであり、その結果として、アドミニストレータが用いる言語を1つに集約し、さらなる生産的を目指すことになる。そして、さらに、システムの監視と管理を対象とした、膨大なデータへのアクセスと、実用的な洞察への転換を、実現していくものとなる。

The partner companies are working with industry standards bodies and associations to accelerate the development process, in anticipation of the broad adoption of Redfish.

ここでパートナーとなる企業は、Redfish の広範囲におよぶ採用を予測し、また、その作成プロセスを加速するために、業界標準のための団体や協会と協調して作業を進めている。

The specification will be submitted to the Distributed Management Task Force for consideration by the recently created Scalable Platform Management Forum, which has been chartered to publish a standard in this space. Once the specification is approved, it will be publicly available.

Redfish の仕様は、先日に立ち上げられた Scalable Platform Management Forum により、Distributed Management Task Force へと提出され、この分野におけるスタンダードを発行するための、骨格として検討されていく。 そこで、仕様が承認された後に、一般でも利用が可能なものとなる。

Read more:Synnex Australia adds HP Enterprise to portfolio

ーーーーー

現状でも、それぞれのデータセンターが工夫することで、それぞれのファシリティに適したマネージメント・システムが開発/運用されているはずです。 そして、RedFish が実現しようとしているのは、そのベースになる部分を標準化して、コストを下げようという試みなのだと思います。 ただ、いまの世の中のサーバー・ベンダーといっても、無印良品で市場を席巻している台湾の ODM たちを無視できません。 また、Facebook/Rackspace/Microsoft などによる Open Compute Project もあれば、Tencent/Alibaba/Baidu などによる Scorpio、そして、Google/IBM による OpenPower Foundation もあるという具合に、データセンターの効率化へ向けて活動している、オープン・ソースの存在も忘れてはなりません。たまたまですが、9/22 付で、Gartner が DCIM の Magic Quadrant を発表するほど、ここは、とてもホットな領域なのです。

ーーーーー

<関連>

Facebook と DCIM : オープンな議論を期待できるのか?
Facebook の DCIM : 独自のデータセンター管理システムを構築
Facebook が選んだ CA  の DCIM:どのように ハイパー・スケールを管理するのか?
Quanta と OCP : Server/Storage/Switch/Rack などがデビュー!

Comments Off on Dell/HP/Intel/Emerson が構築する Redfish は、IPMI 以来のスタンダードになり得るのか?

Facebook のゴージャスな DC を、15枚の写真で紹介しよう!

Posted in Data Center Trends, Facebook, Open Compute by Agile Cat on September 19, 2014

Take A Tour Through Facebook’s Gorgeous Data Centers
http://wp.me/pwo1E-7ST
Dave Smith − Sep. 5, 2014
http://www.businessinsider.com/15-photos-of-facebook-data-centers-2014-9

_ Business Insider

Facebook announced the Open Compute Project in 2011 as a way to openly share the designs for its data centers — "to spark a collaborative dialogue … [and] collectively develop the most efficient computing infrastructure possible."

Facebook がデータセンターのデザインを広く共有する方法として、Open Compute Project についてアナウンスしたのは 2011年のことだった。それにより、コラボレーションが活性化し、最も効率的なコンピューティング·インフラを、協調しながら開発していくという流れが生まれた。

Alan Brandt

Starting in 2009, three Facebook employees dedicated themselves to custom-designing servers, server racks, power supplies, UPS units, and battery backup systems for the company’s first data center in Prineville, Oregon.

2009年に 3人の Facebook 従業員が、 Prineville, Oregon における同社としては初めてのデータセンターのための、サーバー/サーバー・ラック/電源/UPS/バッテリ·バックアップといったシステム対して、カスタムなデザインをコントリビュートした。

By 2011, Facebook’s data center in Prineville used 38% less energy to do the same work as the company’s other data centers at the time, while costing 24% less.

そして、2011年の Prineville データセンターは、38% という消費電力の低減と、24% のコスト削減という、すばらしい結果を残した。

Since then, Facebook has improved on its designs, and last summer, opened another data center in Lulea, Sweden.

その後の Facebook は、そのデザインを改善し、また、昨年の夏には、Lulea, Sweden にも新しいデータセンターをオープンしている。

With the help of Facebook and photographer Alan Brandt, we compiled some photos to show off what Facebook’s data centers look like from the inside and outside. And these are some really gorgeous-looking facilities.

Facebook と、カメラマンである Alan Brandt の助けを借りて、Facebook データセンターの内側と外側を示す、いくつかの写真をまとめてみた。それらは、とてもゴージャスなファシリティであると思える。

↓ クリックで Facebook アルバムへ ↓

ーーーーー

ゴージャスと言っても、フカフカのソファーが置いてあるという意味ではなく、あの巨大なサービスを支えるサーバーやストレージに適したという話なのですが、そこで働くエンジニアにとっては、それこそがゴージャスなのだと思います。 Agile_Cat も、この Prineville DC には、一度 お邪魔したことがあるのですが、何から何まで、想像を絶する規模で構築されていたのが、とても強く印象に残っています。 たまたまですが、昨日の東京では、OCP Engineering Workshop 2014 が開催され、100人以上の人々が集まりました。 朝から夕方まで、ぎっちりと詰まった各セッションで、とても熱い議論が繰り返されていました。 これから、OCP Japan が考えていくことは、アジアという地域のビジネスに適した、データセンターのデザインを考えることに、集約されていくのだろうと思います。(この写真は、林雅之さんのブログからのものです)  

ーーーーー

<関連>

Facebook は Open Compute のおかげで、この3年で 1200億円も節約できた!
Facebook Hardware Labs は、エンジニアにとって夢のような空間だ
Instagram が達成した史上最大のマイグレーション:200億枚のイメージを AWS から FB DC へ!
Facebook と Open Compute から、ついに Wedge という名の オープン・スイッチが発表された!
Blu-ray ディスクを 10000枚:Facebook が考えるペタ/エクサ時代のコールド・ストレージとは?

Comments Off on Facebook のゴージャスな DC を、15枚の写真で紹介しよう!

2013年 : Open Compute Project の マトメ

Posted in .Chronicle, Data Center Trends, Open Compute by Agile Cat on December 28, 2013

アジアが重視される OCP コミュニティなのです ・・・
http://wp.me/pwo1E-73N

Agile_Cat_Loupe

_  space

早いもので、Open Compute Project(OCP)が立ち上がってから、この春で 2年が経ちます。正直なところ、2011年の時点で、このハードウェアに関するオープンソース・プロジェクトが、ここまでのパワーを持つとは思いもしませんでした。 OCP のチェアマンである Frank Frankovsky さんは、折に触れ、とても骨太な考え方をシンプルに語ってくれるのですが、 その中でも耳に残っているのは、以下の2つです。

・ ソフトウェアにおける OSS のメリットを、ハードウェアでも享受できるはずだ。

・ サーバーもデータセンターも、ユーザーがデザインすべきものである。

前者に関しては、GNU や Linux といった成功体験に基づいたものであり、それをソフトウェアに限定せずに、もっと柔軟に考えようという話です。 後者に関しては、クラウド・プロバイダーやデータセンター事業者といった、実際の運用を知っている者でなければ、そこでのニーズを形にできないという話です。 そして、何が OCP なのかと言えば、この 2つが OCP なのだというのが、いまの Agile_Cat の理解です。今年の OCP には、もっとたくさんのトピックがあり、その一部となってしまいますが、以下のリストを ご参照ください。

_  space

1/18: Open Compute Summit 2013 : エコロジーと Asia Pacific
1/18: Agile_Cat 空撮隊 – Facebook Prineville データセンターを捕捉せり
1/21:
Open Compute Summit 2013 – Directory
2/05:
Facebook と Open Compute は、$55B のサーバー市場を解体/再生する
2/09:
Open Compute Japan の FB ページが始まりました!
2/14:
OCP Summit 2013 キーノート : モノリスを破壊する!
3/04:
無印 サーバー は 22% UP : ブランド サーバー は DOWN – Gartner
3/05:
Intel と Facebook が実現する、100 Gbps でラックを貫く光学素材とは?
3/14:
OCP データセンターと、高温多湿気候との関係について
8/03:
Open Compute と Quanta : 台湾の無印サーバーが 米国マーケットを席巻
4/24:
Facebook が Iowa にもデータセンターを作る? これも デカイ!
4/25:
Facebook の空母のようなデータセンターを Web モニタリング!
5/14:
Facebook の Open Compute Project がオープン・スイッチに挑戦だ!
5/21:
Open Compute について、知っておくべき 10 の事柄
5/23:
Intel の Open Compute にかける意気込みがスゴイ : 100G Photonics
7/18:
Open Compute 台湾 が 立ち上がった!
8/27:
Intel の 1.6 TB/秒 転送 : その秘密を解く
8/28:
Google や Facebook は、サーバー用の カスタム CPU に取り組むだろう
9/19:
Facebook の DCIM : 独自のデータセンター管理システムを構築
9/20:
OCP の Rack Solution : Quanta QCT が Intel Dev Forum で発表!
10/01:
Intel が OpenStack を絶賛 : イノベーションに OSS は欠かせない
10/11:
Facebook Hardware Labs は、エンジニアにとって夢のような空間だ
11/12:
Quanta と OCP : Server/Storage/Switch/Rack などがデビュー!
11/13:
Facebook の Dragonstone : これは memcached の SSD 実装なのだ!
11/14:
Linaro が OCP に参加 : Linux on ARM in DC が加速していく!
11/26:
SAP と HANA が、Open Compute に恋する理由
11/27:
OCP:オープン・スイッチ仕様を Broadcom と Intel と Mellanox が提出

_  space

TAG indexシンプルであるが故に、OCP は人々の心をつかみ、その求心力を高め続けています。今年の 3月に Gartner が発表したレポートによると、2012年 Q4 における無印サーバーのシェアは 18% に至ったそうです。 もちろん、そこには Google や Amazon がデザインしたサーバーも含まれるため、すべてが OCP というわけではありません。 しかし、ソフトウェアと同様に、イニシアティブがベンダーからユーザーへと、徐々に移行している様子が見えてきます。

そして、Asia Pacific の OCP ですが、今年の 1月に Japan が立ち上がり、5月には Taiwan が立ち上がりました。 また、3月には Hong Kong で、11月には Korea で、ワークショップが開催されています。 OCP Japan の山口事務局長からのメールによると、現時点の会員数は 100に達しているそうです(法人+個人)。 よろしければ、以下の関連サイトも、ぜひ ご覧くださ~い!image

<関連>

Open Compute Japan Org
OCP Japan の Facebook ページ

Comments Off on 2013年 : Open Compute Project の マトメ

Linaro が OCP に参加 : それにより Linux on ARM in DC が加速していく!

Posted in Data Center Trends, Linux, Open Compute by Agile Cat on November 14, 2013

Linaro Brings Open Source Test Platform to Open Compute Project
http://wp.me/pwo1E-6Uh
Santa Clara, US – 28 Oct 2013
http://www.linaro.org/news/release/linaro-brings-open-source-test-platform-to-open-compute-project/en/

_ Linaro

Linaro has joined the Open Compute Project (OCP) as an official member and contributes the LAVA LMP (Linaro Multi-purpose probe) to the foundation

Linaro はオフィシャル・メンバーとして Open Compute Project (OCP) に参加し、このファンデーションに対して LAVA LMP (Linaro Multi-purpose probe) をコントリビュートする。

Linaro, the not-for-profit engineering organization developing open source software for the ARM® architecture, today announced that it has joined the Open Compute Project (OCP), an initiative launched by Facebook in 2011 to increase technology efficiencies and reduce the environmental impact of data centers.

Linaro(ARM® アーキテクチャのためのオープンソース・ソフトウェアを開発する非営利エンジニアリング組織)は、Open Compute Project(OCP)に参加することを、今日、発表した。この OCPとは、2011年に Facebook が立ち上げたイニシアチブであり、データセンターに関するテクノロジーを向上させ、環境への影響を軽減するものである。

_  space

_  space

OCP applies open-source software principles to the hardware industry to drive the development of the most efficient computing infrastructures at the lowest possible cost. Working with partners in both the hardware and software industries, it strives to achieve further innovation and efficiencies in scale computing technology. In parallel, Linaro – in particular within the Linaro Enterprise Group (LEG) – has become the place where a similar cross-section of companies collaborate on the future of Linux software on ARM-based servers. Linaro’s intention in joining OCP is to bring together the hardware and software discussion and help accelerate the release of more efficient server solutions. It will also contribute the specifications of the LAVA Multi-purpose Probe (LMP) to be made available through OCP. LMP boards extend the testing options for hardware incorporated into the Linaro Automated Validation Architecture (LAVA) test framework, which is available as an open source project.

OCP は、ハードウェアの世界にオープンソース・ソフトウェアの原則を適用することで、最も効率的なコンピューティング·インフラを、可能な限りコストを抑えたかたちで、開発していこうとする組織である。ハードウェアとソフトウェアの業界が、相互にパートナーシップを結ぶことで、スケールしていくコンピューティング・テクノロジーの、さらなる革新と効率化を達成しようと努めている。それと並行して、とりわけ Linaro の Enterprise Group (LEG) は、ARM ベース・サーバーにおける Linux ソフトウェアの将来を考慮し、企業同士が協調していく場を提供している。Linaro が OCP に参加する意図は、ハードウェアとソフトウェアという両者の議論を集約し、より効率的なサーバー・ソリューションのリリースを、加速させるところにある。また、LAVA Multi-purpose Probe (LMP) の仕様を、OCP を介して利用できるようにするための、コントリビューションも行っていく。LMP のボードは、オープンソース・プロジェクトとして提供される、Automated Validation Architecture (LAVA) テストフレームワークに、組み込むためのハードウェア・テスト・オプションを拡張していく。

“We’re excited to welcome Linaro into the Open Compute Project,” said Cole Crawford, executive director of the Open Compute Foundation. “The organization’s commitment to developing core open source software in a collaborative and transparent environment matches our own mission of openly sharing ideas and specifications to accelerate innovation in pursuit of the most efficient data center infrastructure.”

「 私たちは、Open Compute Project への Linaro の参加を、とても歓迎している。協調性と透明性を有する環境において、コアとなるオープンソース・ソフトウェアを開発していくという、この組織のコミットメントは、最も効率のよいデータセンター・インフラを追求するために、イノベーションを加速する発想や仕様をオープンに共有していく、私たち自身のミッションと一致する」と、Open Compute Foundation の Executive Director である Cole Crawford は述べている。

“We’ve been working closely with OCP since the founding of the Linaro Enterprise Group and the synergies between hardware and software in this space are very exciting,” said George Grey, Linaro CEO. “We’re very happy to be formally joining OCP and bringing the benefits of LAVA and LMP to a broader audience.”

「 私たちは、Linaro Enterprise Group の立ち上げ以来、OCP と緊密に協力してきた。 そして、このスペースにおける、ハードウェアとソフトウェアの相乗効果はきわめてエキサイティングなことである。私たちは、OCP にオフィシャルに参加することを喜んでおり、また、より幅広いオーディエンスに対して、LAVA と LMP のメリットを提供していきたい」と、Linaro の CEO である George Grey は述べている。

About Linaro

Linaro is the place where engineers from the world’s leading technology companies define the future of Linux on ARM. The company is a not-for-profit engineering organization with over 140 engineers working on consolidating and optimizing open source software for the ARM architecture, including developer tools, the Linux kernel, ARM power management, and other software infrastructure. Linaro is distribution neutral: it wants to provide the best software foundations to everyone, and to reduce non-differentiating and costly low level fragmentation. To ensure commercial quality software, Linaro’s work includes comprehensive test and validation on member hardware platforms. The full scope of Linaro’s engineering work is open to all online. To find out more, please visit http://www.linaro.org.

Linaro は、ARM 上の Linux における未来を定義する、世界有数のテクノロジー・カンパニーのエンジニアが集まる場所である。 同社は、非営利のエンジニアリング組織でありながら、140名以上のエンジニアを有し、ARM アーキテクチャのためのオープンソース·ソフトウェアの統合と最適化に取り組んでいる。具体的には、開発ツール/Linux カーネル/ARM パワー・マネージメントなどの、ソフトウェア・インフラへの取り組みも含まれる。Linano のディストリビューションは中立的なものである。 つまり、すべての人々に最高のソフトウェア基盤を提供し、非分化を抑制すると同時に、低レベルにおけるコストの掛かる断片化を軽減したいと望んでいる。商用レベルの高品質ソフトウェアを保証するために、メンバーが開発するハードウェア·プラットフォーム上での、包括的な試験と検証も、Linaro の作業に含まれている。 Linaro のエンジニアリング作業におけるフル・スコープは、その全てがオンラインで公開されている。詳細に関しては、以下の URL を参照して欲しい: http://www.linaro.org

For more information on the company, access to software and tools, and information on the community and open engineering, visit www.linaro.org

ーーーーー

image14なるほど! Linaro って、こういう組織であり、だから Open Compute とも仲良しなのですね! そうなると、ARM ベースの OCP サーバーとか、OCP ストレージとかの、とても興味深いスペックが、続々と OCP からリリースされてくるはずです。 ご興味が有りましたら、以前にポストした、『 Google や Facebook は、サーバー用の カスタム CPU に取り組むだろう 』という抄訳も ご参照ください。とても、楽しみですね!ーーー image141 @Seoul ( OCJ Engineering Workshop です)

ーーーーー

<関連>

OCP Summit 2013 キーノート : モノリスを破壊する!
Facebook と Open Compute は、$55B のサーバー市場を解体/再生する
Intel が OpenStack を絶賛 : イノベーションに OSS は欠かせない
Facebook Hardware Labs は、エンジニアにとって夢のような空間だ
Open Compute Summit 2013 : エコロジーと Asia Pacific

Facebook の Dragonstone : これは memcached の SSD 実装なのだ!

Posted in Data Center Trends, Facebook, Open Compute, Storage by Agile Cat on November 13, 2013

Facebook’s answer to serving 700TB of graph search data is lots of SSDs
http://wp.me/pwo1E-6U3
By Derrick Harris – OCT. 24, 2013
http://gigaom.com/2013/10/24/facebooks-answer-to-serving-700tb-of-graph-search-data-is-lots-of-ssds/

_ Giga Om

Summary: Facebook’s decision to include status updates and wall posts in Graph Search could be called great or creepy depending on the user, but it wasn’t an inconsequential decision technologically. In fact, it put a significant strain on the feature’s database infrastructure.

Summary: Status Updates と Wall Posts を Graph Search に取り込むという Facebook の判断は、ユーザーよっては素晴らしいことであり、また、不気味なものになるとも言えるが、テクノロジーの面から見ると、「 取るに足らない判断 」という類のものでは決してない。 実際のところ、この機能は、データベース·インフラに大きな負担をかけるのだ。

ーーーーー

Facebook’s graph search feature requires finding and serving the right data fast, and from a database that currently houses more than a trillion posts and 700 terabytes of data overall. In a Thursday morning blog post, engineer Ashoat Tevosyan dove into some of the challenges of building infrastructure that can handle these demands.

Facebook の Graph Search 機能では、正しいデータを素早く見つ出すというサービスが必要となるが、それらのデータは、すでに兆の単位で数えるポストと 700 T Bytes 収容する、データベースから抽出されるものとなる。木曜日の朝のブログ・ポストで、エンジニアである Ashoat Tevosyan が、これらの要求を処理するために必要なインフラを構築するための、いくつかの課題に踏み込んでいる

Facebook’s Dragonstone server.

One decision stood out to me was that Facebook opted for solid-state drives to store most of the data, saving only the most-frequently accessed stuff for RAM. This wasn’t a problem until Graph Search began including users’ posts, which drastically bumped up the size of the indexes it was dealing with. According to the post

私にとって、1つの突出した話は、ほとんどのデータを格納するために、Facebook が SSD を選んでいることであり、それにより、RAM への頻繁なアクセスを抑制していることであった。そして、Graph Search がユーザー・ポストなどを取り込むまでは問題が生じていなかったのだが、そこで取り扱うインデックス・サイズが、著しく巨大化してしまったのだ。彼のポストは、以下のように述べている。

“[S]toring more than 700 terabytes in RAM imposes a large amount of overhead, as it involves maintaining an index that is spread across many racks of machines. The performance cost of having these machines coordinate with each other drove the Unicorn [search infrastructure] team to look into new solutions for serving the posts index.”

「 RAM 上に 700 T Bytes 以上のデータをストアすると、複数のラック・マシンをまたいで分散されたインデックスの維持に関連して、相当量のオーバーヘッドが生じてくる。 それらのマシンにおけるパフォーマンス・コストを相互に調整するために、Unicorn(search infrastructure)チームが、ポスト・インデックスを提供するための、新しいソリューションの調査にとりかかった」

SSDs have been a key part of Facebook’s growth strategy for a while as an option for preserving the performance users require but saving on the high costs of storing data in RAM. In January, it unveiled a new all-flash server call Dragonstone for just such a purpose. In March, the company detailed a system it had built called McDipper, which is an SSD-based implementation of the popular memcached caching layer for RAM.

このところ、ユーザーが要求するパフォーマンスを維持するための選択肢として、Facebook の成長戦略の重要な一部を SSD が構成しているが、RAM 上にデータをストアすることで生じる、高いコストを緩和している。この 1月には、その目的だけのために、Dragonstone と呼ばれる、オール・フラッシュ・サーバーを新たに発表した。そして 3月には、McDipper と呼ばれる、同社で構築されたシステムが詳述された。それは、RAM レイヤにおいて人気の、memcached によるキャッシュを SSD に実装するというものである。

However, just because Facebook is using flash and SSDs a lot more often, that doesn’t mean the company is always happy about. As VP of Engineering Jay Parikh told me during the company’s Open Compute Summit earlier this year, if hard disks are like minivans and current flash drives are like Ferraris, Facebook is looking for the Toyota Prius of storage that delivers the right balance of speed, efficiency and cost.

しかし、Facebook がフラッシュと SSD を多用しているという状況において、それだけでは、同社が常に満足しているということにはならない。VP of Engineering である Jay Parikh が、今年の初めの Open Compute Summit で話してくれたのは、ハードディスクが Mini Van なら、いまのフラッシュ・ドライブは Ferrari のようなものだという例えである。 しかし Facebook が探しているのは、Toyota Prius のようなストレージであり、スピード/効率/コストを適切にバランスさせるものであると言う。

Check out the rest of Tevosyan’s post for more details on building the Graph Search indexes in HBase, harvesting user data from its MySQL cluster without throttling its performance and using Facebook’s new Wormhole technology to update the Graph Search index as changes happen to the MySQL data.

Graph Search のインデックスを、HBase で構築する際の詳細については、Tevosyan のポストをチェックして欲しい。 そのパフォーマンスを絞ることなく、MySQL クラスタからユーザー・データを取得するものである。 そして、MySQL データが変更されると、Graph Search インデックスが更新されるようにするために、Facebook は Wormhole  と呼ばれる、新たなテクノロジーを用いているようだ。

Related research

ーーーーー

imageなんというか、空前絶後のナレッジ・ノードを構成する、Open Graph を動かすためには、膨大なキャッシュが必要だということですね。しかも、「 RAM 上に 700 T Bytes 以上のデータをストアすると、複数のラック・マシンをまたいで分散されたインデックスの維持に関連して、相当量のオーバーヘッドが生じてくる」という、プロダクション・システムからのフィードバックをベースに考えたれたのが、この Dragonstone ということなのですね。 う~ん、驚愕です! それにしても、Tesla ではなく Prius が欲しいというのが、手堅い Facebook インフラ・チームらしくて、イイ感じです 🙂 image141

ーーーーー

<関連>

Open Compute について、知っておくべき 10 の事柄
Intel の Open Compute にかける意気込みがスゴイ : 100G Photonics だ!
Intel の 1.6 TB/秒 転送 : その秘密を解く
Google や Facebook は、サーバー用の カスタム CPU に取り組むだろう
Quanta と OCP : Server/Storage/Switch/Rack などがデビュー!
Facebook Hardware Labs は、エンジニアにとって夢のような空間だ

 

Comments Off on Facebook の Dragonstone : これは memcached の SSD 実装なのだ!

Quanta と OCP : Server/Storage/Switch/Rack などがデビュー!

Posted in .Selected, Asia, Data Center Trends, Open Compute by Agile Cat on November 12, 2013

Quanta Launches Open Compute Solutions, Including Open Rack
http://wp.me/pwo1E-6TH

October 24th, 2013 – By: Rich Miller
http://www.datacenterknowledge.com/archives/2013/10/24/quanta-launches-open-compute-solutions-including-open-rack/

_ DC Knowledge

For years, Quanta Computer has been building servers for Facebook and Rackspace based on design concepts advanced by the Open Compute Project (OCP). Today Quanta QCT launched a line of hardware products making those Open Compute designs available to a broader pool of customers.

Open Compute Project (OCP) の先進的なデザイン・コンセプトに基づき、Quanta Computer は長年にわたり 、Facebook や Rackspace のためにサーバーを構築してきた。そして、今日、Quanta QCT は、幅広い顧客層に対して提供が可能な、Open Compute ハードウェア・プロダクツのラインナップを立ち上げた。

Quanta QCT (short for Quanta Cloud Technology) is the U.S. business unit of Taiwan-based Quanta Computer, and is marketing its OCP server, storage and network gear under the Rackgo X brand. The new line includes two server solutions, one storage JBOD (model JBR) and one 10G SFP+ switch (model T3048-LY2). A server motherboard option, the Windmill F03, is also available.

Quanta QCT(Quanta Cloud Technology の略)は、Tairan ベースの Quanta Computer における、米国ビジネス・ユニットであり、Rackgo X ブランドの下で、OCPに対応するサーバー/ストレージ/ネットワークなどのギアを販売している。この、新しいラインナップには、2つのサーバー・ソリューションが取り込まれている。 1つは、ストレージである JBOD(モデル JBR)であり、もう1つは、10G SFP + スイッチ(モデル T3048-LY2 )であり、また、サーバーのマザーボード・オプションとして、Windmill F03 も選択できる。

The Quanta Windmill F03C is a half-width, Intel Xeon ES-2600 product family motherboard that features dual CPU sockets and 16x DIMM slots. (Photo: Quanta)

The Open Compute Project began as an open source showcase for Facebook’s design innovations, but over the past two years has evolved into an active community building cutting-edge hardware, disrupting the traditional IT supply chain, and laying the groundwork for future innovation.

Open Compute Project は、Facebook のデザイン・イノベーションに関する、オープンソースのショーケースとして始まったが、これまでの 2年間において、最先端のハードウェアを構築する、活発なコミュニティへと進化してきた。 それは、従来からの IT サプライ・チェーンを破壊し、将来へ向けたテクノロジー・イノベーションの基礎を築くものである。

“Our customers are on a continual quest for the most capital and operationally efficient data center design,” said Mike Yang, the general manager of Quanta QCT. “The Open Compute Project is intended to address this need, and Rackgo X is the culmination of our long-term OCP design and development effort. Working with innovators like Facebook and Rackspace, Quanta has developed the most comprehensive lineup of OCP spec products available on the market.”

「 私たちのカスタマは、最も投資効率がよく、また、効果的に運用できる、データセンター・デザインを継続的に探求している。Open Compute Project は、こうしたニーズに対応するよう意図されたものである。 そして、Rackgo X は、長期間にわたる OCP の設計と開発に取り組んできた、結果としての集大成である。Facebook や Rackspace といった革新的な企業と協力して、Quanta は OCP スペック・プロダクツを開発してきた。 そして、最も包括的なラインアップを、マーケットで入手できるようにした」と、Quanta QCT の General Manager である Mike Yang は述べている。

Adopting Wider Open Rack Design

Quanta provided design, engineering and manufacturing support for Facebook as the social network developed custom hardware for its first data center in Prineville, Oregon. The Rackgo X lineup is inspired by OCP’s Open Rack standard, which provides a 21-inch wide slot for servers, expanding upon the 19-inch width that has long been the standard for data center hardware. The wider form factor will create more room for improved thermal management, as well as better connections for power and cabling.

Facebook が Prineville, Oregon のデータセンター用に、初めてカスタム・ハードウェアをデザインしたとき、デザイン/エンジニアリング/マニュファクチャリングのサポートが、このソーシャル・ネットワークに対して、Quanta から提供されたのだ。Rackgo X ラインナップは、21 inch 幅のサーバー・スロットを装備する、OCP の Open Rack スタンダードに触発されたものとなっている。つまり、長年にわたり、データセンター・ハードウェアの標準であった、​​19 inch 幅を拡大したものである。この幅広のフォーム/ファクタは、熱処理のための空間を広げるだけではなく、電源とケーブルのための、より優れたコネクションを実現する。

All the products in the Rackgo X line will be contributed back to the Open Compute Foundation so others in the industry can build upon them.

Rackgo X ラインナップの、すべてのプロダクトは、Open Compute Foundation にコントリビュートされるため、この業界における他社であっても、それらをもとにプロダクトを構築できる。

“We are thrilled to see Quanta join the ranks of Open Compute Project Solutions Providers, and to see them expand their commitment to open source hardware by contributing their innovative designs back to the foundation,” said Frank Frankovsky, vice president of infrastructure, Facebook and chairman and president of the Open Compute Foundation. “Investments like this, from companies like Quanta, are exactly the kind of thing that is helping the OCP community make data center technologies more innovative, more efficient, and more sustainable.”

「 私たちは、Quanta が Open Compute Project Solutions Providers の仲間に入り、また、彼らの革新的なデザインが、このファンデーションにコントリビュートされることで、オープンソース・ハードウェアへのコミットメントが拡大される様子を見て、とても喜んでいる。Quanta のような企業からの、このような投資は、まさに OCP コミュニティを支援するものであり、それにより、データセンター・テクノロジーが革新的になり、効率性と持続性が実現されることになる」と、Facebook の VP of Infrastructure と、Open Compute Foundation の Chairman and President と兼任する、Frank Frankovsky は語っている。

Customers Include Rackspace

Quanta is the sixth company to qualify as an Open Compute solution provider, joining Hyve Solutions, Avnet, Amax, Penguin Computing and Racklive. But although it’s a little later than some rivals in getting official solution provider status, Quanta’s early mover status has earned it plenty of mindshare. With products QCT developed for Rackspace Hosting, it’s gaining market share as well.

Quanta は、 Hyve SolutionsAvnet/Amax/Penguin Computing/Racklive などで構成される、Open Compute Solution Provider としての基準を充たす、六番目の企業となる。しかし、オフィシャルなソリューション・プロバイダの死角を得るのが、それらののライバルより遅れたにもかかわらず、Quanta の立ち上がりとしての状況は、たくさんのマインドシェアを得ている。そして、Rackspace Hosting のために開発した QCT プロダクツにより、マーケット・シェアも獲得している。

“It’s important for Rackspace and the OCP community to innovate using open hardware standards,” said Wesley Jess, vice president of supply chain for Rackspace. “This enables us to leverage the best engineering talent across the globe and to bring products to market faster in an efficient and scalable way. To maximize on this opportunity, we have chosen Quanta as one of our technology providers because they offer substantial experience with OCP technology in demanding and highly scalable computing environments.”

「 それは、オープン・ハードウェア標準を、利用/革新していく Rackspace と OCP コミュニティにとって重要なことである。 つまり、世界にまたがるベスト・エンジニアリングの才能を活用し、また、効率的でスケーラブルな方法で、プロダクツを最短の時間で市場に届けられるようになる。 このチャンスを最大限に活用するために、私たちはテクノロジー・プロバイダーの一社として、Quanta を選択している。 なぜなら、彼らは、きわめてハイ・スケーラブルなコンピューティング環境で、OCP テクノロジーを活用するための豊富なエススペリエンスを提供してくれたからだ 」と、Rackspace VP of Supply Chain である Wesley Jess は語っている。

Product lineup details include:

  • F03A Server: A high-density, 2OU (Open Rack unit) high-density server designed for compute intensive workloads.
  • F03C Server: – This 2OU / 3 node design allows enhanced I/O flexibility, enabling simplified data center operations.
  • JBR Storage: Based on Quanta’s patented “hidden shelf” design, the JBR doubles density and storage capacity with 28 hot-swappable 3.5” drives in a 2OU configuration.
  • T3048-LY2 Switch: Designed for both public and private cloud deployments with layer 2 and layer 3 networking topologies, the T3048-LY2 delivers high performance, low latency and dual speed 1/10 gigabit Ethernet capabilities.
  • Windmill F03 Server Motherboard Option: The Quanta Windmill F03 is a half-width, Intel Xeon ES-2600 product family motherboard that features dual CPU sockets and 16x DIMM slots for workloads demanding high performance infrastructure. They can be inserted into different Rackgo X enclosures.
  • F03A Server:  高密度の  2OU (Open Rack ユニット) サーバーであり、主としてコンピューティング・ワークロードのためにデザインされている。
  • F03C Server:  2OU / 3 ノード・デザインにより、I/O の柔軟性を拡張し、データセンター運用を簡素化する。
  • JBR Storage: Quanta が特許取得している、 “hidden shelf” デザインを基にした倍密度のストレージ容量を持つ JBR であり、2OU コンフィグレーションに 28 台の、ホットスワップ対応の 3.5 "ドライブを取り込む。
  • T3048-LY2 Switch: Layer 2/Layer 3 のネットワーク・テクノロジー を用いて、パブリック/プライベート・クラウドにディプロイするためにデザインされている。この T3048-LY2 は、ハイ・パフォーマンスで、低レイテンシの、1G/10G ディアル・スピードに対応する、イーサネット機能を提供する。
  • Windmill F03 Server Motherboard Option:  Quanta の Windmill F03 は、ハーフサイズの Intel Xeon ES-2600 マザーボードを持ち、高性能インフラが要求されるワークロードに対応する、デュアル CPU ソケットと 16x DIMM スロットを提供する。また、それらのマザーボードを、別の Rackgo X エンクロージャに挿しこむことも可能である。

To help customers get started quickly with Rackgo X, Quanta also offers three reference architectures. The X300 architecture is designed for compute-intensive workloads, while the X500 architecture targets storage- and bandwidth-intensive workloads, and the X700 architecture is tuned for Hadoop and other, more balanced workloads.

Rackgo X を使用する顧客の、迅速な立ち上げを支援するために、Quanta は 3つのリファレンス·アーキテクチャを提供している。 X300 アーキテクチャは、コンピューティングを主体とするワークロードのためにデザインされている。 X500 アーキテクチャは、ストレージと帯域幅が重視されるワークロードをターゲットにしている。 そして、X700 アーキテクチャは、Hadoop などの、バランスが必要とされるワークロードに最適化されている。

Quanta QCT is headquartered in Fremont, Calif. Its parent company, Quanta Computer, Inc., is a $34 billion company with more than 100,000 employees. It is an original design manufacturing (ODM) provider that provides an alternative to working with original equipment manufacturers (OEMs) like Dell, HP and IBM that have dominated server sales in the U.S.

Quanta QCT は、Fremont, Calif に本社を置いている。その親会社である Quanta Computing は、10万人以上の従業員と、$34 billion の売上を有する。同社は、ODM(original design manufacturing)プロバイダーであり、米国内のサーバー市場を支配する Dell/HP/IBM といった、OEM(original equipment manufacturers)の代替として機能している。

RELATED POSTS:

Rackspace: We’ll Fill Data Centers With Open Compute Gear
New COO Named for Open Compute Foundation
How Open Compute is a Win for Rackspace
Open Compute Shakes Up Server Supply Chain
Scenes From The Open Compute Summit

ーーーーー

open-compute先月の Intel Dev Forum で、Quanta QCT から一連のプロダクツが発表されたというニュースが入り、とても楽しみにしていたことです。ハードウェアの Disaggregattion が進むと、こんなふうにプロダクツのラインナップが構成されるのだという、とてもわかり易い事例になっていると思います。それと、Gartner の 2012 Q4レポートでは、 無印サーバー が 22% UP と伝えられていましたが、ことしは、どれくらい伸びるのでしょうね? いろいろなものが、ドンドンと形になり始め、勢いを増す Open Compute Project です! image

ーーーーー

<関連>

Open Compute と Quanta : 台湾の無印サーバーが 米国マーケットを席巻する!
Facebook と DCIM : オープンな議論を期待できるのか?
Facebook の DCIM : 独自のデータセンター管理システムを構築
Intel が OpenStack を絶賛 : イノベーションに OSS は欠かせない
Facebook Hardware Labs は、エンジニアにとって夢のような空間だ

Comments Off on Quanta と OCP : Server/Storage/Switch/Rack などがデビュー!

Facebook Hardware Labs は、エンジニアにとって夢のような空間だ

Posted in .Selected, Data Center Trends, Facebook, Open Compute by Agile Cat on October 11, 2013

A Rare Tour Of Facebook’s Hardware Labs And The Amazing Stuff It Builds There
http://wp.me/pwo1E-6LJ

Julie Bort – OCT. 7, 2013
http://www.businessinsider.com/tour-of-facebooks-hardware-labs-2013-10

_ Business Insider

People share more than 4.75 billion things every day on Facebook, like status updates, wall posts, photos, videos and comments, Facebook says. They also "Like" more than 4.5 billion things daily and send more than 10 billion messages.

Facebook の説明によると、そのステータス・アップデート/ウォール・ポスト/フォト/ビデオ/コメントなどにおいて、人々が共有していくものは、1日あたり 47.5億件になるらしい。  そして、45億個の LIKE と、100億以上のメッセージが配信されている。

Business Insider
Julie Bort

It requires a mind-boggling huge technical infrastructure to deliver all of that — hundreds of thousands of servers, hard drives, and so on.

そのために必要とされるのは、気の遠くなるよう規模のテクノロジー・インフラであり、具体的には、数十万台のサーバーと、それに付随するハード・ドライブなどとなる。

A few years ago, Facebook started building its own hardware to come up with ways to make these things cost less, use fewer parts and less electricity, yet perform better than products offered by typical enterprise tech companies like IBM, HP, Dell, and Cisco.

数年前に Facebook が作り始めた独自のハードウェアは、そこで用いるパーツの点数と、消費される電力を抑えることで、全体的なコストを引き下げるものであった。とはいえ、IBM/HP/Dell/Cisco といった、典型的なエンタープライズ・ハイテク会社が提供するプロダクツと比較して、そのパフォーマンスを向上させたものとなる。

Google and Amazon design their own hardware too, but those companies are secretive about their creations. Facebook not only talks about its hardware, it gives these designs away for free, a concept called "open source hardware."

その意味では、Google も Amazon も独自のハードウェアをデザインしているが、その内容に関しては、企業秘密として取り扱われている。 ところが Facebook は、そのハードウェアについて説明するだけでなく、"Open Source Hardware" というコンセプトにより、デザイン自体を開放してしまったのである。

It wants people to use its designs and contribute their own ideas. About two years ago, it launched a project called the Open Compute Project to take charge of its open source hardware and there’s been an upwelling of interest for OCP all over the world. Anyone can grab a design, fine-tune it and send it to OCP-certified contract manufacturers.

そこで望まれるのは、人々によるデザインの活用であり、アイデアのコントリビューションである。約 2年前に立ち上げられた Open Compute Project は、オープンソース・ハードウェアの役割を担うものであり、また、世界中の関心を高めるものとなった。誰もが、そのデザインを利用でき、また、微調整した後に、OCP サーティファイドのマニュファクチャに送り付けることが可能となる。

Ultimately this project could change how all enterprise hardware is designed and bought, upending a massive market that currently generates more than $100 billion a year.

最終的に、このプロジェクトは、すべてのエンタープライズ·ハードウェアの、デザインとセールスにおける方式を変化させ、現時点で $100 billion(年)と言われる、巨大な市場を根底からひっくり返すものになる。

↓ クリックで Facebook ページヘ ↓

We previously showed you about a dozen-game changing hardware products that OCP has already produced. On a recent visit to Facebook, we were given a rare tour of the Facebook hardware labs, a mechanical engineer’s dream playground where much of this stuff gets invented.

これまでにも、OCP がデザインしてきた、いくつかのゲーム・チェンジ・ハードウェア製品を紹介してきた。 そして、つい先日に Facebook を訪問した際に、その Hardware Labs を見学するという、素晴らしいチャンスに巡り会えた。そこは、この種のプロダクツが数多く発明されていくという、メカ・エンジニアにとって夢のような空間であった。

ーーーーー

open-compute最後の何枚かの写真で、今年の 1月に お邪魔したビルに、こんなラボか隠れていた、、、ということが分かりました 🙂 それにしても、スゴイ設備であり、ここで組み立てられた、ラック単位のサーバーが、データセンターに移送/設置されていくのでしょうね。 そして、OCP のカウンター・パートである OCP Japan も、着々と体制を整えつつあります。 すでに、いくつかのワーキング・グループが構成され、これから具体的な活動に入っていくとのことです。image

ーーーーー

<関連>

OCP の Rack Solution : Quanta QCT が Intel Dev Forum で発表!
OCP Summit 2013 キーノート : モノリスを破壊する!
Facebook と Open Compute は、$55B のサーバー市場を解体/再生する
OCP データセンターと、高温多湿気候との関係について
Intel と Facebook が実現する、100 Gbps でラックを貫く光学素材とは?

Comments Off on Facebook Hardware Labs は、エンジニアにとって夢のような空間だ

%d bloggers like this: