Agile Cat — in the cloud

Instagram が達成した史上最大のマイグレーション:200億枚のイメージを AWS から Facebook Bare-Metal へ!

Posted in Bare-Metal, Data Center Trends, Facebook, Open Compute by Agile Cat on July 8, 2014

Instagram moves 20 billion images to Facebook servers
http://wp.me/pwo1E-7E4

Mike Wheatley | June 30th
http://siliconangle.com/blog/2014/06/30/instagram-migrates-20-billion-images-shifted-to-facebooks-servers/

_ Silicon Angle

Instagram announced last week that it’s picked up its billions of images stored in Amazon Web Services (AWS) and dumped them into Facebook’s own servers in one of the largest data migration operations ever undertaken.

先週のことだが、Instagram は史上最大規模のデータ·マイグレーションへの取り組みの中で、Amazon Web Services (AWS)に保存された何百億枚というイメージを取り出し、Facebook が提供する独自のサーバー群に投げ込んだと発表した。

News of the move came from this interview with Facebook infrastructure engineer and Open Compute Foundation program developer Charlie Manese. Manese revealed that the massive migration took about a year to organize and an additional month to carry out. As a result of moving onto Facebook’s infrastructure, Instagram now uses about a third fewer servers, something that significantly reduces its operating costs, Manese notes.

この出来事に関するニュースは、Facebook の Infrastructure Engineer と Open Compute Foundation の Program Developer を兼任する Charlie Manese とのインタビューから得られたものである。Manese の説明から、この大規模なマイグレーションを実施するために、約1年という長い歳月が費やされ、また、収束のために1ヶ月が追加されたことが分かってきた。この、Facebook インフラストラクチャへ移行した結果として、これまでと比べて 1/3 というスケールにサーバー数が集約され、Instagram の運用コストなどが大幅に削減されたと、Manese は指摘している。

Wired later posted an in-depth article on the transition – which has been called the “Instagration” within company circles – and notes that it was unlike any other. With previous migrations – such as with FriendFeeed – Facebook was able to shut the service down before shifting all of its data into its own shop. But Instagram is vastly larger and still growing rapidly. The operation involved shifting images from thousands of virtual machines in AWS’s cloud infrastructure to Facebook’s private data centers without disrupting service.

このマイグレーションに関する詳細な記事が、後になって Wired からもポストされているが、このチーム内では Instagration と呼ばれていたこと、そして、他のケースと異なるものであったことが指摘されている。たとえば FriendFeeed のケースなどの、これまでのマイグレーションにおいて、Facebook はシャットダウンさせてから、すべてのデータを移行することが可能であった。しかし、Instagram の場合は、その規模もきわめて大きく、また、急速に成長している最中にいる。つまり、Instagram の サービスを中断することなく、AWS のクラウド·インフラストラクチャーである数千の仮想マシンの中から、夥しい量のイメージを、Facebook のプライベート・データセンターへ移すという作業が必要であった。

Being on Facebook’s own infrastructure not only saves operational costs but means that Instagram can now take advantage of Facebook’s advertising and analysis tools. That could mean more advertising in the future. Instagram can also benefit from dozens of other tools Facebook has built, such as its spam blocking software.

Facebook のインフラストラクチャで運用することで、Instagram はコストの削減を可能にするだけではなく、Facebook の広告/分析ツールも利用できるようになる。つまり、その将来において、より以上の広告を展開できるようになるかもしれない。さらに Instagram は、すでに Facebook が組み込んでいる、スパム・メール・ブロック・ソフトウェアなどの、数多くのツールからの恩恵も受けることになる。

The sheer complexity of this migration also illustrates how companies can make huge gains in efficiency when they build their own infrastructure – just like Facebook has with its open-source, Open Compute data centers. Facebook’s own data centers run 38 percent more efficiently and are 24 percent less expensive than the average data center, according to the Open Compute website.

このマイグレーションは、かなり複雑なものであるが、独自のインフラストラクチャを構築する際に、きわめて効果的に膨大な利益をもたらす方式を、この両社は示しているのかもしれない。 まさに、それが、Facebook がオープンソースとして有している、Open Compute データセンターである。Open Compute の Web サイトによると、平均的なデータセンターと比較して、Facebook のデータセンターでは、38% の効率化と 24% のコスト削減が達成されているという。

ーーーーー

4月3日の TechCrunch が、「グリーンピース、Amazonを叩き、Apple、Google、Facebookを賞賛」というタイトルで、Greenpeace のレポートを紹介していましたが、その記事の中の図版では、Instagram が Facebook にホストされているように描かれていました。 その他にも、WhatsApp が IBM に居たり、SnapChat が Google に居たりしていて、Greenpeace の調査力に驚いた記憶があります。 それにしても、あの Instagram を止めることなく、別のクラウドへ移行させるのは、並み大抵のことではないでしょう。 そして、VM ⇒ Bare-Metal への移行により、パフォーマンスも大きく変化しているはずです。 まさに、進撃のベアメタルですね!

ーーーーー

<関連>

SAP と HANA が、Open Compute に恋する理由
Rackspace の OnMetal サービスが、Post-VM 時代のクラウドを提起する
IBM のクラウド戦略:SoftLayer London データセンターが立ち上がる
各サービス の モバイル率 を調査する : LinkedIn 22%、Facebook 65%、Instagram 97% など
ソーシャルと、若ものと、ショッピング : FB と TW を Instagram が追撃する!

Rackspace の OnMetal サービスが、Post-VM 時代のクラウドを提起する

Posted in .Selected, Bare-Metal, Data Center Trends, Open Compute, OpenStack, Rackspace, Strategy by Agile Cat on July 4, 2014

Rackspace’s OnMetal service eliminates "noisy-neighbor" problems
http://wp.me/pwo1E-7Dx

By Michael Kassner July 1, 2014
http://www.techrepublic.com/article/rackspaces-onmetal-service-eliminates-noisy-neighbor-problems/

Has VM server technology finally outlived its usefulness? Rackspace and some major clients seem to think so.

仮想サーバーのテクノロジーは、その有用性という観点で、長生きし過ぎているのだろうか? Rackspace と、主要な顧客たちは、そう考えているようだ。

Last year, Dell and HP lost a key customer — Rackspace. Up until then, the two companies supplied Rackspace with upwards of 90,000 servers. Rackspace, like Facebook, now designs its own servers using guidelines from the Open Compute Project. Quanta Computer builds the custom servers for Rackspace.

昨年のことだが、Dell と HP は、重要な顧客である Rackspace を失っている。それまで、この両社は、90,000台以上のサーバーを Rackspace に供給してきた。しかし、いまの Rackspace は Facebook のように、Open Compute Project のガイドラインを用いて、自らのサーバーをデザインしている。 そして Quanta Computer が、Rackspace のためのカスタム·サーバーを構築している。

Image: Rackspace

This past week, Taylor Rhodes, President of Rackspace, announced in this video what was in store for these servers — a new Rackspace offering called OnMetal. Put simply, Rackspace, besides providing customers multi-tenant virtual machine (VM) servers, will now rent single-tenant dedicated servers.

先週のことだが、Rackspace の President である Taylor Rhodes は、彼らの OnMetal という新しいサーバーに、ストアされるものをビデオで発表した。簡単に言うと、これからの Rackspace は顧客たちに、マルチテナントの仮想マシン(VM)サーバーを提供するだけではなく、シングルテナントの専用サーバーをレンタルすることになる。

Why single-tenant servers?

Rhodes listed a whole slew of reasons why multi-tenant VM servers were not meeting customer needs, calling the issues "noisy-neighbor" problems. The predicament was first noticed when one tenant on a VM server co-opted most of the server’s resources. Doing so caused variability in how the other VMs behaved and performed, even to the point where availability was not assured.

Rhodes は、マルチテナントVMサーバーが、顧客のニーズを満たせなかった理由を列挙し、すべてが "noisy-neighbor(迷惑な隣人)" の問題だと切り捨てている。この不具合は、VMサーバー上のテナントが、そのサーバーの大半を共有すると選択したときに、初めて気づくものである。 そのような状況では、他の VM の振る舞いや、その処理の内容に応じて、自身の VM に性能のバラつきが生じることになり、可用性が保証できないレベルに至ることもある。

Rhodes stated that clients, not seeing any other choice, attempted to thwart these issues by over-provisioning their server requirements, aggravating the situation even more. Something else often overlooked is that each VM instance adds what Rhodes considers "virtualization tax." The performance hit each additional VM instance places on the physical server.

Rhodes は、こうしたサーバーのオーバー・プロビジョニングによる問題を、他の選択肢を探すことなく阻止しようとする顧客は、さらに状況を悪化させると述べている。その他で見落とされがちなものとしては、それぞれの VM インスタンスが積み上げていく "virtualization tax” があると、Rhodes は考えている。つまり、物理サーバー上に追加された、それぞれの VM インスタンスにより、パフォーマンスが劣化していくことになる。

Image: Rackspace

One solution that eliminates the noisy-neighbor problem is to place critical services on dedicated servers in colocation centers. However, companies renting dedicated hardware lose a lot in the process. According to Rhodes, "In a colocation center, you lose the simplicity and elasticity a multi-tenant cloud gives you."

この、noisy-neighbor の問題を排除するソリューションとして、コロケーション·センター内の専用サーバーに、重要なサービスを配置するという考え方がある。しかし、専用のハードウェアーをレンタルするプロセスの中で、顧客となる企業は大きなロスを生じる。Rhodes は、「コロケーション・センターにおいては、マルチテナント・クラウドが提供するはずの、シンプルでエラスティックという特性が失われる」と述べている。

Elasticity refers to "how well the datacenter can satisfy the growth of the input VMs resource demands under both the limitations of physical machine capacities." So there’s the trade-off: performance variability vs. ease and quickness of provisioning.

ここでい言うエラスティックだが、「物理マシンのキャパシティという制約の下で、要求に応じて VM リソースを投入し、データセンターの成長を達成する」という意味を持つ。したがって、そこには、” パフォーマンスの変動性 vs 迅速で容易なプロビジョニング ” というトレードオフがある。

With Rackspace’s new service, there’s no trade-off

Rackspace took the best parts of the multi-tenant cloud and colocation services and discarded the parts that weren’t working. To do that, Rackspace took its OnMetal server design, enlisted OpenStack cloud software, (specifically Ironic, a provisioning system built for bare-metal servers), and created a service that lets providers work with non-VM servers (OnMetal) in the same manner and flexibility VM servers are provisioned.

Rackspace が選んだ方針は、マルチテナント・クラウドとコロケーション・サービスからの良いとこ取りである。そのためには Rackspace は、OpenStack クラウド·ソフトウェアを組み入れれる(ベアメタル・サーバー用に構築された Ironic プロビジョニング・システムが特徴)、OnMetal サーバーを自身でデザインすることになった。その結果として、顧客であるサービス・プロバイダーたちは、non-VM サーバー(OnMetal)を動かしながら、VM サーバーのプロビジョニングで実現される方式と柔軟性を手に入れられる。

Rhodes stated OnMetal servers:

Rhodes は OnMetal サーバーについて、以下のように述べている:

  • Are 100% solid-state, no heat (other than the Central Processing Unit), and no vibration as fans are outside the server housing;
  • Can be spun up in minutes, just like VMs;
  • Are Application Program Interface (API) driven and accessible just like VMs;
  • Do not use a Hypervisor; and
  • Are hardware specialized for database services, low-latency caching, or web-request handling.
  • 100% の独立性を持ち、自身の CPU 以外に負荷はなく、他のサーバーからの影響も排除される。
  • VM と同様に、数分でプロビジョニングを完了できる。
  • VM と同様に、API を介した駆動とアクセスを実現する。
  • ハイパーバイザーは使用しない。
  • DB サービス/低レイテンシ・キャッシング/Web リクエスト処理などにハードウェアを特化できる。

To give an example of the hardware specialization, a database-focused OnMetal server would have the following specs:

以下は、データベースに特化した OnMetal サーバーの、ハードウェア仕様のサンプルである:

  • Flash storage: 3.2 Terabytes
  • RAM: 128 Gigabytes
  • IOPS: Greater than 200,000

The Rackspace website offers the following additional details for the OnMetal service:

また、Rackspace は OnMetal サービスに関して、以下のような詳細を、その Web サイトで提供している:

  • Fast provisioning: OnMetal Servers can be provisioned in less than five minutes.
  • Integrated administration: Use the same control panel and API interfaces for both OnMetal servers and virtual-cloud servers.
  • Consistent performance: Single-tenant architecture eliminates "noisy neighbors," and no performance hits to the virtualization layer.
  • Open-source standards: Avoid being locked into a proprietary solution, as hardware and software are both open source.
  • High-performance networking: Each cabinet includes two 10Gb/s network connections in a high availability Multi-Chassis Link Aggregation with minimal over-subscription to help increase throughput and performance for your applications.
  • Fast provisioning: OnMetal Servers は 5分以内にプロビジョニングされる。
  • Integrated administration: OnMetal/VM サーバーに対して、同一のコントロール・パネルと API インターフェイスが提供される。
  • Consistent performance: シングル・テナント・アーキテクチャにより "noisy neighbors” を排除し、また、仮想レイヤによるパフォーマンス劣化も排除する。
  • Open-source standards: ハードウェアとソフトウェアはオープンソースであるため、プロプライエタリ・ソリューションにロックインされない。
  • High-performance networking: それぞれのキャビネットには、2つの 10Gb/s ネットワーク接続が含まれる。この、高可用性 Multi-Chassis Link Aggregation と、最小限の over-subscription により、アプリケーションのスループットとパフォーマンスを高レベルに保つ。

Satisfied clients

During the announcement, Rhodes introduced several Rackspace clients that are onboard with the OnMetal approach. Zach Rosen, CEO and cofounder of Pantheon Systems, said, "We’ve all been trained to think of the cloud as generic virtual machines on demand. VMs have had their decade. The future ‘Cloud’ will be built with containers deployed across bare-metal servers provisioned via API. We believe Rackspace’s OnMetal service is the future of Infrastructure as a Service.”

このアナウンスメントにおいて Rhodes は、OnMetal アプローチに賛同する、何社かの Rackspace クライアントを紹介している。Pantheon Systems の coFounder and CEO である Zach Rosen は、「 私たちの、すべてが、オンデマンドで仮想マシンを生成するものが、クラウドだと教えこまれてきた。そして VM は、その十年を享受した。しかし、これからのクラウドは、API を介してプロビジョニングされたベアメタル・サーバー上に、デプロイメントされるコンテナにより構築されるだろう。 私たちは、Rackspace の OnMetal サービスが、IaaS の未来になると信じている」と述べている。

OnMetal is available now through an early availability program, and will be in general availability by late July 2014. To learn more and to sign up for a test drive, head over to this page at Rackspace.

現時点の OnMetal は、early availability program として利用できる。 そして、一般的な運用は、7月の後半から開始される。 テスト・ドライブについては、この Rackspace のページで確認し、Sign Up してほしい。

ーーーーー

ハードウェアの性能が高まり、それかオープンソース化により低価格で提供されるようになると、サーバーを設計/構築する上での発想が、その根底から刷新されます。 ハードウェアが高価であった時代の改革者であった VM も、最先端のポジションを Bare-Metal に明け渡し、それをサポートするものへと、役割を変えていくのかもしれませんね。 San Antonio の Rackspace HQ で、第2回めの OCP Summit が開催されたのが 2012年 5月ですから、そこから 2年の月日が流れています。 頑張りましたねと、声をかけてあげたくなる、Rackspace です!

ーーーーー

<関連>

Rackspace と CERN が推進する OpenStack ハイブリッド戦略とは?
SAP と HANA が、Open Compute に恋する理由
Facebook は Open Compute のおかげで、この3年で 1200億円も節約できた!
Facebook Hardware Labs は、エンジニアにとって夢のような空間だ
Open Compute と Quanta : 台湾の無印サーバーが 米国マーケットを席巻する!
Open Compute Project : ついに Microsoft も参加を表明した!

Facebook と Open Compute から、ついに Wedge という名の オープン・スイッチが発表された!

Posted in .Selected, Data Center Trends, Facebook, Network, Open Compute, Strategy by Agile Cat on June 20, 2014

Facebook to share first Open Compute Switch, the Wedge
http://wp.me/pwo1E-7AG

By Juha Saarinen on Jun 19, 2014
http://www.itnews.com.au/News/388499,facebook-to-share-first-open-compute-switch-the-wedge.aspx

Operates like an FBOSS.

Social networking site Facebook says it has built and is testing its first modular network switch, the Wedge, which it claims will provide the same power and flexibility as a server.

ソーシャル・ネットワーク・サイトである Facebook が言うには、初めてのモジュール式ネットワーク・スイッチである Wedge の構築が終わり、いまはテストの段階にあるようだ。 そして、この Wedge であるが、OCP サーバーと同様の、パワーとフレキシビリティを提供するという。

The work on the Wedge has been done by Facebook as part of the Open Compute Project, alongside vendors such as Broadcom, Intel, Mellanox and Accton which also contributed designs for open switches.

Wedge に関する作業は、 Open Compute Project 一環として、Facebook により完了しているが、いくつかのオープン・スイッチのデザインをコントリビュートした、Broadcom/Intel/Mellanox/Accton といったベンダーとの協業の結果でもある。

Facebook engineers Yuval Bachar and Adam Simpkins say the Wedge switch represents a departure from current networking design paradigms, and aims to run more like the existing OCP servers the company operates already.

Facebook のエンジニアである Yuval Bachar と Adam Simpkins は、この Wedge スイッチについて、現在のネットワーク・デザイン・パラダイムからの旅立ちを表現し、数多くの企業ですでに稼働している、現在の OCP サーバーのような世界を目指していると言う


クリックで拡大 ⇒

Hardware schematic of Facebook’s OCP Wedge switch

To achieve this, Facebook added a "Group Hug" microserver that punts packets inside the Wedge.

このアーキテクチャを実現するために、Facebook は Wedge の内部に、パケットを運ぶための Group Hug マイクロサーバーを追加している。

This is based on a 64-bit ARM-based AMD Opteron A1100 processor that was announced in January this year and is substantially smaller than the switching backplane form the 16 40 gigabit per second ports.

それは、今年の 1月に発表された 64 Bit ARM ベースの、AMD Opteron A1100 プロセッサをベースにしたものであり、16 個の 40 G bps ポートを構成する、既存のスイッチング・プレーンよりも、かなり小型化されている。

Facebook said it wants a proper server in the switch to bring the devices into their distributed management systems and run a standard Linux-based operating environment.

そして Facebook は、自身の分散マネージメント・システムにデバイスを取り込み、また、標準的な Linux を運用するスイッチのための、適切なサーバーを作り上げたいと述べている。

The Linux-based operating system for the switch is aptly named FBOSS and uses existing software libraries and systems that manage Facebook’s servers. This includes initial installation, upgrades, downgrades and decommissioning of systems in data centres.

このスイッチのための Linux ベース OS は、FBOSSという適切な名前を持つものであり、また、Facebook のサーバーを管理するために、既存のソフトウェア・ライブラリやシステムを使用するものとなる。このマネージメントの概念には、データセンター内における、イニシャル・インストールおよび、アップグレード、ダウングレード、システムの廃止などが含まれている。

Both the Wedge and FBOSS are being tested in Facebook’s network at present, ahead of the release of the designs to the OCP so that other members can use them.

いま、Wedge と FBOSS の双方が、Facebook のネットワーク内でテストされており、また、OCP のメンバーたちが利用できるようにするために、そのリリースへ向けてデザインを固めている状況にある。

The Open Compute Project was launched by Facebook in 2011 and aims to innovate open, scalable data centre technologies, with hardware and software that can be modified and replaced by users.

この Open Compute Project とは、2011年に Facebook により立ち上げられたものであり、ユーザーによる改変/置換が可能なハードウェア/ソフトウェアを用いて、オープンでスケーラブルなデータセンター・テクノロジーを革新していこうという目的を持っている。

Beyond server and networking technologies, the OCP is also advancing designs for storage, chassis, power supplies, device racks, energy-efficient, low-loss data centre electricity supplies, as well as cooling of facilities.

OCP の目指すものは、サーバーとネットワークのテクノロジーだけではない。具体的に言うと、最先端のストレージ/シャーシ/パワー・サプライ/ラックをデザインし、さらには、エネルギー効率の良い、省電力型のデータセンターを、クーリングも含めて検討していく。

Facebook is aiming to build all its new data centres with OCP designs, so as to enjoy benefits of economies of scale as well as rapid deployment, and lowered power usage.

Facebook は、すべての新しいデータセンターを、OCP デザインを用いて構築しようとしている。つまり、スケールを達成するだけではなく、デプロイメントの期間を短縮し、電力の消費量を引き下げることで、経済的なメリットを実現しようとしているのだ。

ーーーーー

2013年 1月に Santa Clara で開催された Open Compute Summit では、「モノリスを破壊する」というメッセージが発信されていました。 その中の一つに、この Wedge と命名されたオープン・スイッチの構想も含まれていたのでしょう。 それから、数カ月後に方針が示され、さらに1年を経て、このようなアーキテクチャによるプロダクトが整って来たわけです。この間のヒストリーについては、OCP Japan からコントリビュートされた、OCP News Archive:Open Switch で参照できます。 以下は、Open Compute による、モノリス破壊宣言です。

すべてにおいて、最もエキサイティングなのは一連の新規開発であり、これまでのテクノロジーをさらに有効利用していくための、大きなステップを与えてくれる。 1つの産業として、私たちが直面する課題は、そこで構築/消費されていくハードウェアが、きわめてモノリシックであるという点だ。つまり、私たちのプロセッサは、私たちのマザーボードと不可分であり、さらに言えば、特定のネットワーク・テクノロジーなどとも不可分である。こうした硬直した関係で、すべてが構成されているのだ。 そのため、急速に進化するソフトウェアに追いつくことの出来ないコンフィグレーションが、不完全なシステムへと導かれ、たくさんのエネルギーとマテリアルを浪費してしまう。

ーーーーー

<関連>

Facebook と OCP : オープン・スイッチ仕様を Broadcom と Intel と Mellanox が提出
Facebook は Open Compute のおかげで、この3年で 1200億円も節約できた!
Blu-ray ディスクを 10000枚:Facebook が考えるペタ/エクサ時代のコールド・ストレージとは?
SAP と HANA が、Open Compute に恋する理由
Open Compute Project : ついに Microsoft も参加を表明した!

 

Storage の調査: Long-Term Low-Cost のコールド・ストレージは 5 PB へと向かうのか?

Posted in .Selected, Facebook, On Monday, Open Compute, Storage by Agile Cat on April 7, 2014

Storage: Long-Term Low-Cost COLD Storage Solutions
http://wp.me/pwo1E-7nI

By Dick Weisinger – April 4, 2014
http://formtek.com/blog/storage-long-term-low-cost-cold-storage-solutions/

_ formtek

Recently at the Open Compute Summit, Facebook VP of Engineering, Jay Parikh described how Facebook has rigged together a system based on 10,000 Blu-ray discs that fit into a single cabinet, capable of storing 1 petabyte of data.  Facebook plans to improve on this first attempt and be able to reach 5 petabytes per cabinet.  Compared to existing hard disk solutions, Parikh says that the Blu-ray solution will be 50 percent cheaper and use 80 percent less energy. It will also provide 50 years worth of durability for data stored on the discs.

先日の Open Compute Summit で Facebook VP of Engineering である Jay Parikh が説明したのは、1万枚の Blu-ray ディスクをベースにしたシステムを単一の筐体に収め、1 Peta Byte のデータをストアするという、Facebook で試している方式である。また、Facebook は、この試みを改善することで、キャビネットあたりに 5 Peta Byte をストアしようと計画している。Parikh が言うには、既存のハード·ディスク·ソリューションと比較して、この Blu-ray ソリューションでは、コストが 50% も低減され、また、電力消費量は 80% もカットされるようだ。そして、ディスクに保存されたデータに対しては、50年の耐久性という価値も提供される。

Sony, original creator of Blu-Ray technology, and Panasonic have also recently teamed up to address the need for finding a robust long-term low-cost solution for archiving content.  They’ve recently announced that they would jointly produce a 300 GB optical disc for long-term archival.  The product family is to be named “Archive Disc” and should become available in 2015.  The target is to create Blu-Ray optical discs with a 1 TB capacity and to then package them into a disc cartridge containing 12 discs.

Blu-Ray テクノロジー の発案者である Sony と、つい先日に Panasonic が提携したが、アーカイブ・コンテンツのたための、堅牢な Long-Term Low-Cost ソリューションが、そこでの取り組みとなる。 そして、Long-Term アーカイブのために、300 GB の光ディスクを、恊働で生産すると発表している。このプロダクト・ファミリーは、“Archive Disc” と命名され、2015年には利用が可能になるはずだ。そのターゲットは、1 TB の容量を持つ Blu-Ray ディスクを開発であり、また、ディスク・カートリッジ内に、12枚のディスクをパッケージ化することである。

Not everyone is buying into the Facebook strategy.  Mark Peters, a senior analyst at Enterprise Strategy Group, commented that “some of what Facebook was doing was laying out a challenge to storage vendors.  I think what they were really communicating was that there is a need for low cost reliable storage.”

誰もが、Facebook の戦略に与するわけではない。Enterprise Strategy Group のシニア・アナリストである Mark Peters は、「 たしかに、Facebook における幾つかの取り組みは、ストレージ・ベンダーへの挑戦を提起した。そして、実際に彼らが発信したことは、低コストで高信頼性のストレージに、大きなニーズがあるということだったと、私は理解している」と述べている。

Bruce Kornfeld, Interim CMO at Spectra Logic, questions the logic of using Blu-Ray for commercial purposes.  Kornfeld said that “over the last 20 years the commercial data storage industry has attempted to commercialize multiple consumer technologies including CD ROM, CD Writeable, DVD writeable, 4mm Digital Audio Tape, 8mm video tape, and VHS video tape – with mixed results.  Consumer technologies offer high-volume and typically low cost storage media. The ‘low cost’ strengths of these technologies have also led to their downfall as they lack the device robustness and data reliability required by commercial data storage applications. In addition, consumer grade drives and media just don’t last very long. Blu-ray disc drive load mechanisms are probably good to a few thousand load/unload cycles. This compares with an LTO tape drive that is rated to 250,000 load/unload cycles. As you can see – the difference in durability is substantial!”

Spectra Logic の Interim CMO である Bruce Kornfeld は、Blu-Ray の商用目的での利用に対して、論理的に無理があると、異を唱えている。 そして、「 これまでの20年間において商用データ・ストレージ業界は、複数のコンシューマ・テクノロジーを商用化しようと試みてきた。そこに含まれるのは、CD ROM/CD Writeable/DVD Writeable/4mm Digital Audio Tape/8mm Video Tape/VHS Video Tape であり、また、それらの組み合わせである。たしかに、コンシューマ・テクノロジーは、一般的にみて大容積で低コストな記憶媒体を提供する。 しかし、それらのテクノロジーにおける低コストの強みは、商用データ・ストレージ・アプリケーションで必要な、デバイスの堅牢性とデータの信頼性を欠いているため、意味を持つものになり得ない。また、コンシューマ向けのドライブやメディアは、きわめて寿命が短い。Blu-Ray ディスク・ドライブのロード・メカニズムは、おそらく数千回の Load/Unload サイクルをサポートするだけだ。250,000回の Load/Unload サイクルに対応する、LTO テープ・ドライブの仕様と比較して欲しい。 誰もが分かるように、 耐久性が段違いなのだ!」と述べている

ーーーーー

この コールド・ストレージについては、すでに「 Blu-ray ディスクを 10000枚:Facebook が考えるペタ/エクサ時代のコールド・ストレージとは? 」という抄訳でお伝えしていますが、Sony と Panasonic が提携して、新たなソリューションを展開するというのは、とても嬉しい話ですね。 文中で、Mark Peter さんが述べているように、Open Compute の目的は、ユーザーが本当に欲しいものを、すぐれたベンダーに安価に提供してもらうことです。その意味で、Sony と Pnasonic の提携は、とても素晴しいことです。 なお、Bruce Kornfeld さんには、No Comment です :)  __AC Stamp 2

ーーーーー

<関連>

Cloud の調査:エンタープライズがクラウドを導入する5つの大きな理由
IoT の調査:テック・ベンダーたちは、一般顧客へのアプローチを模索する
Hybrid File の調査:エンタープライズに必須なのは、パブリックとオンプレミスのブレンドだ!
Web Programming の調査:Google の Dart は Javascript をリプレースできるのか?
Mobile Security の調査:エンタープライズ と Android と フリー・アプリ

Facebook は Open Compute のおかげで、この3年で 1200億円も節約できた!

Posted in .Selected, Data Center Trends, Facebook, Green IT, Open Compute by Agile Cat on March 12, 2014

Facebook: Open Compute Has Saved Us $1.2 Billion
http://wp.me/pwo1E-7j5

January 28th, 2014 – By: Rich Miller
http://www.datacenterknowledge.com/archives/2014/01/28/facebook-open-compute-saved-us-1-2-billion/

_ DC Knowledge

SAN JOSE, Calif. – Over the last three years, Facebook has saved more than $1.2 billion by using Open Compute designs to streamline its data centers and servers, the company said today. Those massive gains savings are the result of hundreds of small improvements in design, architecture and process, write large across hundreds of thousands of servers.

Facebook は直近の 3年間において、データセンターやサーバーを効率化する Open Compute のデザインを使用しすることで、$1.2 Billion 以上のコスト削減を達成したと述べている。この、膨大なコストの削減は、デザイン/アーキテクチャ/プロセスにおける小さな改善の集大成であり、それらは、無数のサーバー群をまたぐかたちで顕在化している。

Facebook CEO Mark Zuckerberg, at left, discusses the company’s infrastructure with Tim O’Reilly of O’Reilly Media yesterday at the Open Compute Summit in San Jose, Calif. (Photo: Colleen Miller)

The savings go beyond the cost of hardware and data centers, Facebook CEO Mark Zuckerberg told 3,300 attendees at the Open Compute Summit in San Jose. The innovations from Open Compute Project have saved Facebook enough energy to power 40,000 homes, and brought carbon savings equivalent to taking 50,000 cars off the road, Zuckerberg said.

ハードウェアやデータセンターにおける、こうしたコストの削減は、Facebook の収益性を超えたところでも意味を持つと、San Jose で開催された Open Compute Summmit で、CEO である Mark Zuckerberg は 3300人の参加者に語っている。Open Compute Project から始まったイノベーションは、Facebook が消費するエネルギーから、40,000 戸分の電力を削減している。それは、路上を走行する自動車で換算すると、5万台分の二酸化酸素を削減することになると、Zuckerberg は述べている。

The innovations created by Open Compute provide a major opportunity for other companies to achieve similar gains, he said “People are spending so much on infrastructure,” said Zuckerberg, who discussed Facebook’s initiatives with technology thought leader Tim O’Reilly of O’Reilly Media. “It creates a pretty broad incentive for people to participate.”

Open Compute がもたらすイノベーションにより、それぞれの企業が同様のメリットを得るという、チャンスが提供される。この Facebook の取り組みについて Zuckerberg は、「 人々はインフラストラクチャに、あまりにも多くの労力を費やしている。 そして、Open Compute は、そこに参加する人々に対して、きわめて広範囲におよぶインセンティブをもたらす」と、O’Reilly Media の思想的リーダーである Tim O’Reilly に説明していた。

An Open Legacy for Facebook

The focus on open hardware was a logical outgrowth of the way the company views the world, according to Zuckerberg. “Facebook has always been a systems company,” he said. “A lot of the early work we did was with open systems and open source.”

Zuckerberg によると、オープンなハードウェアにフォーカスすることは、世界を見据える Facebook にとって論理的な帰結となる。そして、彼は、「 Facebook は、常にシステムの企業であり続けてきた。そして、私たちが取り組んできた、その初期における成果の多くは、オープンなシステムとなり、オープンソースとなってきた」と続けている。

The $1.2 billion in savings serves as a validation of Facebook’s decision to customize its own data center infrastructure and build its own servers and storage. These refinements were first implemented in the company’s data center in Prineville, Oregon and have since been used in subsequent server farms Facebook has built in North Carolina, Sweden and Iowa.

$1.2 Billion というコスト削減は、データセンターのインフラを独自にカスタマイズし、また、独自のサーバーとストレージを構築していくという、Facebook の判断における妥当性を確認するものでもある。これらの洗練された発想は、最初に Prineville, Oregon のデータセンターに実装された後に、North Carolina および Sweden、Iowa の Facebook サーバファームに適用されてきた。

“As you make these marginal gains, they compound dramatically over time,” said Jay Parikh, Vice President of Infrastructure Engineering at Facebook.”We’re actually saving a ton of money.”

[ こうした、小さなメリットの積み上げを、長期間に渡って継続していくことで、劇的な融合が生じる。現実に、私たちは、膨大なコスト削減を達成した 」と、Facebook の Vice President of Infrastructure Engineering である Jay Parikh は述べている。

The designs for Facebook’s servers, storage units and data centers have since been contributed to the Open Compute Project, the non-profit community organization driving the open hardware movement.

Facebook の サーバとストレージのユニットおよび、データセンターのデザインは、オープンなハードウェアのムーブメントを促進する、非営利コミュニティである Open Compute Project に、ずっとコントリビュートされ続けてきた。

This happened, Parikh said, because Facebook was willing to set aside the conventional ways that servers and data centers were built, and try something new. The Open Compute Project can extend these savings to other companies, he said.

Facebook は、サーバーやデータセンターを構築する、従来からの方法と平行して、新しいことに挑戦したいと望んできたので、こうした変化が生じた、と Parikh は発言している。そして、Open Compute Project により、その他の企業でも、同じようなコストの削減が達成される。

“You really should be looking at OCP,” said Parikh. “You could be saving a lot of money.

「 ぜひ、OCP に注目してほしい。そうすれば、膨大なコストの削減が可能になる」と、Parikh は述べている。

RELATED POSTS:

Open Compute Summit, 2014
Open Compute Reports Progress on Open Network Switch
Facebook Adapts Open Compute for Colo Space
Facebook Brings Open Compute into its Colo Space
Closer Look: Facebook’s Open Compute Servers

ーーーーー

TAG indexそれにしても、$1.2 Billion というのは大きいですね。 100円で換算しても 1200億円ですから、メガ・データセンターの構築費に相当するくらいのコストが浮いたことになります。ちょうど 3年前に、Oregon のデータセンターがオープンしていますから、年間で 400億円くらいの計算になりますね。 そして、その後も Noth Carolina と、Sweden、Iowa が構築されているのですから、この数値は年々拡大していくことになります。自然環境へ影響を考えても、素晴らしいことです! 今月は、台北に OCP サーティフィケーション・センターがオープンしました。 アジアにも、このような事例がほしいですね。image

ーーーーー

<関連>

Facebook が選んだ CA の DCIM:どのように ハイパー・スケールを管理するのか?
Blu-ray ディスクを 10000枚:Facebook が考えるペタ/エクサ時代のコールド・ストレージとは?
Open Compute Project : ついに Microsoft も参加を表明した!
2013年 : Open Compute Project の マトメ
2013年 : 世界の データセンターの マトメ

Blu-ray ディスクを 10000枚:Facebook が考えるペタ/エクサ時代のコールド・ストレージとは?

Posted in Data Center Trends, Open Compute, Storage by Agile Cat on January 29, 2014

Facebook has built a prototype system for storing petabytes on Blu-ray
http://wp.me/pwo1E-79F

By Derrick Harris – Jan 28, 2014
http://gigaom.com/2014/01/28/facebook-has-built-a-prototype-system-for-storing-petabytes-on-blu-ray/

_ Giga Om

Summary: During the Open Compute Summit in San Jose, Facebook VP of Engineering Jay Parikh shared some big statistics for the company’s cold storage efforts, including those for a protoytpe Blu-ray system capable of storing a petabyte of data today.

Summary: San Jose で開催中の Open Compute Summit において、Facebook VP of Engineering である Jay Parikh は、同社におけるコールド・ストレージに関する、いくつかの情報を共有したが、そこには、すでにペタバイト・データをストアできる、Blu-ray システムを用いるものが含まれていた。

ーーーーー

At last year’s Open Compute Summit, Facebook VP of Engineering Jay Parikh suggested the company might consider Blu-ray discs as a medium for improving durability and cutting costs for its long-term cold storage efforts. Now, Parikh said Tuesday during a keynote at this year’s event, the company is actually doing it.

昨年の Open Compute Summit でも、Facebook VP of Engineering である Jay Parikh は、Blu-ray ディスクが活用されるかもしれないと発言していたが、このメディアを用いることで、これまでの長期間において取り組んできた、コールド・ストレージの耐久性が向上し、また、コストが低減されることを示唆する内容であった。そして、今年のイベントのキーノートでは、同社が実際に、それを推進していることを発表した。

Facebook has built a prototype Blu-ray system capable of storing 10,000 discs and 1 petabyte of data in a single cabinet, with plans to scale it to 5 petabytes per cabinet. Blu-ray storage would save the company 50 percent in costs and 80 percent in energy usage over its existing hard-disk-based cold storage methods, Parikh said, and will provide 50 years worth of durability for data stored on the discs.

Facebook が開発しているプロトタイプは、10000 枚のディスクをシングル・キャビネットに格納し、1 Peta Byte ストレージを構築する Blu-ray システムのことであり、キャビネットごとの容量を 5 Peta Byte にスケールする計画も進んでいるという。そして、この Blu-ray ストレージは、同社における既存の HDD ベースのコールド・ストレージと比べて、50% のコストを低減し、80% の電力を削減し、また、ディスクに保存されたデータに対して 50年の耐久性を提供するものになると、Parikh は発言している。

That’s not the only tidbits Parikh shared about the company’s cold storage efforts, though. He said that the first site is now in production and storing 30 petabytes of data, but a second will be coming online soon. Within a couple months, Facebook expects to have 150 petabytes of data in cold storage, which is just a fraction of the 3 exabytes each facility is designed to house.

しかし、Parikh が共有したものは、同社のコールド・ストレージに関する、ちょっとしたトピックというものではない。彼が言うには、30 Peta Byte のデータをストアする最初のサイトが、すでにプロダクション・システムとして運用されており、2番目のサイトも近々に運用に入るらしい。そして Facebook は、数ヶ月以内に 150 Peta Byte のデータをコールド・ストレージに取り込む予定だが、その容量については、それぞれのファシリティで設定している、3 Exa Byte の一部に過ぎないとしている。

One other nugget worth noting from the morning as it relates to Facebook’s innovation on the storage front: In order to save money over data center-grade SSDs but still speed up the process, Facebook is now booting web servers using netbook-grade SSDs, hardware executive Matt Corddry said.

また、今日の午前中に Facebook が明らかにした、ストレージのイノベーションに関連する、もう1つの貴重な情報は、データセンター・グレードの SSD に対するコストを削減しても、プロセスの処理速度をスピード・アップできるというものだ。具体的には、ネットブック・グレードの SSD の活用であり、Facebook では、それを用いて Web サーバーをブートしていると、Hardware Executive である Matt Corddry が発言している。

Related research

The fourth quarter of 2012 in cloud January 2013
How direct-access solutions can speed up cloud adoption December 2012
The role of converged infrastructure in the data center December 2012

ーーーーー

TAG indexこういう発想は、プロダクトを売る側では、絶対に生まれてこないものなのでしょうね。文中にもあるように、これまで通りに、HDD をコールド・ストレージに使ってもらえるなら、単純に考えて、売上が2倍になるのですから。。。 しかし、ペタやエクサのレベルで、大量のデータをストアしなければならない、ユーザーのニーズを考えれば、このような方式が優れていることが一目で分かります。そして、さらに素晴らしいのが、電力コストを 80% も削減できるという点です。イイですね! これ! image

ーーーーー

<関連>

Open Compute Project : ついに Microsoft も参加を表明した!
SAP と HANA が、Open Compute に恋する理由
Linaro が OCP に参加 : Linux on ARM in DC が加速していく!
OCP オープン・スイッチ仕様を Broadcom と Intel と Mellanox が提出
2013年 : Open Compute Project の マトメ
2013年 : 世界の データセンターの マトメ

Open Compute Project : ついに Microsoft も参加を表明した!

Posted in .Selected, Facebook, Microsoft, Open Compute by Agile Cat on January 28, 2014

Microsoft joins Facebook-founded Open Compute Project, touts its ‘unprecedented’ contributions
http://wp.me/pwo1E-79A

By Kaylene Hong, jan 28, 2014
http://thenextweb.com/microsoft/2014/01/28/microsoft-joins-facebook-founded-open-compute-project-touts-its-unprecedented-contributions/

_TNW

The fifth summit of the Open Compute Project is happening on Tuesday, and Microsoft has revealed that it is the latest member to join the group, a Facebook-founded initiative that sees the company and its partners commit to developing and sharing designs for data center infrastructure.

Open Compute Project5回目のサミットが、この火曜日(1/28)に開催されるが、このグループに参加する、最も新しいメンバーの中に、Microsoft がいることが明らかになってきた。つまり、同社とパートナーたちが、データセンター・インフラストラクチャに関する成果やデザインを、この Facebook が設立/主導するイニシアチブと、共有していくことをコミットするわけだ。

Bill Laing, Microsoft’s corporate vice president for cloud and enterprise, says in a blog post that Microsoft will contribute what it calls its “cloud server specification” to OCP — referring to the designs for server hardware in Microsoft data centers that are being deployed for its largest global cloud services including Windows Azure, Bing, and Office 365.

Microsoft の Corporate VP for Cloud and Enterprise である Bill Laing は、「 Microsoft は、同社における Cloud Server Specification と呼ばれるものを、OCP にコントリビュートする」と、自身のブログ・ポストで述べている。 つまり、それは、Miicrosoft のデータセンターにおける、サーバー・ハードウェアのデザインを指し示すものであり、Windows Azure および、Bing、Office 365 などの、世界でも最大級のクラウド·サービスをディプロイするためのハードウェアが含まれる。

Microsoft says these servers are built to deal with the “enormous availability, scalability and efficiency requirements” of Windows Azure, its cloud platform. It says that compared to traditional enterprise server designs, the data center servers it has built to deliver its cloud services bring “up to 40 percent server cost savings, 15 percent power efficiency gains and 50 percent reduction in deployment and service times.”

Microsoft の発言によると、それらのサーバーは、同社のクラウド·プラットフォームである Windows Azure の、 「 きわめて大規模な環境における可用性/拡張性/効率性の要件」に対応するために構築されたものとなる。そして、従来からのエンタープライズ・サーバーのデザインと比較して、クラウド・サービスのために構築されたデータセンター・サーバー」は、最大で 40% のサーバー・コストの削減をもたらし、15% の電力効率の向上を達成し、さらには、デプロイメントとサービスに費やされる時間を 50% も削減するという。

Laing notes that Microsoft is the only other cloud service provider, other than Facebook, to publicly release its server specifications, and says the depth of information it is sharing with OCP is “unprecedented.”

Laing は Microsoft の取り組みについて、Facebook 以外のクラウド·サービス·プロバイダーとして、サーバーの仕様を公開していく唯一の存在であり、OCP と共有される情報は、「これまでにない、奥行き持つものになる」と指定している。

To show its commitment, Microsoft Open Technologies is also open sourcing the software code it created for the management of hardware operations including server diagnostics, power supply and fan control. The code is available on GitHub from today onwards.

このコミットメントを示すために、Microsoft Open Technologies も、ハードウェア運用におけるマネージメントのために作成された、ソフトウェア·コードをオープン・ソースにしている。それらは、サーバーの診断や、パワー・サプライ、ファン・コントロールを含むものである、今日から GitHub で提供されている。

“The Microsoft cloud server specification for OCP will help drive hardware innovation for cloud computing, which strengthens the Cloud OS vision to give customers a consistent platform for better IT efficiency and economics,” Laing says.

そして Laing は、「 OCP にコントリビュートされる Microsoft のクラウド・サーバー仕様は、クラウド・コンピューティングのためのハードウェア・イノベーションを促進するものになる。それは、顧客に提供される、Cloud OS のビジョンを強化するものとなり、より優れた IT のために、効率性と経済性を考慮した、一貫性のあるプラットフォームを実現していく」と述べている。

Headline image via Eric Piermont/AFP/Getty Images

ーーーーー

TAG indexアメリカ時間の 1月28日に開催される、OCP Summit に参加するため、San Jose に来ています。いまは、夜中の3時ですが、時差で眠れないので、OCP 関連の情報を探していたら、こんなニュースが提供されていました。 昨日には、登録を済ませてきたので、イベントのスケジュールも受け取って入るのですが(クリックで拡大)、詳細は明日にならないと分からないそうです。それにしても、Microsoft も OCP に参加するというのは、とても良いニュースですね。おそらく、9時から始まるキーノートで紹介されるのだと予測していますが、どんな話が出てくるのか、それが楽しみで、ワクワクしています。image

ーーーーー

<関連>

SAP と HANA が、Open Compute に恋する理由
Linaro が OCP に参加 : Linux on ARM in DC が加速していく!
OCP オープン・スイッチ仕様を Broadcom と Intel と Mellanox が提出
2013年 : Open Compute Project の マトメ
2013年 : 世界の データセンターの マトメ

2013年 : Open Compute Project の マトメ

Posted in .Chronicle, Data Center Trends, Open Compute by Agile Cat on December 28, 2013

アジアが重視される OCP コミュニティなのです ・・・
http://wp.me/pwo1E-73N

Agile_Cat_Loupe

_  space

早いもので、Open Compute Project(OCP)が立ち上がってから、この春で 2年が経ちます。正直なところ、2011年の時点で、このハードウェアに関するオープンソース・プロジェクトが、ここまでのパワーを持つとは思いもしませんでした。 OCP のチェアマンである Frank Frankovsky さんは、折に触れ、とても骨太な考え方をシンプルに語ってくれるのですが、 その中でも耳に残っているのは、以下の2つです。

・ ソフトウェアにおける OSS のメリットを、ハードウェアでも享受できるはずだ。

・ サーバーもデータセンターも、ユーザーがデザインすべきものである。

前者に関しては、GNU や Linux といった成功体験に基づいたものであり、それをソフトウェアに限定せずに、もっと柔軟に考えようという話です。 後者に関しては、クラウド・プロバイダーやデータセンター事業者といった、実際の運用を知っている者でなければ、そこでのニーズを形にできないという話です。 そして、何が OCP なのかと言えば、この 2つが OCP なのだというのが、いまの Agile_Cat の理解です。今年の OCP には、もっとたくさんのトピックがあり、その一部となってしまいますが、以下のリストを ご参照ください。

_  space

1/18: Open Compute Summit 2013 : エコロジーと Asia Pacific
1/18: Agile_Cat 空撮隊 – Facebook Prineville データセンターを捕捉せり
1/21:
Open Compute Summit 2013 – Directory
2/05:
Facebook と Open Compute は、$55B のサーバー市場を解体/再生する
2/09:
Open Compute Japan の FB ページが始まりました!
2/14:
OCP Summit 2013 キーノート : モノリスを破壊する!
3/04:
無印 サーバー は 22% UP : ブランド サーバー は DOWN – Gartner
3/05:
Intel と Facebook が実現する、100 Gbps でラックを貫く光学素材とは?
3/14:
OCP データセンターと、高温多湿気候との関係について
8/03:
Open Compute と Quanta : 台湾の無印サーバーが 米国マーケットを席巻
4/24:
Facebook が Iowa にもデータセンターを作る? これも デカイ!
4/25:
Facebook の空母のようなデータセンターを Web モニタリング!
5/14:
Facebook の Open Compute Project がオープン・スイッチに挑戦だ!
5/21:
Open Compute について、知っておくべき 10 の事柄
5/23:
Intel の Open Compute にかける意気込みがスゴイ : 100G Photonics
7/18:
Open Compute 台湾 が 立ち上がった!
8/27:
Intel の 1.6 TB/秒 転送 : その秘密を解く
8/28:
Google や Facebook は、サーバー用の カスタム CPU に取り組むだろう
9/19:
Facebook の DCIM : 独自のデータセンター管理システムを構築
9/20:
OCP の Rack Solution : Quanta QCT が Intel Dev Forum で発表!
10/01:
Intel が OpenStack を絶賛 : イノベーションに OSS は欠かせない
10/11:
Facebook Hardware Labs は、エンジニアにとって夢のような空間だ
11/12:
Quanta と OCP : Server/Storage/Switch/Rack などがデビュー!
11/13:
Facebook の Dragonstone : これは memcached の SSD 実装なのだ!
11/14:
Linaro が OCP に参加 : Linux on ARM in DC が加速していく!
11/26:
SAP と HANA が、Open Compute に恋する理由
11/27:
OCP:オープン・スイッチ仕様を Broadcom と Intel と Mellanox が提出

_  space

TAG indexシンプルであるが故に、OCP は人々の心をつかみ、その求心力を高め続けています。今年の 3月に Gartner が発表したレポートによると、2012年 Q4 における無印サーバーのシェアは 18% に至ったそうです。 もちろん、そこには Google や Amazon がデザインしたサーバーも含まれるため、すべてが OCP というわけではありません。 しかし、ソフトウェアと同様に、イニシアティブがベンダーからユーザーへと、徐々に移行している様子が見えてきます。

そして、Asia Pacific の OCP ですが、今年の 1月に Japan が立ち上がり、5月には Taiwan が立ち上がりました。 また、3月には Hong Kong で、11月には Korea で、ワークショップが開催されています。 OCP Japan の山口事務局長からのメールによると、現時点の会員数は 100に達しているそうです(法人+個人)。 よろしければ、以下の関連サイトも、ぜひ ご覧くださ~い!image

<関連>

Open Compute Japan Org
OCP Japan の Facebook ページ

%d bloggers like this: