Agile Cat — in the cloud

Google IO 2011 での、Big Data 関連ビデオをピックアップ!

Posted in Big Data, Google by Agile Cat on June 17, 2011

Stuff to Watch from Google IO 2011
Wednesday, June 8, 2011 at 8:54AM
http://highscalability.com/blog/2011/6/8/stuff-to-watch-from-google-io-2011.html

_highscalability

With the Google IO Developer Conference completed there are dozens and dozens of information packed videos now available. While you won’t get any of the nifty free swag the attendees rake in, it’s great of Google to make these videos available so quickly after the conference.

今年の Google IO Developer Conference が終了し、きわめて大量の情報が、ビデオになって提供されている。参加者たちがかき集めた、気のきいた無料のグッズを差し上げることはできなが、そのカンファレンスが終わって、これほど素早くビデオを提供する Google は素晴らしい。

imageLet’s say you don’t want to watch all the videos on the pretense you have a life, here are just a dozen scalability and architecture related videos you might find interesting:

あなたは、日々の時間を費やしてまで、すべてのビデオを見ないだろうが、ちょうど 12本の、スケーラビリティとアーキテクチャに関連するビデオがある:

  1. App Engine Backends by Justin Haugh, Greg Darke. One of this biggest complaints about GAE are the request deadlines. Those are now gone when you rent a new Backend node.

    App Engine Backends by Justin Haugh, Greg Darke. ーーー GAE における最大の問題の 1つは、そのリクエストに関する Dead Line である。 新しい Backend ノードを借り入れるときには、それらのリクエストが消えてしまっている。

  2. Scaling App Engine Applications by Justin Haugh, Guido van Rossum. Two parts: how App Engine scales internally and how you as a programmer make it scale using the tools. Good discussion of scaling and why it’s hard; 10,000 queries per second is a large app that needs good architecting; a good discussion of GAE’s predictive scaling formula of how it decides when to spawn instances; throughput is determined by CPU usage; understand your apps performance; using load testing; strategies for scaling; common pitfalls. The less you do the faster it will be and the less it wil cost.

    Scaling App Engine Applications by Justin Haugh, Guido van Rossum. ーーー 2つのパート: どのようにして、App Engine は内部でスケールするのか。 そして、どのようにしてプログラマーは、ツールを用いてスケールしていくのか。 スケーリングに関する適切なディスカッションと、それが難しい理由:毎秒 10,000 のクエリーを必要とするのが、適切なアーキテクチャを必要とする大規模アプリケーションである。GAE の予測されたスケーリング基準に関する適切なディスカッションが、インスタンス生成における方式とタイミングを決定する。スループットは、CPU 使用の度合いにより決定される。自身のアプリケーション性能を理解すべきだ。 負荷テストを使用すべきだ。スケーリングに戦略を持て。一般的な落とし穴は? 取り組んだ分だけ、高速化が実現されるが、それが少なければ、コストに跳ね返るだろう。

  3. App Engine MapReduce by Mike Aizatskyi. Previously you could only write Map jobs, now you can run full Map Reduce jobs on App Engine.

    App Engine MapReduce by Mike Aizatskyi. 以前には、Map ジョブの記述までしかできなかったが、App Engine 上でフル Map Reduce ジョブが実行できるようになった。

  4. Coding For The Cloud: How We Write Enterprise Apps for Google on App Engine by Ben Fried, Justin McWilliams, Eric Schoeffler, Justin Fagnani. App Engine is just a backend for Facebook games, Google want to remind you that they do the Enterprise too: performance reviews, help desk, course scheduling, expense reporting, payroll, etc.

    Coding For The Cloud: How We Write Enterprise Apps for Google on App Engine by Ben Fried, ーーー Justin McWilliams, Eric Schoeffler, Justin Fagnani. App Engine は Facebook ゲームのバックエンドとして使われているが、Google としてはエンタープライズでの利用も促進したい: パフォーマンスレビューや、ヘルプデスク、コース・スケジューリング、給与関連など。。。

  5. Fireside Chat with the App Engine Team with Max Ross, Alon Levi, Sean Lynch, Greg Dalesandre, Guido van Rossum, Brett Slatkin, Peter Magnusson, Mickey Kataria, Peter McKenzie. Get the marshmallows, the fire is hot. The team talks about the pricing changes, HR datastore, and lots of great questions that lead to more great things to work on.

    Fireside Chat with the App Engine Team with Max Ross, Alon Levi, Sean Lynch, Greg Dalesandre, Guido van Rossum, Brett Slatkin, Peter Magnusson, Mickey Kataria, Peter McKenzie. ーーー(パス:Get the marshmallows, the fire is hot.) このチームは、価格設定の変更および、HR データストアについて説明し、また、取り組むべき重要な事柄について、数多くの問題を提起した。

  6. Full Text Search by Bo Majewski, Ged Ellis. A quirky fact about a Google App Engine is that it did not support search.  Now it will.

    Full Text Search by Bo Majewski, Ged Ellis. ーーー Google App Engine における奇異な点は、サーチエンジンをサポートしていないことだった。 そのサポートが始まる。

  7. More 9s Please: Under The Covers of the High Replication Datastore by Alfred Fuller, Matt Wilder. GAE is replacing their original Master/Slave Datastore with the  High Replication Datastore. Why such a big step? Higher availability. The cost? Latency and consistency. Excellent discussion of the different tradeoffs and why they were made.

    More 9s Please: Under The Covers of the High Replication Datastore by Alfred Fuller, Matt Wilder.  ーーー GAE は、オリジナルの   Master/Slave Datastore を、自身の High Replication Datastore で置き換える。 なぜ、このように大きなステップを取るのかといえば、 より高い可用性が理由となる。  レイテンシーとコンシステンシーの改善により、コストが低減される。 それぞれのトレードオフと、それを行う理由について、丁寧な説明がある。

  8. Putting Task Queues to Work by Nicholas Verne, Vivek Sahasranaman. Always a great feature, task queues were restricted by being pushed based, now pull based queues make it possible to process tasks in a VM by pulling from queues using a REST API.

    Putting Task Queues to Work by Nicholas Verne, Vivek Sahasranaman. ーーー 常に素晴らしい機能で在り続けてきたタスク・キューは、プッシュ・ベースという制約を持っていたが、REST API を用いたキューからプルすることで、VM 上でのタスクの処理が可能な、プル・ベースのキューになった。

  9. Large-scale Data Analysis Using the App Engine Pipeline API by Brett Slatkin. Think Big Data and you think Google. Here’s how you do Big Data on GAE: build multi-phase Map Reduce workflows; how to merge multiple large data sources with "join" operations; and how to build reusable analysis components.

    Large-scale Data Analysis Using the App Engine Pipeline API by Brett Slatkin. ーーー Big Data を考えると、Google のことを考えるようになる。 GAE 上で、Big Data に取り組む際の、方式について解説する。 具体的には、マルチ・フェーズの Map Rerduce ワークフローの構築と、”join” オペレーションによるマルチ・データ・ソースのマージ、再利用可能な分析コンポーネントの構築賞式となる。

  10. Use Page Speed to Optimize Your Web Site For Mobile by Bryan McQuade, Libo Song, Claudia Dent. Page Speed is a tool that helps reduce the latency for mobile apps. Good discussion of the issues and how to diagnose and fix them: cache, defer JavaScript, cache redirects, use touch events, enable keep-alives.

    Use Page Speed to Optimize Your Web Site For Mobile by Bryan McQuade, Libo Song, Claudia Dent.  ーーー Page Speed は、モバイル・アプリケーションにおけるレイテンシーを緩和するためのツールである。 その問題についてのディスカッションを提供するが、具体的には、キャッシュおよび、defer JavaScript、キャッシュのリダイレクト、タッチ・イベントの使用、そして keep-alives の達成となる。 

  11. Using The Google Docs APIs To Store All Your Information In The Cloud by Vic Fryzel. Not just another file store: Storage is per user; users control storage quota; Data is inherently structured; All entries have the same metadata; Documents currently use zero quota.

    Using The Google Docs APIs To Store All Your Information In The Cloud by Vic Fryzel.  ーーー 単なる別のファイル・ストアというわけではなく、ユーザーごとの Storage、ストレージ・クォータの制御、本質的に構造化された Data、すべてのエンティティが共有するメタ・データ、Decuments によるゼロ・クォータの使用などについて説明する。

  12. Highly Productive GWT: Rapid Development with App Engine, Objectify, RequestFactory, and gwt-platform by David Chandler, Philippe Beaudoin, Jeff Schnitzer. GAE+GWT+objectify+ other tools is an awesomely productive tool chain. Nice examples with code on how to make it work.

    Highly Productive GWT: Rapid Development with App Engine, Objectify, RequestFactory, and gwt-platform by David Chandler, Philippe Beaudoin, Jeff Schnitzer. ーーー GAE+GWT+objectify+ other tools の組み合わせは、生産性のための価値ある連鎖である。 それらを機能させるための、すばらしい事例を紹介する。

These talks are generally of high quality and provide insight you won’t get elsewhere. Highly recommended to take a look around.

これらのビデオは、きわめて品質の高いものであり、他では得られない洞察を提供する。 それらの参照を、お勧めする。

ーーーーー

ほんとうに、大量の情報ですね。 この週末、お時間のある方は、チャレンジしてみたら如何でしょうか :) ーーー __AC Stamp 2

ーーーーー

<関連>

Google 的 クラウド連携の ABC ?
Google は 1000万台のサーバーを目指す ?
Google Instant では MapReduce を排除!
Google にテクノロジー・リーダーの称号を与えるプロダクト
Google Wave が、Apache の提案によりカムバックする?

%d bloggers like this: