Agile Cat — in the cloud

NIST による SaaS/PaaS/IaaS の最新定義 – Jan 2011

Posted in .Selected, NIST, Security by Agile Cat on March 9, 2011

あらためて、SaaS/PaaS/IaaS の定義です
http://csrc.nist.gov/publications/drafts/800-144/Draft-SP-800-144_cloud-computing.pdf

ちょうど 1年ほど前のことですが、とても重要な NIST のクラウド定義(The NIST Definition of Cloud Computing)というドキュメントを訳したことがあります。 今回、訳してみた Guidelines on Security and Privacy in Public Cloud Computing は、その名のとおりパブリック・クラウドにおける セキュリティとプライバシーが論点なのですが、この点に付いても再定義しています。 翻訳作業中に、前回のものが使えればと見比べてみましたが、新たに訳した方が早いという結論に至りました orz。 視点の違いは明確ですので、以前のものと比較してみても、面白いかもしれません。 ーーー __AC Stamp 2

___space

ーーーーー

Software-as-a-Service. Software-as-a-Service (SaaS) is a model of software deployment whereby one or more applications and the computational resources to run them are provided for use on demand as a turnkey service. Its main purpose is to reduce the total cost of hardware and software development, maintenance, and operations. Security provisions are carried out mainly by the cloud provider. The cloud subscriber does not manage or control the underlying cloud infrastructure or individual applications, except for preference selections and limited administrative application settings.

Software-as-a-Service. Software-as-a-Service(SaaS)とは、オンデマンドで使用されるターンキー・サービスに対して提供される、1 種類以上のアプリケーションとコンピューティング・リソースを実行するための、ソフトウェア・ディプロイメント・モデルのことである。その主たる目的は。ハードウェアとソフトウェアの、開発/保守/運用のコストにおける全体的な低減にある。セキュリティのプロビジョニングは、主として対象となるクラウド・プロバイダにより実施される。クラウドに加入する組織は、基礎をなすクラウドのインフラストラクチャや個々のアプリケーションについて、管理/制御を行わないが、プリファレンスの選択と、アドミニストレーション運用の一部は、その限りではない。

Platform-as-a-Service. Platform-as-a-Service (PaaS) is a model of software deployment whereby the computing platform is provided as an on-demand service upon which applications can be developed and deployed. Its main purpose is to reduce the cost and complexity of buying, housing, and managing the underlying hardware and software components of the platform, including any needed program and database development tools. The development environment is typically special purpose, determined by the cloud provider and tailored to the design and architecture of its platform. The cloud subscriber has control over applications and application environment settings of the platform. Security provisions are split between the cloud provider and the cloud subscriber.

Platform-as-a-Service. Platform-as-a-Service(PaaS)とは、アプリケーションの開発とデプロイメントのためのオン・デマンド・サービスとして提供される、コンピューティング・プラットフォームとしてのソフトウェア・デプロイメント・モデルのことである。その主たる目的は、対象となるプラットフォームの基礎となるハードウェアとソフトウェアのコンポーネントに関して、その購入/配備/管理のコストと煩わしさを、開発ツールやデータベース・デプロイメントの必要性も含めて、低減することにある。一般的に、そこでの開発環境は、対象となるクラウド・プロバイダーにより決定され、プラットフォームのデザインとアーキテクチャに適合した、個別の意図を持つものとなる。クラウドに加入する組織は、そのプラットフォームにおける、アプリケーションと環境を制御できる。セキュリティのプロビジョニングは、クラウド・プロバイダーと加入者により分担される。

Infrastructure-as-a-Service. Infrastructure-as-a-Service (IaaS) is a model of software deployment whereby the basic computing infrastructure of servers, software, and network equipment is provided as an on-demand service upon which a platform to develop and execute applications can be established. Its main purpose is to avoid purchasing, housing, and managing the basic hardware and software infrastructure components, and instead obtain those resources as virtualized objects controllable via a service interface. The cloud subscriber generally has broad freedom to choose the operating system and development environment to be hosted. Security provisions beyond the basic infrastructure are carried out mainly by the cloud subscriber.

Infrastructure-as-a-Service. Infrastructure-as-a-Service(IaaS)とは、基本的なサーバー・コンピューティング・インフラストラクチャおよび、ソフトウェア、ネットワーク設備としての、ソフトウェア・ディプロイメント・モデルである。それにより、アプリケーションの開発と実行のためのプラットフォームを確立する、オン・デマンド・サービスが提供される。その主たる目的は、基礎となるハードウェアとソフトウェアのコンポーネントに関して、その購入/配備/管理を排除することである。そして、それに換えて、サービス・インターフェイスを介して制御と実現する、仮想化されたオブジェクトとしてのリソースを得ることになる。一般的に、対象となるクラウドに加入する組織は、そこでホストされるオペレーティング・システムと開発環境などを、幅広い選択肢から選ぶという自由を持つ。セキュリティのプロビジョニングは、基本的なインフラストラクチャを除いて、クラウドの加入者により実施される。

ーーーーー

<関連>
仮想マシン・イメージの取り扱いは慎重にという、NIST からのメッセージ
ハイパーバイザーの肥大化を懸念する NIST
ハイパーバイザー と 脆弱性 の関係を NIST が指摘
ボット と クラウド は同種であるという NIST の見解
とても重要な NIST のクラウド定義:対訳

Bing は Angry Birds とタッグを組んで覇権を狙うのか

Posted in Entertainment, Miscs by Agile Cat on March 9, 2011

Bing has partnered with Angry Birds
Posted by
Vincent Raja
on March 8, 2011
http://www.tech2hell.com/2011/03/bing-has-partnered-with-angry-birds/

image

You have probably heard about Angry Birds. The game gained nationwide attention and become a famous around the world like the original Super Mario Bros. in the ’80s. Even non-gamers will be familiar with is a game on iPhone and other smartphones called Angry Birds. You may be surprised to find that such a simple game has gained worldwide fame, you’ll quickly understand why it’s so popular when u try it out. Its a quite simple awesome game, you will become addict to it to finish all the levels. Its now available for iPhones, Android, Symbian, Mac and PC.

Angry Birds を知らない人はいないだろう。 このゲームは、アメリカ全土を制覇し、また、80年代の オリジナル Super Mario Bros. のような世界中のアイドルになった。 iPhone などのスマートフォンを利用するが、ゲームはやらないという人でも、Angry Birdsであれば知っている。 こんなシンプルなゲームが、世界的な名声を得たことに驚いているかもしれないが、ちょっと試してみれば、その人気の理由が理解できる。 この、きわめて単純で、驚嘆に値するゲームの、すべてのレベルを終了するころには、あなたも立派な中毒患者だ。いまや、iPhone と、Android と、Symbian と、Mac と、PC で遊べるのだ!

angry-birds_1769742c

It seems everyone likes Angry Birds these days, why not? Even search engines. Bing has partnered with Angry Birds to gain some attention from the millions of people who have downloaded the game onto their phones. Bing Says that Angry Birds will integrate itself with Bing. Today Bing releases 2 videos of how the pigs plan different ways to get the treasured eggs using Bing. Yes, its quite funny, See those 2 Videos below:

みんなが大好きな Angry Birds であるが、それで何が悪い? サーチ・エンジンでさえ、Angry Birds に恋しているのだ。 Bing は、ゲームをスマートフォンに DL する何百万という人々の、興味を引きつけるために Angry Birds とパートナーシップを確立したのだ。ジャジャーン! Bing は、Angry Birds 自身が、Bing と統合されるとまで言っている。 今日のことであるが、Bing は Pigs が Eggs を手に入れるための、2つの秘策をビデオで公表した。YES!  これはメチャ面白いので、以下のビデオでチェックすべきだ:(クリックで Youtube です)

imageimage

ーーーーー

う~ん、まさに Angry Birds 旋風なんですね。 ーーー __AC Stamp 2

ーーーーー

<関連>

なし

 

Tagged with: , , , , ,

Big Data を 美味しくいただくための、クッキング・ブックを作ろう

Posted in Big Data, Hadoop, MapReduce, NoSQL by Agile Cat on March 9, 2011

The Big Data Cookbook
Posted in
Main on March 8th, 2011
by Pingdom
http://royal.pingdom.com/2011/03/08/the-big-data-cook-book/ 

_ pingdom

Big data has become one the new buzzwords on the Internet. It refers to the massive amounts of data that many modern web services deal with. This post will list some of the more useful software available to web developers for working with big data.

Big data は、インターネット上の新しいバズワードになっている。 この用語は、数多くのモダンな Web サービスが取り扱う、大規模なデータのことを指す。 そして、このポストでは、ビッグ・データの分野で働くWeb デベロッパーにとって有益な、いくつかのソフトウェアをリストアップしていく。

5508810133_b27187101d_o

You don’t have to operate at the scale of Google or Facebook to enter into big data territory. Web analytics services, monitoring services (like our very own Pingdom), search engines, etc., all process and store massive amounts of data.

ただし、この領域に参加するからといって、Google や Facebook のスケールを考える必要はない。 そこまでいかなくても、Web 分析サービスおよび、モニタリング・サービス(Pingdom など)、サーチ・エンジンなどの全てが、大量データの処理と保存に対応している。

To quote Wikipedia (Wikipedia からの引用):

Big data are datasets that grow so large that they become awkward to work with using on-hand database management tools. […] Though a moving target, current limits are on the order of terabytes, exabytes and zettabytes of data.

Big data ビッグ・データは、成長が著しいデータセットであるため、手製のデータベース・マネージメント・ツールを用いた作業は厄介になってしまう。 [中略]その上限が定まっているわけではないが、現時点におけるデータの限度は、テラバイト/エクサバイト/ゼッタバイトの並びの上にある(つまり、ペタということ?)。

At this scale, many traditional approaches for handling and processing data are either impractical or break down completely.

このスケールにおける、従来からのアプローによるデータの操作と処理の試みは、現実的なものにならず、また、完全に失敗する。

That’s why the web development community has been turning to alternative ways to handle all this data, developing new software that scales to these extremes. You may have heard about NoSQL databases, but that’s just a small piece of the puzzle.

そこに、Web 開発のコミュニティが、それら全てのデータを取り扱うための、代替案を探し求めてきた理由がある。つまり、それらを大幅にスケールするソフトウェアの開発である。 NoSQL データベースの情報を持っていると思うが、それはパズルにおける小さい小片である。

So what are the various ingredients available for handling big data? We’ve divided them into four categories:

そして、このビッグデータを取り扱うために利用できる、各種の構成要素とは、何なのだろう?私たちは、それを を4つのカテゴリに分けてみた:

  • Storage and file systems
  • Databases
  • Querying and data analysis
  • Streaming and event processing

We figured this could be a good starting point, and we’re hoping that you’ll help us add to the list in this post by making your own suggestions in the comments. In other words, read the list, and help us add more useful ingredients!

私たちは、これが適切なスタート・ポイントだと考えている。そして、皆さんからのコメントを介して、いろいろな提案が集まり、このポストのリストに追記されていくことを希望している。言い換えれば、このリストを読み、さらに有益な構成要素を加え、私たちをサポートして欲しいのだ!

ーーーーー とりあえず、訳はココまで ーーーーー

Here we go…

Storage and file systems

When you need to store massive amounts of data, you’ll want a storage solution designed to scale out on multiple servers.

  • HDFS (Hadoop Distributed File System) – Part of the open source Hadoop framework, HDFS is a distributed, scalable file system inspired by the Google File System. It runs on top of the file system of the underlying OSs and is designed to scale to petabytes of storage. The Hadoop project (you’ll see several of the other components further down) has several high-profile contributors, the main one being Yahoo. Hadoop is used by Yahoo, AOL, eBay, Facebook, IBM, Meebo, Twitter and a large number of other companies and services.
  • CloudStore (KFS) – An open source implementation of the Google File System from Kosmix. It can be used together with Hadoop and Hypertable. A well-known CloudStore user and contributor is Quantcast.
  • GlusterFS – A free, scalable, distributed file system developed by Gluster
Databases

While classics like MySQL are still widely used, there are other options out there that have been designed with “web scalability” in mind, many of them so-called NoSQL databases (speaking of buzzwords…).

  • HBase – A distributed, fault-tolerant database modeled after Google’s BigTable. It’s part of the Apache Hadoop project, and runs on top of HDFS.
  • Hypertable – An open source database inspired by Google’s BigTable. A notable Hypertable user is Baidu.
  • Cassandra – A distributed key-value database originally developed by Facebook, released as open source, and now run under the Apache umbrella. Cassandra is used by Facebook, Digg, Reddit, Twitter and Rackspace, to name a few.
  • MongoDB – An open source, scalable, high-performance, document-oriented database. It’s used by, among others, Foursquare, Bit.ly, Shutterfly, Etsy and Chartbeat.
  • Membase – An open source, distributed, key-value database optimized for interactive web applications, developed by several team members from the famous Memcached project. Users include Zynga and Heroku. A month ago, the Membase project merged with CouchDB, creating a new project called Couchbase.
Querying and data analysis

All that data is of no use without the ability to access, process and analyze it.

  • Hadoop MapReduce – Open source version of Google’s MapReduce framework for distributed processing of large datasets.
  • Hive – An open source data warehouse infrastructure with tools for querying and analyzing large datasets in Hadoop. Supports an SQL-like query language called Hive QL.
  • Pig – A high-level language used for processing data with Hadoop. Funny aside: the language is sometimes referred to as Pig Latin.
Streaming and event processing

When you have massive amounts of data flowing into your system, you will often want to process and react on this data in real time.

  • S4 – A general-purpose, distributed, scalable platform for processing continuous streams of data. Developed by Yahoo and released as open source in 2010. It’s apparently not quite ready for prime time yet, although Yahoo is using a version of it internally.
  • Esper – An event-processing platform from EsperTech for handling continuous streams of incoming data.
  • StreamInsight – Microsoft’s entry in the EST/CEP field, included with SQL Server.

A small aside when speaking of streaming and event processing, you’ll hear two industry terms repeated over and over again: EST, Event Stream Processing, and CEP, Complex Event Processing. Just in case you were wondering what that actually stood for.

The Google legacy

It’s interesting how influential Google has been in the big data field in spite of having released very little actual software to the public.

Much of the open source big data movement is centered around Apache’s Hadoop project, which essentially has tried to replicate Google’s internal software based on the various whitepapers Google has made available. (More specifically, Hadoop has replicated GFS, BigTable and Mapreduce.)

Here is a list of some of Google’s proprietary software relating to big data:

  • GFS (Google File System) – Google’s scalable, fault-tolerant, distributed file system. Designed from scratch for use with data-intensive applications.
  • BigTable – A distributed, high-performance database system built on top of GFS.
  • Mapreduce – A framework for distributed processing of very large data sets.
  • Pregel – A framework for analyzing large-scale graphs with billions of nodes.
  • Dremel – Meant as a faster complement to Mapreduce, Dremel is a scalable, interactive, ad-hoc query system for large data sets. According to Google, it’s capable of running aggregation queries over trillion-row tables in seconds and scales to thousands of CPUs.

If we may be so bold as to bring out our crystal ball, there will most likely be several open source implementations of Pregel and Dremel available soon. For example, there’s already an OpenDremel project in the works.

Help us add more ingredients!

What excellent big data software did we leave out? Let’s make this post a true resource, so please give us a hand in the comments.

ーーーーー

なかなか面白い試みで、さすがは Pingdom です。 それと、Google legacy というカテゴリがユニークですが、さまざまな基盤を提供してくれて有難うと、言いたくなる実績ですね! では コメント欄から、ご意見など、ぜひ ど~ぞ! ーーー __AC Stamp 2

ーーーーー

<関連>
Mollom アーキテクチャは、毎秒 100回のリクエストを発行し、3億 7300万のスパムを退治する
プロジェクト Piccolo は、スピードで Hadoop を凌駕する
Real World NoSQL シリーズ – Netflix における Amazon SimpleDB
Real World NoSQL シリーズ – Openwave における Cassandra
Real World NoSQL シリーズ – 4PB を処理する Trend Micro の HBase
Google の発想 – リクエストとレスポンスを Tree で制御する
TOPSY の Twitter 分析 API は、5 億クエリー/月 を処理する!

%d bloggers like this: