Agile Cat — in the cloud

Hadoop Hack Night – 2nd – ダダ漏れ Twitter

Posted in Hadoop by Agile Cat on August 4, 2010

2010年 8月4日 – たぶん 六本木 MidTown にて ・・・

Hadoop Logo

みんな楽しそうだなぁ ・・・ と 恨めしげに今日も仕事の Agile_Cat は、ハッシュタグも Ust もチックしたいなかったのですが、Twitter の、いわゆるお仲間 List を眺めてみれば、何だ、みんな居るんじゃんということで、ダダ漏れ Twitter を作ってみました。 え~~~ タグが無いのも入っちゃているんで、余計にオモシロイですよ。 では、ど~ぞ!

kkawamura やべえメールプリントしてきてないw 取り合えず行ってみよう #hadoophn

kkawamura うー、六本木かっこいいぜ。六本木で働いてるときは何も思わなかったけど。

nemoton 着いた。Yahooさんへ (@ 東京ミッドタウン w/ 2 others) http://4sq.com/6YhcYf

kkawamura Yahooへ潜入成功 #hadoophn

nemoton 入った http://yfrog.com/c9ymjtj #hadoophn

okachimachiorz1 HackNight会場到着。すげー人の数・・・・多いな、さすがに。これ満席になるのかな?

nemoton @okachimachiorz1 前回は満席でしたー

nemoton #hadoophn 始まった

okachimachiorz1 @nemoton 満席ですね。#hadoophn

kzk_mover Hadoop Hack Night2、始まりましたー ( #hadoophn live at http://ustre.am/lh1A )

nemoton Yahoo!さんでの事例、検索プラットフォーム。hiveの独自拡張ありでの活用 #hadoophn

kkawamura みんなやることは一緒なんだなぁw

nemoton レコメンデーションプラットフォームhadoop活用。モバイル検索でも、アンカーテクストなどで。地図検索でも、へー、一意性処理で使ってるんだね。 #hadoophn

nemoton いろいろなところでフルに使われてますねー

nemoton 検索データのストレージとして、また解析のためにhadoop活用。hadoopをclientとserverにわけて使っている。ファイルの転送はclientから。http転送も。パッチ当てて、GET以外も使えるようにした。 #hadoophn

nemoton Hadoop with security. #hadoophn

kkawamura 誓約書かぁ #hadoophn

nemoton UnixUserGroupInformation.java

shin135 席に戻った。見る。 RT @tomihisa: 本日19:00~「Hadoop Hack Night 2」開催です! http://bit.ly/922ym9 Ust中継もあります http://bit.ly/aNPWzj #hadoophn

nemoton Yahoo! Distribution Of Hadoop with security について Oozie きた. #hadoophn

nemoton 認証なしな状況はどうだったのよ…あっても、HDFSのパーミッションぐらいのもんだった。認証、認可および監査ログといったセキュリティー機能が追加。でもオプションなので、有効にしないと使えない。まだ安定版はこれから #hadoophn

nemoton これまでのHadoopではどの通信も暗号化も認証もなし。でも、Hadoop with security で。相互認証はkerberosというのか。地獄の番犬やないかー、怖いw #hadoophn

shot6 Hadoop with security はスゴイ期待してます。 #hadoophn

okachimachiorz1 ? Kerobrosとtokenは一体のはずだけど・・・

nemoton Oozie (サーバー)が仲立ちする形で複雑な認証のところを取り持つ。hadoopのスーパーユーザー?という感じで? 一貫性をもったセキュリティを適用可能に。ただし、データ通信路の暗号化、データの暗号化は未対応。認証、認可、監査が主 #hadoophn

kkawamura なるほどねー。これは参考になった #hadoophn

nemoton Hadoop with security とOozieをうまく使ってクラスタ全体のセキュリティ統御。Yahoo!さんでの実際の運用開始が来年四月なので、その間の動きが気になるね #hadoophn

okachimachiorz1 とりあえず、ロール設計には役にたつ。・・・ただしrootを入れるのはちょっといただけないな。上位で隠蔽しないとまずいな。#hadoophn

kkawamura iPad持って来たんだけど、早く打つのは難しいな

okachimachiorz しかし、先ほど致命的なスケジュール調整のミスが発覚して、狼狽中。うがー。

nemoton 気合です RT @kkawamura: iPad持って来たんだけど、早く打つのは難しいな

shot6 @wasaist ツイッターで投げると答えてくれる人いっぱいいますよ。 #hadoophn

nemoton インフラだわな。ただ、かなり使い手の技量を問う。でも、広がりもあるから、こんだけ人来るんだろうなー

kkawamura 水道の例えわかりやすいな #hadoophn

okachimachiorz うむむ・・・言い過ぎか。しかし、これ怖いな・・・わかりやす過ぎる。

shot6 大規模データへの対応手段としてってことですよねー。 #hadoophn

nemoton ファイルシステム系とジョブ制御系が複雑にからまっているが、「連携」がhadoopの価値 #hadoophn

shin135 なるほどさすが。わかりやすい。そのうちDryAdもわかりやすく解説してくださいな RT @Nakada_itpro ご参考までに、3月に発表した「ヤフーを変え始めたHadoop」という記事もご覧下さい http://bit.ly/aPb1yJ #hadoophn

okachimachiorz セキュリティの設計はちょっと重要ですね。多分wrapするけど、考えてデザインしないとあとでハマル。

shot6 わかりやすいですねー、勉強になる。 #hadoophn

kkawamura すごい理解が深まる。。。。 #hadoophn

okachimachiorz そしてパネルディスカッションにちょっと期待する。#hadoophn

nemoton 土台がしっかりしているというか、根本的な要素そのものの特徴・意味・価値、そしてそっれら同士の関係性と、その連携による応用がわかってる・見える人の話はスゴイな。どんとこい的な安心感とわかりやすさ #hadoophn

shot6 @okachimachiorz 質問に期待しています!

okachimachiorz @shot6 e- 目立つのは趣味ではないので、遠慮します~w。人大杉です。

nemoton 継続的解析、継続的っていうところが強みの一つなんだろうな。

shot6 @okachimachiorz んじゃあ指名しますのでwwww

okachimachiorz @shot6 何言ってのw。

shot6 @Nakada_itpro ひどすwwww > むしろ @shot6 が炎上するような質問を、みんな( @kkawamura @ryu_kobayashi @tamagawa_ryuji )で考えるというのはどうでしょうか?

nemoton できることとできないことをきちんと区別する。埋もれているニーズはまだたくさんある。。。適材適所の「見極めの目」というか技量とセンスがかなり問われる。組み合わせの妙はたくさん出てきそうだよね、広がる。でも基礎とセンス。。。 #hadoophn

kkawamura さらりとショックなツイートが流れてきた件

nemoton マーケティングの本でよくでてくるよー RT @hiromiarts: なんでおむつとビールを一緒に飼う人が多いんだろう⁇ あとで調べてみよ。 RT @y_koh: バスケット分析はおむつとビール #hadoophn

kkawamura まぁあれだ、お互いに頑張りましょう、ということですな。

shin135 おお、 @shot6 さん映像ではじめてみた。意外と若いのね。 @Nakada_itpro にいぢられないことを祈る #hadoophn

nemoton Hadoop の都市伝説を払拭してきた。どんどん質問ください、 @shot6 さん。どんとこーい! #hadoophn

nemoton なんでもhadoopということはなく、きちんと見極めて 、PFI 太田さん。 #hadoophn

nemoton Hadoopバブル、いただきました。 #hadoophn

okachimachiorz 使えないからむしろ興味があるとかw。・・・必要以上にスケールとかに興味があるのかw。

nemoton 確かにインターネットの普及初期の勘違いというか、表面上だけの万能説が一人歩きしつつあるところはあるような気がする。清田先生の最後にあった話、できることとできないことの見極め、そしてその上での組み合わせの妙、というところなんだろうな。 #hadoophn

kkawamura あかん、パネルに集中できないw

tamagawa_ryuji なんかこの一帯から黒いオーラが立ち上ってる気がww RT @ryu_kobayashi: @shot6 @Nakada_itpro @kkawamura もう、@okachimachiorzさんが突っ込みたくてウズウズしてますw

nemoton いままで敷居が高かった、並列処理、MPIのところが、オープンソースで簡単にできるようになったのが、hadoopのすごいところ。 #hadoophn 裾野は広がるけど、その分、きちんとした見極めが必要になったんだろうね

kkawamura うーん、困らせる質問が思いつかないなw

okachimachiorz 検索エンジンか~。vsGoogleって感じだな・・・。頑張って欲しいと思う。なんでもかんでもGやらなんやらってのは、さすがにね~。HadoopのようなOSSはあると便利だとは思う。独自拡張とかしていそうだな~。

nemoton きた、Hadoopの信頼性についての都市伝説。ジョブのスケジューリング、ユーザー側で運用で対応していく必要はある。使う人のノウハウ積み重ねは重要。ハードウェアの選定は難しい。ネットワークがボトルネックになることが多い。大きなシステムではかなり試行錯誤. #hadoophn

nemoton ハードウェア、ネットワーク、ソフトウェアそのもの、、、Hadoop使いたおす上では、様様な周辺領域の技術を総合して混ぜて考えられるようにしておいたほうがいい @shot6 さん。#hadoophn 確かに。全体最適というか、全体での設計能力、組み合わせ能力、予想能力必要かなぁ

okachimachiorz むしろ、さっきの立ち話で、おもしろい意見が聞けたので、それは非常に収穫になった。

kzk_mover 燃料まだー? #hadoophn

nemoton Hadoop で幸せになれますか?

kkawamura ちょw “@kzk_mover: 燃料まだー? #hadoophn”

nemoton データの一貫性が重要なポイント、Hadoop security. #hadoophn

nemoton Kerberos 認証にしろ、Hadoopでのセキュリティは、大規模なシステムを単独で持つのは難しくて皆で集まって共同で使うことを考えると、必要。#hadoophn

nemoton シャッフルは、キーを集める。重たくなるのは、keyだけでなく、valueも一緒に集めてしまう。あと、TCPは輻輳に弱い。。。 Whiteさんいわく、魔法の生じるところ。。。#hadoophn

okachimachiorz @nemoton ケルベロスは疑問符。 #hadoophn

kkawamura これはいい質問。コモディティ神話

okachimachiorz1 shuffleはN/W上でのソートだと思うといいと思います。RT @nemoton: シャッフルは、キーを集める。重たくなるのは、keyだけでなく、valueも一緒に集めてしまう。あと、TCPは輻輳に弱い。。。 Whiteさんいわく、魔法の生じるところ。。。#hadoophn

okachimachiorz さて懇談会どうしようかと迷う。やることてんこ盛りだが、話もしたい。

shita +1 RT @okachimachiorz: @nemoton ケルベロスは疑問符。 #hadoophn

shita あー、ツッコミいれたいけど立場的にいれられない辛さ・・ #hadoophn

nemoton 最後にもってきますねー!!! RT @okachimachiorz: @nemoton ケルベロスは疑問符。 #hadoophn

okachimachiorz @shita 今入れてます! #hadoophn

nemoton 御徒町さんが行きましw RT @shita: +1 RT @okachimachiorz: @nemoton ケルベロスは疑問符。 #hadoophn

shita うほぉ、、ありゃりゃりゃりゃ。。ワタシの名前だしてツッコミいれているよ。 #hadoophn

okachimachiorz @shita いや、大先生のかわりに。などと。w #hadoophn

shita kerberos 使っても同時稼働(MapReduce等、HDFS 維持ではなく)を目指しているのではないと思っているのですが・・・すいません。よく読んでないんですけど・・・ #hadoophn

kkawamura あれっw #hadoophn

nemoton Kerberosは古い。RPC毎にやるのは、重すぎる、太田さん。。。どうしてYahoo!はkerberosを採用したのかの理由をよく知る必要がある、@shot6 さん。。。hadoopはかなり割り切って作られてきている、その流れで…、清田先生。 #hadoophn

shita ワタシのようなジジイではなく、みなさんのような若い人の力に期待します!! #hadoophn

nemoton Yahoo! としては何がなんでもkerberosということではない。Owenさんの資料でも認証機構は色々と選べるようにプラガバブルにするようなこと言っていた #hadoophn

shita 馮さん、お疲れさまでした!! #hadoophn

shita あー、びっくりした。

nemoton 終盤は糖が脳内から減って頭回ってなかったw 今日はよく歩いた

ーーーーー

しっかし、楽しそうだなぁ・・・  でも、中には、『 この人居て良いの? 』 とか 『 名前出されてバレちゃった 』 みたいなのもあって、それが また、楽しそうw ーーー A.C.

ーーーーー

<関連>
見えてきたHadoopの“使いどころ”─「Hadoop Hack Night Vol.2」開催
Hadoop モデリング座談会 – Twitter Live 速報
Cloudera – Hadoop Webinar のお知らせです
Hadoop Summit – Jun 29 2010
Hadoop で スマートグリッドを、図とデータで見る!
Microsoft readying Hadoop for Windows Azure の対訳
Hadoop による Web 広告システムの構築と運用 :ヨーロッパでの事例

Tagged with: , , , ,

70 歳の Alan Kay へ捧ぐ

Posted in .Selected, Books by Agile Cat on August 4, 2010

こんな本があったとは ・・・

__AC Stamp 2

昨日の Twitter で @ishisaka さんに教えていただきました。 今日のコンピューティングの在り方を、Alan Kay さんが言い当てたのか、それとも、彼のイメージの中で、多くの人々が思考を積み重ねてきたのか、どちらなのかは分かりませんが、いずれかなのでしょうね。 PDF 版もあるので、この夏休みの一冊にと考える方もいらっしゃるのでは。 ーーー A.C.

ーーーーー 

Points of View is a collection of previously-unpublished essays written to celebrate Alan Kay’s 70th birthday. Twenty-nine luminaries from diverse disciplines contributed original material for this book.

Points of View は、Alan Kay の 70歳を祝うために寄せられた、これまでに出版されていないエッセイのコレクションである。多様な専門分野に属する 29名の著名人が、この本のためにオリジナルの原稿をコントリビュートしている。

Alan Key

We believe this volume will appeal to readers and collectors looking to learn more about Alan through the eyes of his colleagues past and present, or to gain some unique insights into computer science, management, music and the arts.

この書籍は、Alan のことを知りたい読み手とマニアにとって、魅力的なものになると信じる。 それは、彼の、これまでの仲間の視点から語られるものであり、また、コンピュータによる科学や管理、さらには音楽と芸術へといたる、独自の洞察をもたらすものでもある。

This second printing is being offered to the public in return for a $55 donation to Viewpoints Research. Your donation will help us to recover the costs of printing and shipping.

この第二版の発行にあたり、Viewpoints Research に対する $55 の寄付をお願いしている。 それは、印刷や送付といった経費の足しとなる。
acf0940f-d27d-49da-ab6c-393104e0d2f9
The book is also available for download as a PDF file. Click on the cover image (to the right) to begin the transfer. If you choose to make a donation for the online version, no matter how small, it will be very much appreciated.

また、この本は PDF ファイルとしてダウンロードすることも可能である。 右記の表紙のイメージをクリックすれば、ダウンロードが始まる。 このオンライン・バージョンについても、寄付を考えてもらえるなら、いくらでも構わない。 とても有難いことである。

Bibliographic information

Ian Piumarta and Kimberly Rose (eds), Points of View — a tribute to Alan Kay.
Viewpoints Research Institute, May 2010. ISBN 978-0-9743131-1-5
272 pages, hardbound, foil stamped, color illustrated.

Alan Kay Smile

Contents

Kim Rose
Preface

Bob Sproull
Alan Kay: visionary designer

Ivan Sutherland
Old Salt Lake stories that you may not have heard

Adele Goldberg
Alan Kay and the Search for the Holy Grail

Bert Sutherland
Manager as Pupil

Bob Stein
Do it

Leonard Kleinrock
About an Ageless Alan Kay

John Sculley
Genius is Seeing the Obvious Twenty Years Ahead of Everyone Else

Bobby Blatt
The Vivarium—a place to learn about learning, and to think about thinking

Chunka Mui
Notes on a twenty-five-year collaboration

Mel Bergstein
Context, Inspiration and Aspiration: Alan Kay’s Influence on Business

Larry Smarr
The Emergence of a Planetary-Scale Collaboratory for Data-Intensive Research

Andy van Dam
Reflections on what Alan Kay has meant to me, on the occasion of his 70th birthday

Raj Reddy
Alan Kay and the Creation of the Centre Mondial Informatique et Ressources Humaines in Paris

Nicholas Negroponte
The Book in Dynabook?

David P. Reed
Get the verbs right

Chuck Thacker
A Tiny Computer

Douglas B. Lenat
The K Factor

Butler Lampson
Declarative Programming: The Light at the End of the Tunnel

Vishal Sikka
Some timeless lessons on software design

Vint Cerf
Thoughts on Alan’s 70th Birthday

Mitchel Resnick
Life as a Learning Lab

Bran Ferren
AK—A Graphic Exposé

Betty Edwards
A Tribute to Alan Kay

Bob Lucky
Portraits of Alan Kay

Greg Harrold
Greg and Alan conspire to create a wonderful new pipe organ

Quincy Jones
A three-sixty human being

Gordon Bell
Dear Alan, Re: What about your digital afterlife ?

Danny Hillis
The Power of Conviction

Ian Piumarta
Afterword

 

%d bloggers like this: