スキップしてメイン コンテンツに移動

投稿

11月, 2014の投稿を表示しています

ビッグデータな時代だからやるべきこと

大量のデータを取り扱う時、何が大変かっていうと大量だからだよね。データが小さければ、誰もそれほど悩まない。とか言いながら、「大量」ってどのくらい?ってことになると、大抵の場合メガバイトかギガバイトレベルなわけで、そんなんビッグデータでもなんでもないじゃん。ってことになるわけなんだけどさ。

しょせん企業が持っているデータはその程度なんだけど、でもやっぱりそれでも大変なところがあって。つまり集計する軸とか分析する軸とかがどうしても多くなってくるので、そうすると何百回もデータをなめまわすことになる。だからなんやかんやで、結局アホみたいに時間がかかってしまう。下手したら1日分の集計が1日で終わらないとか。

例えば車載機からの情報がたんまり集まってきているとする。そこから時間帯別の稼働率を調べたい。そこから危険運転の確認をしたいとか。集まっている情報には、エンジンの状態とか、走行距離とか、加速度センサーとか、緯度経度とか。まぁ、そういうシンプルなその時が刻まれているわけだ。時間帯別の稼働率なら、集まってきたデータから、時間帯毎に動いていたかどうかを集計すればいい。危険運転なら、急加速/急停止とかの回数や場所を調べればいい。

集まってきているデータ全体は、絶望的にデカかったとしても、集計したい軸にとっては全てが必要なわけじゃない。だからどうする?そう、デッカイデータから、必要な部分を取り出す。さっきの例だと、アホみたいにデカイデータから、時間帯別の稼働時間を抜き出す。元データがテラバイトだろうが、ペタバイトだろうが、そんな感じで抽出してしまうと結果はキロバイトとか、そんなちょっとしたデータになる。

ここ数年の流れからいうと、こうしたどデカイデータをちょっとしたデータに変える部分ってことになると、Hadoopというかmap reduceの出番的な雰囲気が漂っていた。まぁ、map reduceは、慣れてしまえばなんてことないものなんで、後はひたすら根性途切れないように黙々とやるだけだけど。でも、なんつうか、環境構築とか、そうは言ってもひたすらプログラム準備していくわけだし。Hiveとかいろいろ出てきても、なんかお手軽感は全くないし。そういうんじゃないんだよな。ということで、ウンザリして放り出してしまっていた人が多かったんじゃないかと。

map reduceの言い出しっぺは、Goo…

大好きな「やつ」に

突然の別れがあったとしても、それはショックだけど、それだけでたまらなく辛いわけじゃない。考えてみるとホントに色々な思い出にあふれていて、それは「あいつがいかに思いやりがあって優しかったのか」ということを感じさせることばかりで。だから考えてしまうと、涙が止まらなくなる。それは優しい気持ちに感動してしまうというか、「ありがとうともっと言えばよかったと思うけれど、もう言えないんだと思う気持ち」が心をギュッと掴んでしまうから。

あいつとの出会いは、福岡に子会社を作った時に社員として参加してきたのがはじまりだった。開発子会社だから、東京本社からの仕事を下請け的にやるもんだという雰囲気の中、なんかもがいている感じだった。俺は親会社の社長だったわけだけど、下請け仕事ばっかりしてないで、自分で仕事取りにいきゃいいじゃんとも思っていた。だって、そうじゃないとつまんないし。で、あいつと話をして「九州で仕事をするならこの会社」と言える3社をピックアップして、知り合いを通じてなんとかアポをとり、提案書を書いて回り始めた。
当たり前だけど簡単にうまく行くわけじゃないし、最初の2社は門前払いも同然だった。門前払いで悔しいというか、ちょっと頭に来てたりしたんだけど、でも俺たち二人はそんな状況を楽しんでいて。だから「天神まで歩こうぜ。この思いを忘れないようにな。」って、日赤通りを延々何キロも「あーだ、こーだ」言いながら歩いて帰った。
3社目は、一番会社規模も大きく、まぁどちらかというと一番門前払いされてもおかしくない熊本の会社だった。なんども練り直した提案書を説明したら、対応してくれた方から、「きみたち面白いね」ってことで、その会社の新入社員向けの企業説明資料を渡された。「これ読んで、もういちど提案して」ってことだった。
なんていうのか、仕事がはじまるわけじゃなく、提案に具体的ターゲットがあるわけではなく、「自分の会社をちゃんと理解した上で何か考えろ」ということだよね。でも扉はあけてくれたわけだし、追い返されたのではなく、飴ちゃんもらって「またおいで」って言われたような感じだったわけだ。
で、もらった資料を読んでわかった。その会社は、とても人間的なことを大切にしていて、全てにおいて誠実であろうとしていることを。最初の2社は、どちらかというと収益をあげるかということを大切にしていたけど、その会社は…

AmazonとGoogle 2つのクラウドの違いとは

動きの早いクラウド業界だけど、「圧倒的シェアを握るAmazonに対して、大手数社が追いかける構図」的論調が多い。実際に色々と利用してみると、一緒に並べて比較するのが間違っているんじゃないかと思うことしばしばだし、なんか最近この手の話がよく身近な話題になるので、ここらで改めてまとめてみる。

まずは、AWS(Amazon Web Services)。

AWSを理解するのには、彼らの根幹事業であるネット販売から眺めてみると良い。Amazonのネット販売の強みは、注文してすぐ届くための仕組み。つまり巨大な倉庫をハブとした物流にあるのは誰もが知るところ。この仕組みを使って、できる限り中間業者を中抜きする。中抜きすることで、余分な時間とコストが削減され、消費者に素早く、低価格に商品を届けられる。まぁ、簡単に言えばこういう理屈。

では、コンピュータはどうだったのか、ちょっと振り返ってみる。

例えば、ある企業が「なんとかシステム」を構築しようとする。きっと、まずはそのシステムに詳しい人(コンサルとかSI会社とか開発会社とか言われる人たち)に相談するわけだ。相談された人は、なんだかんだと検討をして、コンピュータのハードウェア的構成を考える。そしたら、その構成通りにハードウェアを準備してくれる人(ハードウェアの販売会社とか)に依頼をして調達するんだけど、ハードウェアを準備する人たちは自分たちでハードウェアを作っている訳ではないので、ハードウェアメーカーに発注する。

ハードウェアメーカーは、ハードウェアメーカーっていうくらいだから、コンピュータを作っている人かっていうと実はそうではなくて、実際のところどのハードウェアメーカーもみんな同じような台湾のメーカーに発注をしてコンピュータを製造してもらい、自社のロゴを貼り付けて製品としているだけ。(っていうとちょっと乱暴だけど、大きくとらえるとそんな感じ)だから、実のところハードウェアメーカーごとの違いなんて、ケースのデザインとか、貼り付けたロゴとか、検品の差くらいだったりする。

ようやく最後までたどり着いたところでハードウェア調達完了かというと、そうではなく。調達したコンピュータを動かす場所。つまりデータセンターを借りるって話になるわけだ。これもどこがいいかいろいろ検討して、そこに調達したコンピュータを設置して電源を入れたらようやく利用開始にな…

着水ではなく着陸な 降下ではなく墜落な

一瞬の出来事、冷静に対処したはずなのに、結局何が起きたのかわからないことってある。

昨日の海。浜辺からそれなりの距離をとってジャンプしたんだけど、想像以上のジャンプになってしまい、みるみる浜辺が近づき仕方なく浜辺に着陸。こういう状況って、これまで何回も経験したはずなので、「あー、またやったか。もっとマージンとんなきゃ。」で終わるところなんだけど今回はなんか違う。なんか普通はもっとフワッと降りれるはずなのに、いつもよりハードランディングな雰囲気。そばで見ていたヤスさんが駆けつけてくれて、「あ。これ。」と拾ってくれたのが、壊れたフィン2枚。フィンだけでよかった。と思ってたら、なんとボードもパッド接続部分が板ごと破損してました。
え?そこまですごい落ち方?つまり、それだけの衝撃だったんだろうけど、その割になんともなかったのはなぜ?

当日は、ちゃんと考えられなかったけど、冷静になって考えてみると思い当たることさまざま。

まず当日のコンディション。気候変動のせいか侵食された海岸線は、海と陸をなだらかにつないでいたはずの砂浜を、海に隣接して丘があるような風景に変えてしまった。おかげで地表近くの風は4〜5メートルなのに、上空は6〜7メートル(ブロー入ったらもっといってたかも)。しかも全体的に風は不安定で、風速はコロコロ変わっていた。つまりジャンプの瞬間、上空でいい感じにブローが入って想像よりも高く飛べたわけで、それはそれで「やったー!きもちいー!」なところなんだけど。まー、それで予想よりも流されて浜辺に着陸したのもしかたない。

問題は降下中。つまり徐々に降りてきたところで風が一気になくなったんじゃないかと。そういうコンディションだったからね。つまり、墜落したような感じ。「降りた」というより「落ちた」。

衝撃を感じなかったのは、ただただF-Oneのパッド性能のおかげ。他のボードパッドと比べてもクッション性が高いので、ドスンと落ちた衝撃をパッドが吸収してくれたんだろうな。

おかげで今年2枚目のボード破損。同じような状況で、ヤスさんは骨折したらしいので、ボードが守ってくれたというか、なんかいろいろこういう場面で何かに守られてるよなぁ。と感じつつ。「おまえに休んでいる暇はないんだぞ。」と言われているような気もしつつ。まぁ、ヤスさんはそもそも高度が高いから、ドスンと落ちた時の衝撃はさらに大き…