山下寛人オフィシャルブログ

オイシックス株式会社 執行役員 システム本部長 山下寛人の公式ブログです。

統計解析にビッグデータは必要か

業界では一生懸命ビッグデータ

盛り上げようとしています。

そういうので取り上げられるものの

多くは統計解析です。

どんなものがよく売れるのかの分析

だったり、サイト上の行動だったり。

しかしそもそも統計解析にビッグデータ

必要なのでしょうか。


統計解析の世界では大昔から

標本調査という手法があります。

大量にデータがあるからといって

全部を計算しなくてもいいのですね。


Google検索はビッグデータが必要です。

おびただしい数のページの中から検索

ワードに合っているものを見つけ出す

必要があります。

すごくマイナーなページでも検索できる

ことは大きな価値の1つです。

主要なページだけに絞ったり、無作為に

抽出したら検索エンジンの価値は一気に

下がります。

だからGoogleMapReduceのようなやり方を

する必要があるのです。


せっかく盛り上げようとしているので

うまく波に乗りたいところですけどね。