Big Data

あなたにオススメの〜的なサービスを実装する(アルゴリズム改良版)

前回までは、数式通りにゴリゴリとレコメンド行列を作成していきましたが、前回のプログラムでは計算量がO(m^3)になってしまいます。(mはユーザーデータの量)したがって、ユーザーが1000人、2000人と増えていくに連れて、一気にプログラムの速度が落ちます。…

あなたにオススメの〜的なサービスを実装する。

AmazonやFacebookに代表されるように、「あなたにオススメの〜」みたいなサービスを構築する方法について考えてみます。いわゆるレコメンド・サービスのためのアソシエーション解析の一環ですね。まずは解析するデータを自動で作成するために、ExcelでVBAを…

Hadoopでサービス構築する際に便利なHadoop周りのソフトウェア・ライブラリ群

最近ビッグデータを用いたビジネスやサービス開発が活発になってきて、かのニューヨーク・タイムズでも、ビッグデータを扱うデータアナリストは「21世紀で最も魅力的な職業」といったほど、世の中はデータに対する強い関心を集めているようだ。 実際私の周り…

ゼミでの発表の準備

大学のゼミでデータ解析を専攻しており、明日のゼミの発表に向けてオライリーのデータ解析の本(英語版)を20ページほど翻訳してまとめました。 20ページの内容なのにスライドを40枚近く作成してしまい、自分の情報処理能力に絶望しています。 せっかくなので…