前回までは、数式通りにゴリゴリとレコメンド行列を作成していきましたが、前回のプログラムでは計算量がO(m^3)になってしまいます。(mはユーザーデータの量)したがって、ユーザーが1000人、2000人と増えていくに連れて、一気にプログラムの速度が落ちます。…

さて、前回まででデータをnumpyにフォーマットする作業が終わったので、 とりあえず相関の検定をしてみます。 統計解析ツール「R」では、無相関検定というものがあります。 要点だけ説明すると、無相関検定によって出力される「p値」が0.05よりも小さい場合…

昨日に続き、文部科学省のホームページから体力テストに関するデータを取得したので、前回の学力テストのデータと合わせて解析していきます。 といっても、体力テストの調査データはExcelで配布されておらず、PDFに記載されているデータをテキスト形式に自分…

去年塾でアルバイトをしている時に、生徒から 「勉強できる人は運動もできるの？？」 ってことをよく質問されました。 私は勉強も運動も努力がほとんどだと思うので、勉強で努力できる人は運動でも努力でき、学力と体力は相関関係が必ずあると思います。 た…

これからサーバーエンジニアとして活躍するためには、サーバーのログファイルなどを解析してシステムの向上に繋げられる人材が求められています。つまり、データサイエンティストとしての教養がサーバーエンジニアとしての成功に必須な時代となりました。 デ…