ラベル Math の投稿を表示しています。 すべての投稿を表示
ラベル Math の投稿を表示しています。 すべての投稿を表示

2018年7月21日

不偏分散の定義と証明,および n-1 の解釈

Abstract
  本投稿では,不偏分散の定義とその解釈について説明する. 不偏分散 $\sigma_u^2$ は, 1) 標本分散の期待値 $E[\sigma^2]=\frac{n-1}{n}\sigma_0^2$ と, 2) 母分散 $\sigma_0^2$ の偏りを無くすため,標本分散 $\sigma^2$ を $\frac{n}{n-1}$ 倍した値として定義される. このように,不偏分散は,期待値について偏りの無い分散として定義される. 数式の解釈について,サンプル数が有限の場合 (特に,サンプル数が極端に少ない場合),母分散の範囲に当たりをつけるには,分散を広めに見積もる必要がある.$\frac{n}{n-1}$ 倍は,1) と 2) を比較して,どの程度範囲を広げれば母分散の範囲を指示できるか,を計算した値と考えられる.

※ $n_0$ は 母数, $n$ は 標本の数 (サンプル数), $\overline{x}\equiv\frac{1}{n}\sum_{i=1}^n{x_i}$ は 標本平均, $\sigma^2\equiv\frac{1}{n}\sum_{i=1}^n(x_i-\overline{x})^2$ は 標本分散, $\overline{x}_0\equiv\frac{1}{n_0}\sum_{i=1}^{n_0}{x_i}$ は 母平均, $\sigma_0^2\equiv\frac{1}{n_0}\sum_{i=1}^{n_0}(x_i-\overline{x})^2$ は 母分散, $\sigma_u^2\equiv\frac{1}{n-1}\sum_{i=1}^n(x_i-\overline{x})^2$ は 不偏分散, をそれぞれ表す.

2018年6月2日

論文の紹介と検証:Marsaglia, G. 2003. Xorshift RNGs.

Abstract of this post
  This post will introduce Marsaglia, G. 2003. Xorshift RNGs. [1] which is a paper of Xorshift random number generator. And, in the reproducing process of calculating the hyperparameters reveals that [1] has a few calculation mistakes of hyperparameters. This result means that there is a parameter which enable to generate random number by only 2 calculations of 64 bits xorshifts while [1] said that at least 3 calculations are required.

  この投稿では,Xorshift 疑似乱数生成器の論文 Marsaglia, G. 2003. Xorshift RNGs. [1] を紹介する.前提条件として,参考文献 [2] 読了レベルの知識を必要とする.以下,論文の節に沿って適宜翻訳を行いながら,必要な計算の実装と実行結果を示す.また,再現実験および,[追記2] より,[1] のパラメータのいくつかとは異なる計算結果を得た.また,shift 操作 2 回で乱数を生成できるパラメータは存在しないとされていたが[1],64 bits 時において,存在することを示す計算結果を得た.

2017年11月26日

バイナリ行列演算ライブラリの開発と Xorshift 疑似乱数生成器のパラメータ計算

Development of binary matrix calculation library and calculation of Xorshift RNG parameter
Abstract
  バイナリ行列※1は,0 と 1 の 2 値しかとらない行列で,xorshift 疑似乱数生成器の位数計算などに用いられる.しかしながら,高速にバイナリ行列を計算する専用のライブラリを確認できなかったため開発した.char 型の配列を利用した計算と比較して,1/8 のメモリで済み,bit 演算により バイナリ行列乗算を 24~ 600 倍程度高速に計算できると推測される※2.ライブラリとしての利便性を考慮して,演算子のオーバーロードを行うとともに,サンプルプログラムとして xorshift 疑似乱数生成器の位数を計算した.

※1. Wikipedia では,"logical matrix, binary matrix, relation matrix, Boolean matrix, or (0,1) matrix" の名称で紹介されている[8].bits martix の名称は一般的でないと思われる.
※2. char 型の配列を利用したバイナリ行列演算を実装していないため,直接の比較はしていないが,利用した手法 [3] から,32x32 bits で約 24 倍,64x64 bits で約 60 倍,1024x1024 bits で約 120 倍,4096x4096 bits で約 590 倍,高速に計算できると推測される.

2017年4月6日

固有値の検算

概要
  この投稿では固有値を検算する手法と,その証明を示す.固有値計算を実装した場合や,固有値計算で桁落ちが疑われる場合など,計算した固有値が正しい値か確認したいことがある.そこで,下記に示す行列の性質を利用すると,簡易的に固有値が正しい値か検算できる.この性質は一般によく知られている.

2016年10月9日

深層学習 (機械学習プロフェッショナルシリーズ) の式展開メモ

  この投稿では,MLP 本あるいは,MLPS 本 (Machine Learning Professional Selease 本) の内の一冊である,深層学習 (岡谷 貴之 著) の式展開のメモを (基本的には,書籍中で,式・話し共に十分丁寧な展開がされているので,一部私が戸惑った部分のみ) 残します. この本では,ニューラルネット周辺の数学的な背景について,網羅的に説明されています. 本記事投稿時点では,ニューラルネットについて網羅的に扱っている書籍は殆ど存在しておらず, また,論理展開が丁寧であることから, 深層学習 (Deep Learning) を用いた機械学習の入門書としては,もっとも優れた本の内の一冊だと思います.

深層学習 (機械学習プロフェッショナルシリーズ)
著者: 岡谷 貴之
出版社: 講談社
発売日: 2015/04/08
メディア: 単行本
ページ数: 176 ページ


数値計算 [新訂版] (サイエンスライブラリ理工系の数学) の 非公式正誤表

  私が数値計算を始めてまともに学んだ書籍が下記の書籍です. 非常に良くまとまっていますが,「なお,これらの誤植訂正につきましては,発行点数も多く,管理上実現可能な方法は,重版時毎の訂正の他ございませんので,ご了解下さいますようお願い申し上げます」とのお返事をいただきました.出版社サイトの正誤表は更新されていないようですので,メモを残しておきます. (本正誤表は,非公式かつ非公認です.本正誤表の利用によって生じたいかなる損害や損失も補償できないことを明記しておきます)

※ブログの幅が足りなかったため,表にはできなかった


数値計算 [新訂版] (サイエンスライブラリ理工系の数学)
著者: 洲之内 治男, 石渡 恵美子
出版社: サイエンス社
発売日: 2002/05
メディア: 単行本
ページ数: 167 ページ


2016年8月28日

Principal Component Analysis; PCA (主成分分析)

  この投稿では,複数の画像データ間に対して,主成分分析を適用する場合における,数学的背景を示します.
MNISTのデータ (手書き数字の画像データ) の各画像間の変化に対して,PCAを適用した場合,下記のような式展開となります.
(画像1枚に対して,PCAを適用する場合は,また別の式展開となります.)