隠れ家

きのうのつづき？・.・,,
メトロポリス・ヘイスティングス法( ←メトロポリス法(重点サンプリング (importance sampling ) による分配関数の近似計算の方法(⇔'量子力学 ).⇔・・ モンテカルロ法(" シミュレーションや数値計算を「乱数」を用いて行う手法の総称. 中性子が物質中を動き回る様子を探るため??. (=「ランダム法 」)???
計算理論の分野において、モンテカルロ法とは「誤答する確率の上界? 」が与えられる乱択アルゴリズム（ランダム・アルゴリズム）と定義される. 一例として素数判定問題におけるミラー-ラビン素数判定法がある. このアルゴリズムは与えられた数値が素数の場合は確実に Yes と答えるが、合成数の場合は非常に少ない確率ではあるが No と答えるべきところを Yes と答える場合がある. 一般にモンテカルロ法は独立な乱択を用いて繰り返し、実行時間を犠牲にすれば誤答する確率をいくらでも小さくすることができる. またモンテカルロ法の中でも任意の入力に対して最大時間計算量の上界が入力サイズの多項式で与えられるものを効率的モンテカルロ法という.
なお、これとは対照的に理論上必ずしも終了するとは限らないが、もし答えが得られれば必ず正しい乱択アルゴリズムをラスベガス法(（: Las Vegas algorithm）は、間違った解を返さない乱択アルゴリズムを指す. すなわち、解を返すときは常に正しく、正しい解が求められない場合は失敗を通知する. 換言すれば、ラスベガス法は答え（解）については賭けをせず、計算に使用するリソース量についてのみ賭けをする. さらに平均実行時間が入力長の多項式関数で押さられるようなラスベガス法は効率的[訳語疑問点](efficient)であるという. ラスベガス法の単純な例にランダム化されたクイックソートがある. ピボット値をランダムに選択するクイックソートではソート結果は常に正しい. 一般に無作為な情報に対してラスベガス法を使う際には、定義上、実行時間の上限を設けることが多い..(「最大時間計算量の上界?, 」まで指数関数的にくみあわせようとしている. ) )と呼ぶ. [2014年06月04日Monte Carlo method, 2017年03月18日Wiener process[2]ウィーナー過程('computer's programmings 'においては、エラーがおこらないように「最大時間計算量 」の幅を モンテカルロ法, etc で指定している・のではないか ???, )   etc? ]
計算複雑性理論では、確率的チューリング機械によるモデル化によってモンテカルロ法を用いて解決できる問題のクラスをいくつか定義している. 代表的なところでは RPやBPP、PP などがある. これらのクラスと P や NP との関連性を解明していくことによって、モンテカルロ法のようにランダム性を含むアルゴリズムによって解ける問題の範囲が拡大しているのか（P ≠ BPP なのか）、それとも単に決定的アルゴリズムで解ける問題の多項式時間の次数を減らしているだけなのか（P=BPP なのか）は計算複雑性理論における主要課題の1つである。現在、NP ⊂ PP 、RP ⊆ NPであることは解っているが BPP と NPとの関係は解っていない.(つねに？・うごいているから・誤答の幅もつねに・うごいている ?!?, ) ) によるシミュレーションにおいて、乱数発生により作った新しい状態を棄却するか採択するかの基準の与え方. ) )

In statistics and in statistical physics(統計物理学とは、(⇔'量子力学 )とのかけはしとなる・もの ???, ), the Metropolis-Hastings algorithm is a Markov chain Monte Carlo (MCMC) method for obtaining a sequence系列? of random samples from a probability distribution for which direct sampling is difficult. This sequence can be used to approximate the distribution (e.g., to generate a histogramヒストグラム(柱図表、度数分布図、柱状グラフ?? ) ), or to compute an integral<,<'Monte Carlo integration is a technique for numerical integration using random numbers(「乱数 」がだいじ? ). It is a particular Monte Carlo method that numerically computes a definite integral. While other algorithms usually evaluate the integrand at a regular grid, Monte Carlo randomly choose points at which the integrand is evaluated. This method is particularly useful for higher-dimensional integrals. >> (such as an expected value期待値((確率変数の実現値を, 確率の重みで平均した値. 日本工業規格では、値 x_i が出現する確率を p_i = P_r{X = x_i} とする離散分布に対する期待値と、確率密度関数 f(x) を持つ連続分布の期待値を定義している. 多数回の測定を行い測定値の平均を求めると、期待値に近い値になる. 関数 g(X) の期待値 E[g(X)] も同様に定義している. また、条件付き分布の期待値を条件付き期待値、X，Y の同時分布に関し、条件 Y = y の下での X の条件付き期待値が y の関数になること、確率変数 X の期待値を X の母平均ということを紹介している. ) ). Metropolis-Hastings and other MCMC algorithms are generally used for sampling from multi-dimensional distributions, especially when the number of dimensions is high. For single-dimensional distributions, other methods are usually available (e.g. adaptive rejection sampling適合性棄却サンプリング ) that can directly return independent samples from the distribution, and are free from the problem of autocorrelated samples自己相関-サンプリング?? that is inherent in MCMC methods.

<figure--Step-by-step instructions >
The result of three Markov chains running on the 3D Rosenbrock function using the Metropolis-Hastings algorithm. The algorithm samples from regions where the posterior probability is high and the chains begin to mix in these regions. The approximate position of the maximum has been illuminated. Note that the red points are the ones that remain after the burn-in process. The earlier ones have been discarded. →・→,・''Gibbs sampling "[software---Gibbs sampling[Gibbs sampler ]ギブスサンプリング20171218  etc? ]

↓↓ ↓↓ ↓↓ ↓↓ ↓↓ ↓↓, ↓↓ ???,,
このアルゴリズム''Gibbs sampling "[software---Gibbs sampling[Gibbs sampler ]ギブスサンプリング20171218  etc? ] は移動したり、ある点にとどまったりを繰り返しランダムにサンプル空間を動きまわる. 採択率は、提案分布と現在のサンプルにしたがって生成されるサンプルがどれだけ採択されうるかを表す. 現在のサンプルよりも次のサンプルの確率が高ければ、必ず次のサンプルを採択する. しかし次のサンプルの確率が高くない場合、ある確率で移動せずにサンプルを棄却する.  このため、高い確率密度の領域からは多くのサンプルを、また低い確率の領域は少ないサンプルを生成することになる. 直感的にはこれがアルゴリズムの仕組みであり、目的の確率分布に従ったサンプルを生成する方法である.

分布から直接独立サンプルを生成するM-H アルゴリズムや他のMCMCアルゴリズムなどの適応的棄却サンプリング と比べいくつかの短所がある.(「直接独立サンプル 」するほうが、・いいのに・なぜ？このようなまわりくどい??,ようなことを・しなければならないのか?!?,!? 「冗長・性(ながい・おひれのついたような・むだなぶぶん ??? )/ 」？この部分自体!? のなぞにせまり・〔分析・解析?? 〕したいが・ため ??(自己相関・性?のそんざいのため??),??? )
1. サンプルが相関していること.

長い時間サンプルを生成しても、近接したサンプルは相関をもち、分布を正しく反映したものではない. これは独立したサンプルを得たい場合、多くのサンプルを捨てなければならないことを意味し、n 個飛ばしでサンプルを集めたりする.  このn の値は通常は近接サンプル間の自己相関を計算し決められる. サンプルされる領域を広げると自己相関は減少させることができるが、提案されたサンプルの棄却確率を増加させることになる.  適切なジャンプサイズではない場合、遅い混合のマルコフ連鎖となる. これはつまり、サンプルが高い相関をもつことで目標とする分布を精確に推定するために非常に多くのサンプルが必要となることを意味する. このアルゴリズムで生成されたマルコフ連鎖が目標の分布に収束されることは保証されているが、 初期値が低い確率の領域であったり、初期値が悪いとうまくいかない場合がある. その対策としてburn-inの期間は通常は必要である. そのため、始めの数千、万サンプルは捨てられる.(通電??する・ようなことによる品質検査を・するようなもの[過程,? ] ??, )

多くの棄却サンプリング法は「次元の呪い」[2017年12月04日Combinatorics(in different

domains)---Curse of dimensionality次元の呪い(combinatorial explosion「組合せ爆発」→ 2017年12月02日solutions---Eight queens puzzleエイト・クイーン（制約充足問題の一種）[1]  ) ] の影響を受ける. 次元の呪いとは棄却確率が次元数の関数として指数関数的に増加すること. 他のMCMC法と同様にM-Hアルゴリズムではこの次元の問題を同程度には持たないため、サンプル空間の次元が高い場合には唯一の可能な解法となる.  そのためMCMC法は、現在では多くの分野で使用されている階層ベイズモデルや高次元な統計モデルからのサンプルを生成する方法として選ばれている. (これが、・「冗長・的になったサンプリング?,・棄却確率が次元数の関数として指数関数的に増加すること etc?? を ある「乱数列?!, 」により再帰・的-棄却をおこなう 」←,← この工[行]程?をくりかえす(「乱数列?!, 」は、乱数発生器により毎回毎回?,ことなったものとして、発生をくりかえす !?!, ) ?!?,---, ('computerｓ'の性質上?? 冗長・性は その間も並行してつづいている・ようなイメージ であり・、・) --?-?-?,- サンプリング? は 減少?-増加?,-減少??-・・・-増加?,-減少??-増加?,-減少??-,,, をくりかえしながら?. しゅうそくしていくようなイメージ ？？,？？??？ほんとうは、もっとふくざつ???, ↓↓量子力学へむかう???↓,,　)

次元が高い場合には、個々の次元ごとに異なった振る舞いをすることや、遅い混合を避けるためにすべての次元に関して適切なジャンプの大きさを決定することが問題となるため、提案分布を適切に選択することが自体が困難である. そのような状況でしばしば取られる代替案としてはギブスサンプリングがある. ギブスサンプリングは、すべての次元から一度にサンプルするのではなく、個々の次元に関してサンプリングを行う.  これは多くの典型な階層モデルにあるように、少数の変数が他の変数を条件付けている場合には有効な方法である.  個々の変数は他の変数に関して条件づけされて１度にサンプリングされる.  他には適応的棄却サンプリング、一次元M-H ステップ、スライスサンプリングが考えられる.

提案密度 Q ( x ′  , x ^t   )  が x ′ に一切依存しないことも可能であり、その場合はアルゴリズムは「独立連鎖メトロポリス・ヘイスティングス法」という(それ以外は「酔歩連鎖メトロポリス・ヘイスティングス法」である).  ふさわしい提案分布を持った独立連鎖M-Hアルゴリズムは酔歩連鎖法よりも高い精度があるが、目標分布に関してアプリオリ(経験的認識に先立つ先天的、自明的な認識や概念。カントおよび新カント学派の用法。ラテン語のa prioriに由来する.・「先験的」「先天的」「超越的」,?・・・「わたしは何を知ることができるか」「わたしは何をなすべきか」を問い、自然や人間を認識する「理性」（理論理性/・・・'computerｓ 『人工知能(A.I. ) 』'???が登場してくるためには、・これがいる !!!??, ）の限界を明らかにするために批判哲学を打ち立てた18世紀ドイツの哲学者イマヌエル・カントは、哲学もまた数学や自然科学にならって、​必然的で普遍的な思考方法を獲得しなければならないと主張した.  そして、そのためには、人間のあらゆる経験から独立して、理性自身が認識のわく組みを決めることができなければならない、(「論考」の一節???)とした.​  これが「アプリオリな認識」である（アプリオリな認識のうち、経験的なものをまったく混入していない認識を「純粋認識」と呼ぶ.  <カントにおける「アプリオリ」の概念(概要)ーー/wiki/アプリオリ > ) の知識を必要とする.
by Wikipedia
('computerｓ 『人工知能(A.I. ) 』'??? のせいしつにあわせた?!?,サンプリング ???,?? )

詳細釣り合い（時間反転を行っても、力学的な法則が不変であるところから導かれる・もの ??? ）　←メトロポリス法（: Metropolis method ）

The principle of detailed balance is formulated for kinetic systems which are decomposed into elementary processes (collisions, or steps, or elementary reactions): At equilibrium熱力学的平衡, each elementary process should be equilibrated by its reverse process.

（熱平衡におけるミクロな状態変化を考えた場合、そこに含まれるどの過程の起こる頻度も、その逆過程の起こる頻度と等しいことを指す. → 宇宙エネルギー??（、「反重力」(（時空が膨張するような解<宇宙の膨張に関わる宇宙定数や真空のエネルギー（ダークエネルギー）>？！？・・）軍事用？！として、かいはつがごりょくされたが？あまりにもむずかしすぎる(歪みのない平坦な時空は理論的にはある？！が現実・数学的？？にはきわめてむずかしい？,・・)？？技術？！？！？ )[2017年05月26日definition---Godel metric[solution]ゲーデル解--(アインシュタイン方程式の厳密解)(この場合だと？・？・・時空のところどころに"過去と未来"が存在することになる？！？・・しかし、それだと？いったんうまれた"過去と未来"はきおくからは？・なかなかけせないことになってしまうのでは？？？もしかりに・・じかんが"未来→過去"ni,nagareteirutositara ?..きまっている事実をけすことができるのでは？！？！？, そして、そのけされたものは・・べつのじげん？！へ・・,・(にんげん？のふつう？？のじこうでは・・"過去→未来"といったものしか？？？はんべつはむづかしいだろうが？！？！？！,・・・ 未来) ・/・/・/ けいさんしきの行列は、その行列じたいがかさなりあってかいてんしている"gyrocompassesジャイロコンパス,'のように＜,'stress-energy tensor"→ 完全流体近似のエネルギー・運動量テンソルーー/wiki/エネルギー・運動量テンソル, ？？？,！！！,？！？,！？！), 2017年11月15日アフィン包（アフィン）和空間 (Verbindungsraum)  etc? ] ） ）

メトロポリス・ヘイスティングス法(M-H法)では，必ずしも詳細つり合い条件を満たさない提案分布q(x | y) に対して，詳細つり合い条件を成り立たせるための重み関数a(x | y) が「提案分布?!?, 」?? を満たす ?????,
ここでポイントなのは，サンプリングを試みたい不変分布から直接サンプリングは難しいけれども，提案分布からなら容易にサンプリングが可能という場合を考えているということです．

p(x^t) q(x^{t+1} | x^t) w(x^{t+1} | x^t) = p(x^{t+1}) q(x^t | x^{t+1})

そこで，提案分布q(x | y)によりサンプルされたxをa(x | y)の確率で採択することで，詳細つり合い条件を満たすようにサンプリングを行おうというのがM-H法のアイディアです．

具体的には採択確率a(x | y)は

a(x^{t+1} | x^t) = \min \left[ 1, \frac{p(x^t) q(x^{t+1} | x^t)}{p(x^{t+1}) q(x^t | x^{t+1})} \right]

となります．もし提案分布にガウス分布のような対象の分布を用いる場合には，不変分布の比だけを考慮すればよいことになります．このように対称な提案分布を使う方法を特にメトロポリス法と呼びます．
(げんじつてきには、？ぜったいつりあわないと・おもわれるような・もの・なのだが・？・？？, それを・なんとか?? なぞとおもえるような?? 方法???,で「熱平衡におけるミクロな状態変化を考えた場合、そこに含まれるどの過程の起こる頻度も、その逆過程の起こる頻度と等しいことを指す. 」ような相対的なもの・としておきかえようとしている (→メトロポリス法 )→,→→  条件にあった「提案分布?!?, 」+++ 重み関数??→→→,→→ 「メトロポリス・ヘイスティングス法(M-H法) 」  ?!?!?,!? )

(さんこう,? )
http://tatsyblog.sakura.ne.jp/wordpress/applications/machine-learning/406/
はじめてのMCMC (メトロポリス・ヘイスティングス法)
(かくしてある？・ぶぶんがおおすぎる ?!?,・・ )