projects

March17,2013

E-Commerce(sometimes)doing it wrong

ほとんどのe-commerce webサイトは、検索結果を顧客評価で並べ替えることを提供しています…そしてかなり多く ここで私はCSSについての本を探していると仮定しましょう。 私はお金が買うことができる最高の本を取得したいので、私は間違いなく評価ボタンで並べ替えをヒットします。 ウェブサイトは二つのオプションを提供しています

  • ブックA:1の評価5. の平均評価5.
  • ブックB:50評価。 の平均評価4.5

それについて考える、あなたはむしろ最初の本Bcomeの最初に来る本を持っているだろう。 おそらくbを予約しますか? つまり、平均的な評価でソートするよりも、いくつかのことが必要です。

最初の簡単な答えは、平均評価によるソートと比較して間違いなく改善されるでしょう。k未満の評価の製品を下部に置くことです。

しかし、その後、どのようにkを選択するには? 私たちがニッチを探していて、すべての製品がk+1ひどい評価を持っているものを除いてk未満の評価を持っている場合はどうなりますか。 それは上に行くべきですか?あなたが思いつくかもしれない第二の答えは、私たちの制約に一致するように見える経験的スコアリング式を選択することです。

そこにある数式のほとんどはベイズ推定に依存しています。

一般的に言えば、ベイズ推定は本当にこの種の状況に輝いています:あなたは何かを測定したいが、あなたは完璧な推定に到達するのに十分なデータp>

mが評価の平均で、nが評価の数である場合、次のようなものを検討するかもしれません。

$$rating(m, n) = {mn \over {n+K}}$$

これはおそらくうまく動作します。

$$rating(m, n) = {mn \over {n+K}}$$

これはおそらくうまく動作します。 おそらく…まだあなたはそれがどのような物理的価値に関係するかを知らずに正しいKを選択する必要があります。 さらに重要なのは、これがエッジケースを完全にカバーする素晴らしい解決策であることを同僚に納得させる必要があることです。

Bayesian estimation crash course

大きなアイデアは、推定値を直接計算しようとするのではなく、まず推定したい値の”私たちが知っている”を記述する確率分布を計算

最後のビットでの懸念の分離は、実際には非常に重要です。 あなたの視点に応じて、物理的な値の推定値として非常に異なる値を考慮することができます。たとえば、流行に対処するために政府が購入する必要がある血清の数を見積もる必要がある場合、私は90%でこれで十分であると確信しています。 その数字は、時には期待から非常に遠く離れている可能性があります。 私が実際にそれらの血清を販売する会社の会計のように働いていて、来月の収入の下限のアイデアを得たいのであれば、私はおそらく全く別の分位

簡単な例

トキソプラズマ症と呼ばれる寄生虫を発見したばかりで、トキソプラズマ症と呼ばれる寄生虫に感染した人々の比率X X Xを推定

寄生虫に感染した人間の患者は全く症状を示さないので、あなたが知っている限り、それは何かかもしれません。

寄生虫に感染した人間の患者は何も症状を示さないので、あなたはかなり知っています。 この値の確率分布に関するあなたのビジョンを一様分布であると説明するかもしれません。 .ここで確率について話すことは少し奇妙に感じるかもしれません。

まず第一に、私たちが何かを非常に具体的で非ランダムな値と推定しているときに確率について話すのは正当なことですか? ベイズ確率の観点からは、変数の値が正確にわからない場合、変数はランダムです。 それは何かについての私達の知識を要約する情報である。しかし、私たちの問題に戻りましょう。

あなたがトキソプラズマ症のために人々をテストするように、あなたは観察を行います。それぞれの人はトキソプラズマ症を持つ確率Xを持ち、これを非常にxと推定したいと思います。n n persons人を見た後、トキソプラズマ症を持つk人を検出したと仮定しましょう。あなたは均一な事前確率で始まり、各観測はあなたの視力をXに曲げ、それをますます正確にします。

あなたはあなたの視力をxに曲げます。

あこの更新されたXのビジョンは、その事後分布と呼ばれています。私たちはO(観察のように)私たちのN個のテストの結果のシーケンスを呼び出します。Bayesはそれを計算するための小さな式を提供します

 $$P(X | O) = { P( O | X) P(X) \over { P(O)} }$$

P P(O).は、私たちが観察したものを観察する確率です。 それはXと一定であり、したがってほとんど関心がありません。 同様に、事前確率P P(X)uniformを一様に選択したため、Xとは異なりません。

 $$ P(X | O) \propto P( O | X) $$
likelihood P(O X)likelihoodは尤度と呼ばれます。 私たちが観察したものを観察する確率は、X(私たちが探している値)が与えられます。 これは通常、計算するのがかなり簡単なものです。

私たちの場合、独立した観測のシーケンスを観測する確率

 $$ O = ({o_1}, ..., {o_N}) $$

各観測の確率を乗算することによ>1つの単一の観測では、oiが正(それぞれ負)で観測される確率は、定義x(それぞれ1-x)です。 最後に、Kが正で、N-Kが負である場合、事後確率は

 $$ P(X | O) \propto X^{K}(1-X)^{N-K} $$

この分布は二項分布とも呼ばれます。事後確率が観測値の数とともにどのように進化するかを見るのは興味深いことです。

観測値の数とともにどのように進化するかを見るのは 下のグラフは、事後がどのようにして得られる観測の数とともにますます洗練されるかを示しています。正確な確率が得られたので、この分布から任意の種類の推定値を計算することを検討するかもしれません。

おそらく最も一般的な出力は、信頼区間を計算することです:90%の信頼で私たちの値がaとbの間のどこかにあると主張できる区間。

今日、誰もがコン

多くの統計学者は、正規近似が成立しない場合に、二項分布の非常に正確な信頼区間を見つけることにも取り組んでいました。 この式のいずれかを使用する場合は、このwikipediaページを確認することをお勧めします。

星に戻る

星の評価に戻ってみましょう! このセクションでは、簡略化のために、1、2、または3つの星の範囲を検討します。 無限の数の人々に尋ねる機会があった場合、人々の答えを考えると、それぞれ1,2、または3つ星を与える人々の割合の事後分布を推定しようとします。私たちが観察する確率変数は、いわゆるカテゴリ分布に従います。

私たちが観察する確率変数は、いわゆるカテゴリ分布に従います。

{1,2,3}いくつかの確率p1、p2、p3で

$$ {p_1} + {p_2} + {p_3} = 1 $$

スカラー値の分布を見ているのではなく、三つのスカラー値(または線形制約を考慮した二つ)の共同分布を見ているということです。それでも、単一の確率の推定と同じ推論を適用することができます。

 $$ P({p_1}, {p_2}, {p_3} | O) \propto P( O | {p_1}, {p_2}, {p_3}) P({p_1}, {p_2}, {p_3}) $$

今回はpriorを含めます。 計算を単純化するために、尤度と同じ形状を持つpriorを選択することは常に良い考えです。 最初に尤度を計算しましょう。

前の例のパラメータ推定と同様に、観測の独立性を使用できます。

 $$ P(O | {p_1}, {p_2}, {p_3}) = P({o_1}| {p_1}, {p_2}, {p_3}) \times \cdots \times P({o_N} | {p_1}, {p_2}, {p_3}) $$

そして、各個々の観測の可能性は、関連する確率によって与えられます

 $$\forall j \in \{1,2,3\}, ~~ \forall 1\leq i \leq N, ~~P( {o_i = j} | {p_1}, {p_2}, {p_3}) = {p_j} $$

したがって、我々が受け取ったn個のレビュー内で、それぞれK1、K2、K3のレビューがそれぞれ1,2と3つの星であった場合、我々は

 $$ P(O | {p_1}, {p_2}, {p_3}) = {p_1}^{K_1} {p_2}^{K_2} {p_3}^{K_3} $$

パラメータを持つディリクレ分布と呼ばれる

 $$ \alpha = \left( \begin{array}{c} {K_1} + 1 \\ {K_2} + 1 \\ {K_3} + 1 \end{array} \right) $$

数学をはるかに簡単にするために、非常に同じ形状のpriorとパラメータalpha0を考えてみ

事後は、に比例しています

 $$ P({p_1}, {p_2}, {p_3} | O) \propto { {p_1}^{K_1} } { {p_2}^{K_2} } { {p_3}^{K_3} } { {p_1}^{ {\alpha_1^0} - 1 } } { {p_2}^{ {\alpha_2^0} - 1 } } { {p_3}^{ {\alpha_3^0} - 1 } } $$

私たちはに因数分解することができます

 $$ P({p_1}, {p_2}, {p_3} | O) \propto { {p_1}^{ {K_1} + {\alpha_1^0} - 1 } } { {p_2}^{ {K_2} + {\alpha_2^0} - 1 } } { {p_3}^{ {K_3} + {\alpha_3^0} - 1 } }. $$

ここで我々はパラメータを持つディリクレ分布を見ています

 $$ {\alpha^1} = \left( \begin{array}{c} {K_1} + \alpha_1^0 \\ {K_2} + \alpha_2^0 \\ {K_3} + \alpha_3^0 \end{array} \right) $$

今、私たちが本当に欲しいのは、星の平均数の推定値です….. 私たちの後部を考えると、この平均の期待値の使用を考えてみましょう。

 $$ E( {p_1} + 2{p_2} + 3{p_3} | O ) = E( {p_1} | O ) + 2 E({p_2} | O ) + 3E({p_3} | O ) $$

1,2、または3個の星を得る確率の期待値は、ディリクレ分布によって与えられます

 $$ E(p_i | O) = { {\alpha_i^1} \over { {\alpha_1^1} + {\alpha_2^1} + {\alpha_3^1} } } $$

したがって、ベイズ平均には次のようなものがあります。

 $$ rating({K_1}, {K_2}, {K_3}) = \frac{ {K_1} + \alpha_1^0}{ N + A} + 2 \frac{ {K_2} + \alpha_2^0}{ N + A} + 3 \frac{ {K_3} + \alpha_3^0}{ N + A}, $$

ここで、

 $$ rating({K_1}, {K_2}, {K_3}) = \frac{ {K_1} + \alpha_1^0}{ N + A} + 2 \frac{ {K_2} + \alpha_2^0}{ N + A} + 3 \frac{ {K_3} + \alpha_3^0}{ N + A}, $$

ここで、

 $$ rating({K_1}, {K_2}, {K_3}) = \frac{ {K_1} + \alpha_1^0}{ N + A} + 2 \frac{ {K_2} + \alpha_2^0}{ N + A} + 3 \frac{ {K_3} + \alpha_3^0}{ N + A}, $$

ここで、

 $$ rating({K_1}, {K_2}, {K_3}) = \frac{ {K_1} + \alpha_1^0}{ N + A} + 2 \frac{ {K_2} + \alpha_2^0}{ N + A} + 3 \frac{ {K_3} + \alpha_3^0}{ N + A}, $$

 $$ N = {K_1} + {K_2} + {K_3}~~and~~A = {\alpha_1^0} + {\alpha_2^0} + {\alpha_3^0} $$

それを再グループ化することができます

 $$ rating({K_1}, {K_2}, {K_3}) = \frac{ \left(\alpha_1^0 + 2 \alpha_2^0 + 3 \alpha_3^0 \right) + \left({K_1} + 2{K_2} + 3{K_3}\right) }{A + N} $$

ボイル! 実際の生活の中で使用可能なものにするために、この式を消化してみましょう。 星の評価のためのベイズ平均は、いくつかのパラメータCとmを選択することで構成されます。

  • mは星の平均の前を表します。
  • Cは、私たちの前 これは、多くの観測値に相当します。

次に、ベイズ平均は次のようになります

 $$ rating({K_1}, {K_2}, {K_3}) = \frac{ C \times m + total~number~of~stars }{C + number~of~reviews } $$

関連するデータと無限の時間がある場合は、すべてのコンピュータ書籍の評価のデー しかし、私たちが探している動作を模倣するパラメータのペアを選択することは非常に一般的です。 mは、レビューが非常に少ない製品の平均レビューを調整する値です。 Cが大きいほど、”mから離れる”ために必要なレビューの数が高くなります。

最初の例を見てみましょう。 たとえば、m=3C=5の二つの値があります。

2冊の本のベイズ平均は次のようになります

 $$ {rating_{book~A}} = \frac{5 \times 3 + 5 \times 1}{ 5 + 1 } = 3.3 $$ $$ {rating_{book~B}} = \frac{5 \times 3 + 4.5 \times 50 }{ 5 + 50 } = 4.36 $$

予想どおり、Book2はBook1よりもベイズ平均が優れています。

コメントを残す

メールアドレスが公開されることはありません。