2025年度「機械学習の数理 II」は、深層学習の数理についてです。
月曜13:30-15:00 4/14(月)が初日
オンラインですので、吹田キャンパスの方も履修できます
教科書・指定教材 鈴木讓: 機械学習の数理100問シリーズ「深層学習の数理 with Python」(共立出版)のベータ版の原稿を配布
参考図書・参考教材 C.M. Bishop, H. Bishop “Deep Learning: Foundations and Concepts” (2024)
1. 一層のネットワーク
2. 深層学習の概要
3. 勾配法
4. Back Propagation
5. 正則化
6. Convolutional Networks
7. Transformer
8. Graph Neural Networks
9. サンプリング
10. 潜在変数（離散）
11. 潜在変数（連続）
12. GAN（敵対的生成ネットワーク）
13. Normalizing Flow
14. Auto Encoder
15. Diffusion Model
鈴木讓がオーガナイズしている大阪大学「データ科学特論」という集中講義を、今年は「スパース推定とそのモデリング」というテーマで実施します。阪大の大学院の講義であるばかりでなく、公開講座として提供します(オンライン、無料)。2025年7月以降に募集を開始します。
2025年 9月2日(火)-9月5日(金) 3限 13:30-15:00, 4限 15:10-16:40, 5限 16:50-18:20
2025年 9月6日(金) 1限 8:50-10:20, 2限 10:30-12:00, 3限 13:30-15:00
初日の9月2日(火)に鈴木がスパース推定全体の基本的なことを下記の教科書を使って3コマ使って説明します。その後、12名のゲストスピーカーにお話しいただきます。BerkeleyのRyan Tibishrani教授を始め、この分野で活躍されている一流の方々です。
教科書:
鈴木讓「スパース推定 with R」「スパース推定 with Python」 機械学習の数理100問シリーズ (共立出版)
参考書:
川野、松井、廣瀬「スパース推定による統計モデリング」統計学 One Pointシリーズ (共立出版)
講師リスト (あいうえお順、敬称略)
梅津 佑太 (長崎大)
大石峰暉 (東北大)
川野秀一 (九大)
坂田綾香 (統数研)
菅澤翔之助 (慶應大)
高田正彬 (東芝)
二宮嘉行 (統計研)
廣瀬慧 (九大)
松井秀俊 (滋賀大)
山田誠 (OIST)
Poignard Benjamin Michel Claude (阪大)
Ryan Tibishrani (Berkeley)
「正規分布にしたがう確率変数の和が確率変数にしたがう」という命題を、1年生後期の統計学で積率母関数を用いて証明しています。
100問シリーズの次の巻「確率的グラフィカルモデルと因果推論」で、積率母関数を用いない証明でスッキリしたものが完成したので(自己満足ですが)お見せします。他のブログにも載っていますが、スジのよいものがないとぼやいていました。計算が複雑で、普通にやるとめげやすいです。
独立な確率変数 \( X \sim N(\mu_X, \sigma_X^2) \) および \( Y \sim N(\mu_Y, \sigma_Y^2) \) があり、それぞれの確率密度関数を \( f_X(x) \) および \( f_Y(y) \) とると、和 \( X + Y \) の確率密度関数 \( f_{X+Y}(x) \) は、
\[
\int_{-\infty}^{\infty} f_X(x – y) f_Y(y) \, dy = \frac{1}{2 \pi \sigma_X \sigma_Y} \int_{-\infty}^{\infty} \exp\left\{ -\frac{(x – y – \mu_X)^2}{2\sigma_X^2} – \frac{(y – \mu_Y)^2}{2\sigma_Y^2} \right\} \, dy
\]であり、指数部分は$$ ay^2+by+c=a\left(y + \frac{b}{2a}\right)^2+c – \frac{b^2}{4a}$$ \[
a = -\frac{1}{2} \left( \frac{1}{\sigma_X^2} + \frac{1}{\sigma_Y^2} \right),
\hspace{3mm}
b = \frac{x – \mu_X}{\sigma_X^2} + \frac{\mu_Y}{\sigma_Y^2}
, \hspace{3mm}
c =-\frac{(x – \mu_X)^2}{2\sigma_X^2} – \frac{\mu_Y^2}{2\sigma_Y^2}
\]となる。また、
$$
\begin{aligned}
&c-\frac{b^2}{4a}=-
\frac{(x – \mu_X)^2}{2\sigma_X^2} – \frac{\mu_Y^2}{2\sigma_Y^2}+\frac{\left\{\sigma_Y^2(x-\mu_X)+\sigma_X^2\mu_Y\right\}^2}{2(\sigma_X^2+\sigma_Y^2)\sigma_X^2\sigma_Y^2}\\
=&\frac{\{\sigma_Y^2(x-\mu_X)+\sigma_X^2\mu_Y\}^2-(\sigma_X^2+\sigma_Y^2)
\sigma_Y^2(x-\mu_X)^2-(\sigma_X^2+\sigma_Y^2)\sigma_X^2\mu_Y^2
}{2(\sigma_X^2+\sigma_Y^2)\sigma_X^2\sigma_Y^2}\\
=&-\frac{(x-\mu_X-\mu_Y)^2}{2(\sigma_X^2+\sigma_Y^2)}
\end{aligned}
$$が成立する。そして、正規分布の確率密度関数を積分して1になる、すなわち
$$\int_{-\infty}^\infty \frac{1}{\sqrt{2\pi \sigma^2}}\exp\left\{ -\frac{(x-\mu)^2}{2\sigma^2} \right\}dx=1$$となることにより、\[
\int_{-\infty}^{\infty} \exp
\left\{a(y+\frac{b}{2a})^2 \right\}\, dy
=\sqrt{2 \pi (-\frac{1}{2a})}=\sqrt{2 \pi (\frac{1}{\sigma_X^2}+\frac{1}{\sigma_Y^2})^{-1}}
=\sqrt{2\pi\frac{\sigma_X^2\sigma_Y^2}{\sigma_X^2+\sigma_Y^2}}
\]とできる。ただし、$\displaystyle \mu=-\frac{b}{2a}$, $\displaystyle\sigma^2=-\frac{1}{2a}$とおいた。したがって、
$$
\begin{aligned}
f_{X+Y}(x) &=
\frac{1}{\sqrt{2 \pi (\sigma_X^2 + \sigma_Y^2)}}
\exp\{ -\frac{(x – (\mu_X + \mu_Y))^2}{2(\sigma_X^2 + \sigma_Y^2)} \}
\end{aligned}
$$が成立する。これは、\( N(\mu_X + \mu_Y, \sigma_X^2 + \sigma_Y^2) \) の確率密度関数である。
2024年9月8日(日)から13日(金)にかけて、鈴木が6コマ、それ以外の9コマを9名の講師の先生にお話しいただきました。
Andrew Gelman先生 (Columbia University）・Mathias Drton (Technical Universitｙ of Munich)、伊庭幸人先生（統計数理研究所）、車谷優樹先生（りそな銀行）、徳田悟先生（九州大学）、渡辺澄夫先生（理研）、 二宮嘉行先生（統計数理研究所)、矢野恵佑先生（統計数理研究所)、青柳美輝先生(日本大学)
下記は、鈴木が入門向けに行いました最初の6コマの中の重要箇所の切り抜きです。
「統計的機械学習」では、すでにYoutubeを公開しています。今回、「機械学習のためのカーネル」のテキストを使った15回の講義の録画を公開しました。2024年4月から8月にかけて、大阪大学の大学院生(と学部の一部)を対象にした「機械学習の数理」という15回の講義をYoutube「ぜうちゃねる(辛口データサイエンス)」で公開しています。各回のリンクは、こちらから見れます。
カーネルを数学のコアの部分(関数解析)から学ぶ講義は、世界広しといえどこの講義以外にはないと自負しています。カーネルの使い方だけを知ったとしても、意味がわからないままデータをパッケージにほうりこむことになり、不安になります。
関数解析は、線形代数のベクトルを関数に一般化したものと思えば、さほど苦にはならないと思います。そうは言っても、作用素や完備化などで違和感が生じるかもしれません。そこを乗り越えていただければ、カーネルトリックなど難しく感じない思います。
Youtubeをぜひお役立ていただきたいと思っています。ちゃんねる登録と、いいねをお願いできたらと思っています。
証明だけ書いておきます。
$f:\Omega\times E\rightarrow {\mathbb R}$が$RKHS(k)$のランダム要素であれば、$\Omega\ni\omega\mapsto f(\omega,\cdot)\in RKHS(k)$が可測です。内積は連続な写像であり、再生性から各$x\in E$で$\langle f(\omega,\cdot),k(\cdot,x)\rangle=f(\omega,x)$が成立するので、各$x\in E$で$\Omega\ni\omega\mapsto f(\omega,x)\in {\mathbb R}$が可測であり、確率変数になります。
逆に、$f$が$RKHS(k)$に値をとる確率変数、つまり各$\omega\in \Omega$で$f(\omega,\cdot)\in RKHS(k)$であって$\Omega\ni\omega\mapsto f(\omega,x)$が各$x\in E$で可測であることを仮定しましょう。各$g\in RKHS(k)$に対して、$\|g_n-g\|\rightarrow 0$となるような$g_n(\cdot):=\sum_{i=1}^na_ik(\cdot,x_i) $を構成できます。再生性から、$\langle f(\omega,\cdot),g_n\rangle=\sum_{i=1}^na_if(\omega,x_i)$とでき、各$n$で可測です。そして、内積の連続性から$\langle f(\omega,\cdot),g\rangle$はその極限であり、可測であることがわかります。$g\in RKHS(k)は任意でしたので、命題70(1)の議論から、$\Omega\ni \omega\mapsto f(\omega,\cdot)\in RKHS(k)$は可測になります。
平均2乗連続過程$f: \Omega \times E\rightarrow {\mathbb R}$の共分散関数が$k$であれば、共分散作用素が$H\ni g\mapsto \int_Ek(\cdot,y)g(y)d\mu(y)$となるランダム作用素が存在する
テキストと同様の方法で、$\{(E_i,x_i)\}_{1\leq i\leq M(n)}$を決めます。そして$$F(\omega,x; \{(E_i,x_i)\}_{1\leq i\leq M(n)})=\sum_{i=1}^{m(n)}I_{E_i}(x)f(\omega,x_i)$$とおき、$n$を$n'(\leq n)$に置き換えたものとの差の2乗平均誤差をとります。平均は確率空間$(\Omega,{\cal F}, P)$と測度空間$(E,B(E),\mu)$の両方に関してです。
\begin{eqnarray*}&&\int_{\Omega}\int_E\left\{F(\omega,x; \{(E_i,x_i)\}_{1\leq i\leq M(n)})-F(\omega,x; \{(E_i’,x_i’)\}_{1\leq i\leq M(n’)})\right\}^2d\mu(x)dP(\omega)\\
&=&\int_{\Omega}\left\{\sum_{i=1}^{m(n)}f(\omega,x_i)\int_{E_i}d\mu(x)-
\sum_{i=1}^{m(n’)}f(\omega,x’_i)\int_{E’_i}d\mu(x)\right\}^2dP(\omega)
\end{eqnarray*}テキストの方法と同様にこの値は0に収束します。すなわち、任意のCauchy列が収束したことになり、完備であることも考えると、\begin{eqnarray*}\int_{\Omega}\int_E\left\{F(\omega,x; \{(E_i,x_i)\}_{1\leq i\leq M(n)})-F(\omega,x)\right\}^2d\mu(x)dP(\omega)\rightarrow 0\end{eqnarray*}であって、$\int_\Omega\int_E\{F(\omega,x)\}^2d\mu(x)dP(\omega)<\infty$なる$F$が存在します。そして、$\int_E\{F(\omega,x)\}^2d\mu(x)=\infty$なる事象$A\subseteq \Omega$について、$F(\omega,x)=0$, $\omega\in A$というように$F$を修正すると、任意の$\omega\in \Omega$について、$\int_E\{F(\omega,x)\}^2d\mu(x)<\infty$とできます。したがって、$F(\cdot,\omega)\in H=L^2(E,B(E),\mu)$がすべての$\omega\in \Omega$についていえて、命題70(1)の議論から、そのような$F$は$L^2(E,B(E),\mu)$のランダム要素になります。
そして、$F$の共分散作用素${\mathbb E}[F\otimes F]$は、各$h_1,h_2\in L^2(E,B(E),\mu)$を適用すると、$\langle {\mathbb E}[F\otimes F]h_1,h_2\rangle={\mathbb E}(\langle F,h_1\rangle \langle F,h_2\rangle)$となり、それは\begin{eqnarray*}&&\int_{\Omega}\sum_{i=1}^{m(n)}f(\omega,x_i)\int_{E_i}h_1(x)d\mu(x)
\sum_{j=1}^{m(n)}f(\omega,x_j)\int_{E_i}h_2(y)d\mu(y)dP(\omega)\\&=&\sum_{i=1}^{m(n)}\sum_{j=1}^{m(n)}k(x_i,x_j)\int_{E_i}h_1(x)d\mu(x)\int_{E_i}h_2(y)d\mu(y)\end{eqnarray*}の$n\rightarrow \infty$の極限であって、作用素$L^2(E,B(E),\mu)\ni h\mapsto \int_E k(\cdot,y)h(y)d\mu(y)$を適用することと同じになります。
$E$をコンパクト集合、$(\Omega,{\cal F},P)$を確率空間とします。$f: \Omega\times E\rightarrow {\mathbb R}$が各$x\in E$で可測のとき(確率変数のとき)、$f$を確率過程と呼びます。同様に、$H$をHilbert空間として、$F:\Omega\rightarrow {H}$が可測のとき、$F$はランダム要素と呼びます。この可測性は、$H$のノルムで距離を定義して開集合を定義し、各開集合の逆像が事象になっていることをさします。
この証明のために、まず$(E,B(E),\mu)$を測度空間とし、$g(\omega,x):=\sum_{i=1}^kI_{E_i}(x)h_i(\omega)$, $\omega\in \Omega$という形式の関数を用意します。ただし、$E_1,\ldots,E_k\in B(E)$は重なりがなく、それらの和集合が$E$となるものとします。また、$I_{E_i}(x)$は$x\in E$が$x\in E_i$であれば1、そうでなければ0であるとします。さらに、$f_i: \Omega\rightarrow {\mathbb R}$は可測であるとします。このとき、${\mathbb R}$の任意のBorel集合$B$について、$$g^{-1}(B)=\cup_{i=1}^k (E_i\times h_i^{-1}(B))$$とでき、これは積の$\sigma$集合体${\cal F }\times B(E)$の中にあります。つまり、$g$は$\Omega\times E$に関して可測になります。テキストでも設定したように、$\{(E_i,x_i)\}_{1\leq i\leq m(n)}$を設定し、
$$f_n(\omega,x):=\sum_{i=1}^{m(n)}I_{E_i}(x)f(\omega,x_i)$$とおくと、$\omega\in \Omega$を固定したときに$f(\omega,\cdot)$の一様連続性から、$f_n(\omega,x)\rightarrow f(\omega,x)$が$x\in E$に関して一様に収束します。したがって、$f$も$\Omega\times E$に関して可測である(可測関数列の一様極限は可測関数)。命題70(1)と同様の議論から、$\Omega\ni \omega\mapsto f(\omega,\cdot)$はランダム要素になります。
$(\Omega,{\cal F},P)$を確率空間とします。$\mathbb R$に値をとるいわゆる確率変数は、$\Omega\ni \omega \mapsto X(\omega)\in {\mathbb R}$が可測であることが定義になります。同様に、Hilbert空間$H$について、$\Omega\ni \omega \mapsto F(\omega)\in H$が可測であるとき、$F$をランダム要素とよびます。ランダムな関数という言い方をしてもよいでしょう。ランダム要素は、$g\in H$と$r>0$について、$\{\omega\in \Omega\mid \|F(\omega)-g\|_H<r\}$が$\cal F$の要素ということができます。ここでは、「${\cal F}$がランダム要素であることと、任意の$f\in H$について$\langle F,f\rangle_H$が確率変数であることが同値」であることを示します。
以下では、$h\in H$と$a>0$を用いて$\{g\in H\mid \|g-h\|_H<a\}$とかける集合によって生成される$\sigma$集合体を$\sigma$、$h\in H$と$a\in {\mathbb R}$を用いて$\{g\in H\mid \langle g,h\rangle_H<a\}$とかける集合によって生成される$\sigma$集合体を$\sigma’$と書くものとします。このとき、$\sigma=\sigma’$が成立します(T. Hsing and R. Eubank, 2015)。その証明は最後に行うとして、認めて議論をすすめます。
まず、各$f\in H$について、$\varphi: H\ni g\rightarrow \langle g,f\rangle_H\in {\mathbb R}$は連続($|g-g’|<\epsilon \Longrightarrow |\langle g,f\rangle-\langle g’,f\rangle|\leq |g-g’|\cdot|f|<|f|\epsilon$)なので、$\langle F,f\rangle$は可測になります。逆に各$f\in H$について$\langle F,f\rangle$が可測であれば、各$a\in {\mathbb R}$について
$$F^{-1}\{g\in H\mid \langle g, f\rangle <a\}=\{\omega\in\Omega \mid \langle F(\omega),f\rangle <a\}\in {\cal F}$$となり、$\sigma=\sigma’$から$F$は可測、すなわち$H$のランダム要素になります。
このことから$f: \Omega\times E\rightarrow {\mathbb R}$が可測であって各$\omega\in \Omega$で$f(\omega,\cdot)\in H$であれば、$\Omega\ni\omega \mapsto f(\omega,\cdot)$は$H$のランダム要素になります。実際、各$h\in H$で$\langle f(\omega,\cdot),h\rangle $が可測になるので、$f(\omega,\cdot)\in H$, $\omega\in \Omega$であれば、ランダム要素になります。
$\sigma=\sigma’$の証明:
各$f\in H$について、$\varphi: H\ni g\rightarrow \langle g,f\rangle_H\in {\mathbb R}$は連続なので、${\mathbb R}$の任意の開集合$B$の逆像$\varphi^{-1}(B)\subseteq H$も開集合となります。したがって、$\sigma’\subseteq \sigma$が成立します。次に、逆方向の包含関係を示します。$\{e_i\}$を$H$の正規直交基底として、
\begin{eqnarray*}
&&\{g\in H\mid \langle g, e_1\rangle^2+\langle g,e_2\rangle^2<\epsilon\}\\
&=&\cup_{q\in {\mathbb Q}}\left(\{g\in H\mid \langle g,e_1\rangle^2<q\}\cap \{g\in H\mid \langle g,e_2\rangle^2<\epsilon^2-q\}\right)\in \sigma’\\
&&\{g\in H\mid \sum_{j=1}{i-1}\langle g, e_j\rangle^2+\langle g,e_i\rangle^2<\epsilon\}\\
&=&\cup_{q\in {\mathbb Q}}\left(\{g\in H\mid \langle g,\sum_{j=1}^{i-1}e_j\rangle^2<q\}\cap \{g\in H\mid \langle g,e_i\rangle^2<\epsilon^2-q\}\right)\in \sigma’\end{eqnarray*}より、帰納法から以下が得られます。
$$\{g\in H\mid \|g|<\epsilon\}=\cup_{j=1}^\infty \left\{g\in H\mid \sum_{k=1}^j\langle g,e_k\rangle^2<\epsilon^2 \right\}\in \sigma’$$ したがって、任意の$\{g\in H\mid \|g-h\|<\epsilon\}\in \sigma$が以下のようにかけます。
$$\cup_{q\in {\mathbb Q}} \left(
\{g\in H\mid \|g\|^2<q\}\cup\{g\in H\mid 2\langle g,h\rangle>q-\epsilon^2+\|h\|^2
\}\right)$$ここで、$\{g\in H\mid \|g\|^2<q\}$はこれまでの議論から$\sigma’$の要素、第2項はもともと$\sigma’$ですから、全体として$\sigma’$の要素です。したがって、$\sigma\subseteq \sigma’$が成立します。
$E$を距離空間として、$k: E\times E\times E \rightarrow {\mathbb R}$として、$x,y\in E$の距離を$z$としたときに、\begin{equation}\label{eq6-11}
\varphi_\nu(z):=\frac{2^{1-\nu}}{\Gamma(\nu)}\left(\frac{\sqrt{2\nu}z}{l}\right)^\nu K_\nu(\frac{\sqrt{2\nu}z}{l})
\end{equation}によって定義される正定値カーネル$k(x,y)=\varphi_\nu(z)$をMaternカーネルといいます。ただし、$\nu,l>0$はカーネルのパラメータ、$K_\nu$は第2種変形Bessel関数です。$$K_\nu(x):=\frac{\pi}{2}\frac{I_{-\nu}(x)-I_\nu(x)}{\sin(\nu x)}, \hspace{10mm}I_\nu(x):=\sum_{m=0}^\infty \frac{1}{m!\Gamma(m+\nu+1)}\left(\frac{x}{2}\right)^{2m+\nu}$$
Maternカーネルは$\nu$を切り上げした整数の回数だけ微分でき、$\nu\rightarrow\infty$でGaussカーネル$$\varphi_\infty(z)=\exp(-\frac{z^2}{2l^2})$$に収束します。
以下では、$p$を非負整数として$\nu=p+1/2$とかけるとき、
$$\varphi_\nu(z)=\exp\left(-\frac{\sqrt{2\nu }z}{l}\right)\frac{\Gamma(p+1)}{\Gamma(2p+1)}\sum_{i=0}^p \frac{(p+i)!}{i!(p-i)!}\left(\frac{\sqrt{8\nu}z}{l}\right)^{p-i}$$となることを示します。この公式はよく使われていますが、証明を載せている文献やネットの記事などが少ないので、メモのために書いておきました。
具体的には、以下の2式を示します。$$K_{\nu}(\frac{\sqrt{2\nu}z}{l})=\sqrt{\pi}\exp\left(-\frac{\sqrt{2\nu}z}{l}\right)\sum_{i=0}^p\frac{(p+i)!}{i!(p-i)!}\left(\frac{\sqrt{2\nu z}}{l}
\right)^{-\nu}2^{-\nu+p-i}$$ $$\frac{2^{1-\nu}}{\Gamma(\nu)}=\frac{1}{\sqrt{\pi}}\frac{\Gamma(p+1)}{\Gamma(2p+1)}2^\nu$$
まず、変形第2種Bessel関数は、一般に$$K_{p+1/2}(x)=\sqrt{\frac{\pi}{2x}}e^{-x}\sum_{i=0}^p\frac{(p+i)!}{i!(p-i)!}(\frac{1}{2x})^i$$とできます(Abramowitz and Stegun (1965). Handbook of Mathematical Functions with Formulas, Graphs, and Mathematical Tables. ISBN 0-486-61272-4.)。この公式に、$x=\sqrt{2\nu}z/l=\sqrt{2p+1}z/l$を代入すると、
\begin{eqnarray*}K_{\nu}(\frac{\sqrt{2\nu}}{l}z)&=&\sqrt{\frac{\pi}{2\sqrt{2\nu}z/l}}\exp\left(-\frac{\sqrt{2\nu}z}{l}\right)\sum_{i=0}^p\frac{(p+i)!}{i!(p-i)!}(\frac{1}{2\sqrt{2\nu}z/l})^i\\&=&\sqrt{\pi}\exp\left(-\frac{\sqrt{2\nu}z}{l}\right)\sum_{i=0}^p\frac{(p+i)!}{i!(p-i)!}\left(\frac{2\sqrt{2\nu z}}{l}
\right)^{-i-1/2}\end{eqnarray*}が成立します。
他方、Gamma関数の性質として、$x\Gamma(x)=\Gamma(x+1)$, $x>0 \hspace{3mm}$ や$\hspace{3mm} \Gamma(1/2)=\sqrt{\pi} \hspace{3mm}$などが成立しますが$$\Gamma(\frac{n}{2})\Gamma(\frac{n+1}{2})=\Gamma(n)2^{1-n}\sqrt{\pi},\hspace{3mm}n\geq 1$$なども成立します(一般の正の実数でも成立します)。$n=1$のとき両辺とも$\sqrt{\pi}$で一致し、$n=k$で等号が性質すれば、$n=k+1$で左辺は$$ \Gamma(\frac{k+1}{2})\Gamma(\frac{k+2}{2})=\Gamma(\frac{k+1}{2})\cdot \frac{k}{2}\Gamma(\frac{k}{2})=\frac{k}{2}\cdot \Gamma(k)2^{1-k}\sqrt{\pi}=\Gamma(k+1)2^{1-(k+1)}$$となり、$n=k+1$でも等号が成立することがわかります。これより、
$$\frac{2^{1-2p}}{\Gamma(p+1/2)}=\frac{1}{\sqrt{\pi}}\frac{\Gamma(p+1)}{\Gamma(2p+1)},\hspace{10mm} \frac{2^{1-\nu}}{\Gamma(\nu)}=\frac{1}{\sqrt{\pi}}\frac{\Gamma(p+1)}{\Gamma(2p+1)}2^\nu$$
が得られます。