たたみ込みカーネルは正定値(カーネル1.6節)

$E,E_1,\ldots,E_d$を集合、$R: E_1\times \cdots \times E_d\rightarrow E$とする。各$k_h: E_h\times E_h \rightarrow {\mathbb R}$, $h=1,\ldots,d$が正定値のとき、
$$k(x_i,x_j)=\sum_{R^{-1}(x_i)}\sum_{R^{-1}(x_j)}\prod_{h=1}^dk_h(x_{i,h},x_{j,h})$$
で定義される$k: E\times E\rightarrow {\mathbb R}$は正定値である。ただし、$R^{-1}(x_i)$は$R(x_{i,1},\ldots,x_{i,d})=x_i$なる$x_{i,1},\ldots,x_{i,d}\in E_1\times \cdots \times E_d$の集合とした。このステートメントの証明を、少し丁寧にやってみたい。

証明: \hspace{3mm}$x’=(x_1,\ldots,x_d)$, $y’=(y_1,\ldots,y_d)\in E_1\times \cdots\times E_d$

$k_h'(x’,y’):=k_h(x_h,y_h)$,\hspace{3mm}, $h=1,\ldots,d$\hspace{3mm} が正定値なので、
$$k'(x’,y’)=\prod_{h=1}^dk_h(x_h,y_h)$$
も正定値。したがって、正定値カーネル$k’$の特徴写像を$\varphi$として、
$$k(x,y)=\sum_{x’\in R^{-1}(x)}\sum_{y’\in R^{-1}(y)}k(x’,y’)=
\sum_{x’\in R^{-1}(x)}\sum_{y’\in R^{-1}(y)}
\langle \varphi(x’),\varphi(y’)\rangle_H
$$となり、$$\sum_{i=1}^n\sum_{j=1}^nz_iz_jk(x_i,x_j)=
\langle \sum_{i=1}^n
z_i\sum_{x_i’\in R^{-1}(x_i)}\varphi(x_i’),
\sum_{j=1}^n
z_j\sum_{x_j’\in R^{-1}(x_j)}\varphi(x_j’)\rangle_H
=
\|\sum_{i=1}^n
z_i\sum_{x_i’\in R^{-1}(x_i)}\varphi(x_i’)\|^2_H\geq 0
$$が任意の$n\geq 1$, $x_1,\ldots,x_n\in E$, $z_1,\ldots,z_n\in {\mathbb R}$について成立する。