スカラ値関数の行列微分

スカラ値関数を行列 $\boldsymbol{X}$ で微分します。 \begin{eqnarray} \boldsymbol{X} &=& \left( \begin{array}{ccccc} x_{0,0} & x_{0,1} & x_{0,2} & \cdots & x_{0,N-1} \\ x_{1,0} & x_{1,1} & x_{1,2} & \cdots & x_{1,N-1} \\ x_{2,0} & x_{2,1} & x_{2,2} & \cdots & x_{2,N-1} \\ \vdots & & & \ddots & \vdots \\ x_{N-1,0} & x_{N-1,1} & x_{N-1,2} & \cdots & x_{N-1,N-1} \end{array} \right) \end{eqnarray}

2次形式 $\boldsymbol{a}^\top \boldsymbol{X} \boldsymbol{a}$

2次形式 $\boldsymbol{a}^\top \boldsymbol{X} \boldsymbol{a}$ の $\boldsymbol{X}$ による微分は次のように表せます。 \begin{eqnarray} \frac{\partial}{\partial\boldsymbol{X}}\boldsymbol{a}^\top \boldsymbol{X} \boldsymbol{a} &=& \boldsymbol{a} \boldsymbol{a}^\top \end{eqnarray}

証明

$\boldsymbol{a}^\top \boldsymbol{X} \boldsymbol{a}$ は \begin{eqnarray} \boldsymbol{a}^\top \boldsymbol{X} \boldsymbol{b} &=& (a_0\ a_1\ a_2\ \cdots a_{N-1}) \left( \begin{array}{ccccc} x_{0,0} & x_{0,1} & x_{0,2} & \cdots & x_{0,N-1} \\ x_{1,0} & x_{1,1} & x_{1,2} & \cdots & x_{1,N-1} \\ x_{2,0} & x_{2,1} & x_{2,2} & \cdots & x_{2,N-1} \\ \vdots & & & \ddots & \vdots \\ x_{N-1,0} & x_{N-1,1} & x_{N-1,2} & \cdots & x_{N-1,N-1} \end{array} \right) \left( \begin{array}{c} a_0 \\ a_1 \\ a_2 \\ \vdots \\ a_{N-1} \end{array} \right) \\[2mm] &=& (a_0\ a_1\ a_2\ \cdots a_{N-1}) \left( \begin{array}{c} \displaystyle\sum_{j=0}^{N-1} x_{0,j} a_j \\ \displaystyle\sum_{j=0}^{N-1} x_{1,j} a_j \\ \displaystyle\sum_{j=0}^{N-1} x_{2,j} a_j \\ \vdots \\ \displaystyle\sum_{j=0}^{N-1} x_{N-1,j} a_j \end{array} \right) \\[2mm] &=& \displaystyle\sum_{i=0}^{N-1} a_i \sum_{j=0}^{N-1} x_{i,j} a_j \\ &=& \displaystyle\sum_{i=0}^{N-1} \sum_{j=0}^{N-1} x_{i,j} a_i a_j \end{eqnarray} と表せますので、$x_{m,n}$ による偏微分は \begin{eqnarray} \frac{\partial}{\partial x_{m,n}}\boldsymbol{a}^\top \boldsymbol{X} \boldsymbol{a} &=& \frac{\partial}{\partial x_{m,n}} \displaystyle\sum_{i=0}^{N-1} \sum_{j=0}^{N-1} x_{i,j} a_i a_j \\ && i=m\ かつ \ j=n\ 以外の項は\ x_{m,n}\ で偏微分すると\ 0\ になりますので \nonumber\\ &=& \frac{\partial}{\partial x_{m,n}} x_{m,n} a_m a_n \\ &=& a_m a_n \end{eqnarray} よって $\boldsymbol{X}$ による偏微分は \begin{eqnarray} \frac{\partial}{\partial \boldsymbol{X}}\boldsymbol{a}^\top \boldsymbol{X} \boldsymbol{a} &=& \left( \begin{array}{ccccc} a_0^2 & a_0 a_1 & \cdots & a_0 a_{N-1} \\ a_1 a_0 & a_1^2 & \cdots & a_1 a_{N-1} \\ a_2 a_0 & a_2 a_1 & \cdots & a_2 a_{N-1} \\ \vdots & & \ddots & \vdots \\ a_{N-1} a_0 & a_{N-1} a_1 & \cdots & a_{N-1}^2 \end{array} \right) \\[2mm] &=& \boldsymbol{a} \boldsymbol{a}^\top \end{eqnarray}

行列式 $|\boldsymbol{X}|$

行列式 $|\boldsymbol{X}|$ の $\boldsymbol{X}$ による微分は次のように表せます。 \begin{eqnarray} \frac{\partial}{\partial\boldsymbol{X}}|\boldsymbol{X}| &=& |\boldsymbol{X}|\boldsymbol{X}^{-T} \end{eqnarray} ここに $\boldsymbol{X}^{-T}$ は $\boldsymbol{X}$ の逆行列の転置です。 \begin{eqnarray} \boldsymbol{X}^{-T} &=& \left(\boldsymbol{X}^{-1}\right)^\top \end{eqnarray}

証明

$\boldsymbol{X}$ の行列式は $\boldsymbol{X}$ の余因子 $\tilde{x}_{i,j}$ により \begin{eqnarray} |\boldsymbol{X}| &=& \sum_{j=0}^{N-1} x_{i,j}\tilde{x}_{i,j} \end{eqnarray} と表せますが、$\tilde{x}_{i,j}$ は $x_{i,j}$ を含まないため、$x_{i,j}$ による偏微分は \begin{eqnarray} \frac{\partial}{\partial x_{i,j}}|\boldsymbol{X}| &=& \tilde{x}_{i,j} \end{eqnarray} よって $\boldsymbol{X}$ による偏微分は \begin{eqnarray} \frac{\partial}{\partial\boldsymbol{X}}|\boldsymbol{X}| &=& \left( \begin{array}{ccccc} \frac{\partial}{\partial x_{0,0}}|\boldsymbol{X}| & \frac{\partial}{\partial x_{0,1}}|\boldsymbol{X}| & \frac{\partial}{\partial x_{0,2}}|\boldsymbol{X}| & \cdots & \frac{\partial}{\partial x_{0,N-1}}|\boldsymbol{X}| \\ \frac{\partial}{\partial x_{1,0}}|\boldsymbol{X}| & \frac{\partial}{\partial x_{1,1}}|\boldsymbol{X}| & \frac{\partial}{\partial x_{1,2}}|\boldsymbol{X}| & \cdots & \frac{\partial}{\partial x_{1,N-1}}|\boldsymbol{X}| \\ \frac{\partial}{\partial x_{2,0}}|\boldsymbol{X}| & \frac{\partial}{\partial x_{2,1}}|\boldsymbol{X}| & \frac{\partial}{\partial x_{2,2}}|\boldsymbol{X}| & \cdots & \frac{\partial}{\partial x_{2,N-1}}|\boldsymbol{X}| \\ \vdots & & & \ddots & \vdots \\ \frac{\partial}{\partial x_{N-1,0}}|\boldsymbol{X}| & \frac{\partial}{\partial x_{N-1,1}}|\boldsymbol{X}| & \frac{\partial}{\partial x_{N-1,2}}|\boldsymbol{X}| & \cdots & \frac{\partial}{\partial x_{N-1,N-1}}|\boldsymbol{X}| \\ \end{array} \right) \\[2mm] &=& \left( \begin{array}{ccccc} \tilde{x}_{0,0} & \tilde{x}_{0,1} & \tilde{x}_{0,2} & \cdots & \tilde{x}_{0,N-1} \\ \tilde{x}_{1,0} & \tilde{x}_{1,1} & \tilde{x}_{1,2} & \cdots & \tilde{x}_{1,N-1} \\ \tilde{x}_{2,0} & \tilde{x}_{2,1} & \tilde{x}_{2,2} & \cdots & \tilde{x}_{2,N-1} \\ \vdots & & & \ddots & \vdots \\ \tilde{x}_{N-1,0} & \tilde{x}_{N-1,1} & \tilde{x}_{N-1,2} & \cdots & \tilde{x}_{N-1,N-1} \end{array} \right) \label{ddetAdA} \end{eqnarray} これは $\boldsymbol{X}$ の余因子行列 \begin{eqnarray} \tilde{\boldsymbol{X}} &=& \left( \begin{array}{ccccc} \tilde{x}_{0,0} & \tilde{x}_{1,0} & \tilde{x}_{2,0} & \cdots & \tilde{x}_{N-1,0} \\ \tilde{x}_{0,1} & \tilde{x}_{1,1} & \tilde{x}_{2,1} & \cdots & \tilde{x}_{N-1,1} \\ \tilde{x}_{0,2} & \tilde{x}_{1,2} & \tilde{x}_{2,2} & \cdots & \tilde{x}_{N-1,2} \\ \vdots & & & \ddots & \vdots \\ \tilde{x}_{0,N-1} & \tilde{x}_{1,N-1} & \tilde{x}_{2,N-1} & \cdots & \tilde{x}_{N-1,N-1} \end{array} \right) \end{eqnarray} を転置したものに一致します。 \begin{eqnarray} \frac{\partial}{\partial\boldsymbol{X}}|\boldsymbol{X}| &=& \tilde{\boldsymbol{X}}^\top \end{eqnarray} また、$\boldsymbol{X}$ の逆行列は \begin{eqnarray} \boldsymbol{X}^{-1} &=& \frac{1}{|\boldsymbol{X}|} \tilde{\boldsymbol{X}} \end{eqnarray} と表せ、 \begin{eqnarray} \tilde{\boldsymbol{X}} &=& |\boldsymbol{X}|\boldsymbol{X}^{-1} \end{eqnarray} 両辺を転置すると \begin{eqnarray} \tilde{\boldsymbol{X}}^\top &=& |\boldsymbol{X}|\boldsymbol{X}^{-T} \end{eqnarray} なので、式(\ref{ddetAdA})は次のように表せます。 \begin{eqnarray} \frac{\partial}{\partial\boldsymbol{X}}|\boldsymbol{X}| &=& |\boldsymbol{X}|\boldsymbol{X}^{-T} \end{eqnarray}