スカラ値関数のベクトル微分

様々なスカラ値関数をベクトル $\boldsymbol{x}$ で微分します。 \begin{eqnarray} \boldsymbol{x} &=& \left( \begin{array}{c} x_0 \\ x_1 \\ x_2 \\ \vdots \\ x_{N-1} \end{array} \right) \end{eqnarray}

内積 $\boldsymbol{a}^\top \boldsymbol{x}$

内積 $\boldsymbol{a}^\top \boldsymbol{x}$ の $\boldsymbol{x}$ による微分は次のように表せます。 \begin{eqnarray} \frac{\partial}{\partial\boldsymbol{x}}\boldsymbol{a}^\top \boldsymbol{x} &=& \boldsymbol{a} \end{eqnarray}

証明

$\boldsymbol{a}^\top \boldsymbol{x}$ は \begin{eqnarray} \boldsymbol{a}^\top \boldsymbol{x} &=& (a_0\ a_1\ a_2\ \cdots a_{N-1}) \left( \begin{array}{c} x_0 \\ x_1 \\ x_2 \\ \vdots \\ x_{N-1} \end{array} \right) \\[2mm] &=& a_0 x_0 + a_1 x_1 + a_2 x_2 + \cdots a_{N-1} x_{N-1} \\[2mm] &=& \displaystyle\sum_{i=0}^{N-1} a_i x_i \end{eqnarray} と表せますので、$x_m$ による偏微分は \begin{eqnarray} \frac{\partial}{\partial x_m}\boldsymbol{a}^\top \boldsymbol{x} &=& \frac{\partial}{\partial x_m} \displaystyle\sum_{i=0}^{N-1} a_i x_i \\ &=& a_m \end{eqnarray} よって $\boldsymbol{x}$ による偏微分は \begin{eqnarray} \frac{\partial}{\partial \boldsymbol{x}}\boldsymbol{a}^\top \boldsymbol{x} &=& \left( \begin{array}{c} a_0 \\ a_1 \\ a_2 \\ \vdots \\ a_{N-1} \end{array} \right) &=&\ \boldsymbol{a} \label{aTxa} \end{eqnarray}

内積 $\boldsymbol{x}^\top \boldsymbol{a}$

内積 $\boldsymbol{x}^\top \boldsymbol{a}$ の $\boldsymbol{x}$ による微分は次のように表せます。 \begin{eqnarray} \frac{\partial}{\partial\boldsymbol{x}}\boldsymbol{x}^\top \boldsymbol{a} &=& \boldsymbol{a} \end{eqnarray}

証明

$\boldsymbol{x}^\top \boldsymbol{a}$ はスカラだから転置しても同じなので \begin{eqnarray} \boldsymbol{x}^\top \boldsymbol{a} &=& \boldsymbol{a}^\top \boldsymbol{x} \end{eqnarray} よって \begin{eqnarray} \frac{\partial}{\partial \boldsymbol{x}}\boldsymbol{x}^\top \boldsymbol{a} &=& \frac{\partial}{\partial \boldsymbol{x}}\boldsymbol{a}^\top \boldsymbol{x} \\ && 式(\ref{aTxa}) より \nonumber\\ &=& \boldsymbol{a} \end{eqnarray}

内積 $\boldsymbol{x}^\top \boldsymbol{x}$

内積 $\boldsymbol{x}^\top \boldsymbol{x}$ の $\boldsymbol{x}$ による微分は次のように表せます。 \begin{eqnarray} \frac{\partial}{\partial\boldsymbol{x}}\boldsymbol{x}^\top \boldsymbol{x} &=& 2 \boldsymbol{x} \end{eqnarray}

証明

$\boldsymbol{x}^\top \boldsymbol{x}$ は \begin{eqnarray} \boldsymbol{x}^\top \boldsymbol{x} &=& (x_0\ x_1\ x_2\ \cdots x_{N-1}) \left( \begin{array}{c} x_0 \\ x_1 \\ x_2 \\ \vdots \\ x_{N-1} \end{array} \right) \\[2mm] &=& x_0^2 + x_1^2 + x_2^2 + \cdots x_{N-1}^2 \\[2mm] &=& \displaystyle\sum_{i=0}^{N-1} x_i^2 \end{eqnarray} と表せますので、$x_m$ による偏微分は \begin{eqnarray} \frac{\partial}{\partial x_m}\boldsymbol{x}^\top \boldsymbol{x} &=& \frac{\partial}{\partial x_m} \displaystyle\sum_{i=0}^{N-1} x_i^2 \\ &=& 2 x_m \end{eqnarray} よって $\boldsymbol{x}$ による偏微分は \begin{eqnarray} \frac{\partial}{\partial \boldsymbol{x}}\boldsymbol{x}^\top \boldsymbol{A} \boldsymbol{x} &=& \left( \begin{array}{c} 2 x_0 \\ 2 x_1 \\ 2 x_2 \\ \vdots \\ 2 x_{N-1} \end{array} \right) &=&\ 2\boldsymbol{x} \end{eqnarray}

2次形式 $\boldsymbol{x}^\top \boldsymbol{A} \boldsymbol{x}$

2次形式 $\boldsymbol{x}^\top \boldsymbol{A} \boldsymbol{x}$ の $\boldsymbol{x}$ による微分は次のように表せます。 \begin{eqnarray} \frac{\partial}{\partial\boldsymbol{x}}\boldsymbol{x}^\top \boldsymbol{A} \boldsymbol{x} &=& \left(\boldsymbol{A}+\boldsymbol{A}^\top\right) \boldsymbol{x} \end{eqnarray}

証明

$\boldsymbol{x}^\top \boldsymbol{A} \boldsymbol{x}$ は \begin{eqnarray} \boldsymbol{x}^\top \boldsymbol{A} \boldsymbol{x} &=& (x_0\ x_1\ x_2\ \cdots x_{N-1}) \left( \begin{array}{ccccc} a_{0,0} & a_{0,1} & a_{0,2} & \cdots & a_{0,N-1} \\ a_{1,0} & a_{1,1} & a_{1,2} & \cdots & a_{1,N-1} \\ a_{2,0} & a_{2,1} & a_{2,2} & \cdots & a_{2,N-1} \\ \vdots & & & \ddots & \vdots \\ a_{N-1,0} & a_{N-1,1} & a_{N-1,2} & \cdots & a_{N-1,N-1} \end{array} \right) \left( \begin{array}{c} x_0 \\ x_1 \\ x_2 \\ \vdots \\ x_{N-1} \end{array} \right) \\[2mm] &=& (x_0\ x_1\ x_2\ \cdots x_{N-1}) \left( \begin{array}{c} \displaystyle\sum_{j=0}^{N-1} a_{0,j} x_j \\ \displaystyle\sum_{j=0}^{N-1} a_{1,j} x_j \\ \displaystyle\sum_{j=0}^{N-1} a_{2,j} x_j \\ \vdots \\ \displaystyle\sum_{j=0}^{N-1} a_{N-1,j} x_j \end{array} \right) \\[2mm] &=& \displaystyle\sum_{i=0}^{N-1} x_i \sum_{j=0}^{N-1} a_{i,j} x_j \\ &=& \displaystyle\sum_{i=0}^{N-1} \sum_{j=0}^{N-1} a_{i,j} x_i x_j \end{eqnarray} と表せますので、$x_m$ による偏微分は \begin{eqnarray} \frac{\partial}{\partial x_m}\boldsymbol{x}^\top \boldsymbol{A} \boldsymbol{x} &=& \frac{\partial}{\partial x_m} \displaystyle\sum_{i=0}^{N-1} \sum_{j=0}^{N-1} a_{i,j} x_i x_j \\ && i=m\ または\ j=m\ 以外の項は\ x_m\ で偏微分すると\ 0\ になりますので \nonumber\\ &=& \frac{\partial}{\partial x_m} \left( \sum_{j=0}^{N-1} a_{m,j} x_m x_j + \sum_{i=0}^{N-1} a_{i,m} x_i x_m \right) \\ &=& \sum_{j=0}^{N-1} a_{m,j} x_j + \sum_{i=0}^{N-1} a_{i,m} x_i \\ && 添字を\ i\ に揃えて \nonumber\\ &=& \sum_{i=0}^{N-1} a_{m,i} x_i + \sum_{i=0}^{N-1} a_{i,m} x_i \end{eqnarray} よって $\boldsymbol{x}$ による偏微分は \begin{eqnarray} \frac{\partial}{\partial \boldsymbol{x}}\boldsymbol{x}^\top \boldsymbol{A} \boldsymbol{x} &=& \left( \begin{array}{ccccc} a_{0,0} & a_{0,1} & \cdots & a_{0,N-1} \\ a_{1,0} & a_{1,1} & \cdots & a_{1,N-1} \\ a_{2,0} & a_{2,1} & \cdots & a_{2,N-1} \\ \vdots & & \ddots & \vdots \\ a_{N-1,0} & a_{N-1,1} & \cdots & a_{N-1,N-1} \end{array} \right) \left( \begin{array}{c} x_0 \\ x_1 \\ x_2 \\ \vdots \\ x_{N-1} \end{array} \right) + \left( \begin{array}{ccccc} a_{0,0} & a_{1,0} & \cdots & a_{N-1,0} \\ a_{0,1} & a_{1,1} & \cdots & a_{N-1,1} \\ a_{0,2} & a_{1,2} & \cdots & a_{N-1,2} \\ \vdots & & \ddots & \vdots \\ a_{0,N-1} & a_{1,N-1} & \cdots & a_{N-1,N-1} \end{array} \right) \left( \begin{array}{c} x_0 \\ x_1 \\ x_2 \\ \vdots \\ x_{N-1} \end{array} \right) \\[2mm] &=& \boldsymbol{A}\boldsymbol{x} + \boldsymbol{A}^\top \boldsymbol{x} \\[2mm] &=& \left(\boldsymbol{A} + \boldsymbol{A}^\top\right) \boldsymbol{x} \end{eqnarray}