(さ)

減算(引き算)、またはその結果のこと。

最小二乗法 (さいしょうにじょうほう)

与えられたデータ \(\{\boldsymbol{x_n}, y_n\},n=0,1,2,\cdots N-1\) を近似する関数を決定する問題で、 パラメータ \(\boldsymbol{\theta}\) を持つモデルとなる関数 \(f(\boldsymbol{x},\boldsymbol{\theta})\) を考え、与えられたデータに対する近似誤差の 2 乗の総和 \begin{equation} J(\boldsymbol{\theta}) = \sum_{n=0}^{N-1}\{f(\boldsymbol{x_n},\boldsymbol{\theta})-y_n\}^2 \end{equation} が最小になるようにパラメータ \(\boldsymbol{\theta}\) を決定する方法を「最小二乗法」という。

【参考】\(f(\boldsymbol{x},\boldsymbol{\theta})\) が \(\theta_i\) で偏微分可能なら \(J(\boldsymbol{\theta})\) も簡単に偏微分できる点は有り難いが、モデル関数がデータの大きな「外れ値」に引っ張られる傾向がある点に注意が必要である。

モデル関数 \(f(\boldsymbol{x},\boldsymbol{\theta})\) が \begin{equation} f(\boldsymbol{x},\boldsymbol{\theta}) = \sum_{k=0}^{K-1} \theta_i g(\boldsymbol{x}) \end{equation} のようにパラメータ \(\boldsymbol{\theta}\) に対して線形な場合は、連立一次方程式 (正規方程式) を解いて最適な \(\boldsymbol{\theta}\) を決定できるが、正規方程式は悪条件になりやすいため、(演算量の増大を許容できるなら) QR分解や特異値分解を用いる方が安全である。

【参考】サンプリング・データに直線を当てはめる
【参考】多項式回帰 - データに多項式を当てはめる
【参考】多項式当てはめにリッジ回帰を併用する際の注意点

モデル関数 \(f(\boldsymbol{x},\boldsymbol{\theta})\) がパラメータ \(\boldsymbol{\theta}\) に対して非線形な場合は、適当なパラメータ初期値 \(\boldsymbol{\theta}_0\) から出発し、微小な正値 \(\alpha\) を使い \begin{equation} \theta_{i+1} = \theta_{i} - \alpha \frac{\partial J(\boldsymbol{\theta}_i)}{\partial \boldsymbol{\theta}} \end{equation} のように逐次的に \(J(\boldsymbol{\theta}_i)\) が小さくなる方向に \(\boldsymbol{\theta}_i\) を少しずつ修正してゆくなどの方法が取られるが、\(\displaystyle\lim_{i\to\infty} \boldsymbol{\theta}_i\) が \(J(\boldsymbol{\theta})\) を最小化する広域最適解になるとは限らない。

\(\boldsymbol{\theta}\) 上で \(J(\boldsymbol{\theta})\) が激しく凸凹している場合、広域最適解に収束するような初期パラメータ \(\boldsymbol{\theta}_0\) を見出すのは難しい問題である。

算術平均 (さんじゅつへいきん)

算術平均は次式で計算される平均の一種で、普通に言う「平均」は、これを指す。相加平均ともいう。 \begin{equation} a = \frac{1}{N}\sum_{n=0}^{N-1} x_n = \frac{x_0 + x_1 + x_2 + \cdots + x_{N-1}}{N} \end{equation}

\(x_n\) に極端に大きな絶対値を持つ数が含まれる場合は、正負別々にソートしてから絶対値が小さい順に総和を取り、最期に正の総和と負の総和を足し合わせると、情報落ちによる誤差を小さくできる。

サンプリング (さんぷりんぐ)

音響信号処理分野では、ある一瞬の値を取り出す操作を「サンプリング」または「標本化」という。

アナログ信号 \(x(t)\) の時刻 \(t=nT,\ n=0,1,2,3,\cdots\) の値は、数学的にはディラックの \(\delta\) 関数 を用いて次のように表せる。 \begin{eqnarray} x(nT) &=& \int_{-\infty}^{+\infty} x(t) \delta(t-nT) dt \end{eqnarray}

サンプリング周期 (さんぷりんぐしゅうき)

一定時間間隔でサンプリングする場合、その時間間隔をサンプリング周期という。

サンプリング周波数 (さんぷりんぐしゅうはすう)

一定時間間隔でサンプリングする場合、その時間間隔の逆数をサンプリング周波数という。単位はヘルツ [Hz]。

CD のサンプリング周波数は 44,100Hz, DAT は 48,000Hz であった。

サンプリング定理 (さんぷりんぐていり)

アナログ信号をサンプリングする際、信号に含まれる成分の最大周波数の 2 倍を超えるサンプリング周波数を要することを述べた定理。

逆に考えると、信号の周波数帯域をサンプリング周波数の 1/2 未満に制限しなければならないということであり、これを ナイキスト周波数 と呼ぶ。

信号の周波数帯域をナイキスト周波数未満に制限できなかった場合、ディジタル信号にはエイリアシング・ノイズが混入してしまう。