オーバーフローとアンダーフロー

1. オーバーフロー

オーバーフロー（Overflow）とは、演算結果の絶対値が浮動小数点数で表現可能な最大値を超える現象である。

IEEE 754 ではオーバーフロー時に結果は $\pm\infty$（無限大）にセットされる。$\infty$ に対する演算は $\infty + 1 = \infty$, $\infty \times 2 = \infty$, $\infty - \infty = \text{NaN}$ などの規則に従う。

2. アンダーフロー

アンダーフロー（Underflow）とは、演算結果の絶対値がゼロでないにもかかわらず、表現可能な最小正規化数より小さくなる現象である。

アンダーフローはオーバーフローに比べて致命的ではないことが多い。IEEE 754 の段階的アンダーフローにより、結果はゼロに「突然フラッシュ」されるのではなく、精度を徐々に失いながらゼロに近づく。

3. IEEE 754 における扱い

IEEE 754 の特殊値：

• $\pm\infty$: オーバーフローの結果。$1/0 = +\infty$, $-1/0 = -\infty$ なども含む。
• NaN（Not a Number）: $0/0$, $\infty - \infty$, $\sqrt{-1}$ など、定義されない演算の結果。
• $\pm 0$: 正のゼロと負のゼロが区別される。$1/(+0) = +\infty$, $1/(-0) = -\infty$ となる。

4. 非正規化数（デノーマル数）

非正規化数（denormalized number / subnormal number）は、指数部が最小値のときに仮数部の暗黙の先頭ビット1を0とすることで、$x_{\min}$ より小さい数を表現する仕組みである。

非正規化数により、$x - y = 0 \Leftrightarrow x = y$ という重要な性質が保証される（アンダーフローのフラッシュ・トゥ・ゼロ方式ではこの性質が壊れる）。

ただし、非正規化数の有効桁数は正規化数より少なく、一部のプロセッサでは非正規化数の演算が著しく遅い（数十〜100 倍以上）という性能上の問題がある。

// SSE 経由で FTZ + DAZ を有効化（GCC/Clang/MSVC 共通）
#include <xmmintrin.h>
#include <pmmintrin.h>
_MM_SET_FLUSH_ZERO_MODE(_MM_FLUSH_ZERO_ON);
_MM_SET_DENORMALS_ZERO_MODE(_MM_DENORMALS_ZERO_ON);

5. 典型的な発生場面

オーバーフロー

• 階乗: $170! \approx 7.26 \times 10^{306}$ は倍精度の範囲内であるが、$171! \approx 1.24 \times 10^{309}$ でオーバーフローする。
• 指数関数: $e^{709} \approx 8.2 \times 10^{307}$ は倍精度の範囲内であるが、$e^{710}$ でオーバーフローする。
• ベクトルのノルム: $\|x\|_2 = \sqrt{\displaystyle\sum x_i^2}$ で $x_i$ が大きいと $x_i^2$ でオーバーフローする。

アンダーフロー

• 確率の積: 多数の小さい確率の積はアンダーフローしやすい。対数空間で計算する（対数確率）。
• 指数関数の減衰: $e^{-x}$ で $x > 745$ （倍精度）ではアンダーフローしてゼロになる。
• ガウス分布の密度関数: 遠い点での $e^{-x^2/2}$ は非常に小さい。

6. 回避技法

対数スケールでの計算

積を和に変換する。$\displaystyle\prod p_i$ の代わりに $\displaystyle\sum \log p_i$ を計算する。最終結果が必要なときだけ $\exp$ を適用する。

Log-Sum-Exp トリック

$\log\left(\displaystyle\sum_i e^{x_i}\right)$ を安定に計算するために、$M = \max_i x_i$ として $e^M$ を共通因子として外に出す:

$x_i - M \le 0$ であるから $e^{x_i-M} \le 1$ となりオーバーフローしない。また少なくとも 1 項は $e^0 = 1$ なので $\log$ の中身は $[1, n]$ に収まり、アンダーフローによる $\log 0 = -\infty$ も防げる。

スケーリング（正規化）

ベクトルのノルム $\|x\|_2$ を計算する際、$m = \max_i |x_i|$ で割ってから計算する。

$(x_i/m)^2 \le 1$ であるからオーバーフローしない。LAPACK の dnrm2 はこの手法を用いている。

式の変形

$e^a / e^b$ は $e^{a-b}$ に、$\sqrt{a} \cdot \sqrt{b}$ は $\sqrt{ab}$ に変形すると中間値のオーバーフロー・アンダーフローを回避できることがある。$\sqrt{a^2 + b^2}$ には専用関数 hypot(a, b)（IEEE 754-2008 規格）を用いる。

7. 計算例

import math

def softmax(x):
    m = max(x)
    exp_x = [math.exp(xi - m) for xi in x]
    s = sum(exp_x)
    return [e / s for e in exp_x]

print(softmax([1000, 1001, 1002]))
# [0.09003057317038046, 0.24472847105479764, 0.6652409557748219]

8. 注意点

• FTZ / DAZ モード: 性能上の理由から SSE/AVX では FTZ（Flush-to-Zero、結果の非正規化数を 0 にする）や DAZ（Denormals-Are-Zero、入力の非正規化数を 0 として扱う）が有効化されている場合がある。これにより段階的アンダーフローが無効になり、$x \ne y$ でも $x - y = 0$ となる可能性がある。
• 非正規化数の性能ペナルティ: 多くの x86 プロセッサで非正規化数を含む演算はマイクロコード処理に切り替わり、100倍以上遅くなることがある。リアルタイム処理や DSP では FTZ を意図的に有効化することが多い。
• 符号付きゼロの比較: $+0 = -0$ は true となるが、$1/(+0) = +\infty$, $1/(-0) = -\infty$ で逆数を取ると $+\infty \ne -\infty$ となり、分岐結果が変わる。
• 中間値オーバーフロー: 最終結果が表現範囲内でも、中間計算でオーバーフローする例は多い（$\sqrt{a^2 + b^2}$、$(a \cdot b)/c$ など）。式の評価順序の入れ替えや専用関数の利用を検討する。
• 整数オーバーフローとの混同: 整数型のオーバーフローは IEEE 754 の対象外で、C/C++ では符号付き整数オーバーフローは未定義動作である。本記事は浮動小数点に限定する。

オーバーフロー・アンダーフローの検出

IEEE 754 ではオーバーフロー・アンダーフローはサイレントに発生するため、明示的に検出するには浮動小数点例外フラグを参照する。C99 / C++11 では <fenv.h> / <cfenv> を用いる:

#include <cfenv>
#pragma STDC FENV_ACCESS ON

std::feclearexcept(FE_ALL_EXCEPT);
double r = dangerous_computation();
if (std::fetestexcept(FE_OVERFLOW))  { /* +/-inf 発生 */ }
if (std::fetestexcept(FE_UNDERFLOW)) { /* 非正規化数 or 0 */ }

SIGFPE をトラップする方式（feenableexcept on glibc）もあるが、移植性とパフォーマンスに難があり、ライブラリ境界での状態管理が必要になる。

9. よくある質問

10. 参考資料

• Wikipedia「算術オーバーフロー」（日本語版）
• Wikipedia「Arithmetic underflow」（英語版）
• Wikipedia「Denormal number」（英語版）
• D. Goldberg, "What Every Computer Scientist Should Know About Floating-Point Arithmetic," ACM Computing Surveys, vol. 23, no. 1, pp. 5--48, 1991.
• N. J. Higham, Accuracy and Stability of Numerical Algorithms, 2nd ed., SIAM, 2002（§2.7 にオーバーフロー・アンダーフローの解析、§27 に hypot 等の安全な計算）。
• IEEE 754-2019, IEEE Standard for Floating-Point Arithmetic, IEEE, 2019.