浮動小数点演算 (floating-point-arithmetic)
浮動小数点演算は、実数を有限の桁数で近似して扱う計算方式。コンピューターでは多くの場合2進数で数を表すため、10進数では有限小数に見える 0.1 や 0.6 が正確に表現できず、計算結果に微小な誤差が出る。
動画では、自作電卓の 0.6-0.2 が 0.3999997 のようになる例を通じて、Decimal型的な10進演算との違いが説明される。
浮動小数点演算は、実数を有限の桁数で近似して扱う計算方式。コンピューターでは多くの場合2進数で数を表すため、10進数では有限小数に見える 0.1 や 0.6 が正確に表現できず、計算結果に微小な誤差が出る。
動画では、自作電卓の 0.6-0.2 が 0.3999997 のようになる例を通じて、Decimal型的な10進演算との違いが説明される。