2007-08-17(Fri)
誤差
昨日、まちから仕事中のEXCELについてのこんな話を聞いた。
「81.4-80.1の計算結果が小数点表示を増やしていくと途中でおかしくなる」
実際に出してみました。

おぉ、確かに本来なら計算結果は3.7000・・・と続いていくはずが、14桁目を表示
させたところから3.7ではなくなる。。
まぁMicroSo・・・だからなぁと思いつつも調べてみると、こんなお言葉が。
難しいことを延々と書いてますなぁ。。
要はEXCELで計算をする時は15桁以上の計算をすると正確でなくなる・・・という
ことみたいですな(全てではないですが)。
今回の件は、この計算結果をランク付けしようとした時にセルの表示数値が
同じなのに順位が同じにならないというところで偶然発見したようです。
必ずこのような誤差が生まれるということではないみたいですが・・・
普段ならそんな桁の計算をするわけではないので、知りませんでした。
昔だったら生徒さんに聞かれてもおかしくない質問だなや・・・。あぶない。
・・・ftさんも色々やりますな〜。
まぁ小数点や%辺りを計算している時は注意・・・めんどくさい。
「81.4-80.1の計算結果が小数点表示を増やしていくと途中でおかしくなる」
実際に出してみました。

おぉ、確かに本来なら計算結果は3.7000・・・と続いていくはずが、14桁目を表示
させたところから3.7ではなくなる。。
まぁMicroSo・・・だからなぁと思いつつも調べてみると、こんなお言葉が。
難しいことを延々と書いてますなぁ。。
要はEXCELで計算をする時は15桁以上の計算をすると正確でなくなる・・・という
ことみたいですな(全てではないですが)。
今回の件は、この計算結果をランク付けしようとした時にセルの表示数値が
同じなのに順位が同じにならないというところで偶然発見したようです。
必ずこのような誤差が生まれるということではないみたいですが・・・
普段ならそんな桁の計算をするわけではないので、知りませんでした。
昔だったら生徒さんに聞かれてもおかしくない質問だなや・・・。あぶない。
・・・ftさんも色々やりますな〜。
まぁ小数点や%辺りを計算している時は注意・・・めんどくさい。

