Tag
誤差
「誤差」の記事 1本。
- Excelの使い方 / ExcelExcelの小数の誤差は59回目まで隠れる。0.1を60回足すと「=6」がFALSEになった
Excelは0.1+0.2=0.3をTRUEと返し、小さな誤差を15桁で隠す。それでも0.1を60回足すと=6はFALSEになり、2,000回のうち1,798回で合わない。行ごとにROUNDで丸めた累計は一度も外れなかった。点検の表を配布している。
「誤差」の記事 1本。
Excelは0.1+0.2=0.3をTRUEと返し、小さな誤差を15桁で隠す。それでも0.1を60回足すと=6はFALSEになり、2,000回のうち1,798回で合わない。行ごとにROUNDで丸めた累計は一度も外れなかった。点検の表を配布している。