中国IT动力,最新最全的IT技术教程
最新100篇 | 推荐100篇 | 专题100篇 | 排行榜 | 搜索 | 在线API文档 | 网通镜像
首 页 | 程序开发 | 操作系统 | 软件应用 | 图形图象 | 网络应用 | 精文荟萃 | 教育认证 | 硬件维护 | 未整理篇 | 站长教程
ASP JS PHP工程 ASP.NET 网站建设 UML J2EESUN .NET VC VB VFP 网络维护 数据库 DB2 SQL2000 Oracle Mysql
服务器 Win2000 Office C DreamWeaver FireWorks Flash PhotoShop 上网宝典 CorelDraw 协议大全 网络安全 微软认证
硬件维护  CPU  主板  硬盘  内存  显卡  显示器  键盘鼠标  声卡音箱  打印机  机箱电源  BIOS  网卡  C#  Java  Delphi  vs.net2005
  当前位置:> 程序开发 > 编程语言 > .NET > 临时文章
Single转换成Double时出现误差
作者:未知 时间:2004-11-12 12:12 出处:Blog 责编:chinaitpower
              摘要:暂无

手头上正在做一套住房公积金管理软件,碰到了数据精度的问题,偶然发现下面的情况:
代码:
Private Sub Command1_Click()
    Dim r1 As Single
    r1 = 0.1

    Dim result As Double

    result = 1 * r1
    Debug.Print result
End Sub

结果输出: .100000001490116
很显然,在计算的过程中,r1被从single转换成double类型后参与了计算,而转换的过程中出现了误差,为验证这一点,我修改了代码:
Private Sub Command1_Click()
    Dim r1 As Single
    r1 = 0.1
   
    Debug.Print CDbl(r1)
End Sub
结果输出: .100000001490116
果然是这样,这个结果让我大出意外,因为我的软件中一部分计算就是把Single类型的利率和Double型的应缴额放在一起进行的,而出现偏差就在所难免了。

为什么会出现误差呢?
MSDN中说:浮点(Single 和 Double)数比 Currency 的有效范围大得多,但有可能产生小的进位误差。

看来为了追求精度,最好把Double类型换成Currency类型,或者把Single类型换成与Double一致。

关闭本页
 
首页 | 投资与合作 | 服务条款 | 隐私政策 | 收藏本站 | 设为首页 | 新用户注册 | 免责声明 | 使用帮助
Copyright ©2005-2008 chinaitpower.com All rights reserved. www.chinaitpower.com 版权所有