PostgreSQL12中浮点数输出算法优化带来的小问题

news/2024/7/9 21:10:00 标签: 1024程序员节, postgresql, 数据库, sql

最近碰到同事发来这样两个SQL,开发反馈输出的结果异常。

bill=# select 0.1284*100::float;
      ?column?
--------------------
 12.839999999999998
(1 row)


bill=# select (0.1284*100)::float;
 float8
--------
  12.84
(1 row)

乍一看其实能看出明显的区别,由于::符号的优先级是高于*的,所以没加括号导致结果不同。但是对于第一个SQL输出的结果却很奇怪,为什么会输出这样一个数字?而且将0.1284改成0.1184也不会有问题,这就让人有点费解了。

bill=# select 0.1184*100::float;
 ?column?
----------
    11.84
(1 row)

于是我在几个不同版本的pg实例中测试了下,发现pg12及以后的版本均有这种情况,于是看了下12的release notes,发现如下的更新

可以看到,在pg12中使用新的算法输出real和double precision值来提高性能。同时对于extra_float_digits这个参数也有原先默认的0改成了现在默认为1。关于这个参数的含义及用法之前我也有写过文章说明过,这里就不在阐述。

按照官方建议,可以将该参数设置为0与原先低版本保持一致。

bill=# show extra_float_digits ;
 extra_float_digits
--------------------
 1
(1 row)


bill=# set extra_float_digits = 0;
SET
bill=#  select 0.1284*100::float;
 ?column?
----------
    12.84
(1 row)

那么还有最后一个问题,为什么前面会输出12.839999999999998这么一串数字呢?可以看到前面的说明中有提到,当extra_float_digits大于零时(现在是默认值),只输出保留精确二进制值所需的最小数字。

这个是什么意思呢,由于前面我们输出的是float类型,当extra_float_digits=1时最多保留17位,但是由于新的浮点数输出算法,只要二进制相同,那么只保留到能得到该二进制的最小位数即可。

换句话说,12.839999999999998和12.84的二进制值是一样的,大家可以计算下,都是1100.110101110000101001,也就是说对于该数而言,两者是相等的。从下面也可以验证。

bill=# select 12.839999999999998::float;
 float8
--------
  12.84
(1 row)


http://www.niftyadmin.cn/n/5117381.html

相关文章

Delete `␍`eslintprettier/prettier

将CRLF改为LF 然后就消失了 除此之外,也可以修改git全局配置 git config --global core.autocrlf false

代码阅读:LanGCN

toc 1训练 1.1 进度条 import tqdm as tqdm for i, data in tqdm(enumerate(train_loader),disablehvd.rank()):1.2 多进程通信 多线程通信依靠共享内存实现,但是多进程通信就麻烦很多,因此可以采用mpi库,如果是在python中使用&#xff0…

【T3】畅捷通T3备份账套提示:超时已过期,错误‘53‘文件不存在。

【问题描述】 针对畅捷通T3软件,进行账套备份(账套输出)的时候, 先是提示”超时已过期“; 点击确定后,再次提示:运行时错误53,文件未找到。 最终导致账套备份/输出失败。 【解决…

2023年中国调速器产量、销量及市场规模分析[图]

调速器行业是指生产、销售和维修各种调速器设备的行业。调速器是一种能够改变机械传动系统输出转速的装置,通过调整输入和输出的转速比来实现转速调节的功能。 调速器行业分类 资料来源:共研产业咨询(共研网) 随着工业自动化程度…

10.19 校招 实习 内推 面经

绿*泡*泡: neituijunsir 交流裙 ,内推/实习/校招汇总表格 1、校招 | 中国电子科技集团第十一研究所2024届招聘 校招 | 中国电子科技集团第十一研究所2024届招聘 2、校招 | 中国电子-迈普通信2024届校园招聘 校招 | 中国电子-迈普通信2024届校园招聘…

【.net core】yisha框架单页面双列表联动效果示例

gridTable1列表数据为gridTable别表数据的子数据&#xff0c;点击gridTable时gridTable1列表数据更新&#xff0c; {Layout "~/Views/Shared/_Index.cshtml";} <div class"container-div"><div class"row"><div id"search…

07 | switch匹配:能不能适配不同的类型

switch 的模式匹配这个特性&#xff0c;在 JDK 17 中以预览版的形式发布。按照通常的进度&#xff0c;这个特性可能还需要两到三个版本&#xff0c;才能最终定稿。 这个特性很简单&#xff0c;但是非常重要&#xff0c;可以帮助我们解决不少棘手而且重要的问题。我们不妨在定稿…

深入了解JVM调优:解锁Java应用程序性能的秘诀

文章目录 &#x1f34a; JVM调优&#x1f389; 增大Eden 空间大小&#x1f389; 如果MinorGC 频繁&#xff0c;且容易引发 Full GC&#x1f4dd; S1 区大小 < MGC 存活的对象大小&#xff0c;对象的年龄才1岁&#x1f4dd; 相同年龄的对象所占总空间大小>s1区空间大小的一…