为什么SQL处理数据比Java快?

为什么SQL处理数据比Java快?
问在线客服
扫码问在线客服

为什么sql处理数据比Java快,处理大量数据时,有时SQL不能完美的实现需求,用Java去处理速度又太慢[图片] 查看全部

  • 回答数

    10

  • 浏览数

    1,530

10个回答 默认排序
  • 默认排序
  • 按时间排序

详解 SQL 的集合运算作者:悟空聊架构

2021 年 6 月 15 日

本文字数:8639 字

阅读完需:约 28 分钟

你好,我是 悟空。概述:

本篇主要是对集合运算中并集、交集、差集运算基础的总结。

集合运算包含三种:

1.并集运算

2.交集运算

3.差集运算

下面是集合运算的思维导图:

为什么SQL处理数据比Java快?为什么使用集合运算:

1.在集合运算中比联接查询和 EXISTS/NOT EXISTS 更方便。

在阅读下面的章节时,我们可以先把环境准备好,以下的 SQL 脚本可以帮助大家创建数据库,创建表,插入数据。

下载脚本文件:TSQLFundamentals2008.zip一、集合运算1.集合运算

(1)对输入的两个集合或多集进行的运算。

(2)多集:由两个输入的查询生成的可能包含重复记录的中间结果集。

(3)T-SQL 支持三种集合运算:并集(UNION)、交集(INTERSECT)、差集(EXCEPT)2.语法

集合运算的基本格式:

输入的查询 1

输入的查询 2

[ORDER BY]3.要求

(1)输入的查询不能包含 ORDER BY 字句;

(2)可以为整个集合运算结果选择性地增加一个 ORDER BY 字句;

(3)每个单独的查询可以包含所有逻辑查询处理阶段(处理控制排列顺序的 ORDER BY 字句);

(4)两个查询 必须包含相同的列数;

(5)相应列必须具有兼容的数据类型。兼容个的数据类型:优先级较低的数据类型必须能隐式地转换为较高级的数据类型。比如输入的查询 1 的第一列为 int 类型,输入的查询 2 的第一列为 float 类型,则较低的数据类型 int 类型可以隐式地转换为较高级 float 类型。如果输入的查询 1 的第一列为 char 类型,输入的查询 2 的第一列为 datetime 类型,则会提示转换失败:从字符串转换日期和/或时间时,转换失败;

(6)集合运算结果中列名由输入的查询 1 决定,如果要为结果分配结果列,应该在输入的查询 1 中分配相应的别名;

(7)集合运算时,对行进行进行比较时,集合运算认为两个 NULL 相等;

(8)UNION 支持 DISTINCT 和 ALL。不能显示指定 DISTINCT 字句,如果不指定 ALL,则默认使用 DISTINCT;

(9)INTERSET 和 EXCEPT 默认使用 DISTINCT,不支持 ALL。二、UNION(并集)集合运算1.并集的文氏图

并集:两个集合的并集是一个包含集合 A 和 B 中所有元素的集合。

图中阴影区域代表集合 A 与集合 B 的并集

为什么SQL处理数据比Java快?2.UNION ALL 集合运算

(1)假设 Query1 返回 m 行,Query2 返回 n 行,则 Query1 UNION ALL Query2 返回(m+n)行;

(2)UNION ALL 不会删除重复行,所以它的结果就是多集,而不是真正的集合;

(3)相同的行在结果中可能出现多次。3.UNION DISTINCT 集合运算

(1)假设 Query1 返回 m 行,Query2 返回 n 行,Query1 和 Query2 有相同的 h 行,则 Query1 UNION Query2 返回(m+n-h)行;

(2)UNION 会删除重复行,所以它的结果就是集合;

(3)相同的行在结果中只出现一次。

(4)不能显示指定 DISTINCT 字句,如果不指定 ALL,则默认使用 DISTINCT。

(5)当 Query1 与 Query2 比较某行记录是否相等时,会认为取值为 NULL 的列是相等的列。三、INTERSECT(交集)集合运算1.交集的文氏图

交集:两个集合(记为集合 A 和集合 B)的交集是由既属于 A,也属于 B 的所有元素组成的集合。

图中阴影区域代表集合 A 与集合 B 的交集

为什么SQL处理数据比Java快?2.INTERSECT DISTINCT 集合运算

(1)假设 Query1 返回 m 行,Query2 返回 n 行,Query1 和 Query2 有相同的 h 行,则 Query1 INTERSECT Query2 返回 h 行;

(2)INTERSECT 集合运算在逻辑上首先删除两个输入多集中的重复行(把多集变为集合),然后返回只在两个集合中都出现的行;

(3)INTERSECT 会删除重复行,所以它的结果就是集合;

(4)相同的行在结果中只出现一次。

(5)不能显示指定 DISTINCT 字句,如果不指定 ALL,则默认使用 DISTINCT。

(6)当 Query1 与 Query2 比较某行记录是否相等时,会认为取值为 NULL 的列是相等的列。

(7)用内联接或 EXISTS 谓词可以代替 INTERSECT 集合运算,但是必须对 NULL 进行处理,否则这两种方法对 NULL 值进行比较时,比较结果都是 UNKNOWN,这样的行会被过滤掉。3.INTERSECT ALL 集合运算

(1)ANSI SQL 支持带有 ALL 选项的 INTERSECT www.infoq.cn集合运算,但 SQL Server2008 现在还没有实现这种运算。后面会提供一种用于 T-SQL 实现的替代方案;

(2)假设 Query1 返回 m 行,Query2 返回 n 行,如果行 R 在 Query1 中出现了 x 次,在 Query2 中出现了 y 次,则行 R 应该在 INTERSECT ALL 运算之后出现 minimum(x,y)次。

下面提供用于 T-SQL 实现的 INTERSECT ALL 集合运算:公用表表达式 + 排名函数

WITH INTERSECT_ALL AS ( SELECT ROW_NUMBER() OVER ( PARTITION BY country, region, city ORDER BY ( SELECT 0 ) ) AS rownum , country , region , city FROM HR.Employees INTERSECT SELECT ROW_NUMBER() OVER ( PARTITION BY country, region, city ORDER BY ( SELECT 0 ) ) AS rownum , country , region , city FROM Sales.Customers ) SELECT country , region , city FROM INTERSECT_ALL复制代码
取消 评论

可以用大数据平台来处理,hadoop,spark,hive,impala等.mysql分析大数据应该不行,至少上个oracle吧!

取消 评论

你这个问题好奇怪啊,嗯,真的很怪!举个不恰当的例子,为什么挖土机挖土比SUV快?

取消 评论

lyd

java实质上调用的也是sql

取消 评论

数据库有索引机制,而java只能一条一条遍历

取消 评论

环境不同,不能这么比,没有索引的表,不一定有b树结构的内存数据查找快!

取消 评论

使用SQL处理数据时,数据会在数据库内直接进行处理,而且sql处理本身可以对sql语句做优化,按照最优的策略自动执行。

使用Java处理时,需要把数据从数据库读入到Java程序内存,其中有网络处理和数据封装的操作,数据量比较大时,有一定的延迟,所以相对来说数据处理就慢一些。

当然,这个只是大体示意图,实际根据业务不同会更复杂。

两者侧重的点不同,有各自适合的业务领域,需要根据实际情况选用合适的方式。

取消 评论

1.选择了Java就不要考虑运行效率.

2.SQL是描述...如果最终的执行者也是Java来运行那速度一样慢...大部分数据库都不是Java的...

3.SQL背后有多少台机器真的不好说...可能是数据库集群...可能是大数据集群...

取消 评论
加载全部10个答案 加载中...
ZOL问答 > 为什么SQL处理数据比Java快?

举报

感谢您为社区的和谐贡献力量请选择举报类型

举报成功

经过核实后将会做出处理
感谢您为社区和谐做出贡献

为什么SQL处理数据比Java快?

点击可定位违规字符位置

扫码参与新品0元试用
晒单、顶楼豪礼等你拿

扫一扫,关注我们
提示

确定要取消此次报名,退出该活动?