sql大数据分批查询|sql数据库 大数据量查询 优化!!

A. sql怎么控制检索出的最大数据量,数量太大机器受不了,有能分批检索的命令吗

用分页查询算法来实现。给你一个我写的通用分页存储过程,将这个存储过程创建在你的SQL数据库上,调用该过程即可实现分页查询:/*通用存储过程只要传入页码,每页大小,查询的sql语句,排序方式(不需要order)即可*/CREATE Procere [sp_common_cuspage3]( @PageNo int, –当前查询页码 @PageSize int, –每页数量 @sql nvarchar(2000), –查询的SQL语句 @order nvarchar(200), –排序方式,例如:ResID desc @totalcount int out –返回当前查询SQL的符合总条数)ASBegin declare @querysql nvarchar(2000) declare @countsql nvarchar(2000) declare @begin int declare @end int declare @totalPage int –查询符合条件的条目数 set @countsql = N'select @count = count(*) from ('[email protected] + N')G0' exec sp_executesql @countsql, N' @count int output ', @totalcount output –计算总页码及纠正当前页码 set @totalPage = (@totalcount-1)/@PageSize +1 IF(@PageNo > @totalPage ) set @PageNo = @totalPage –计算起止位置 set @begin = @PageSize * (@PageNo-1) set @end = @PageSize * @PageNo +1 –组合出SQL进行查询 set @querysql = N'select * from (' set @querysql = @querysql + N' SELECT Row_Number() OVER(ORDER BY ' + @order + N' ) as RowID ,G0.* FROM (' set @querysql = @querysql + @sql set @querysql = @querysql + N' ) G0 ) G1' set @querysql = @querysql + N' Where G1.RowID >' + CAST(@begin as nvarchar) + N' AND G1.RowID<'+CAST(@end as nvarchar) –print @querysql exec(@querysql)End

B. 如何快速分批查询出大表中的数据

用类似这样的sqlselect t.*from t, (select rowid k, rownum rn from t order by b) bwhere t.rowid=b.kand b.rn between 100001 and 200000;

C. 请教各位,如何分批获取数据库中数据

在有些业务场景中需要分批去取数据库表中的全部数据来进行处理,最简单的方法就是使用分页查询语句(偷懒以MySQL为例):[sql] view plain print?select * from datatable limit offset,amount select * from datatable limit offset,amount这里就会有一个问题,随着offset值的越来越大,这条sql要扫描的表数据就会越来越多,因为要定位到offset这一行就需要扫描比offset小的所有行。显然在一张大数据量的表中,去这样做,性能就会出问题。为了避免这样的情形出现,我们自然会想到使用索引来解决,比如使用自增序列id进行分批取:[sql] view plain print?select * from datatable where id >= start and id<start+batchCount select * from datatable where id >= start and id<start+batchCount 这样我们对id建索引,然后分批去取,显然效果会高很多,但是如果自增序列由于删除等操作变得不是连续,就会出现空执行和多执行的情况出现。要解决这个方法,我们就需要结合使用索引和分页的优势来处理:[sql] view plain print?select * from datatable where id >= start limit batchCount select * from datatable where id >= start limit batchCount 然后每次取回来我们再计算出起始id值,再去取下一批数据。这样就可以既避免了第一种不走索引,查询性能低下的问题,又解决了第二种id不连续,导致取回来的数据量不稳定导致浪费的问题了。

D. SQL分批查询

在查询的数据量比较大时,我们会采用分批查询的方式来查询数据库。这是因为数据库会把满足查询条件的所有记录都装载到内存,造成大量资源被占用,严重影响系统运行的效率。但是,数据库固有的存储过程不支持物理分页,所以如果采用分批查询方式,还需要开发人员编写自己的存储过程来实现。 具体的实现请从网上找,实现方式大致差不多!这样,服务端每次只把若干条(一般20条)记录返回给客户端,这样,既节省资源,又加快通讯的效率!

E. 数据量大,维度多怎么sql做查询,

1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t where num is null可以在num上设置默认值0,确保表中num列没有null值,然后这样查询:select id from t where num=03.应尽量避免在 where 子句中使用!=或<>操作符,否则将引擎放弃使用索引而进行全表扫描。4.应尽量避免在 where 子句中使用 or 来连接条件,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t where num=10 or num=20可以这样查询:select id from t where num=10union allselect id from t where num=205.in 和 not in 也要慎用,否则会导致全表扫描,如:select id from t where num in(1,2,3)对于连续的数值,能用 between 就不要用 in 了:select id from t where num between 1 and 36.下面的查询也将导致全表扫描:select id from t where name like '%abc%'若要提高效率,可以考虑全文检索。7.如果在 where 子句中使用参数,也会导致全表扫描。因为SQL只有在运行时才会解析局部变量,但优化程序不能将访问计划的选择推迟到运行时;它必须在编译时进行选择。然而,如果在编译时建立访问计划,变量的值还是未知的,因而无法作为索引选择的输入项。如下面语句将进行全表扫描:select id from t where [email protected]可以改为强制查询使用索引:select id from t with(index(索引名)) where [email protected]8.应尽量避免在 where 子句中对字段进行表达式操作,这将导致引擎放弃使用索引而进行全表扫描。如:select id from t where num/2=100应改为:select id from t where num=100*29.应尽量避免在where子句中对字段进行函数操作,这将导致引擎放弃使用索引而进行全表扫描。如:select id from t where substring(name,1,3)='abc'–name以abc开头的idselect id from t where datediff(day,createdate,'2005-11-30')=0–‘2005-11-30’生成的id应改为:select id from t where name like 'abc%'select id from t where createdate>='2005-11-30' and createdate<'2005-12-1'10.不要在 where 子句中的“=”左边进行函数、算术运算或其他表达式运算,否则系统将可能无法正确使用索引。11.在使用索引字段作为条件时,如果该索引是复合索引,那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引,否则该索引将不会被使用,并且应尽可能的让字段顺序与索引顺序相一致。12.不要写一些没有意义的查询,如需要生成一个空表结构:select col1,col2 into #t from t where 1=0这类代码不会返回任何结果集,但是会消耗系统资源的,应改成这样:create table #t(…)13.很多时候用 exists 代替 in 是一个好的选择:select num from a where num in(select num from b)用下面的语句替换:select num from a where exists(select 1 from b where num=a.num)14.并不是所有索引对查询都有效,SQL是根据表中数据来进行查询优化的,当索引列有大量数据重复时,SQL查询可能不会去利用索引,如一表中有字段sex,male、female几乎各一半,那么即使在sex上建了索引也对查询效率起不了作用。15.索引并不是越多越好,索引固然可以提高相应的 select 的效率,但同时也降低了 insert 及 update 的效率,因为 insert 或 update 时有可能会重建索引,所以怎样建索引需要慎重考虑,视具体情况而定。一个表的索引数最好不要超过6个,若太多则应考虑一些不常使用到的列上建的索引是否有必要。16.应尽可能的避免更新 clustered 索引数据列,因为 clustered 索引数据列的顺序就是表记录的物理存储顺序,一旦该列值改变将导致整个表记录的顺序的调整,会耗费相当大的资源。若应用系统需要频繁更新 clustered 索引数据列,那么需要考虑是否应将该索引建为 clustered 索引。17.尽量使用数字型字段,若只含数值信息的字段尽量不要设计为字符型,这会降低查询和连接的性能,并会增加存储开销。这是因为引擎在处理查询和连接时会逐个比较字符串中每一个字符,而对于数字型而言只需要比较一次就够了。18.尽可能的使用 varchar/nvarchar 代替 char/nchar ,因为首先变长字段存储空间小,可以节省存储空间,其次对于查询来说,在一个相对较小的字段内搜索效率显然要高些。19.任何地方都不要使用 select * from t ,用具体的字段列表代替“*”,不要返回用不到的任何字段。20.尽量使用表变量来代替临时表。如果表变量包含大量数据,请注意索引非常有限(只有主键索引)。21.避免频繁创建和删除临时表,以减少系统表资源的消耗。22.临时表并不是不可使用,适当地使用它们可以使某些例程更有效,例如,当需要重复引用大型表或常用表中的某个数据集时。但是,对于一次性事件,最好使用导出表。23.在新建临时表时,如果一次性插入数据量很大,那么可以使用 select into 代替 create table,避免造成大量 log ,以提高速度;如果数据量不大,为了缓和系统表的资源,应先create table,然后insert。24.如果使用到了临时表,在存储过程的最后务必将所有的临时表显式删除,先 truncate table ,然后 drop table ,这样可以避免系统表的较长时间锁定。25.尽量避免使用游标,因为游标的效率较差,如果游标操作的数据超过1万行,那么就应该考虑改写。26.使用基于游标的方法或临时表方法之前,应先寻找基于集的解决方案来解决问题,基于集的方法通常更有效。27.与临时表一样,游标并不是不可使用。对小型数据集使用 FAST_FORWARD 游标通常要优于其他逐行处理方法,尤其是在必须引用几个表才能获得所需的数据时。在结果集中包括“合计”的例程通常要比使用游标执行的速度快。如果开发时间允许,基于游标的方法和基于集的方法都可以尝试一下,看哪一种方法的效果更好。28.在所有的存储过程和触发器的开始处设置 SET NOCOUNT ON ,在结束时设置 SET NOCOUNT OFF 。无需在执行存储过程和触发器的每个语句后向客户端发送 DONE_IN_PROC 消息。29.尽量避免大事务操作,提高系统并发能力。30.尽量避免向客户端返回大数据量,若数据量过大,应该考虑相应需求是否合理。

F. sql2008数据库,九百万条数据,如何快速查询

根据你说的需求:"可程序中需要查询每行的所有数据"、“查询全部九百万条数据”——————————-这样的需求跟索引没有关系了(因为已经肯定是走全表扫描的了),要提高效率的办法就是:1、提高硬盘的io速度;2、增加内存以使sql server有更多的缓存。另外,你程序不要一次性取那么多数据返回,这样会拖死的,建议你考虑变换下处理逻辑(如:分批取回–可以根据id列值进行分批;将数据直接在服务端存成文本再传回本地处理)。 "而是需要根据这些数据逐一进行其他功能的操作,这款程序是不联网的"——————————–就算这样的话,也不能一次性把9百万数据一次性取回,如果你非要取出来再操作的话,那你得考虑分批去取。或者你把处理逻辑写在存储过程,然后由SQL SERVER本身去完成逻辑处理。总之,不管怎样,你也是得优化你现在的处理逻辑(现有处理逻辑我觉得不合理,效率很低下)。“真正部署到电力网的服务器上速度会不会提高呢”————————服务器当然比你本地要快得多啦,硬件配置根本就不同一个级别,但不管怎样,还是建议你参考上面的建议优化你的处理逻辑才行,否则,你系统的效率将很低。

G. sql数据库 大数据量查询 优化!!

我搞过一个来销售管理的网站源,一些客户的浏览记录也很多.后来我们用了按类型分表的方法.把一个很长的表分成了7个表,然后建立视图来把他们弄一起,当然SQL优化是少不了的,尽量减少join和left的次数,适当建立索引.你朋友圈的话,建议你用Ajax,动态刷新,那么是否考虑在这一次刷新页面的时候在后台先准备好下一次的查询数据呢.因为这个是一段一段的,显示一段,然后准备下一段.PS:我这只是个人建议,希望能帮到你

H. sql就是查一个很大的表,然后呢先查询一半,如果有就不查询另一半数据了

就是叫分段查询吧,也叫分页查询。是指在大数据中查询并显示中,每次只查询一部分(一页)数据返回,不是一次性全部将附合条件的数据都读取在内存里。这个不算什么牛吧,就是第一页取top N,第二页在2N中选后N个(子查询实现)以此类推。

I. (问题解决再追加100分)sql server存储过程实现查询数据条数过大,分页查询怎么实现

按说5-8w这样数量级的数据没有问题,写入Excel是布比较耗性能,主要还是要通过优化写入Excel的代码效率上去考虑。你可以考虑利用分批查询写入的方式来避免一次写太多的数据到Excel:将你的查询结果分段,比方你的语句中能不能用时间来认为分段,每次返回部分结果。回到你的问题,对大数据量查询的解决方案有以下两种:(1)、将全部数据先查询到内存中,然后在内存中进行分页,这种方式对内存占用较大,必须限制一次查询的数据量。(2)、采用存储过程在数据库中进行分页,这种方式对数据库的依赖较大,不同的数据库实现机制不通,并且查询效率不够理想。以上两种方式对用户来说都不够友好。 2.解决思路 通过在待查询的数据库表上增加一个用于查询的自增长字段,然后采用该字段进行分页查询,可以很好地解决这个问题。下面举例说明这种分页查询方案。 (1)、在待查询的表格上增加一个long型的自增长列,取名为“queryId”,mssql、sybase直接支持自增长字段,oracle可以用sequence和trigger来实现。然后在该列上加上一个索引。添加queryId列的语句如下: Mssql: [QUERYID] [bigint] IDENTITY (1, 1) Sybase: QUERYID numeric(19) identity Oracle: CREATE SEQUENCE queryId_S INCREMENT BY 1 START WITH 1 MAXVALUE 999999999999999 MINVALUE 1 CYCLE CACHE 20 ORDER; CREATE OR REPLACE TRIGGER queryId_T BEFORE INSERT ON "test_table" FOR EACH ROW BEGIN select queryId_S.nextval into :new.queryId from al; END; (2)、在查询第一页时,先按照大小顺序的倒序查出所有的queryId,语句如下:select queryId from test_table where + 查询条件 +order by queryId desc 。因为只是查询queryId字段,即使表格中的数据量很大,该查询也会很快得到结果。然后将得到的queryId保存在应用服务器的一个数组中。 (3)、用户在客户端进行翻页操作时,客户端将待查询的页号作为参数传递给应用服务器,服务器通过页号和queyId数组算出待查询的queyId最大和最小值,然后进行查询。 算出queyId最大和最小值的算法如下,其中page为待查询的页号,pageSize为每页的大小,queryIds为第二步生成的queryId数组: int startRow = (page – 1) * pageSize int endRow = page * pageSize – 1; if (endRow >=queryIds.length) { endRow = this.queryIds.length – 1; } long startId =queryIds[startRow]; long endId =queryIds[endRow]; 查询语句如下: String sql = "select * from test_table" + 查询条件 + "(queryId <= " + startId + " and queryId >= " + endId + ")"; 3.效果评价 该分页查询方法对所有数据库都适用,对应用服务器、数据库服务器、查询客户端的cpu和内存占用都较低,查询速度较快,是一个较为理想的分页查询实现方案。经过测试,查询4百万条数据,可以在3分钟内显示出首页数据,以后每一次翻页操作基本在2秒以内。内存和cpu占用无明显增长。 以上也仅仅是分页查询结果查看的问题,你需要写入到Excel的话还需要考虑Excel写入代码的执行效率,这部分是很值得研究的。

J. sql语句查询,分批显示查询结果

若果你有唯一的值id可以用下面的方法:第一次:select top 5 from a 第二次:select top 5 from a where id not in (select top 5 id from a order by id asc)第三次:select top 5 from a where id not in (select top 10 id from a order by id asc)……如此下去,控制后面那个子查询top的数量就行了。

赞(0)