Mysql遍历大表（Mysql大量数据读取内存溢出的解决方法）

最新推荐文章于 2021-01-18 18:35:59 发布

转载最新推荐文章于 2021-01-18 18:35:59 发布 · 7.6k 阅读

收录于

Java

本文介绍 MySQL JDBC 在处理大数据量查询时如何避免内存溢出问题，并提供使用流式结果集的方法及其限制。

转自：http://jamie-wang.iteye.com/blog/1873447

转载内容：

----------------------------------------------------------------------------------------------------------------------------------------------------------------------------

mysql jdbc默认把select的所有结果全部取回，放到内存中，如果是要遍历很大的表，则可能把内存撑爆。

一种办法是：用limit，offset，但这样你会发现取数据的越来越慢，原因是设置了offset，mysql需要将读取位置移动到offset的位置，随着offset增大，取数据也越来越慢；

另外一种办法是：用数据流的方式取数据，这时需要设置：

   Java代码  
   
  
 stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY,  
               java.sql.ResultSet.CONCUR_READ_ONLY);  
 stmt.setFetchSize(Integer.MIN_VALUE);  

这时候，mysql jdbc driver，一行行的取结果集。

但这种方式有几个限制：

只能从该连接只能取完所有结果集后才能运行其他SQL;
resultset.getRow()，是不支持的，调用会抛unsupportedException；

----------------------------------------------------------------------------------------------------------------------------------------------------------------------------

我在使用该方法的时候出现过类似以下错误：

Caused by: java.sql.SQLException: Streaming result set com.mysql.jdbc.RowDataDynamic@5bdbda4f is still active.No statements may be issued when any streaming result sets are open and in use on a given connection.Ensure that you have called .close() on any active streaming result sets before attempting more queries.

原因就是违反了第一个限制，所以如果查询的数据集没有读取完，其他的sql操作都要另起一个connection。