1. 问题
最近在项目中修bug的时候,碰到这样一个错误:
Caused by: java.sql.SQLException:Prepared or callable statement has more than 2000 parameter markers. at net.sourceforge.jtds.jdbc.SQLParser.parse(SQLParser.java:1139) at net.sourceforge.jtds.jdbc.SQLParser.parse(SQLParser.java:156) at net.sourceforge.jtds.jdbc.JtdsPreparedStatement.(JtdsPreparedStatement.java:107)Caused by: java.sql.SQLException:Prepared or callable statement has more than 2000 parameter markers.
出错的代码简化如下(list中的元素个数可能大于2000):
1 SELECT * FROM xxx x 2 WHERE x.date <= :today AND x.id IN (:list)
2. 收获
起初并不明白是什么情况,经过一番google加请教之后,有一些收获。项目中用的JTDS的driver版本为1.2.4,数据库为SQL Server。在该driver的源码中找到如下一个片段(在net.sourceforge.jtds.jdbc.SQLParser类中):
从这段代码中可以看出,其实这并不是一个bug,而是work as designed。我们得到的另一个信息是,对于不同类型的数据库,不同的版本之间,这种约束是有差别的,分别是255,1000,2000。这样看来,之前的查询语句出错也就很好理解了,在IN子句中的参数个数多于2000是肯定会抛异常的。
3. 解决方案
主要有两种解决方案:一种是优化SQL语句,一种是优化查询逻辑(即分批处理)。
对于第一种方案,如果IN子句中的参数来自于另一张表的话,可以考虑类似如下的查询方式:1 SELECT * FROM xxx x2 INNER JOIN yyy y ON x.id = y.id 3 WHERE x.date <= :today
对于第二种方案,分批来查询速度没有第一种快,但是不用修改SQL语句。
1 List- result = Lists.newArrayList();2 List
> partitionIds = Lists.partition(ids, BATCH_SIZE);3 for (List partitionId : partitionIds) {4 param.put("list", partitionId);5 List - resultItems = xxxService.query(param);6 result.addAll(resultItems);7 }8 return result;
这种方案的劣势在于速度上会有损失,但是可以从Java代码的逻辑层避免上面的问题。
希望这些对大家有所帮助。