如何设计复杂统计查询的导出excel功能?

前提:查询是复杂耗时的比如要几分钟,但是最后结果的数据量是可控的,一般不超过几百行,也就是没必要分页.然后需要一
个导出excel的功能,当然也可以是导出其他的,道理是一样的.

疑惑:
如果每次导出时重新做查询的话,非常的耗时,感觉是一种浪费.用户已经等了几分钟得出查询结果,为什么还要再等这几分钟呢?不太友好.而且对于后台数据库也多一次负担.
如果每次都缓存下来是不是会违反web的无状态原则?呵呵,我是Web方面的新手:)

我的方案:
开始时是把结果存到session里面,如果点导出就会把最后一次查询结果从session里面取出来,然后导出.后来因为数据太大更新不到数据里面去(数据库用的是SQL Server,是遗留系统),改为存到磁盘上.
这个有个问题,就是如果同一个用户,同时执行几个查询,然后再导出,其实只能导出最后一次查询的结果.我现在想的是,给每次查询生成一个唯一ID作为导出链接的一部分,然后结果以这个唯一ID缓存到磁盘上,这样就可以处理同时打开多个查询的情况.缓存数据进行定期清理,比如每过一小时把超过一小时的缓存数据清理掉.

不知道,我这个方案有什么问题,大家都是怎么处理这种问题的?有什么更好的方案吗?

评论

6 楼 ryuuzaki 2008-08-01  

有同事做过导出excel，但是好象据说是乱码的说，不晓得怎么解决。不知道你们有遇到过没有。

5 楼 kiol 2008-07-16  

这个是复杂的同意查询,及时一堆sum,group by还有一堆的乱七八糟判断的,所以才会慢.很可能几百万的数据,最总出几十条来.因此也不可能只记录ID的.

我也是通过修改contentType来到处excel的.我是想知道导出时,怎么避免二次查询.如果要缓存的话,怎么缓存更好?如果不缓存的话,是否可以在客户端完成导出excel的功能.

4 楼 superxielei 2008-07-16  

js生成excel据我所知有两种办法，一个就是调用ActiveX，一个是修改contentType。我一直用第二种，挺方便的。

3 楼 liuqiang 2008-07-16  

<div class='quote_title'>kiol 写道</div>
<div class='quote_div'>
<p>开始时是把结果存到session里面,如果点导出就会把最后一次查询结果从session里面取出来,然后导出.后来因为数据太大更新不到数据里面去(数据库用的是SQL Server,是遗留系统),改为存到磁盘上.<br/>这个有个问题,就是如果同一个用户,同时执行几个查询,然后再导出,其实只能导出最后一次查询的结果.我现在想的是,给每次查询生成一个唯一ID作为导出链接的一部分,然后结果以这个唯一ID缓存到磁盘上,这样就可以处理同时打开多个查询的情况.缓存数据进行定期清理,比如每过一小时把超过一小时的缓存数据清理掉.<br/><br/>不知道,我这个方案有什么问题,大家都是怎么处理这种问题的?有什么更好的方案吗?</p>
</div>
<p><br/>你的这个方案肯定不成，查询一次就缓存一次？你怎么知道查询后就一定导出？系统浪费太严重，而且实现起来也蛮麻烦！</p>
<p>这个问题很好解决呀，你不是已经把所有记录查出来放在客户端了吗？导出就在客户端做呗，用js生成excel!</p>
<p>另外几百行记录的查询和导出需要花几分钟？</p>

2 楼 RednaxelaFX 2008-07-16  

不知道这里的Excel导出是否必须是xls格式的。Excel可以打开csv格式的文件，如果csv（逗号分隔值）可以接受的话，用FasterCSV来做那个导出或许也可以？
我只是之前给同学写个小东西的时候用过这个，当时也是需要导出数据。冒昧回个帖，呵呵

1 楼 rainux 2008-07-15  

只将每次查出的数据的 ID 作为 Array 缓存到 session 里即可，需要的时候直接把这个 Array 传给 find 方法来查，速度很快。

另外，每次查询要几分钟，是否可以考虑改进数据库设计来提高查询速度。