Spring + iBatis 的多库横向切分简易解决思路.doc

转)Spring + iBatis 的多库横向切分简易解决思路 收藏 转自：/topic/781317 1.引言 笔者最近在做一个互联网的“类SNS”应用，应用中用户数量巨大（约4000万）左右，因此，简单的使用传统单一数据库存储肯定是不行的。 参考了业内广泛使用的分库分表，以及使用DAL数据访问层等的做法，笔者决定使用一种最简单的数据源路由选择方式来解决问题。 严格的说，目前的实现不能算是一个解决方案，只能是一种思路的简易实现，笔者也仅花了2天时间来完成（其中1.5天是在看资料和Spring/ibatis的源码）。这里也只是为各位看官提供一个思路参考，顺便给自己留个笔记 2.系统的设计前提 我们的系统使用了16个数据库实例（目前分布在2台物理机器上，后期将根据系统负荷的增加，逐步移库到16台物理机器上）。16个库是根据用户的UserID进行简单的hash分配。这里值得一说的是，我们既然做了这样的横向切分设计，就已经考虑了系统需求的特性， 1.不会发生经常性的跨库访问。 2.主要的业务逻辑都是围绕UserID为核心的，在一个单库事务内即可完成。 在系统中，我们使用Spring和iBatis。Spring负责数据库的事务管理AOP，以及Bean间的IOC。选择iBatis的最大原因是对Sql的性能优化，以及后期如果有分表要求的时，可以很容易实现对sql表名替换。 3.设计思路 首先，要说明一下笔者的思路，其实很简单，即“在每次数据库操作前，确定当前要选择的数据库对象”而后就如同访问单库一样的访问当前选中的数据库即可。 其次，要在每次DB访问前选择数据库，需要明确几个问题，1.iBatis在什么时候从DataSource中取得具体的数据库Connection 的，2.对取得的Connection，iBatis是否进行缓存，因为在多库情况下Connection被缓存就意味着无法及时改变数据库链接选择。 3.由于我们使用了Spring来管理DB事务，因此必须搞清Spring对DB Connction的开关拦截过程是否会影响多DataSource的情况。 幸运的是，研究源码的结果发现，iBatis和Spring都是通过标准的DataSource接口来控制 Connection的，这就为我们省去了很多的麻烦，只需要实现一个能够支持多个数据库的DataSource，就能达到我们的目标。 4.代码与实现 多数据库的DataSource实现：MultiDataSource.class Java代码 import java.io.PrintWriter; import java.sql.Connection; import java.sql.SQLException; import java.util.ArrayList; import java.util.Collection; import java.util.HashMap; import java.util.Map; import javax.sql.DataSource; import org.apache.log4j.Logger; import com.xxx.sql.DataSourceRouter.RouterStrategy; /** * 复合多数据源（Alpha） * @author linliangyi2005@ * Jul 15, 2010 */ public class MultiDataSource implements DataSource { static Logger logger = Logger.getLogger(MultiDataSource. class ); //当前线程对应的实际DataSource private ThreadLocalDataSource currentDataSourceHolder = new ThreadLocalDataSource(); //使用Key-Value映射的DataSource private MapString , DataSource mappedDataSources; //使用横向切分的分布式DataSource private ArrayListDataSource