海量日志的分析系统实践.ppt

基于MySql的日志分析系统设计 ?? ??? ??? ??? ??? ??? ??? ? 有些选项是每个线程分配的，需要注意不能设置太大 innodb log buffer size不宜设置过大，如果事务量相对较大可以考虑稍微大点 mysql自身的query cache效率一般，可以采用memcached来补充 * 有些选项是每个线程分配的，需要注意不能设置太大 innodb log buffer size不宜设置过大，如果事务量相对较大可以考虑稍微大点 mysql自身的query cache效率一般，可以采用memcached来补充 * * * MySQL相关设置 1.增大tmp_table_size 2.增大table_cache及thread_cache的值，避免频繁建立和断开链接 3.用mysql_unbuffered_query取代mysql_query, 4.用mysql_pconnect取代mysql_connect 5.使用SQL_BIG_RESULT来提示mysql优化引擎更好的处理大数据量sql 6.使用MyISAM表可使用索引数据的预加载功能 数据节点的优化—多D点的架构 展现层向Proxy发起Query请求，Proxy将请求分发到多个DB，然后将结果合并后返回 当单个Proxy负载过高的时候，可以启用多个Proxy，展现层通