高性能网站架构概述.pptVIP

;总体架构 数据中心(数据库切分、搜索引擎、文件存储) 业务层(内部通信、缓存) 前端负载均衡 页面优化;高可用性(High Availability) 可伸缩性(Scalability) 高性能(High Performance);Consistency 一致性 Availability 可用性 Partition Tolerance分区耐受性 在任意时刻，只有两项能同时成立 不要浪费精力可能突破上面限制;网站的系统分层架构;网站的物理架构;网络拓扑结构;RAC(Real Application Clusters)：高可用(HA)的负载均衡集群(LB)的技术 双机热备：通过数据库服务器冗余来提供的解决方案;数据库读写分离;MySQL Proxy(数据库读写分离);水平切分： 2 * N（如定单，购买者与网店各一份） N / n (按日期或ID范围分区） hash(N) % n( 按hash分) 查找表 垂直分区 按功能分(用户，新闻）;面向系统层解决方案：独立的DAL Proxy服务器 MySQL: Amoeba、 Mysql_proxy PostgreSQL: PL/Proxy (Skype) 面向应用层解决方案：DAL API Java: Hibernate Shard,Ibatis Shard,HiveDB Python: Pyshards;什么是全文索引？ 为了快速搜索大量的文本文件 为一本书建立关键词的索引“书签” 什么是全文搜索？ 在索引中查找关键字的过程，找到关键字在哪些地方出现;高性能、可扩展的信息检索工具库 为应用程序添加索引/搜索功能 一个典型的应用： ;Lucene索引过程的核心类;Lucene索引代码示例;Lucene搜索过程的核心类;Lucene搜索代码示例;paoding ：“庖丁解牛” Paoding Analysis imdict ：imdict智能词典所采用的智能中文分词程序 mmseg4j ： 用 Chih-Hao Tsai 的 MMSeg 算法 实现的中文分词器 ik ：采用了特有的“正向迭代最细粒度切分算法“，多子处理器分析模式;Solr Lucene仅仅是一个全文检索包，不是一个独立的搜索服务 Solr来源于CNET.com的内部数据库检索项目 Solr的含义是：Searching On Lucene w/Replication ? Solr当前主要主要代码维护者Yonik斯坦福大学硕士毕业;是Web Server中的Servlet 积极的缓存(自动加载搜索热词等) Web管理界面 XML/HTTP, JSON 接口 Faceting(分类统计搜索结果) 通过Schema配置文件定义types 和 fields 为了并发访问，实现主从式的索引复制;Java客户端-SolrJ 通过Java 二进制格式快速返回结果 .Net客户端-SolrSharp PHP客户端-“solr-php-client”;优秀的文件系统 GFS：Google开发的大型、分布式、满足大数据量访问的文件系统 HDFS：Apache Hadoop项目中的文件系统实现，是居于GFS论文思想 GridFs：MongoDB数据库内置的文件系统，有Nginx集成访问模块 ;使用Linux内核的Inotify监控文件系统事件 利用开源的lsync监听某一目录如果目录内文件发生增、删、改，则利用Rsync协议自动同步到多台服务器;可以避免每一个图片的请求都有可能导致一个 HTTPD 进程的调用。 可以对不同使用性质的图片设置不同的过期时间，前端访问快速且省带宽 ;;面向服务的应用架构 使用内部通信器分离业务层 使用分布式缓存系统;Socket通信器：ICE、MINA、Netty JMS Web Service;memcached由LiveJournal运营人员开发 memcached是高性能的分布式内存缓存服务器，开源 协议简单 基于libevent时间处理：epoll/kqueue 内置内存存储方式：slab/LRU;Memcache应用;Linux操作系统优化 Tomcat服务器优化 Apache服务器优化 Nginx服务器的优化 ;增大连接数及TCP/IP的超时设置 在/etc/sysctl.conf配置文件中增加如下内核参数： net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_fin_timeout = 5;基于DNS的负载均衡——一个域名绑定多个IP 通过硬件四层交换实现负载均衡 通过软件四层交换实现负载均衡 通过反向代理服务器实现负载均衡 Apache + Tomcat集