搭建linux源.docxVIP

在学校搞过ubuntu的镜像源, 没想到工作后继续维护镜像源, 可谓有缘, 也是很是开心能为有需要的人尽点绵薄之力. 在这个过程中, 自己也学到很多记得一开始的学校那个服务器跑的是win 2003, 用xlight提供ftp服务, 为了便于管理, 给系统装上了cygwin. 在一开始摸索中, 尝试过lftp脚本去同步镜像源, 但lftp必须所有文件都扫描一次, 长时间的空闲连接就被服务器踢掉了.后来才知道普遍的做法是用rsync去同步, 在debian网站上提供了一个写的比较完善的rsync脚本?该脚本提供了文件锁,进程锁等完善的处理, 稍微修改就非常合适用来同步各镜像源空间需求对于镜像服务器, 基本上是IO密集型, 对磁盘空间需求很大, 如果只需要提供常用的i386,amd64两种架构的软件包及常用版本fedora需要300G左右ubuntu需要250G左右debian需要250G左右gentoo需要100G左右archlinux需要50G左右centos需要150G左右cygwin需要10G左右除此之外,还需要预留一定空间以保证不被新发布的版本或者大软件包塞爆硬盘.同步选择一般来说, 除非你服务器的空间几乎无限, 不然就得考虑排除没必要的架构和版本. 以debian为例debian现有alpha, amd64, arm, armel, hppa, hurd-i386, i386, ia64, m68k, mipsel, mips, powerpc, s390, sh and sparc这么多架构的软件包, 还有source代码包debian现有oldstable, stable, testing, unstable, 还有experimental版本的如此多的架构和版本, 我们要根据需要进行排除, rsync的exclude选项可以很好的完成这个任务, 有时遇到服务器端有问题的文件或者目录,也可以通过exclude选项跳过去.确定好需要同步的架构及版本后, 就需要找寻合适的同步对象, 一个发行版一般都有许多个镜像源, 但只有部分提供rsync服务, 在各自的官方网站一般都可以找到这些列表或者搭建镜像的帮助.?镜像源之间是有一定的等级的, 一般会有一个总的最高级别的服务器(简称根服务器), 所有新的软件包会现出现在它上面,然后它下级的镜像源再来它这里同步, 然后还有下下级的镜像源来同步. 如果能直接同步根服务器, 那是最好的, 因为你能最快获得新的软件包, 但由于各种原因, 根服务器不一定对所有用户都开放rsync同步服务, 而是只允许特定ip列表才能访问其rsync服务(大部分发行版是这么作的). 一般来说, 主要是根据访问速度及对方服务器的软件包的滞后程度来选择同步对象, 国内开放rsync的开源镜像不多, 周边地区速度不错的有台湾和日本的服务器, 其他地方的速度就一般同步策略根据需要写好rsync脚本后, 就需要添加crontab, 以保持自动更新, 推荐做法是一天更新几次, 部分小源可以一天更新一次, 如果只想一天更新一次, 可以把时间放在深夜, 一般规律都是凌晨5,6点访问量最小, 在这段时间附近开始更新可以避开负载高峰.其他debian系的源, 源目录都有pool目录, 它存放所有软件包, 如果使用了debian的同步脚本, 或者在rsync同步时分两步,先同步这个目录,同步完成后再同步其他目录, 这样就可以有效的避免服务器同步时其他人访问会有一定几率出错的问题, 还有rsync的delete-after及delay-update选项, 都可以避免未完成的更新对用户造成影响贴下我稍微修改及注释的debian那个同步脚本#! /bin/sh?set?-e??# 此脚本由 /mirror/anonftpsync 修改而来?# 需要原脚本可以自行下载?# CVS: :/cvs/webwml - webwml/english/mirror/anonftpsync?# Version: $Id: anonftpsync,v 1.43 2008-06-15 18:16:04 spaillar Exp $??#增加mirror名变量，方便修改log名、lock名、mail信息?MIRROR=opensuse??RSYNC=/usr/bin/rsync?TO=/home/mirror/opensuse?RSYNC_HOST=?RSYNC_DIR=opensuse-hotstuff-160gb?LOGDIR=/home/mirror.scripts/log??# ARCH_EXCLUDE 控制需要排除的架构的包?# 对于Debian,以下是包含的架构?# alpha, amd64, arm, armel, hppa, hurd-i