python使用celery方法.pdf

pythoncelery异步任务队列 博客： 作者：戴儒锋 邮箱 celery简介： celery是一个异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作，但对调 度支持也很好。celery是用Python编写的，但该协议可以在任何语言实现。更多简介的请 自己在网上搜索 本文目的是用python使用celery做异步任务，在centos6.4上安装celery，并用supervisor 来管理celery进程，celery采用redis做中间件的消息传输。现实中可以celery做异步请求， 如发送邮箱，发送消息，请求URL等场景 环境部署 环境 系统：centos6.464位 python版本：2.6.6 创建相关的目录 mkdir-p/data/{redis,logs,www} （我会把python脚本都放在/data/www 中） 安装celery yuminstallpython-develpython-setuptools easy_installpip pipinstallcelery （ 中的 模块） pipinstallredis # python redis 安装 supervisor pipinstallsupervisor echo_supervisord_conf/etc/supervisord.conf 如 果 在 执 行 echo_supervisord_conf /etc/supervisord.conf 时 报 pkg_resources.DistributionNotFound: meld3=0.6.5 错 误 的 话 ， 找 到 supervisor-3.1.3-py2.6.egg-info/requires.txt，把文件里面meld3=0.6.5注释掉，然后再执行 echo_supervisord_conf/etc/supervisord.conf就好了 查找方法： find/ |greprequires.txt 配置 vim/etc/supervisord.conf 在配置后面添加以下参数 [program:celery] command=/usr/bin/celeryworker-Atasks directory=/data/www stdout_logfile=/data/logs/celery.log autostart=true autorestart=true redirect_stderr=true stopsignal=QUIT 注释 ;program:celery 要管理的进程名，你自己随便定义，我这定义了叫celery ;command 是启动celery 的命令 ;directory 是程序目录 ，因为我要启动celery，需要进入/data/www 目录中才能生效的， 所以这里在启动命令时，会切换到这个目录里 ;autorstart 自动重启celery ;stdout_logfile 存放celery 的日志路径 以上命令的大概意思就是： 进行到/data/www 目录，然后执行/usr/bin/celeryworker-Atasks，并把输出的日志保存到 /data/logs/celery.log 中，这是指定了worker模式，如果不指定，默认为prefork模式，一般 你机器有几核，系统就开启几个worker进程，如果有异常，记得查看日志/data/logs/celery.log 安装redis cd/usr/local/src wgethttp://download.redis.io/releases/redis-3.0.5.tar.gz tarxfredis-3.0.5.tar.gz cdredis-3.0.5 make makeinstall (可用makePREFIX=/usr/local/redisinstall 安装到指定的路径下面 ) cputils/redis_init_script/etc/init.d/redis chmoda+x/etc/init.d/redis mkdir/etc/redis cpredis.conf/etc/redis/ 简单修改redis.conf （前面数字是行号） 42daemonizeyes #进程转入后台运行 50port22222 #修改端口，不用默