7openresty与语音交互-张顺.ppt

对OpenResty的贡献: 1. feature: duplex cosocket - OpenResty v 2. bugfix: tcp_nodelay - OpenResty v 演示/视频 - 实时语音字幕 语音输入板 /x/page/f0155wqxlmz.html 第二部分 OpenResty组件在语音交互系统里 一些背景知识铺垫 人机交互方式的发展 1868年克里斯托夫·拉森·肖尔斯发明QWERTY键盘 1968年道格拉斯·恩格尔巴特发明鼠标 1971年SamHurst发明触摸传感器 2007年iPhone诞生, 人类进入智能机时代, 触摸成为 主流交互方式 语音、手势、眼睛、脑电波… 语音交互的工程技术现阶段还是比较 复杂的 数据流复杂 休眠状态 recorder aec wakeup 唤醒后本地识别 recorder aec vad local asr 唤醒后混合识别 recorder aec vad local asr cloud asr 多模块实时处理 recorder aec vad local asr cloud asr 1秒钟10帧音频 本地各组件实时率 0.1~0.5 识别延时300ms 交互延时1s 不同技术平台支持 Android iOS OpenWrt Linux Windows … 各种SDK 精通各种开发语言 熟悉各种技术栈 开发难度大 开发效率低 可移植性差 交互逻辑多份实现 ?比如在Android上 C写所有算法和交互逻辑 JNI绑定后提供android sdk 在android java层再做一些集成 C里面改个逻辑得重新编译so - 重新编译sdk - 重新编译apk - adb install - 运行调试 写的代码不能运行在其它平台上 怎样简单 — 抽象 来自DirectShow, ROS的启发 in data node in control 节点 out data out control 怎样简单 — 抽象 in data node in control out control out data 两种通信方式: * rpc - control command * message - pub-sub queue 怎样简单 - lua 整体框架用lua编写 跨平台 开发效率更高 用luajit执行效率有保障 怎样简单 - socket 跨平台 可移植性最好的进程间通信方案 各节点提供网络接口 不需要编程语言绑定 分布式 像服务端编程那样 怎样简单 - bus bus rpc + message queue a node(lua) b node(java) function a:onmessage(topic, …) print(topic, …) end busclient:subscribe(‘b.output’) busclient:call(‘/b/start’) public RPCResult onCall(url, byte[]... args) if url == ‘/b/start’ then busclient.publish(‘b.output’, ‘hello’) end end 实现 * * bus server bus client * busclient.lua * busclient.java * busclient.c * * * * bus server监听端口 bus client连接到server 每个node对应一个bus client bus client运行在独立的线程 * 有独立的事件循环 实现 * * 实现了兼容lua-nginx-module接口子集的运行时 * cosocket * timer * … 为什么不直接使用OpenResty? * 虽然stream-lua-nginx-module支持tcp server * 多线程多node与nginx单进程模型设计相背, 比如全局变量 代码复用 * * OpenResty * lua-resty-websocket * lua-resty-http * lua-resty-dns * … 公司内 * 基于OR的模块 * lua封装的c库 全栈? 出现了跨语音云服务开发和语音交互系统的优秀工程师 其它一些便利 开发效率提升