高性能网络IO框架-netmap源码分析.doc

高性能网络I/O框架-netmap源码分析(1) 作者：gfree.wind@博客： 微博：/glinuxerQQ技术群：4367710 前几天听一个朋友提到这个netmap，看了它的介绍和设计，确实是个好东西。其设计思想与业界不谋而合——因为为了提高性能，几个性能瓶颈放在那里，解决方法自然也是类似的。 由于保密性，我是不可能拿公司的设计来和大家讨论和分享的。而netmap的出现，提供了这么一个好机会。它既实现了一个高性能的网络I/O框架，代码量又不算大，非常适合学习和研究。 netmap简单介绍 首先要感谢netmap的作者，创造出了netmap并无私的分享了他的设计和代码。netmap的文档写得很不错，这里我简单说明一下为什么netmap可以达到高性能。1. 利用mmap，将网卡驱动的ring内存空间映射到用户空间。这样用户态可以直接访问到原始的数据包，避免了内核和用户态的两次拷贝；——前两天我还想写这么一个东西呢。2. 利用预先分配的固定大小的buff来保存数据包。这样减少了内核原有的动态分配；——对于网络设备来说，固定大小的内存池比buddy要有效的多。之前我跟Bean_lee也提过此事呵。3. 批量处理数据包。这样就减少了系统调用; 更具体的内容，大家直接去netmap的官方网站上看吧，写得很详细。虽然英文，大家还是耐着性子好好看看，收获良多。 netmap的源码分析 从上面netmap的简单介绍中可以看到，netmap不可避免的要修改网卡驱动。不过这个修改量很小。 驱动的修改 下面我以e1000.c为例来分析。由于netmap最早是在FreeBSD上实现的，为了在linux达到最小的修改，使用了大量的宏，这给代码的阅读带来了一些困难。 e1000_probe的修改 俺不是写驱动的。。。e1000_probe里面很多代码看不明白，但是不影响我们对netmap的分析。通过netmap的patch，知道是在e1000完成一系列硬件初始化以后，并注册成功，这时调用e1000_netmap_attach @@ -1175,6 +1183,10 @@ static int __devinit e1000_probe(struct if (err) goto err_register; +#ifdef DEV_NETMAP + e1000_netmap_attach(adapter); +#endif /* DEV_NETMAP */ + /* print bus type/speed/width info */ e_info(probe, (PCI%s:%dMHz:%d-bit) %pM\n, ((hw-bus_type == e1000_bus_type_pcix) ? -X : ), 下面是e1000_netmap_attach的代码 static void e1000_netmap_attach(struct SOFTC_T *adapter) { struct netmap_adapter na; bzero(na, sizeof(na)); na.ifp = adapter-netdev; na.separate_locks = 0; na.num_tx_desc = adapter-tx_ring[0].count; na.num_rx_desc = adapter-rx_ring[0].count; na.nm_register = e1000_netmap_reg; na.nm_txsync = e1000_netmap_txsync; na.nm_rxsync = e1000_netmap_rxsync; netmap_attach(na, 1); } SOFTC_T是一个宏定义，对于e1000，实际上是e1000_adapter，即e1000网卡驱动对应的private data。 下面是struct netmap_adapter的定义 /* * This struct extends the struct adapter (or * equivalent) device descriptor. It contains all fields needed to * support netmap operation. */ struct netmap_adapter { /* * On linux we do not have a good way to tell if an interface * is netmap-capable. So we use the f