一 Go经典阻塞式TCP协议流解析的实践
- Go经典阻塞式TCP协议流解析的实践
- one-connection-per-goroutine模型的优点就是简单、好写以及好理解
- golang binary.Read 二进制流协议解析(
https://leenzhu.com/posts/golang-binary
)
在《Go经典阻塞式TCP协议流解析的实践》一文中,我们基于Go经典的阻塞I/O模型实现了一个基于TCP流的自定义协议的解析。这种one-connection-per-goroutine模型的优点就是简单、好写以及好理解,降低开发者心智负担。但一旦连接数上来,goroutine的数量就会线性增加。当面对海量连接的场景,这种模型将力不从心:系统中将存在大量goroutine,goroutine调度和切换的开销过多。
那么面对海量连接场景,应该如何解决呢?业界成熟方案:使用I/O多路复用模型。了解Go net包实现的朋友想必都知晓Go在运行时底层使用的也是I/O多路复用,其实现为runtime中的netpoll。goroutine层面获得的net.Conn(无论是Accept的,还是Dial得到的)都展现出“阻塞”的特征,但这些net.Conn底层实现的fd(文件描述符)在netpoll中都是non-blocking(非阻塞)的,Go运行时负责调用epoll等多路复用机制监视这些fd是否可读或可写,并适时唤醒goroutine继续网络I/O操作,这种方式减少了系统调用,也减少了运行Goroutine的M(操作系统线程)因系统调用陷入内核态等待的频率以及因阻塞失去M而不得不去创建新线程的数量。
那么在用户层面建立自己的I/O多路复用的不足在哪里呢?复杂,不好写,不好理解。但似乎也没有其他更好的办法。除非换语言,否则就得硬着头皮上^_^。好在,Go社区已经有几个不错的Go用户层面非阻塞I/O多路复用的开发框架库可供选择,比如:evio、gnet、easygo等。我们选择gnet。但注意:选择不代表推荐,这里仅是来做这个实践而已,是否使用gnet开发上生产的程序,需要你自己评估确定。
二 Go基于I/O多路复用的TCP协议流解析实践
- Go基于I/O多路复用的TCP协议流解析实践
- 用户层面建立自己的I/O多路复用的不足在哪里呢?复杂,不好写,不好理解. 现有的
evio、gnet、easygo
- 用户层面建立自己的I/O多路复用的不足在哪里呢?复杂,不好写,不好理解. 现有的
十 可学习点
dstat -tcdngym
- 有了基于expvar的计数器,我们就可以通过带有导出csv功能的expvarmon工具获取程序每秒的处理性能了(压测客户端可以使用demo1-with-metrics的client) 这里
...