最近在做通过emqx通信的项目,其间出现一个很奇怪的问题,车载终端发送字节超过二十万的消息后,emqx会直接中断与客户端的连接,导致车载终端消息发送失败。这里我说一下我的解决问题的思路。
1.刚开始以为是消息大小超过mqtt协议的限制,查看emqx.conf文件发现,默认的mqtt.max_packet_size=1M,我的消息二十几万个字节,也没有到1M.排除这个因素。
2.查看emqx日志,发现每次发送大消息的时候,客户端会被强制kill掉,且报错日志:Process: <0.3295.0> on node 'emqx@172.16.0.13', Context: maximum heap size reached, Max Heap Size: 10485760, Total Heap Size: 11644009, Kill: true, Error Logger: true, Message Queue Len: 0, GC Info: [{old_heap_block_size,4298223},{heap_block_size,8596446},{mbuf_size,0},{recent_size,1977200},{stack_size,72},{old_heap_size,0},{heap_size,3047563},{bin_vheap_size,119061},{bin_vheap_block_size,75110},{bin_old_vheap_size,0},{bin_old_vheap_block_size,46422}]。从报错日志来看,应该是消息超过最大heap内存大小。于是增大了消息队列长度,,缓冲区大小,垃圾回收次数,等很多参数,都还是不行。最后想法是emqx的erlang虚拟机参数设置的heap大小不够,想着设置一下,但是查看官方文档并没有相应的参数设置说明。最终加了官方技术交流群,在群里提出相关问题,群里大部分认为是消费延迟,导致的消息堆积,但是我觉得我的场景不符合消息堆积的场景。因为我测试环境就一个终端连接emqx,消息也是30秒发一次,一个消费者,每次发送小的消息,消费者会立马消费,一旦突然加大消息体数据达到二十几万字节,生产者客户端会立马与emqx断掉。这种场景不存在消息堆积,最后官方技术人员了解到我们情况,问了一下我的emqx版本,我当前用的是4.4.1版本,官方技术人员回答这个情况应该是这个版本的bug,让升级到4.4.10版本,我升级到4.4.10版本后,再次尝试真的就搞定了。记录一下这次排错之旅,记住避坑emqx4.4.1版本。最后感谢emqx官方技术人员支持!