我的模型分成了两部分分别进行转换,其中模块2包含两个较大子网络,完成了从torch到tensorRT的转化后,提升时间如下: 精度为FP32
之前在网上搜的时候看到有人通过tensorRT提升了6倍的速度,我这边只有3倍左右的提升,因为提升效果跟网络结构之类的都有关系,所以要有一定的心理预期,特别是如果网络比较复杂,里面涉及较多一个网络的输出再给另一个网络时,可能提升比较小,单纯一个网络比如resnet16,提升就会很大。