您的当前位置:首页正文

【torch-onnx-tensorRT加速】torch转tensorRT后加速效果

2024-11-07 来源:个人技术集锦

结论-我的提升:3倍

我的模型分成了两部分分别进行转换,其中模块2包含两个较大子网络,完成了从torch到tensorRT的转化后,提升时间如下:
精度为FP32

模型速度提升
模型1速度提升3倍
模型2速度提升<3倍

之前在网上搜的时候看到有人通过tensorRT提升了6倍的速度,我这边只有3倍左右的提升,因为提升效果跟网络结构之类的都有关系,所以要有一定的心理预期,特别是如果网络比较复杂,里面涉及较多一个网络的输出再给另一个网络时,可能提升比较小,单纯一个网络比如resnet16,提升就会很大。

显示全文