.35
5.23
T4
16
OOM
111.47
113.26
106.93
4.07







V100
4
9.84
8.16
8.09
7.65
6.25
V100
8
OOM
15.62
15.44
14.59
6.59
V100
10
OOM
19.52
19.28
18.18
6.86
V100
16
OOM
30.29
29.84
28.22
6.83







3090
4
10.04
7.82
7.89
7.47
4.48
3090
8
19.27
14.97
15.04
14.22
5.01
3090
10
24.08
18.7
18.7
17.69
5.40
3090
16
OOM
29.06
29.06
28.2
2.96
3090
32 (1)

58.05
58
54.88
5.46
3090
64 (1)

126.54
126.03
117.33
7.28







3090 Ti
4
9.07
7.14
7.15
6.81
4.62
3