Pytorch: 가변 입력 크기 훈련이 느림

resnet50에서 수정한 모델이 있는데 마지막 avgpool & fc 만 제거하면 됩니다.
훈련 중에 입력 크기를 계속 변경하면 속도가 느려지는 것을 발견했습니다.

최소 코드:

import time
import torch
import torch.nn as nn
import torch.backends.cudnn as cudnn
import numpy as np
from torch.autograd import Variable

# ... remove avgpool & fc from resnet50 here
net = resnet50()
net.cuda()
net = torch.nn.DataParallel(net, device_ids=range(torch.cuda.device_count()))
cudnn.benchmark = True

for i in range(10):
    h = np.random.randint(400,600)
    w = np.random.randint(400,600)
    # or fix h = w = 600
    x = Variable(torch.randn(1,3,h,w)).cuda()

    t1 = time.time()
    y = net(x)
    t2 = time.time()
    print(t2-t1)

1. 입력 크기를 [600,600]으로 수정하면 8 Nvidia P40 시스템에서 얻은 값은 다음과 같습니다.

3.14512705803
0.11568403244
0.0255229473114
0.0228650569916
0.0235478878021
0.0225219726562
0.0436158180237
0.0222969055176
0.0223350524902
0.0227248668671

1. 입력 크기를 [400,600]에서 무작위로 변경하면 다음을 얻습니다.

3.12573313713
0.670918941498
2.32590889931
2.3486700058
2.31507301331
0.593285083771
0.68169093132
2.34181690216
0.597991943359
1.74615192413

나는 또한 CPU만으로 훈련했는데 둘 다 정상적으로 작동합니다. 그래서 나는 그 이유가 CUDA 오버 헤드와 관련이 있다고 생각합니다. 이 문제를 해결할 아이디어가 있습니까?