不懂pytorch cuda对tensor的定义以及减少cpu的方法？其实想解决这个问题也不难，下面让小编带着大家一起学习怎么去解决，希望大家阅读完这篇文章后大所收获。
cuda上tensor的定义
a = torch.ones(1000,1000,3).cuda()
某一gpu上定义
cuda1 = torch.device('cuda:1')
b = torch.randn((1000,1000,1000),device=cuda1)
删除某一变量
del a
在cpu定义tensor然后转到gpu
torch.zeros().cuda()
直接在gpu上定义，这样就减少了cpu的损耗
torch.cuda.FloatTensor(batch_size, self.hidden_dim, self.height, self.width).fill_(0)
补充知识：pytorch cuda.FloatTensor->FloatTensor
错误类型：
RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor）
定义残差块时定义在model的外面，在使用gpu进行训练的时候，残差块的参数是torch.FloatTensor类型，
虽然使用了model.cuda(),但是只对model里面的参数在gpu部分，所以把残差块对应的操作都在model的__init__(），
重新定义，即可解决问题
感谢你能够认真阅读完这篇文章，希望小编分享pytorch cuda对tensor的定义以及减少cpu的方法内容对大家有帮助，同时也希望大家多多支持创新互联，关注创新互联行业资讯频道，遇到问题就找创新互联，详细的解决方法等着你来学习!
