Pytorch学习(一).深度学习回顾和Pytorch简介

谨以此系列作为《Pytorch深度学习实战》的电子版笔记

第一章 深度学习回顾和Pytorch简介

• Pytorch是一个用在GPU和CPU上进行深度学习的优化张量库。基于磁带的自动求导系统使Pytorch具有动态图的功能。

• Pytorch的一大优势在于ONNX内置于其核心。ONNX是微软和facebook宣布的开放神经网络交换协议：旨在帮助开发人员将任何模型从任何框架迁移到其他的任何框架。Pytorch内置ONNX，使得我们可以不安装任何其他包或者工具就可以进行模型迁移。

• 静态图和动态图的区别：静态图在数据传递之前生成图，动态图在计算数据时生成图，并在反向过程结束后销毁生成图。静态图基于其静态特性可以进行内存优化，可以并行执行。而动态图无法进行内存优化，但是动态图具有灵活性。不仅图的形状是动态的，图的行为也是动态的。

• 深度学习与机器学习的根本区别：深度学习是机器学习的一个子集，两者使用相同的数据驱动方法，但深度学习使用哪些特征是机器学习出来的，而不是人们显式选择的。

• Pytorch张量的基本操作：
  1、张量的创建：
  直接创建tensor

  	   a=torch.Tensor(3,2)    %创建未初始化的张量，初始值都接近0
  	   b=torch.rand(3,2)
  	   c=torch.ones(3,2)
  

  由其他类型转化为tensor

  a=torch.FloatTensor(a)
  

  2、张量的相关运算
  

• Pytorch的内部逻辑
  pytorch中面向用户的主要数据结构是一个THTensor对象，它保存有关维度、偏移、步长等的信息。还保存了指向THstorage的指针。那么THstorage存放的是什么呢？它负责保存指向原始数据和分配器的指针。这样的三层结构是互操作的关键。

  x = torch.ones(2,2)
  xv = x.view(-1)
  xn = x.numpy()
  x[0,0]=20
  print(x)
  print(xv)
  print(xn)
  

  x为22的张量，xv为将22的张量平展为1*4的单维度张量，xn为转化成的numpy数组。虽然他们的THTensor层不同，但是实际原始数据是相同的，THstorage指针是相同的。所以修改一个数值，另外两个数值就会跟着改变。这使得创建相同张量的n个视图且具有高内存效率变得容易。