博客

动手学深度学习－第2章预备知识

  1.  数据操作　
    张量（Numpy-ndarray,Pytorch,TensorFlow-Tensor)
    torch.arange()
    torch.shape
    torch.numel ()张量中元素数量
    torch.reshape()改变张量的形状而不改变元素数量和元素值
    torch.randon()默认从均值为０　标准差为１　的标准高斯分布（正态分布）
    ＋，－，＊，／，＊＊
    torch.cat()连接　

    求和torch.sum()
     广播机制
    索引
    切片
    内存分配
    对象转换

  2. 数据预处理

    读取数据集

    import os

os.makedirs(os.path.join('..', 'data'), exist_ok=True)
data_file = os.path.join('..', 'data', 'house_tiny.csv')
with open(data_file, 'w') as f:
    f.write('NumRooms,Alley,Price\n')  # 列名
    f.write('NA,Pave,127500\n')  # 每行表示一个数据样本
    f.write('2,NA,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')

     处理缺失值
    fillna(inputs.mean())

  3. 线性代数
    张量的运算
    哈达玛积：两个矩阵按元素乘法（数学符号）　A*B
    降维：

    求和－调用求和函数会沿所有的轴降低张量的维度，使它变为一个标量。 我们还可以指定张量沿哪一个轴来通过求和降低维度。

    A_sum_axis1 = A.sum(axis=1)

＃指定axis=1将通过汇总所有列的元素降维（轴1）。因此，输入轴1的维数在输出形状中消失。

     

    平均值（mean或average）－通过将总和除以元素总数来计算平均值。

    A.mean(), A.sum() / A.numel()

     非降维求和

    sum_A = A.sum(axis=1, keepdims=True)
sum_A

     沿某个轴计算A元素的累积总和， 比如axis=0（按行计算），可以调用cumsum函数。 此函数不会沿任何轴降低输入张量的维度。

    A.cumsum(axis=0)

     点积：相同位置的按元素乘积的和

    y = torch.ones(4, dtype = torch.float32)
x, y, torch.dot(x, y)

     矩阵-向量积：矩阵A和向量x调用torch.mv(A, x)时，会执行矩阵-向量积

    矩阵-矩阵乘法：矩阵乘法看作简单地执行次矩阵-向量积，并将结果拼接在一起，形成一个<span class=”math notranslate nohighlight”>矩阵．

    B = torch.ones(4, 3)
torch.mm(A, B)

     范数：
    第一个性质是：如果我们按常数因子缩放向量的所有元素， 其范数也会按相同常数因子的绝对值缩放：

     

    第二个性质是熟悉的三角不等式:　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　

    第三个性质简单地说范数必须是非负的:

  4. 微积分
    拟合模型的任务分解为两个关键问题：
    优化（optimization）：用模型拟合观测数据的过程；
    泛化（generalization）：数学原理和实践者的智慧，能够指导我们生成出有效性超出用于训练的数据集本身的模型。

    %matplotlib inline
import numpy as np
from matplotlib_inline import backend_inline
from d2l import torch as d2l


def f(x):
    return 3 * x ** 2 - 4 * x


def numerical_lim(f, x, h):
    return (f(x + h) - f(x)) / h

h = 0.1
for i in range(5):
    print(f'h={h:.5f}, numerical limit={numerical_lim(f, 1, h):.5f}')
    h *= 0.1

     

     

     

     

     

     

  5. 概率

    机器学习就是做出预测。

     

     

Tags: