Sparse layers

class torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2, scale_grad_by_freq=False, sparse=False)

一个保存了固定字典和大小的简单查找表。

这个模块常用来保存词嵌入和用下标检索它们。模块的输入是一个下标的列表，输出是对应的词嵌入。

参数：

• num_embeddings (int) - 嵌入字典的大小
• embedding_dim (int) - 每个嵌入向量的大小
• padding_idx (int, optional) - 如果提供的话，输出遇到此下标时用零填充
• max_norm (float, optional) - 如果提供的话，会重新归一化词嵌入，使它们的范数小于提供的值
• norm_type (float, optional) - 对于max_norm选项计算p范数时的p
• scale_grad_by_freq (boolean, optional) - 如果提供的话，会根据字典中单词频率缩放梯度

变量：

• weight (Tensor) -形状为(num_embeddings, embedding_dim)的模块中可学习的权值

形状：

• 输入： LongTensor (N, W), N = mini-batch, W = 每个mini-batch中提取的下标数
• 输出： (N, W, embedding_dim)

例子：

>>> # an Embedding module containing 10 tensors of size 3>>> embedding = nn.Embedding(10, 3)>>> # a batch of 2 samples of 4 indices each>>> input = Variable(torch.LongTensor([[1,2,4,5],[4,3,2,9]]))>>> embedding(input)Variable containing:(0 ,.,.) = -1.0822 1.2522 0.2434 0.8393 -0.6062 -0.3348 0.6597 0.0350 0.0837 0.5521 0.9447 0.0498(1 ,.,.) = 0.6597 0.0350 0.0837 -0.1527 0.0877 0.4260 0.8393 -0.6062 -0.3348 -0.8738 -0.9054 0.4281[torch.FloatTensor of size 2x4x3]>>> # example with padding_idx>>> embedding = nn.Embedding(10, 3, padding_idx=0)>>> input = Variable(torch.LongTensor([[0,2,0,5]]))>>> embedding(input)Variable containing:(0 ,.,.) = 0.0000 0.0000 0.0000 0.3452 0.4937 -0.9361 0.0000 0.0000 0.0000 0.0706 -2.1962 -0.6276[torch.FloatTensor of size 1x4x3]