书阅屋

手机浏览器扫描二维码访问

第139章 张量刑网（第2页）

def__init__（self，d_model=666）:

#调用父类nn.Module的初始化函数

super.__init__　　#定义一个可训练的参数w_q，形状为（d_model，d_model），用于查询操作

#这里通过从标准正态分布中随机采样并除以根号d_model来初始化参数

#这样做的目的是为了使参数的初始值具有合适的尺度，有助于模型的训练收敛

self.w_q=nn.Parameter（torch.randn（d_model，d_model）np.sqrt（d_model））

这章没有结束，请点击下一页继续阅读！

#为这个参数添加一个描述，这里用形象的“查询刑具”

来帮助理解其在模型中的作用

#它在后续的计算中用于生成查询向量，参与注意力机制等相关操作

self.w_q.__doc__="

查询刑具"

#定义一个可训练的参数w_k，形状同样为（d_model，d_model），用于键值操作

#初始化方式与w_q相同

self.w_k=nn.Parameter（torch.randn（d_model，d_model）np.sqrt（d_model））

#为这个参数添加描述“键值烙铁”

，表示其在模型中的角色

#它会用于生成键向量，与查询向量一起在注意力计算中发挥重要作用

self.w_k.__doc__="

键值烙铁"

#注册一个缓冲区positional_sin，用于存储位置编码的正弦值

#这里通过计算一系列正弦值来生成位置编码，torch.arange（0，1000）.float生成从0到999的浮点数序列

#然后通过一些计算得到不同位置和维度的正弦值

#这样在后续处理序列数据时，可以利用这些正弦值来为不同位置的元素添加位置信息

self.register_buffer（positional_sin，

torch.sin（torch.arange（0，1000）.float**（2*torch.arange（d_model）2d_model）））

#为这个缓冲区添加描述“相位刑椅”

，形象地表示它在处理序列位置信息方面的作用

self.positional_sin.__doc__="

相位刑椅"

在那复杂深邃、宛如神秘宇宙般的神经网络训练世界里，数据的洪流如浩瀚星辰般涌动，每一个字节都蕴含着无尽的可能。

反向传播算法，这位令人惊叹的精密舞者，身着数学逻辑的华服，在由层层神经元搭建而成的宏大舞台上翩翩起舞。

每一层神经元，都像是舞台上精心布置的独特场景，它们相互交织、彼此关联，构建出一个充满奇幻色彩的空间。

反向传播算法凭借着它那优雅且精准的舞步，沿着这错综复杂的舞台轨迹流畅前行。

它的每一次跳动、每一次转身，都严格遵循着数学的韵律，将误差信号巧妙地在神经元之间传递、分解、修正，如同一位技艺高超的指挥家，精准地协调着每一个音符，确保整个神经网络的和谐运作。

当反向传播的链式法则以一种有条不紊却又无比复杂的节奏穿透第42层时，意外毫无征兆地降临。

原本顺畅如流水般的计算过程，突然出现了一丝卡顿。