[BUG 记录] torch.multinomial/ CUDA error: device-side assert triggered

基础 以下所有“向量”代表列向量 每一个样本点xxx都是一个向量，多个样本组成矩阵X=[x0,x1,...,xn]X=[x_0, x_1,...,x_n]X=[x0​,x1​,...,xn​] 传统算法 SVM 符号 含义 C 特征通道数 N 样本数 输入：样本矩阵X∈RC×NX∈\mathbb{R}^{C×N}X∈RC×N 输出：超平面权重w∈RC×1w∈\mathbb{R}^{C×1}w∈RC×1，超平面偏置b∈RC×1b∈\mathbb{R}^{C×1}b∈RC×1 定

报错 GPU运行一段时间后出现： Unable to determine the device handle for GPU 0000:05:00.0: GPU is lost. Reboot the system to recove r this GPU 可能原因 可能是供电不足，这种情况需要减少GPU或者更换大电源/双电源。 然而我的换上大电源后还是出现。我使用PCIEx16延迟线后更容易出现这种情况，而且同时跑的GPU越多越容易出现。原因可能是因为driver频繁卸载加载，GPU频繁被初始化，导致G

1.多显卡情况下，显示输出显卡最好放在第一个插槽处，否则可能会有各种奇葩问题 2.BIOS里boot项fast boot设置为disable，启动模式设置为Other OS，删除PK 3.为了使用M40，需要专门的供电线（淘宝有），跟普通的显卡电线不同；把BIOS里boot项的Above 4G打开 4.导入U盘里Ubuntu18镜像的时候不要用UltraISO，用rufus最新版 ...

今天利用torch.save储存了一个size为[1, 2048, 20, 33]的torch.short类型的CPU张量在磁盘里，读取的时候写torch.load(......)[..., :1, :], 结果发现内存占用没有变为原来的1/20 解决方案：切片后加.contiguous() ...

人工智能 机器学习/深度学习 知识点混记计算机视觉模型 benchmark卷积层计算公式特征图尺寸参数量卷积动态过程示意图常用机器学习算法选择路线 计算机视觉模型 benchmark 卷积层计算公式 特征图尺寸 参数量 P=Fw∗Fh∗Dp∗Dc+bP=F_w*F_h*D_p*D_c+bP=Fw​∗Fh​∗Dp​∗Dc​+b P:P:P: 参数量 F:F:F: 卷积核长宽尺寸 DDD 输入维度...

Transformer是一种基于自注意力机制的深度神经网络架构，最初应用于自然语言处理领域，现已成为大语言模型（如GPT系列）及多模态AI的核心技术。与传统序列模型（如RNN、CNN）不同，Transformer能并行处理数据并直接捕捉长距离依赖关系，通过计算Query、Key、Value的注意力权重动态聚焦关键信息。其结构包含编码器（理解输入）和解码器（生成输出），GPT等模型仅使用解码器部分。Transformer的优势包括并行计算能力、长序列处理效率和强大的可扩展性（如GPT-3达1750亿参数）

A-29P 以神经网络 AI 降噪 + 100dB 深度 AEC + 波束定向拾音三合一架构，为免提全双工通话设备提供了高性能、低功耗、小封装的完整语音处理方案，是当前语音处理模块市场中的旗舰级选手。深圳德宇科创有限公司 | 语音处理模组专业制造商。

Word Embedding（词嵌入）是一种将离散的词汇符号映射到连续的低维稠密向量空间的技术。在这个向量空间中，语义相似的词在几何距离上彼此接近，从而实现了从"符号匹配"到"语义计算"的跨越。核心定义词嵌入是将单词（或多词短语）表示为固定维度的实值向量，这些向量之间的距离（例如余弦相似度）反映了单词之间的相关性，这种相关性基于单词通常出现的上下文。分布式假设（1954）↓统计共现分析（LSA/SVD）↓。

《嵌入式AI：单片机如何运行神经网络》摘要 本文揭示了单片机(MCU)运行神经网络的核心原理：将训练好的神经网络转化为固定数值计算流程。关键要点包括： 神经网络在MCU上表现为确定的C函数，输入输出均为数组，通过固定计算流程处理数据。 权重和偏置本质上是常量数组，模型推理就是按既定顺序执行乘加运算。 输入输出需严格遵循训练时的格式约束，包括长度、顺序和数值范围。 MCU部署受限于三大因素：Flash存储参数、RAM存放中间结果、算子支持情况。 工程实现需关注数据链路完整性和可靠性，而非单纯追求模型复杂度。

本文系统介绍了神经网络的基本原理与训练过程。主要内容包括：神经网络通过调整权重和偏置参数来拟合输入输出映射关系；激活函数引入非线性使模型能学习复杂规律；完整训练过程包括前向传播、反向传播和参数更新；梯度下降和优化器的作用；局部极小值与全局最小值的区别；过拟合的成因及防止方法，如数据增强、正则化和Dropout；L1/L2正则化的数学原理与效果差异。文章从理论和实践角度全面解析了神经网络训练的关键概念与技术细节，为理解深度学习模型提供了清晰的知识框架。

2026年，中国具身智能市场规模预计达1.09万亿元，人形机器人整机产量有望突破10万台。当AI从数字世界走向物理世界，通信模组正从“通用部件”升级为机器人的“专用核心组件”。本文深度解析Wi-Fi 7如何以320MHz超大频宽、MLO多链路操作等技术特性，成为支撑多传感器融合、低时延控制与集群协同调度的关键底座。文章还介绍了欧飞信科技面向具身智能的旗舰级Wi-Fi 7模组O2072PM/O2072PB（5.8Gbps峰值速率，已适配RK3588、NVIDIA AGX ORIN平台）。

NR37-CP 以 NPU 架构 + 15mA 超低功耗 + 90dB 神经网络降噪的三重优势，专为电池供电的便携语音产品设计。I2S/UART/SPI 三接口灵活适配各类主控平台，是助听器、智能耳机和便携录音设备厂家提升产品竞争力的理想芯片方案。深圳德宇科创有限公司 | 语音处理模组专业制造商。

![深度神经网络的难点不只是“模型太大”，而是我们缺少一套合适的语言去描述它内部到底发生了什么。如果只看最终分类结果，我们会得到一个非常粗糙的答案：模型认为这是一只狗、一辆车，或者一朵花。如果只看某个神经元，我们又容易陷入过度局部的解释：这个神经元似乎响应纹理，那个通道似乎响应眼睛，但这些观察很难连接成完整图景。Distill 的经典文章 The Building Blocks of Interpretability 提出的核心思路是：不要把可解释性工具看成孤立技巧，而要把它们拆成可以组合的“积木”。一块积

输入信号 x1​,x2​ 会被赋予对应的权重 w1​,w2​（也叫参数），神经元对加权后的输入求和，当求和结果超过某个阈值 θ 时，输出 1（神经元被激活），否则输出 0。和感知机的核心差异：感知机使用阶跃函数（二值离散输出），神经网络使用连续可导的激活函数，支持通过梯度更新参数完成学习。神经网络在感知机的基础上，引入平滑可导的激活函数与多层结构，支持通过梯度法自动学习参数，是深度学习的核心载体。激活函数会将输入信号的总和转换为输出信号，比如感知机实现的与门x1，x2均为1，输出y为1。

KNN：传统监督机器学习、手写数字识别KMeans：传统无监督机器学习、点集聚类、图像分割GoogLeNet：深度学习CNN、图像1000分类：深度学习生成网络、图像风格迁移SSD+CNN：深度学习目标检测、人脸检测+性别识别1.传统机器学习：KNN、SVM、决策树、KMeans（无神经网络、人工/简单特征）2.深度学习（神经网络）：CNN、YOLO、Inception、风格迁移网络（多层网络、自动学特征）3. 所有神经网络算法都属于机器学习，但传统机器学习不属于深度学习。

PLM-PINN幂律记忆引导的物理信息神经网络在分数阶系统参数辨识

本文系统梳理了语言模型的演进历程：从2003年NNLM首次用神经网络替代统计模型，到2013年Word2Vec通过简化架构实现效率突破（CBOW聚合上下文预测中心词，Skip-gram中心词预测上下文），再到2018年BERT采用深层Transformer实现动态语境建模。模型发展呈现从静态词向量到动态上下文表示、从局部窗口到全局双向理解的趋势。不同模型在计算效率、语义捕捉、一词多义处理等方面各具特点，适用于不同应用场景。这一演进过程反映了自然语言处理从"词预测"到"语言理解&

摘要： 神经网络中的激活函数过热问题（梯度爆炸或神经元饱和）会导致模型性能下降。其主要原因是输入值过大、权重初始化不当或梯度传播异常，引发梯度消失或爆炸。解决方案包括：1）监控参数更新幅度，调整学习率或梯度裁剪；2）选择合适激活函数（如ReLU变体）；3）优化参数初始化（如Xavier或He初始化）；4）引入归一化技术（批归一化或层归一化）稳定训练过程。这些方法能有效缓解梯度问题，提升深层网络的训练效率和稳定性。