AI大模型探索之路-训练篇3：大语言模型全景解读

大语言模型的预训练[1]:基本概念原理、神经网络的语言模型、Transformer模型原理详解、Bert模型原理介绍

大语言模型的预训练[1]:基本概念原理、神经网络的语言模型、Transformer模型原理详解、Bert模型原理介绍

AI大模型探索之路-训练篇20：大语言模型预训练-常见微调技术对比

随着人工智能的迅猛发展，自然语言处理（NLP）在近年来取得了显著的进展。大型语言模型（LLMs）在多种NLP任务中展现了卓越的性能，这得益于它们在大规模文本数据集上进行的预训练和随后的微调过程。这些模型不仅能够理解和生成自然语言，还能在特定任务上通过微调达到令人印象深刻的精度和鲁棒性。本文将深入探讨几种重要的预训练模型，并细致比较目前广泛使用的两种先进微调技术——LoRA和P-Tuning V2。

AI大模型探索之路-训练篇19：大语言模型预训练-微调技术之Prefix Tuning

随着深度学习技术的发展，大型预训练语言模型（PLM）如BERT、GPT等在自然语言处理（NLP）任务中取得了显著的成果。然而，这些模型的训练和微调需要大量的计算资源和时间，这对于许多研究者和公司来说是一个不小的挑战。为了更高效地利用这些模型，减少计算和存储成本，研究人员开始探索参数高效的微调方法。Prefix Tuning算是比较早出现的微调技术；

AI大模型探索之路-训练篇15：大语言模型预训练之全量参数微调

在自然语言处理（NLP）领域，预训练模型的应用已经越来越广泛。预训练模型通过大规模的无监督学习，能够捕捉到丰富的语言知识和上下文信息。然而，由于预训练模型通常需要大量的计算资源和时间进行训练，因此在实际使用时，我们往往需要对预训练模型进行微调，以便更好地适应特定的任务需求。本文将介绍全量参数微调的方法，以及如何在实践中进行操作。

AI大模型探索之路-训练篇17：大语言模型预训练-微调技术之QLoRA

在深度学习的不断进步中，大型语言模型（LLMs）的预训练和微调技术成为了研究的热点。其中，量化技术以其在模型压缩和加速方面的潜力备受关注。本文将深入探讨QLoRA（Quantized Low-Rank Adaptation）技术的原理、实践及应用。

AI大模型探索之路-训练篇4：大语言模型训练数据集概览

在人工智能领域，构建强大的AI系统的关键步骤之一是大规模的语言模型预训练。为了实现这一目标，需要大量且多样化的训练数据。以下是对目前常用于训练大语言模型的数据集的整理与概述。

AI大模型探索之路-训练篇24：ChatGLM3微调实战-多卡方案微调步骤详解

在现代自然语言处理（NLP）任务中，随着模型规模的扩大和训练数据的增多，单张GPU的显存已经无法满足大模型的训练需求。为了充分利用多张GPU进行并行训练，我们需要了解不同的并行策略。本文将详细介绍ChatGLM3微调实战中的多卡方案及其步骤。这三篇论文共同构成了DeepSpeed项目的理论基础，它们不仅展示了如何通过技术创新来解决大规模模型训练中的挑战，还为深度学习社区提供了实用的工具和方法。

AI大模型探索之路-训练篇16：大语言模型预训练-微调技术之LoRA

在自然语言处理领域，大语言模型的预训练-微调技术已经成为一种常见的方法。其中，LoRA（Low-Rank Adaptation）是一种新颖的微调技术，通过引入低秩矩阵来调整模型的行为，以提高模型在新任务上的表现。本文将对LoRA的原理、优势以及应用进行详细介绍。LoRA是一种新颖的微调技术，通过引入低秩矩阵来调整模型的行为，以提高模型在新任务上的表现。它具有参数高效、计算复杂度低等优点，因此在自然语言处理领域具有广泛的应用前景。

AI大模型探索之路-训练篇23：ChatGLM3微调实战-基于P-Tuning V2技术的实践指南

在人工智能的广阔领域里，大语言模型（LLMs）的微调技术扮演着至关重要的角色。它不仅为模型注入了适应特定任务的能力，而且还是通往专业领域的关键。本文旨在深入探讨基于P-Tuning V2技术的ChatGLM3微调流程，这是一种将因果语言模型与对话优化相结合的优秀实践，我们希望借此引领读者深入了解大模型微调的内涵。在上文中，我们详细介绍了基于LoRA技术微调ChatGLM3的操作过程。而本文将重点展示基于P-Tuning V2技术的微调过程。

AI大模型探索之路-训练篇6：大语言模型预训练数据准备-预处理

随着人工智能技术的不断发展，大语言模型在自然语言处理、机器翻译、文本生成等领域取得了显著的成果。然而，训练一个高性能的大语言模型需要大量的高质量预训练数据。本文将详细介绍大语言模型预训练数据准备的各个环节，包括数据来源、质量过滤、去重过滤、敏感过滤以及数据影响分析等。希望通过本文的介绍，能够帮助读者更好地理解和应用大语言模型预训练数据的准备过程。大语言模型预训练数据准备是实现高性能模型的关键步骤。本文从数据来源、质量过滤、去重过滤、敏感过滤以及数据影响分析等多个方面进行了详细的介绍。

AI大模型探索之路-训练篇18：大语言模型预训练-微调技术之Prompt Tuning

随着深度学习和人工智能技术的飞速发展，大语言模型的预训练与微调技术已成为自然语言处理领域的重要研究方向。预训练模型如GPT、BERT等在多种语言任务上取得了显著成效，而微调技术则进一步推动了这些模型在特定任务上的适用性和性能。Prompt Tuning作为一种新兴的微调技术，通过引入虚拟标记（Virtual Tokens）来使预训练语言模型适应于不同任务，从而在少量标注数据上实现快速且有效的微调。本文将深入探讨Prompt Tuning技术的原理、实践以及潜在的影响。

AI大模型探索之路-训练篇8：大语言模型Transformer库-预训练流程编码体验

在深入探索Transformer库及其高级组件之前，我们先手工编写一个预训练流程代码。这一过程不仅有助于理解预训练的步骤和复杂性，而且能让您体会到后续引入高级组件所带来的开发便利性。通过实践，我们将构建一个情感分类模型，该模型能够接收文本评价并预测其是正面还是负面的情感倾向。通过上述步骤，我们手工完成了基于Transformer库的情感分类模型预训练流程。虽然这个过程涉及了大量细节和代码编写，但它为我们提供了宝贵的洞见，让我们了解了从原始数据处理到模型训练和验证的整个流程。

AI大模型探索之路-训练篇22： ChatGLM3微调实战-从原理到应用的LoRA技术全解

在自然语言处理的浪潮中，Transformer架构以其独特的设计和卓越性能，成为了大语言模型的基石。ChatGLM3，作为其中的一员，通过微调在特定任务上展现了其强大的适应性和灵活性。本文将深入探讨ChatGLM3的架构设计，微调策略，并提供实战案例，以期为开发者提供宝贵的参考。

AI大模型探索之路-训练篇7：大语言模型Transformer库之HuggingFace介绍

在的官方网站上，您可以发现一个丰富的开源宝库，其中包含了众多机器学习爱好者上传的精选模型，供大家学习和应用。此外，您也可以将自己的模型分享至社区，与他人共同进步。HuggingFace因其开放和协作的精神被誉为机器学习界的GitHub。在这里，用户能够轻松获取到Transformers库里各式各样的组件资源，助力各类机器学习项目的实现和发展。

AI大模型探索之路-训练篇5：大语言模型预训练数据准备-词元化

大语言模型训练需要数海量的各类型数据。如何构造海量“高质量”数据对于大语言模型的训练具有至关重要的作用。训练数据是影响大语言模型效果以及样本泛化能力的关键因素之一。通常预训练数据需要涵盖各种类型，包括网络数据、图书、论文、百科和社交媒体等，还需要覆盖尽可能多的领域、语言、文化和视角，从而提高大语言模型的泛化能力和适应性。本章将介绍常见的大语言模型训练数据的来源、数据处理、预训练数据对大语言模型影响的分析以及常见开源数据集合等。

AI大模型探索之路-训练篇13：大语言模型Transformer库-Evaluate组件实践

在自然语言处理（NLP）技术的迅猛发展过程中，基于深度学习的模型逐渐成为了研究和工业界解决语言问题的主流工具。特别是Transformer模型，以其独特的自注意力机制和对长距离依赖的有效捕捉能力，在多个NLP任务中取得了革命性的突破。然而，随着模型变得越来越复杂，如何准确评估模型的性能，理解模型的优势与局限，以及指导进一步的模型优化，成为了一个挑战。

[Unity_Plastic SCM小技巧] 使用 UnityYAMLMerge 工具合并场景和预制件文件

首先YAMLMerge工具其实并不局限于PlasticSCM，git也可以，它是内置在Editor内的一个更加智能的版本控制工具，只不过正常不会启用，他的目录在C:\Program Files\Unity\Editor\Data\Tools\UnityYAMLMerge.exe(Unity Editor安装目录)，MAC上：/Applications/Unity/Unity.app/Content...

亿图图示（edrawmax中文版） v10.1.7pjb

edrawmax中文名叫做亿图图示，是一款非常棒的综合图形图表设计软件，既能实现流程图、架构图、工程图、思维导图等数百种专业领域图形图表的绘制，又能提供一个白板进行头脑风暴和任意编排，轻松实现数据和创意的可视化呈现。软件支持Windows、Mac、Linux及网络版，一端创作，多端同步，从而为跨端办公绘图提供新的解决方案，还兼容常用文档类的办公软件格式，包括图片、Office、PDF、Visio、Html、SVG等，尽可能的在文件格式这块满足用户多方面需求。软件支持创建260多种图表类型，拥有超过12500

Python-OpenCV及cv2,numpy库最新安装教程[最全步骤]

安装教程目录前言OpenCV-Python安装教程报错解决cv2安装numpy安装opencv安装（附加）总结 前言 首先，我知道一些看到我的Blog的人已经在网上找了很多歪路子，现在已经火冒三丈了（我也是这样过来的hhhh），那么现在，深呼吸，跟着我的教程，不要着急，每一步都要读一遍。完整安装过程需要1个小时左右（仅供参考，本人第一次安装python花了一天（确信）） OpenCV-Python...

STM32与FreeRTOS：基于TIM6的高精度系统时间获取实践

本文详细介绍了在STM32与FreeRTOS环境下，基于TIM6定时器实现高精度系统时间获取的实践方法。通过复用FreeRTOS的TIM6硬件资源，开发者可以高效获取毫秒级和微秒级系统时间，同时解决时间溢出和中断处理等关键问题。文章还提供了CubeMX配置技巧、代码实现及性能优化建议，适用于嵌入式系统开发中的精确时间管理需求。

LTE信令流程——切换

LTE信令流程 切换 切换是由基站发起的，不同于小区重选，小区重选是由UE发起的。 基站利用移动性管理算法给UE下发测量任务，在RRC重配置消息中携带MeasConfig信元给UE下发测量配置 切换有三种场景： 同一基站内不同小区的切换 不同基站间基于X2的切换（MME不变） 不同基站间基于S1的切换（MME/SGW可能改变） 1. 同一基站内不同小区的切换 连接态的UE在一个基站的不同小区之间移动 UE上报合适的测量报告（Measure Reports），触发基站切换 基站下发切换命令给UE，

半导体物理基础：载流子输运理论_（4）.载流子浓度与费米能级

费米能级（Fermi Level）是描述半导体中电子和空穴能量分布的基准能级。在绝对零度下，费米能级以下的所有能级都被电子占据，费米能级以上的所有能级都是空的。随着温度的升高，电子会获得足够的能量跃迁到费米能级以上的能级，形成导带中的自由电子和价带中的空穴。费米能级在半导体中的位置取决于掺杂浓度和温度。对于本征半导体，费米能级位于禁带的中心；对于掺杂半导体，费米能级会偏移，具体位置取决于掺杂类型和浓度。载流子浓度（Carrier Concentration）是指半导体中自由电子和空穴的数量密度。

无线通信基础：调制与解调技术_（42）.7.3.2多进制频移键控解调(MFSK解调)

MFSK解调是一种通过频谱分析和频率检测来恢复数字信号的技术。本文介绍了MFSK解调的基本原理，包括信号接收、频谱分析、频率检测和符号判决。在实际应用中，噪声会对解调性能产生影响，因此引入了信噪比优化和多步判决方法来提高解调的准确性。通过性能评估，可以更好地理解MFSK解调在不同噪声环境下的表现。这些方法和技术为MFSK在实际通信系统中的应用提供了理论和实践基础。

Apache Flink连载（一）：Apache Flink是什么？

Apache Flink 是一个框架和分布式处理引擎，用于在。

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

SAP B1中文培訓教材_SDK

公司内部培训资料，对开发工具 ，DIAPI， UIAPI，Add-ON有详细解说

汉书HE8，好用的汇编代码编写工具

汉书HE8，好用的汇编代码编写工具早期编写汇编代码所用功能强大

老版QQ原生表情gif动态

这是老版的QQ表情，不过全是动态的的，Windows照片查看器是不会动的，可以右击用浏览器打开查看，再说一遍是老版的，只是分享给宁愿用老版也要动态的人。