光杆司令如何部署大模型?

1、背景

今天这种方式非常贴合低配置笔记本电脑的小伙伴们, 又没有GPU资源, 可以考虑使用api方式,让模型服务厂商提供计算资源


有了开放的api,让你没有显卡的电脑也能感受一下大模型管理知识库,进行垂直领域知识的检索和问答.算是自己初步玩一下AI agent


之前有写过一篇《平民如何体验一把大模型知识库》里面有提到使用阿里的免费GPU进行部署,但是免费总有到头的一天, 今天教大家如何使用在线模型管理自己的知识库, 同样是基于ChatChat的开源代码来讲解. 随着大模型竞争的白热化,基本很多大模型都开放的api方式,让大家自己定义AI agent的应用.


目前官方github上支持联网模型有:

447d5730623f22a4504aff36720b9fe3.jpeg

目前官方github上支持的词嵌入(Embedding)模型有:

f2e5ecd7ed93d88b560240c1bec4a2a9.jpeg

2、准备下前置条件

(1)、联网大模型选择

MCP协议实战:从零构建大模型工具调用服务端 大模型工具调用常面临适配碎片化问题,MCP协议通过标准化接口实现模型与外部工具的解耦。其基于JSON-RPC 2.0通信,支持stdio和SSE传输,核心原语包括Tools、Resources和Prompts。开发者可借助SDK快速构建MCP Server,将文件系统、数据库等能力暴露给模型,同时需注意路径校验、日志输出等安全与稳定性细节。本文以文件系统为例,完整演示从环境准备到客户端挂载的落地流程,并分享工具描述优化、上下文管理等实战经验,帮助开发者高效接入MCP生态。 阅读详情

相关推荐

本地部署AI代理Rick AI CEO:开源自主智能体系统架构与实战指南

自主智能体(Autonomous Agent)作为人工智能领域的重要分支,其核心原理在于模拟人类决策过程,通过感知、规划、行动和学习的循环,在无需人工干预的情况下完成复杂任务。这一技术价值在于将大语言模型的通用能力与特定领域的自动化流程相结合,实现从被动响应到主动执行的范式转变。在应用场景上,自主智能体广泛应用于自动化办公、客户关系管理、智能数据分析等领域,尤其适合独立开发者和小型团队处理重复性事务。本文聚焦于Rick AI CEO这一开源项目,它通过本地部署的**自主运行代理**架构和**多模型路由**机

weixin_27758233的博客 601

OpenClaw智能体框架实战:从部署到深度应用与自动化工作流构建

智能体(Agent)作为AI领域的关键技术,通过模拟人类决策过程,结合规划、工具调用与环境交互,实现任务的自动化执行。其核心原理在于将大语言模型的推理能力与外部工具、数据源相连接,形成可自主行动的智能系统。这一架构在工程实践中展现出巨大价值,能够显著提升工作效率,将重复性、规则性工作自动化。在应用场景上,智能体技术已广泛应用于自动化客服、个人知识管理、内部流程优化及创意内容生成等多个领域。本文以开源AI智能体框架OpenClaw为例,深入探讨如何解决部署后的实际应用难题,涵盖核心配置、技能管理、记忆持久化及

weixin_34174422的博客 488

腾讯AI工具QClaw与WorkBuddy深度对比:开发者与办公场景的AI Agent选择指南

AI Agent(智能体)作为人工智能领域的关键技术,正从单纯的语言对话向任务执行与自动化方向演进。其核心原理在于通过大语言模型(LLM)的推理与规划能力,调用外部工具(Tools)或技能(Skills)来完成复杂任务,从而将AI从“对话伙伴”升级为“行动助手”。这一技术价值在于显著提升个人与团队的工作效率,实现流程自动化,并降低重复性劳动负担。在应用场景上,AI Agent广泛适用于办公自动化、代码辅助、数据分析、智能客服等多个领域。本文聚焦于腾讯推出的两款代表性AI工具——QClaw与WorkBuddy

weixin_34211761的博客 731

MCPHub实战:以Grafana为例,构建统一AI服务网关

本文以Grafana为例,详细介绍了如何使用MCPHub构建统一的AI服务网关。通过Docker快速部署MCPHub,并集成Grafana MCP服务,实现AI应用对监控数据的统一访问与管理。MCPHub作为“总控台”,有效解决了多MCP服务集成碎片化、配置复杂的痛点,显著提升开发与运维效率。

weixin_29210759的博客 67

单人+AI创业:一人公司如何用AI工具链跑通全流程

在数字化转型与灵活用工趋势下,个体借助AI工具链实现公司化运作成为新兴经济形态。其核心原理是通过大模型、编程助手、自动化流程等AI能力,将产品设计、开发、运营等环节的边际成本大幅降低,让个人能够以轻资产方式交付标准化、可复用的产品或服务。这种模式的技术价值在于打破传统组织的人力时间约束,为知识工作者提供从执行者到经营者的跃迁路径。在实际应用中,内容生产、垂直工具、数据分析、轻量外包等领域尤其适合单人团队落地,而重线下交付或强监管行业则仍存在边界。随着AI Agent与行业Know-how深度融合,一人公司正

weixin_29032337的博客 206

二线城市AI社群运营实战:从信息差红利到本地化应用落地

AI编程与AI应用落地是当前技术领域的热点,其核心在于利用人工智能技术提升开发效率与解决实际问题。从技术原理看,AI编程助手通过代码生成、智能补全等功能辅助开发流程,而AI应用落地则涉及模型选型、部署优化等工程实践。这些技术的价值在于显著降低开发门槛,实现降本增效,尤其在传统行业数字化转型中作用突出。应用场景广泛覆盖代码审查、自动化测试、智能客服、内容生成等领域。本文以二线城市AI社群运营为例,探讨了如何结合本地产业特点,应对AI编程工具选型(如Cursor与Copilot对比)和Spring AI企业级应

weixin_29800471的博客 283

AI Agent技术赋能一人公司:构建自动化智能团队提升开发与运营效率

AI Agent(智能体)作为人工智能领域的关键技术,通过模拟人类决策与执行能力,实现了任务的自主规划与自动化处理。其核心原理在于结合大语言模型的认知能力与专用工具调用,形成可闭环的工作流。这一技术的工程价值在于显著提升个体开发者和微型团队的产能,将人力从重复性劳动中解放,聚焦于核心创新与决策。在实际应用场景中,AI Agent可被设计为承担特定职能的“虚拟员工”,例如产品架构、代码开发、测试运维与内容运营等,协同完成从产品构思到上线的全流程。本文即以“一人公司”模式为背景,详细阐述了如何利用GLM-5-T

weixin_30387799的博客 461

下一词预测(Next-token Prediction)深度解析:从 N-gram 到 GPT 的唯一目标函数

下一词预测(NTP)是自回归语言模型的核心训练目标,其本质为最小化交叉熵,等价于最大似然估计。通过链式法则将序列概率分解为条件分布,模型在无监督下学习语料中真实下一个 token 的高概率输出。从n-gram到Transformer,技术演进始终围绕提升上下文建模能力与并行效率。训练时利用因果掩码实现并行前向,推理则逐token采样生成。损失函数的下降揭示了规模定律下的通用智能涌现,但模型仍受限于生成能力,无法学习逻辑或常识。该目标统一了训练、评估与推理,构成大模型发展的基石。

reset2021的博客 285

存储&AI行业每日要闻(2026-10-25

影响:这是市场对"烧钱就能赢"叙事的一次集体重估——Meta 主动设 C 类股稀释投票权也要融资,SpaceX 单季资本开支逼近营收 1.35 倍,叠加前一日博通 600 亿/SpaceX 400 亿芯片抵押融资,AI 基建已进入"股权+债务双管抽血"阶段;若指引保守,则昨日费半暴跌的余波将继续发酵。影响:DSX POD 的本质是把 AI 基建从"定制工程"变成"集装箱产品"——这与前一日"芯片抵押融资 5000 亿框架"形成闭环:英伟达不仅卖 GPU,还帮客户解决融资、集成、电力等全链条问题;

惠惠软件 85

第33章 YOLO+OpenCV:视频流网络传输

本案例演示用视觉处理库连接网络视频流并逐帧显示画面。程序先打开流地址,再循环取帧、显示、等待按键退出,并用重试计数应对连接失败与读取中断。验证时关注窗口能否稳定出画、是否长时间卡顿黑屏、退出后终端有无报错。🌈

小哥谈 540

tuts4you-lena151-Crackme-tutorial06

一、前言      本次研究的是lena151-Crackme-tutorial06,也是一个应用程序,但因为平台迭代的关系,程序不能正常运行,只能完成部分破解。 (一)·本次我们要破解的目标是个应用程序,如下图 (二)、使用工具:x32dbg 二、过程 这个程序的破解的方法很多,首先最简单的一种不外乎就是搜索字符串,我就按照这个思路来完成。 (一)查找字符串<Unregis...

h123120的专栏 512

2025年12月11日 Coherent收发器下沉到数据中心:调研

技术可行性已基本具备。随着3nm DSP技术的成熟和Coherent-Lite等低功耗方案的推出,Coherent技术与IMDD的功耗差距在800G及以上速率节点快速缩小。特别是在1.6T及更高速率,两种技术的功耗开始趋于收敛。同时,通过系统级优化,如将DSP功能从可插拔模块转移到ASIC芯片,可实现30%以上的功耗降低。在成本方面,硅光技术的进步使得单通道硅光引擎BOM成本降至18美元,较2020年下降62%,逼近InP方案的经济临界点。光学系统机会丰富多样。

weixin_51184047的博客 1151

Akamai移动端Sensor数据采集与BMP风控机制深度解析

本文深度解析了Akamai在移动端风控中的核心机制,重点阐述了Sensor数据如何通过采集陀螺仪、加速度计等硬件信息,结合设备指纹生成连续且符合物理规律的行为轨迹。详细剖析了数据从采集、加密校验到通过BMP风控三重验证(校验位、时间差、数据逻辑)的完整流程,并提供了从模拟优化到自建风控模型的实用应对思路。

quiet的专栏 274

Quartus II 13.1 出现 ‘‘can‘t find design entity <Filename>‘‘ 问题的解决方法

Quartus II 13.1 出现 ''can't find design entity '' 问题的解决方法

qq_62076686的博客 1万+

【飞控】PX4 Autopilots与MATLAB/Simulink联合仿真环境搭建全攻略

本文详细介绍了在Windows系统上搭建PX4 Autopilots与MATLAB/Simulink联合仿真环境的完整流程。通过WSL2安装Ubuntu,配置UAV Toolbox支持包,并重点解决了PX4源码克隆、子模块更新等网络难题,最终实现软件在环(SITL)仿真。文章还涵盖了硬件在环(HITL)配置及常见问题排查,为无人机飞控算法开发与测试提供了高效、可靠的解决方案。

weixin_29201933的博客 541

ST MCSDK V6.2.0实战:手把手教你配置HSO-ST观测器,体验500ms收敛的电机无感控制

本文详细介绍了ST MCSDK V6.2.0中HSO-ST观测器的配置方法,实现500ms内电流收敛的无感电机控制。从环境搭建、核心参数解析到无感启动优化,提供实战技巧和性能调优策略,帮助开发者快速掌握高效电机控制技术。

weixin_28720767的博客 572

基于OpenCV和Dlib的头部姿态估计详细教程

本文详细介绍了基于OpenCV和Dlib的头部姿态估计方法。通过分析2D人脸特征点与3D头部模型的对应关系,利用PnP(Perspective-n-Point)算法求解头部在三维空间中的姿态。文章首先阐述了坐标系统转换原理,包括世界坐标系、相机坐标系和图像坐标系的转换关系,随后深入讲解了PnP问题的数学表述及求解步骤,并提供了使用Dlib检测68个面部特征点的代码示例。最后介绍了3D通用头部模型的构建方法,包括6点和14点模型的选择,为计算机视觉中的头部姿态估计提供了完整的技术实现方案。

FJN110的博客 329

Pytorch入门实战(7):基于BERT实现文本隐喻二分类(Kaggle入门题目)

Bert入门实战,文本二分类问题

iioSnail的博客 4050

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

上一篇: 微调入门篇:大模型微调的理论学习
下一篇: 微调实操一: 增量预训练(Pretraining)
程序猿阿三
程序猿阿三 全链路监控方法、系统、终端设备以及存储介质专利发明者 全链路监控方法、系统、终端设备以及存储介质专利发明者
博客等级 码龄10年 972粉丝 229原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序猿阿三

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值