本地AI知识库问答开源技术实现(二)--配置模型和知识库

【大模型】Ollama+open-webuiAnything LLM部署本地大模型构建RAG个人知识库教程(Mac) 如果需要,可以使用AnythingLLM的开发者API进行自定义集成,以满足特定的业务需求。 阅读详情

配置大模型

  • Dify 启动后,默认为空的,从 v1.0.0 开始所有模型库(包括 Ollama )都要通过 插件 的形式安装
  • 在 插件 -> 探索 Marketplace -> 模型 中找到 Ollama ,点击 安装

    img

  • 等待安装完成后,刷新页面,点击管理员头像,选择 配置 ,在 模型供应商 找到 Ollama 并点击 添加模型

    img

  • 填写模型信息,注意 Ollama 的地址

    img

  • 模型名称填写 Ollama 上的对应的 NAME ,可通过 ollama ls 查看已下载的模型,名称中的 :latest 标识不需要填写
    NAME                                     ID              SIZE      MODIFIED
    gemma3:27b                               30ddded7fba6    17 GB     11 days ago
    qwq:latest                               38ee5094e51e    19 GB     2 weeks ago
    qwen2.5:32b                              9f13ba1299af    19 GB     4 weeks ago
    deepseek-r1:70b                          0c1615a8ca32    42 GB     4 weeks ago
    qwen2.5:14b                              7cdf5a0187d5    9.0 GB    4 weeks ago
    qwen2.5:latest                           845dbda0ea48    4.7 GB    4 weeks ago
    deepseek-r1:32b                          38056bbcbb2d    19 GB     4 weeks ago
    nomic-embed-text:latest                  0a109f422b47    274 MB    4 weeks ago
    bge-m3:latest                            790764642607    1.2 GB    4 weeks ago
    deepseek-r1:1.5b                         a42b25d8c10a    1.1 GB    5 weeks ago
    deepseek-r1:7b                           0a8c26691023    4.7 GB    5 weeks ago
    
  • 依次添加以下模型
    • qwq
    • bge-m3
      • 模型类型选择 Text Embedding
    • qwen:14b
  • 添加完成后如下显示

    img

  • 确认基础模型都添加完成后,刷新页面,再回到系统配置的 模型供应商 页面;
  • 在 系统模型设置 中配置系统默认模型

    img

  • 至此基础模型准备工作完成。

配置知识库

  • 大模型准备完成后,就可以开始准备知识库了
  • 知识库可以有很多种类型,可以是技术文档,公司制度等;Dify 目前支持多种格式的文件做为知识库来源,下面以 Word 文件为例;
  • 打开 Dify 的 知识库 版块,点击 创建知识库 ,选择 导入已有文本

    img

  • 选择已准备好的文件,点击 下一步 进入 文本分段与清洗
  • 分段设置 有两种类型
    • 通用 :默认的分段类型,适用于大多数场景
    • 父子分段 :适用于结构分明的文档,像制度文件等
  • 索引方式 一般选择 高质量
  • Embedding 模型 选择之前配置好的 bge-m3 ,如果此处没有可选择的模型,说明之前模型配置有误,需重新配置;
  • 检索设置 一般选择 混合检索
  • 设置完成后,点击 保存并处理 ,系统开始将文档进行分段和向量化;
  • 知识库内的文档准备完成后,可对文档进行 召回测试 ,测试将显示文本(问题)召回的文档

    img

  • 可以根据召回效果来对设置进行微调,找到一个适合的值;

 如何系统的去学习大模型LLM ?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

事实上,抢你饭碗的不是AI,而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后,很多中小企业也陆续进场!超高年薪,挖掘AI大模型人才! 如今大厂老板们,也更倾向于会AI的人,普通程序员,还有应对的机会吗?

与其焦虑……

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高。

基于此,我用做产品的心态来打磨这份大模型教程,深挖痛点并持续修改了近70次后,终于把整个AI大模型的学习门槛,降到了最低!

在这个版本当中:

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲,跟着我做即可,为了让学习的道路变得更简单,这份大模型教程已经给大家整理并打包,现在将这份 LLM大模型资料 分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程(LLaLA/Meta/chatglm/chatgpt)

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1:AI大模型时代的基础理解

  • 目标:了解AI大模型的基本概念、发展历程和核心原理。

  • 内容:

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2:AI大模型API应用开发工程

  • 目标:掌握AI大模型API的使用和开发,以及相关的编程技能。

  • 内容:

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3:AI大模型应用架构实践

  • 目标:深入理解AI大模型的应用架构,并能够进行私有化部署。

  • 内容:

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4:AI大模型私有化部署

  • 目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。

  • 内容:

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

​

【Ai教程】Ollma安装 | 0代码本地运行Qwen大模型,保姆级教程来了! 我们平时使用的ChatGPT、kimi、豆包等Ai对话工具,其服务器都是部署在各家公司的机房里,如果我们有一些隐私数据发到对话中,很难保证信息是否安全等问题,如何在保证数据安全的情况下,又可以使用大预言模型,Ollma(哦拉玛)可以告诉你答案! 阅读详情

相关推荐

开源模型应用落地-工具使用篇-Ollama(六)

Ollama集成QWen1.5系列模型,全网唯一,绝非搬运。

以微薄之力,予他人些许温暖. 2万+

AnythingLLM:基于RAG方案构专属私有知识库(开源|高效|可定制)

继OpenAI和Google的产品发布会之后,大模型的能力进化速度之快令人惊叹,然而,对于很多个人和企业而言,为了数据安全不得不考虑私有化部署方案,从GPT-4发布以来,国内外的大模型就拉开了很明显的差距,能够实现的此路径无非就只剩下国内的开源大模型可以选择了。而现阶段切入大模型应用落地最合适的方案依然是结合大模型基于RAG检索增强来实现知识库的检索和生存。从而构建个人或者企业私有化的本地知识库。

FrenzyTechAI的博客 2万+

解密开源大模型如何实现本地化部署并基于本地的知识库进行应用

解密开源大模型如何实现本地化部署并基于本地的知识库进行应用

火山的博客 2562

AnythingLLM+Ollama,能否打造你的专属个性化AI助手?

AnythingLLM是一个AI聊天系统,它允许用户构建自己的私人ChatGPT。与依赖云服务的AI工具不同,AnythingLLM支持本地开源和商用闭源的大语言模型(LLM),用户可以根据自己的需求和预算选择合适的模型。

xx_nm98的博客 6871

利用AI大模型构建本地知识库

维度传统知识库具有AI的知识库数据存储方式结构化数据为主(表格、文档),依赖手动分类和标签支持非结构化数据(文本、图片、音视频),利用嵌入技术(Embedding)自动编码为向量存储检索机制基于关键词匹配或固定规则(如SQL查询)支持语义搜索,通过向量相似度匹配理解用户意图(如“性价比高的手机”≈“低价高性能手机”)交互方式用户需输入精确关键词,返回静态结果支持自然语言对话(如提问“如何解决打印机卡纸?”),生成动态答案或分步骤指导知识更新依赖人工录入和定期维护,更新滞后。

小小笔记大大用处 2149

【AI】用DeepSeek打造本地个人专属AI知识库

春节前夕,整个 AI 圈宛如平静湖面被投入一颗巨石,激起千层浪。杭州的一家极具创新力的公司,以一种震撼的方式登上舞台,发布并开源了 DeepSeek-R1 模型。消息一经传出,迅速在全球 AI 领域引发热议,各大专业论坛、技术交流群瞬间被这个话题霸屏,科研人员、AI 从业者以及科技爱好者们纷纷就此展开热烈讨论。从技术层面来看,DeepSeek-R1 模型堪称惊艳。它突破了以往模型的局限,实现了更高等级的推理能力。

jayhgq的博客 1603

本地AI知识库问答开源技术实现(三)--配置模型和知识库

通过三篇内容将最近学的内容梳理了一遍,从基本概念理解,到动手搭建,再到参数调整,最终达到一个基本可用的状态,所有数据都在内网流转;效果没有想像中的那么完美,但是用于知识库是可行的。

AAI666666的博客 1459

(蓝桥杯)STM32G431RBT6(SysTick timer)

选用最基础的定时器。

2301_81764359的博客 1889

QAnything:网易开源本地知识库问答系统

QAAnything(QAnything) 是一个本地知识库问答系统,旨在支持各种文件格式和数据库,允许离线安装和使用。用户只需将任何本地存储的任何格式的文件拖放到系统中,即可获得准确、快速和可靠的答案。PDF(pdf)Word(docx)PPT(pptx)Eml(eml)TXT(txt)XLS(xlsx)CSV(csv)图像(jpg,jpeg,png)网页链接(html)数据安全,支持在整个过程中插拔网线的安装和使用。跨语言问答支持,可以自由切换中英文问答,

老皮的博客 4058

YOLOv5轻量化实战:从Ghost模块到工业级部署的完整指南

本文详细介绍了YOLOv5轻量化实战,重点解析了Ghost模块在工业检测中的应用及其优化策略。通过Ghost卷积技术,模型参数量和GFLOPs显著降低,同时保持高精度,适用于实时性要求严格的工业场景。文章还提供了从模型优化到TensorRT加速的完整部署指南,助力开发者实现高效工业级应用。

weixin_28223453的博客 483

Vivado FFT IP核配置与实战:FPGA信号处理硬件加速指南

快速傅里叶变换(FFT)是数字信号处理(DSP)中的核心算法,用于将时域信号转换到频域进行分析。其原理基于离散傅里叶变换(DFT),通过蝶形运算的分解与复用,大幅降低了计算复杂度。在工程实践中,软件实现的FFT难以满足高速实时处理的需求,因此硬件加速方案至关重要。FPGA凭借其并行架构和可定制性,成为实现高性能FFT的理想平台。通过集成专用的FFT IP核,如Vivado中的Pipelined Streaming I/O架构,可以构建流水线化的计算引擎,实现极低延迟和高吞吐量的连续数据流处理。这种硬件方案特

weixin_42536863的博客 641

本地AI知识库问答开源技术实现(一)--安装和准备

自从火出圈以来,很多个人和公司开始尝试本地化部署,以解决原来一些内部资料安全和隐私问题;所有知识库内容不通过公网流转;用户可以通过和智能助手聊天的方式来了解各种内部知识;在不增加太多的成本下实现;

AAI666666的博客 1161

这可是全网网工数通方向学习路线最完整,最详细的版本,没有之一

文章篇幅较长,耐心看完你一定有所收获。

最铁头的网工博客 2万+

QAnything,您的开源本地知识库问答神器

QAAnything(QAnything) 是一个本地知识库问答系统,旨在支持各种文件格式和数据库,允许离线安装和使用。用户只需将任何本地存储的任何格式的文件拖放到系统中,即可获得准确、快速和可靠的答案。

m0_65555479的博客 1369

Redis TLS 加密传输实战:从证书生成到安全配置

本文详细介绍了为Redis启用TLS加密传输的完整实战流程。从阐述TLS加密的必要性开始,逐步指导读者生成自签名CA和服务器证书,并深入解析Redis服务端的核心安全配置,包括端口设置、认证模式与性能优化。最后,提供了主流客户端连接示例及生产环境下的排错与运维最佳实践,帮助构建安全的Redis通信通道。

weixin_29274969的博客 512

<视觉>——单目相机的标定(简单原理+Opencv实现)

单目相机的标定原理大致如下: 世界坐标到像素坐标的转换。 期间的参数有S尺度因子,内参矩阵K,旋转矩阵R,平移矩阵T,一共八个未知数。 在Opencv中我们可以方便的根据相机拍摄不同位姿的标定板图片来标定相机,从而求得这些参数,从而可以将相机下的坐标和实际的世界坐标联系起来,求取单应性矩阵H 参考: 单目相机综述:写的特别好 https://www.cnblo...

Kano365的博客 1万+

基于开源大模型快速构建本地知识库应用

人工智能(Artificial Intelligence,AI)技术自20世纪50年代诞生以来,已经成为一门引领未来的综合性高技术学科。它在多个领域大放异彩,如大数据分析、自动驾驶、智慧金融和智能机器人等。其发展历程经历了初级期、发展期、低谷期、进步期和繁荣期。艾伦·图灵的图灵测试为人工智能的定义奠定了基础。在初级期和发展期,人工智能技术初步发展,移动机器人Shakey和聊天机器人Eliza相继诞生。在低谷期,人工智能遭遇发展瓶颈,受限于计算机的内存和处理速度,进展缓慢。

2301_76161259的博客 4382

基于YOLOv8的违规抽烟/打电话检测系统:从数据集构建到部署实战

模型优点缺点精度高速度慢(5 FPS)SSD速度快小目标检测差YOLOv5平衡性好官方支持停止YOLOv8最新、最快、最准需要PyTorch环境YOLOv8相比前代:骨干网络升级(C2f模块)无锚框检测(Anchor-Free)动态任务对齐分配(TaskAlignedAssigner)支持分类/检测/分割/姿态估计。

YOLO 94

【本地部署】构建AI问答知识库:一站式指南

在当今信息爆炸的时代,我们常常需要处理大量的信息并且寻找特定的答案。AI问答知识库是一种基于人工智能技术的系统,旨在通过理解自然语言问题并从存储的知识库中提取相关信息,以准确、快速地回答用户的问题。这种技术不仅在搜索引擎、智能助手和客户服务领域有着广泛的应用,还在医疗、金融、教育等各个领域展现了巨大的潜力。

m0_63171455的博客 2763

Android 13.0 设置默认屏幕亮度百分比

在13.0的系统ROM产品开发中,在一些产品开发中,对于设置默认屏幕亮度和屏幕亮度百分比的功能,在开发中也是常见的功能,在10.0的平台设置可能有一些不同,一般的都是在SettingProvider中设置就可以了 在11.0以后的系统中设置默认屏幕亮度的方法就不同了,接下来具体分析功能的实现

安卓兼职framework和app工程师的博客 1557

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

上一篇: 本地AI知识库问答开源技术实现(一)--安装和准备
下一篇: 本地AI知识库问答开源技术实现(三)--配置模型和知识库
LLM教程
博客等级 码龄3年 9062粉丝 942原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值