【Segment Anything Model】三:SAM模型微调自定义数据集,更改混合提示方式:点,框,点框混合


点击订阅专栏查看专栏列表和对应知识点,本文为seg SAM系列文章,在持续更新。

(题外话:如果是关注的小伙伴应该能发现我断更了一段时间,首先对不起,终究是因为一些私事影响了更新计划,我很抱歉。不过,现在我已整理好情绪,好山常在水长流,永远相信下一次,不管烟波与风雨,永远期待下一次。再次出发吧!)

1.微调SAM预备知识

基础理论参照上两篇。Segment Anything Model分为三部分,图像编码器,提示编码器,和解码器,图像编码和提示编码器相加输入到解码器中,解码器获得mask和iou输出。

我们在其模型上微调可以选择全部权重都调整或者只微调解码器。根据一些论文,表示,全部微调收益不大,同时,我自己全部微调的时候用的是48GB的A40,2080ti带不起来的,但只微调解码器 22GB的2080ti可以。

对于其预训练模型权重,我们使用vit_b最基础的权重,原论文说采用全部数据训练的预训练权重vit_h效果有提升但是不大。
所以,我们之下的代码基于,使用四种提示方式(单点,多点,单框,点框结合)来微调SAM的解码器。

概况为:使用from segment_anything import sam_model_registry 注册模型,例如sam_model = sam_model_registry[model_type](checkpoint=checkpoint).to(device)

项目实训(十六)--对SAM进行微调 将读取的灰度图片gt_grayscale与0进行比较,得到一个布尔数组,其中值为真的地方表示遮罩上的对应像素为黑色(即对象的一部分),值为假的地方表示遮罩上的对应像素为白色(即背景)。因为我们预计要对SAM模型进行微调的算力还是需要不少的,而我们成员里大家的个人电脑都无法提供比较好的算力支持,因此我们需要去网上租借服务器,进行SAM模型的微调算力部署。这里我们可以使用AutoDL服务器,实验室的服务器也是在上面租的,因为autodl本身价格并不算太高加上可以按时租借,是比级符合我们的需求的。 阅读详情

相关推荐

FireRed-Image-Edit:基于GGUF的ComfyUI轻量图像编辑节点

图像局部编辑是AI视觉工作流中的关键环节,其核心在于平衡保真度、响应速度与硬件兼容性。传统方案依赖SDXL+ControlNet等重型架构,面临显存占用高、部署复杂、隐私风险大等瓶颈。GGUF格式凭借INT4量化与结构化稀疏特性,显著降低模型体积与内存峰值,使高质量编辑能力下沉至RTX 3060、MacBook M系列甚至纯CPU环境;而ComfyUI原生节点化集成,则将编辑操作解耦为image/mask/prompt三要素,支持蒙版自动提取、指令精准控制与工作流版本管理。FireRed-Image-Edi

weixin_34160277的博客 404

使用sam微调自己的分割数据集(prompt_encoder为mask)

记录prompt_encoder为mask的sam微调过程

weixin_43479119的博客 2579

SAM2从头训练自己的数据集

说点废话1.准备数据集2.配置训练文件3.开始训练4.预测结果。

weixin_44298961的博客 8507

【深度学习总结_02】在自己的数据集微调SAM

使用医疗影像数据微调SAM

qq_41234663的博客 1万+

如何Fine-Tune微调SAM

如何Fine-Tune微调SAM How To Fine-Tune Segment Anything

Together_CZ的博客 3935

贝加莱Automation Studio 4.10安装保姆级教程:从官网下载到解决.Net 3.5报错

本文提供贝加莱Automation Studio 4.10的详细安装教程,涵盖从官网下载到解决.Net 3.5报错的全过程。特别针对工业自动化开发环境中常见的.Net Framework 3.5安装问题,提供多种经过验证的解决方案,包括控制面板安装、DISM命令离线安装和手动下载安装包等方法,帮助工程师顺利完成PLC开发环境的搭建。

weixin_30955617的博客 688

MobaXterm详细使用教程

当然MobaXterm的功能远不止这些,但这些是最基本,最常用的,因此先拿出来讲。点击确定后,输入密码(输入密码时并不会显示,只管输入后按确定即可,第一次登陆成功后会提示保存密码,一般选择同意),就可以连接上虚拟机了。(2) 我们可以直接apt-get安装vim等常用功能(或者官网下载插件),实现在windows下模拟linux环境,这样就可以使用vi命令准备INCAR文件,也可以使用Gnuplot进行绘图。支持 Unix 命令(bash,ls,cat,sed,grep,awk,rsync,…

博客 4万+

(3万字深度解析)Kaggle《房价预测:高级回归技巧》详解复现攻略

在这篇教程式文章中,我们从零开始完成了 Kaggle《房价预测:高级回归技巧》比赛的复现工作,涵盖了数据预处理、特征工程、模型训练、调优、解释和融合的完整流程。深入理解数据:阅读数据描述,结合常识对每个特征作出合理处理(如缺失值填充’None’表示无此设施 、异常值剔除 等)。对目标和偏态特征进行对数变换,使分布更平滑,从而更好满足模型假设并提升准确度。特征工程:我们创造了总面积、总浴室等新特征,整合信息提高模型可学习性。

qq_38334677的博客 1761

JSON(详解)

JSON(JavaScript Object Notation)是一种轻量级的数据交换格式。它以易于阅读和编写的文本格式来存储和表示数据,通常用于在不同的系统之间进行数据交换。JSON数据以键-值对的形式组织,可以包含对象、数组、字符串、数字等基本数据类型。它经常在Web开发、API通信等领域被广泛使用。

7682

Tailscale 自建 DERP 中继服务器

Tailscale自建DERP中继服务器

Accompagner的博客 4292

Android13 CarPowerManagementService启动流程分析

在CarPowerManagementService中init调用PowerHalService的setListener设置事件侦听器以接收车辆的电源事件。

liuning1985622的博客 953

ESM2蛋白预训练模型 蛋白质、氨基酸向量表示

参考: https://github.com/facebookresearch/esm https://huggingface.co/facebook/esm2_t33_650M_UR50D https://esmatlas.com/resources?action=fold tokenizer_对输入蛋白会头尾添加cls、eos特殊字符,占两个字符长度 参考:https://github.com/facebookresearch/esm 直接clone下来代码

weixin_42357472的博客 1万+

手把手实现STM32+ESP8266+原子云服务器+手机APP应用——第三节-编写STM32程序实现STM32+ESP8266+原子云服务器+手机APP互相通信—远程数据传输及控制灯

接上一篇,本节使用原子云服务器。编写STM32程序实现STM32+ESP8266+原子云服务器+手机APP互相通信—远程数据传输及控制灯。使用的硬件包括:STM32F103(任意其他款系列也可以的)、正点原子ATK-ESP8266、LED灯。实现编写STM32程序代码来传输单片机数据到原子云服务器和手机APP进行显示,同时通过手机APP和原子云服务器可以远程控制单片机,例如本节实现远程点/灭灯,以此可以扩展开发更多的功能。本专栏本系列的相关文章可查看下面链接:

嵌入式阿齐Archie 8399

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

上一篇: 【opencv+图像处理】(Gui Features in OpenCV) 1-1摄像头:采集摄像头视频,读取视频帧,录制视频
下一篇: 【Segment Anything Model】四:预处理自己的数据集接入SAM
cv夏一笑
博客等级 码龄4年 9507粉丝 33原创
评论 99
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cv夏一笑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值