【Reading Notes】（6.11）Favorite Articles from 2023 November

原创已于 2026-06-12 10:18:23 修改 · 345 阅读

3 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

收录于

Travel / Life

于 2026-06-02 17:10:12 首次发布

在这里插入图片描述

让我们一起来找茬 - 首个图像变化多模态大模型（2023-11-01）
- VhWFOjkD7xhXRAKQ7MCaBQ
- Viewpoint Integration and Registration with Vision Language Foundation Model for Image Change Understanding
- “变化理解”之前，必须：先做 viewpoint registration（视角配准）
- 消除 camera motion，保留真实 scene change
- 桌子左边的杯子变成桌子右边的杯子，不是物体移动，是 camera 变了
- 论文指出：Foundation Model 的一个核心缺陷，VLM 不具备 viewpoint-invariant multi-image understanding
- VLM backbone + viewpoint registration + cross-image fusion
让我们一起来找茬 - 首个图像变化多模态大模型（2023-11-01）
- VhWFOjkD7xhXRAKQ7MCaBQ
大模型时代目标检测任务会走向何方？（2023-11-01）
- HgZYaewC1XmMjCPGAWkDhw
- Object Detection
- Open Set/Open World/OOD：有些不需要预测类别，只要检测出框就行
- Open Vocabulary：通常都需要接入文本作为一个模态输入
- Phrase Grounding（phrase localization）：定位这句话中包括的所有名词短语
- Referring Expression Comprehension
- Description Object Detection
- Caption with Grounding
- Reasoning Intention-Oriented Object Detection
- 基于区域输入的理解和 Grounding
单点端到端文本检测识别框架速度提升19倍！华科、华南理工等联合发布SPTS v2（2023-11-01）
- KLTzJGGNrVIsdYCxJVg0_g
- 论文链接：https://arxiv.org/abs/2301.01635
- 代码地址：https://github.com/Yuliang-Liu/SPTSv2
- 传统 OCR像：先把每本书切下来再逐本阅读。CV pipeline
- SPTS像：老师直接指一下：“读这一段”，Transformer 会自己：看周围内容。不用精确裁剪。Image → Token Sequence
- “文字实例不一定需要复杂边界，一个点就能作为 Transformer 的查询入口。”
- 以前 OCR = geometry-heavy task，现在 OCR = sequence generation task
让我们一起来找茬 - 首个图像变化多模态大模型（2023-11-01）
- VhWFOjkD7xhXRAKQ7MCaBQ
- Viewpoint Integration and Registration with Vision Language Foundation Model for Image Change Understanding
NeurIPS 2023 | 涨点！FreeMask：用密集标注的合成图像提升分割模型性能（2023-11-01）
- Oic-InYRSToTkTkkvUhLTQ
- FreeMask: Synthetic Images with Dense Annotations Make Stronger Segmentation Models
- mask → diffusion/GAN → synthetic image
- synthetic pretraining 新范式
液态金属材料亮相，科学方法沙漠取水，这届WE大会很赛博朋克（2023-11-01）
- 999w_xp5wRbEtbToid8YdQ
- 这是本届科学WE大会上国内外学者们的精彩发言。
- 2010年诺贝尔物理学奖得主、靠"撕胶带"成为"石墨烯之父"的安德烈·海姆：石墨烯是"原子级别的’乐高积木’"。
- 2019年诺贝尔物理学奖得主迪迪埃·奎洛兹：地球上不再有生命起源，只有生命繁衍。探索地外天体，可以为地球的生命起源寻找答案。
- 磁控相变金属材料发明人、中山大学教授蒋乐伦：是电影《终结者2》给了我灵感。它可以以液态形式在电路板上移动，然后在指定位置凝结成固体，起到电路修补的作用。“微型磁控固液相变机器人可以在无线磁场控制下进入人体，完成靶向药物运送、异物清除等医疗任务。”
半监督目标检测相关方法总结（2023-11-04）
- W5JSkHA7DK2IlrNqOg_uPw
- 半监督，存在很多 unlabelled 图片，模型希望利用大规模的无标注的数据提升模型的检测能力；
- 目前的半监督目标检测方法主要有两个方向：一致性学习（Consistency based Learning）(主要学习模型在 unlabeled data 上的一致性)和伪标签（Pseudo-label based Learning）
- Consistency-based Semi-supervised Learning for Object Detection, NeurIPS 19
- A Simple Semi-Supervised Learning Framework for Object Detection
- 缺点：当训练的模型精度逐步提升，超过原本的模型，继续使用原来模型生成的 pseudo label 会限制模型精度进一步提升
- Instant-Teaching: An End-to-End Semi-Supervised Object Detection Framework
- 在目标检测中，把 Mean-Teacher 式在线半监督训练，与 proposal-level spatial consistency 深度结合，实现真正稳定的 end-to-end SSOD。
- EMA（指数移动平均）相当于时间维度上的 ensemble
- Step1：student forward，pred_s = student(x)
- Step2：teacher forward
- Step3：生成 pseudo label，pseudo_boxes = filter(pred_t)
- Step4：student 学习，loss = consistency(pred_s, pseudo_boxes)
- Step5：更新 student，optimizer.step()
- Step6：EMA 更新 teacher
- Data-Uncertainty Guided Multi-Phase Learning for Semi-Supervised Object Detection
- 先学习 easy 样本再学习 difficult data
- Unbiased Teacher for Semi-Supervised Object Detection
- Interactive Self-Training with Mean Teachers for Semi-supervised Object Detection
6种卷积神经网络压缩方法（2023-11-04）
- 0jIzufpsjqLKB3rh1qV9Tw
- 低秩近似，奇异值分解（Singular Value Decomposition，简称 SVD）
- 剪枝与稀疏约束（在网络的优化目标中加入权重的稀疏正则项，使得训练时网络的部分权重趋向于 0 ，而这些 0 值就是剪枝的对象。）
- 参数量化
- 二值化网络，可以视为量化方法的一种极端情况
- 知识蒸馏
- 浅层 / 轻量网络
ICCV 2023 获奖论文在研究什么？（2023-11-06）
- iL6YitT7EGP6DnrBehb9MQ
红外热成像能看多远（2023-11-06）
- CrVE9BYWOyzSaSNjRstwKQ
- 影响结果的因素太多，如不同气候条件的大气衰减、探测器热灵敏度、坏点噪点、图像算法、目标背景温差等
- 上面的周期数就是像素
OpenAI首个开发者日：自定义GPT、GPT商店太炸，还有模型更强更便宜了（2023-11-07）
- g4xLabIqUhBQ5qdNyX4c4Q
ChatGPT版iPhone终面世！Sam Altman联手苹果前员工祭出苹果杀手（2023-11-10）
- 01IdCBel0lmLAV8MTWuI2A
- Sam Altman投资的消费硬件初创公司Humane交卷了！名为 Ai Pin 的可穿戴设备由OpenAI提供技术支持，专为与大模型交互而设计。这是要用ChatGPT革了iPhone的命？
- 顾名思义，这款设备小巧轻便，可以通过磁吸方式佩戴在身上任何地方，并且还内置了OpenAI的GPT大模型，可以通过语音交互……这是要替代智能手机？
- 食指与拇指互点，即可切换天气、时间、日期。
- 动一动手指，就能搜索查询、切换音乐。
- 摊开掌心，就能查看别人发来的消息，然后回过去。
- 还未正式发布，Ai Pin就被《时代》选为「2023年度最佳发明」之一。
- 配置上，Ai Pin搭载的是高通AI引擎的骁龙处理器，4GB内存，32GB eMMC，通过摄像头、深度和运动传感器来跟踪和记录周围环境。
基于 YOLOv8 的动物物种检测（2023-11-11）
- s9mXUpzUWXPm4K43blZyGA
知名巨头突然宣布：大裁员！（2023-11-11）
- rN6ni7eGkiOgIZWdQFLGSQ
- 全球航运业巨头马士基宣布计划裁员超1万人，引发关注。
- 马士基表示背后的主要原因是需求低迷以及货运费用的回落。而不仅在航运行业，陆路运输业也面临相同的挑战，并且"寒冬"可能会持续一段时间。
- 11月7日，字节跳动旗下VR部门PICO发布内部通知，对组织架构进行调整并裁员。
- 据此前公开资料显示，PICO总人数在峰值期超过2000人，但今年内已经过20%-30%的裁员。此次裁员之后，员工数量规模会在数百人水平。PICO公司由前歌尔股份工程师周宏伟2015年在山东青岛成立，2021年8月被字节跳动花费90亿元人民币收购。
- 游戏行业分析师张书乐表示，PICO有产品无内容，看似很高的市场占有率，不过是在一个根本未开发的市场里的先入者份额。
- 游戏行业分析师张书乐表示，PICO有产品无内容，看似很高的市场占有率，不过是在一个根本未开发的市场里的先入者份额。（AR、VR、MR）
肚子越大，大脑萎缩越严重！还可能增加痴呆风险，最新研究双倍扎心（2023-11-12）
- luPkawGlSfNsBpAR4t-rgQ
CV面试面经宝典：目标检测共性问题总结与详解（2023-11-12）
- zuXm27K4OGW14_isGj9wuA
NeurIPS 2023 | Backbone之战：计算机视觉任务模型大比较（2023-11-13）
- STtfMq1RhPOBMbbxgPioiQ
- “第一次系统性、大规模、跨任务地比较各种 pretrained backbone。”
- 结论1：没有“万能 backbone”，不同 backbone 擅长完全不同任务
- 结论2：Self-Supervised Learning 已经全面接近甚至超越 supervised pretraining。监督学习：只学习分类边界，而 SSL：学习通用视觉结构
- 结论3：CLIP 类 Vision-Language Model 泛化能力极强。pixel-level dense prediction 不怎么好
- 结论4：MAE 对 Dense Prediction 特别强
- 结论5：Diffusion Model 的 feature surprisingly strong。“生成模型 encoder 可以当通用视觉 backbone”
- 结论6：CNN 并没有死
- pretraining objective 决定 feature 性质
还是那头痛的Resize（2023-11-16）
- gqoNwYlIBTQo5Xc-WvZ9yA
- 一个直观的感受就是在这个示例中，opencv沿用的4点取值，pillow采用的时6点取值。这就导致了他们结果不会完全对等上。
- round 差异：然而在不同的语言，不同的版本中，同一个数的舍入情况也不一样。比如Python2.7和Python3.5对舍入操作的描述就不一样。在迁移到c++的时候需要小心的关注一下Python端用的那种舍入模式。避免Python和c++的不一致。
All in One自动标注工具，X-AnyLabeling v2.0.0全新开源（附工具及源码）（2023-11-17）
- IYWGoIV05Iy9ZiHKPURJGg
- 为了最大程度地降低迁移使用成本，该工具在许多操作交互上与主流标注工具（如LabelImg、Labelme、roLabelImg、Anylabeling以及CVAT等）尽可能保持对齐，最大限度提升用户的标注效率和使用体验！
- 项目链接：https://github.com/CVHub520/X-AnyLabeling/tree/main
- 首次推出的功能基于 Grounding-DINO、Grounding-SAM 等模型
- X-AnyLabeling v2.0.0 是一个功能全面、算法丰富、可定制性强的标注工具，适合从科研到工业落地的多种场景。
人类考92分的题，GPT-4只能考15分：测试一升级，大模型全都现原形了（2023-11-25）
- YwFEwPZB3OsZAV1xozRTNw
- GPT-4 自诞生以来一直是位「优等生」，在各种考试（基准）中都能得高分。但现在，它在一份新的测试中只拿到了 15 分，而人类能拿 92。
- 这套名叫「GAIA」的测试题由来自 Meta-FAIR、Meta-GenAI、HuggingFace 和 AutoGPT 的团队制作，提出了一些需要一系列基本能力才能解决的问题，如推理、多模态处理、网页浏览和一般工具使用能力。这些问题对人类来说非常简单，但对大多数高级 AI 来说却极具挑战性。如果里面的问题都能解决，通关的模型将成为 AI 研究的重要里程碑
- 排行榜地址：https://huggingface.co/spaces/gaia-benchmark/leaderboard
- 论文地址：https://arxiv.org/pdf/2311.12983.pdfHuggingFace
- 主页地址：https://huggingface.co/papers/2311.12983
阿里确认放弃量子计算研发！实验室裁撤，设备送浙大（2023-11-27）
- kezM4YmitE8opNTiT2OoNA
- 阿里达摩院量子实验室，真的裁撤了！实验室连带仪器设备，统统捐给浙大；实验室工作人员，去向暂时未提。
- 量子实验室前身可追溯到2013年，是达摩院在前沿技术的重要布局之一，今年暑期还挂出招人网页。因此，传言一出，引发了极大的关注。