【Reading Notes】（7）Favorite Articles from 2024

1、January

1. “排队卖身”，智能驾驶大逃杀（2024年01月01日）

   • 通往罗马之路，荆棘丛生
   • 没有尽头的资金投入，和望不到的商业化时间点，让投资人退却
   • 图森未来，在近两年时间里，他们遇到最多的不是软件问题，而是车辆硬件故障——零部件松动、爆胎、整车断电等看起来人工维修并不困难的小故障，让他们头痛不已。
   • 做回供应商，走上独木桥（robotaxi->落地的L2）
   • 有广汽和比亚迪的工程师向PowerOn抱怨，他们接触过一些估值几十亿美元的明星技术公司，因为之前做demo车，摄像头都安装在车辆外部。但是在量产车上，摄像头需要安置车内，技术公司的感知算法就出现了匹配难，“要求车企更换挡风玻璃，这基本不可能。”同样，原先的自动驾驶技术公司无需考虑性价比，都使用大算力芯片，但是量产车的芯片算力普遍低了一大截，“光一些算法模型压缩都能花几个月时间”。
   • 有宏景智驾的技术人员向PowerOn透露，国内某头部车企像互联网公司一样追求敏捷开发，给团队的研发时间只有一个月到半年左右，就算驻厂团队24小时加班加点，也很难按时把智驾方案完全适配合作车型。
   • 几乎所有自动驾驶公司都感受到，今年与车企的合作机会更少了。
   • 一位投资人表示，车企有了筛选供应商的能力，并且组建团队研发自动驾驶
   • 部分公司决定转战海外，探索智能驾驶应用相对初级的市场。在今年的德国IAA车展上，出现了多家中国自动驾驶公司的身影，部分公司直接喊出“把德国作为出海首站”的口号。但拓展国外市场并没有那么容易。“国外市场更复杂，中国自动驾驶公司必须在当地组建团队，采集当地的地图数据。更何况，大部分国外车企倾向于和国际Tier 1合作，即使他们的自动驾驶系统并不出色。”一位业内人士表示。

2. 有哪些东西是你读博士以后才懂的？（2024年01月01日）

   • you are not too early，you are not too late，you are very much on time in your time zone。每个人的time zone不同
   • keep calm，make friends，be relaxed，carry on
   • 没有交流能力的PhD功力折减一半以上
   • 英语真的是一把捏在你手里的小锤子！用得好，捶别人，用不好会被别人捶

3. “人形机器人第一股”诞生！优必选上市首日市值逼近390亿港元，人形机器人加速驶向商业化（2024年01月01日）

   • 自此，全球“人形机器人第一股”诞生，来自中国，来自优必选。上市首日，优必选股价一度上涨至93.45港元，市值逼近390亿港元。
   • 现场敲锣的，正是优必选最新款的机器人Walker S。
   • 
   • 在2023年世界机器人大会上，优必选创始人、董事长兼CEO周剑提到，公司正朝着人形机器人的三大应用场景加速落地：工业制造、商用服务以及家庭陪伴。
   • 未来人形机器人和人类的比例是二比一，那意味着人形机器人的需求高达200亿台。
   • 

4. 「灌篮高手」模拟人形机器人，一比一照搬人类篮球招式，看一遍就能学会，无需特定任务的奖励（2024年01月02日）

   • 项名为PhysHOI的新研究。能够让物理模拟的人形机器人通过观看人与物体交互（HOI）的演示，学习并模仿这些动作和技巧。
   • Wang Y, Lin J, Zeng A, et al. Physhoi: Physics-based imitation of dynamic human-object interaction[J]. arXiv preprint arXiv:2312.04393, 2023.
   • 机器人的身上总共有51x3个独立控制点，所以模仿起来能做到高度逼真。
   • 

5. 主流自动驾驶方案的庖丁解牛，商用车和乘用车的本质需求到底有什么异同？（2024年01月02日）

6. 商汤用AI造了个台灯，售价1699元（2024年01月04日）

   • 
   • 依托台灯摄像头的追踪技术，它可以让光源自动聚焦在书本之上，主打的就是一个沉浸式照明。
   • 灯具还配备了AI离座感应，自动延时3分钟关灯，更便捷更节能。
   • 当感知到孩子出现左倾、右倾、前倾等不良坐姿时，元萝卜光翼灯便会用语音提醒，帮助孩子矫正坐姿，用AI技术守护孩子脊柱健康。
   • 

7. OpenAI也在996？一位离职员工自白：代码贡献第四，经常工作6天（2024年01月07日）

   • 
   • 

8. 新年第一天被曝停工！豪华造车新势力回应了（2024年01月08日）

   • 去年才获中东400亿元投资的高合汽车，被曝“所有工作暂停”。
   • 后来，高合以内部人士对外回应：“一切正常”。
   • 高合汽车，华人运通旗下豪华纯电品牌，发布于2019年7月31日。华人运通创始人，丁磊，生于1966年，毕业后就一直在上汽工作，从一名质检工程师一路升任上汽副总裁。丁磊在上汽积累了独立创办、运营、管理一个汽车品牌的经验，后于2011年离开上汽——然后干了一件对中国汽车工业影响深远的大事：主导了引进特斯拉的项目。
   • 2015年9月，丁磊官宣加盟乐视，担任乐视超级汽车的联合创始人等职务，成为乐视造车具体业务的负责人。

9. 离谱！研究生论文盲审俩分数相差34分不让答辩，导师怒发朋友圈：离谱至极！（2024年01月09日）

   • 不同老师的评价标准不同
   • 专家带入了主观情绪
   • 一方面，我们不能在面对盲审时太过自信，一定要给自己留足时间来应付变数。另一方面，盲审制度的不合理环节，也应当有一定的改善，毕竟是一票决定别人前途的事，自当更慎重和严谨些。

10. 巨头裁员1800人！（2024年01月12日）

    • Unity游戏引擎巨头于本月在监管文件和公司内部备忘录中表示将裁员25%，即1800个工作岗位，这是Unity有史以来规模最大的裁员，预计将于3月底完成。

11. 谷歌裁员3万人大逃杀，数百员工已被AI淘汰！IMF主席断言全球40%岗位遭冲击，1/5码农悬了（2024年01月17日）

    • 就在几天前，谷歌刚刚解雇了核心工程部门、Google Assistant、硬件和AR部门的数千名员工。
    • 今天，谷歌广告销售部门的部分员工，也喜提「毕业」。
    • 外媒是这样描述的：谷歌员工正在研发把其他谷歌员工解雇掉的AI工具。
    • 

12. 阿维塔售后团队裁员95%。。。（2024年1月18日）

    • 阿维塔对外给出了官方回应。称传闻不实，但证实最近确实在展开售后模式调整——从直营模式改为经销商合作模式。
    • 阿维塔现在的售后业务，从直营改合作外包。之前直营体系下的员工，部分转岗。
    • 种种迹象都在表明，阿维塔11带来的火爆销量面前，阿维塔当前的售后和服务能力，跟不上。所以此番突然开放经销商经营售后，很可能是为了加快门店建设数量，为更多用户提供服务。

13. 劈柴曝谷歌2024年全年裁员，牵出华人员工自杀事件！硅谷近8000人疑被AI淘汰（2024年01月19日）

    • 至于为什么要裁掉这么多员工，劈柴的解释是，这是谷歌在将人工智能置于优先地位时「不得不做出的艰难决策」。

14. 百年Tier1，裁员18000人。。。（2024年1月21日）

    • 有德媒从采埃孚劳资委员会了解到，采埃孚将裁员1.2万人，分两步进行。2028年先裁撤一万个岗位，2030 年再裁两千个。
    • 有员工代表称，公司管理层告诉自己，公司理论上最多能裁掉1.8万人，这还不包括退休员工和合同到期的人。对于1.8万的说法，公司发言人不予评论。
    • 公开数据显示，采埃孚在全球雇员约16.5万人，在德约有员工5万名。
    • 采埃孚发言人回应称，公司也不想裁员，但是向电动化转型，必然要裁撤部分岗位。
    • 发言人简单举例，过去内燃机相关部件需要两个员工组装，换算到现在电机上，可能一个人就够了。
    • 采埃孚在内努力转型，对外则开拓新的合作伙伴。比如将于3月1日发布的理想MEGA，转向系统就来自采埃孚。
    • 去年11月中旬，百年Tier 1大陆宣布裁员5500人。一个月后，全球第一Tier 1博世宣布也将优化掉1500人。短短两个多月，三家巨头共计划裁撤近2万个岗位。（tier1，也就是一级供应商，是直接与汽车主机厂签订供应合同的供应商。而tier2，即二级供应商，则是与一级供应商签订供应合同的供应商。）

15. 梵高大跳科目三，只需文字+火柴人动效！可控视频生成框架来了 | AAAI 2024（2024年01月31日）

    • Ma Y, He Y, Cun X, et al. Follow your pose: Pose-guided text-to-video generation using pose-free videos[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2024, 38(5): 4117-4125.
    • https://github.com/mayuelala/FollowYourPose
    • 

2、February

1. 小红书开源「InstantID」效果炸裂，被Yann LeCun点赞，迅速蹿上Github热榜（2024年02月01日）

   • 让用户只需上传一张照片，就能轻松定制出多种风格的 AI 写真。
   • 
   • 《 InstantID: Zero-shot Identity-Preserving Generation in Seconds 》
   • Demo：https://huggingface.co/spaces/InstantX/InstantID
   • 

2. 手把手教你用YOLOv8训练自己的数据集以及YOLOv8的多任务使用（2024年02月05日）

3. 今天起，他是黄仁勋院士！2024美国工程院院士名单出炉，清华黄翊东等当选外籍院士（2024年02月07日）

   • 2024年美国工程院新晋院士名单公布！
   • 根据官方介绍，美国国家工程院选出了114名新晋院士，以及21名外籍院士。这使得美国成员总数达到2310人，外籍成员总数达332人。

4. 抖音CEO离任，奔赴AIGC视频新风口（2024年02月08日）

   • 春节前夕，张楠朋友圈官宣即将卸任CEO的决定，之后将更多精力放在剪映上。
   • 张楠，可是字节从零到一打造出抖音、火山等UGC视频产品的大功臣。
   • 剪映有着天生的AIGC场景优势。虽然上线时间不长，2019年才正式上线，但依托于抖音，很快就成为包括抖音在内的视频内容创作者的利器。
   • 除此之外，剪映还同ChatGPT合作，选择他们的插件，一句话就可以做一条视频，并且支持各种细节修改。
   • 

5. 「大模型变小」成年度大趋势！1月AI四大研究精彩亮点超长总结，模型合并MoE方法是主流​（2024年02月09日）

   • AI大模型并非越大越好？过去一个月，关于大模型变小的研究成为亮点，通过模型合并，采用MoE架构都能实现小模型高性能

6. 出圈的Sora带火DiT，连登GitHub热榜，已进化出新版本SiT（ 2024年02月21日）
   其中，Sora 研发负责人之一 Bill Peebles 与纽约大学助理教授谢赛宁撰写的 DiT（扩散 Transformer）论文 《Scalable Diffusion Models with Transformers》 被认为是此次 Sora 背后的重要技术基础之一。该论文被 ICCV 2023 接收。
   https://github.com/facebookresearch/DiT
   Peebles W, Xie S. Scalable diffusion models with transformers[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023: 4195-4205.
   
   《SiT: Exploring Flow and Diffusion-based Generative Models with Scalable Interpolant Transformers》。

7. YOLOv8精度速度初探和对比总结（2024年02月29日）

   • 

3、March

1. Sora外部测试翻车了！3个视频都有Bug（ 2024年03月01日）
   不仔细看还真看不出来（类似找穿帮镜头）
   

2. 

3. 算法岗平时需要自己写cuda吗？（2024-03-03）

   • 
   • 

4. 53页PDF广泛流传，核心员工相继离职，OpenAI到底有什么秘密？（2024年03月04日）

   • 一份关于「OpenAI 在 2027 年实现 AGI」的 53 页 PDF，正在互联网上广泛流传。
   • 
   • 不过这个文档里还提到了去年就被曝光的神秘项目 Q*（读作 Q-Star） ，说法是 Q * 的下一阶段最初是 GPT-6，但已更名为 GPT-7（原计划 2026 年发布）。

5. 巨头宣布：裁员8000人！（2024年03月22日）

   • 根据CNBC的报道，在2023年8月IBM宣布计划用AI取代近8000个职位。

6. GPT-4单项仅得7.1分，揭露大模型代码能力三大短板，最新基准测试来了（2024年03月30日）

   • 上海人工智能实验室联合字节跳动 SE Lab 的研究人员以及 SWE-Bench 团队，提出了一个新测试基准 DevBench，首次揭秘大模型在多大程度上可以从 PRD 出发，完成一个完整项目的设计、开发、测试。
   • 
   • 实验证明，DevBench可以揭露 GPT、CodeLlama、DeepSeek-Coder 等大语言模型在软件研发不同阶段的能力短板，如面向对象编程能力不足、无法编写较为复杂的构建脚本（build script），以及函数调用参数不匹配等问题。
   • Li B, Wu W, Tang Z, et al. Prompting large language models to tackle the full software development lifecycle: A case study[J]. arXiv preprint arXiv:2403.08604, 2024.

7. 计划裁员6650人，实际翻番？太惨烈了（2024年03月31日）

   • 
   • 戴尔则同比暴跌了44%，成为了销量下滑最严重的企业。
   • 去年，该公司为应对潜在的经济衰退和个人电脑需求下降而裁员了6650人。但最终，2024财年的减员人数几乎翻倍，达到13000人。

4、April

1. 超越GPT-4，斯坦福团队手机可跑的大模型火了，一夜下载量超2k（2024年04月07日）
   • 近日，斯坦福大学研究人员推出的 Octopus v2 火了，受到了开发者社区的极大关注，模型一夜下载量超 2k。
   • 20 亿参数的 Octopus v2 可以在智能手机、汽车、个人电脑等端侧运行，在准确性和延迟方面超越了 GPT-4，并将上下文长度减少了 95%。此外，Octopus v2 比 Llama7B + RAG 方案快 36 倍。
   • 
2. 苹果突然宣布：裁员超600人！（2024年04月07日）
   • 英国广播公司4月5日报道，因叫停自动驾驶电动汽车项目，美国苹果公司裁员600多人。苹果公司的公告显示，这批员工于3月28日接到裁员通知，裁员决定将于5月27日起生效。这是疫情以来该公司首次大规模裁员。
3. GPT-4推理能力为0？开发者悬赏1万美金被打脸，神秘提示正确率直冲100%（2024年04月08日）
   • 小孩子都会的脑筋急转弯推理题，GPT-4和Claude 3做不出？国外一位开发者小哥坚称这一观点，认为GPT模型在训练集外毫无推理能力，无法实现AGI，甚至悬赏1万美元，发起比赛。然而，他当天就被光速打脸了！网友用高能的prompt，让GPT-4和Claude 3几乎达到百分百的正确率。
   • token 化问题是导致序列操作成功或失败的关键因素。如果在 token 化过程中出现了问题，那么即使是更简单的字符串操作也无法顺利完成。
   • 
   • 
4. 超越GPT-4V，苹果多模态大模型上新！（2024年04月10日）
   • 苹果开发的多模态模型 Ferret-UI 增强了对屏幕的理解和交互，在引用、基础和推理方面表现出了卓越的性能，这些增强功能的出现预示着巨大的进步。
   • You K, Zhang H, Schoop E, et al. Ferret-ui: Grounded mobile ui understanding with multimodal llms[C]//European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2024: 240-255.
   • 
5. 开源模型首胜GPT-4！竞技场最新战报引热议，Karpathy：这是我唯二信任的榜单（2024年04月10日）
   • 大模型竞技场最新战报：1040亿参数开源模型 Command R+ 攀升至第6位，与GPT-4-0314打成平手，超过了GPT-4-0613。
   • 
   • 需要说明的是，Command R+的开源只面向学术研究，并不能免费商用。
6. 4月10号马云的全员信 要有大动作了（2024年04月15日）
7. 特斯拉宣布：全球裁员10%！（2024年04月16日）
   • 据华尔街见闻的报道，全球最大的电动汽车制造商特斯拉周一下午向全体员工发出一封电子邮件，宣布全球裁员超10%，约14000名员工。马斯克在信中强调，当下降本增效极为重要。
8. 一句话打造Agent！李彦宏：人人都是开发者的时代到来（2024年04月16日）
   文心智能体平台，Agent Builder 就是基于文心大模型4.0能力的智能体构建平台，中文名字叫“文心智能体平台”。
   现在，在官网体验中心，已经有不少智能体可供参考。
   既有创意类型的各种“绘画大师”，也有能直接上岗工作的“新媒体小编”，创作、娱乐、职场、学习、生活等各个垂类均可覆盖。——“知乎回答器”、“小红书文案创作”
9. AI换脸以假乱真！蚂蚁数科发布反DeepFake产品，还设百万奖金池邀请黑客找bug（2024-04-16）
   • 9S7_tvGQ3kUiMPosWUlmFA
   • ZOLOZ Deeper，蚂蚁数科ZOLOZ出品。我们日常的支付宝刷脸支付，正是依托于他们技术支撑。
   • 防：捕捉微表情、肌肉纹理、眼神流转等细微特征，精准判断其是否为真人实时互动。
   • 攻：借助天玑实验室来进行自动化攻防测评。此次，天玑实验室则是通过GAN模型生成超30万测试样本，来交给ZOLOZ Deeper 进行判别训练。除此之外，每个月还会对它进行超过20000次的攻防测评，模拟上百种伪造攻击情况。
   • 
10. 无痛涨点：目标检测优化的实用Trick（2024-04-25）
    • 在图像上叠加信息分成两类，一类是叠加噪声，这种操作的目的是为了让网络能够适应图像质量不佳情况下的图像检测任务
    • 另一类信息的叠加是对尝试对图像上某一特定特征进行增强，该增强的目的是突出该方面的图像特征，使得网络能够首先注意到该种特征并更专注于此类特征的学习，
    • 花朵吸引蜜蜂靠的是自己的香味和更鲜艳的外表，所以我们也要让目标区域更“显眼”
    • 
    • 

5、May

1. OpenAI下周要有大动作，奥特曼在线剧透：不是GPT-5，不是搜索引擎（2024年05月11日）
   • 
   • 据 The information 报道，OpenAI 正在构建一款 AI 语音助手，它能通过声音和文本与人类对话，并能识别物体和图像。据两位接触过这项新 AI 的人士透露，ChatGPT 的开发者已经向一些客户展示了部分功能，这些功能在逻辑推理方面超越了其现有产品。
   • 据彭博社最新报道，苹果已接近与 OpenAI 达成协议，将在下一代 iPhone 操作系统 iOS 18 中使用 ChatGPT；与谷歌尚未达成协议，但谈判仍在进行中。
2. 我是如何赢得GPT-4提示工程大赛冠军的（2024年05月14日）

   • 去年 11 月 8 日，新加坡政府科技局（GovTech）组织举办了首届 GPT-4 提示工程（Prompt Engineering）竞赛。数据科学家 Sheila Teo 最终夺冠，成为最终的提示女王（Prompt Queen）。之后，Teo 发布了一篇题为《我如何赢得了新加坡 GPT-4 提示工程赛》的博客文章，慷慨分享了其获胜法门。

   • 

   • 

   • 使用 CO-STAR 框架来搭建 prompt 的结构

   • 

   • © 上下文（Context）：提供与任务有关的背景信息。这有助于 LLM 理解正在讨论的具体场景，从而确保其响应是相关的。

   • (O) 目标（Objective）：定义你希望 LLM 执行的任务。明晰目标有助于 LLM 将自己响应重点放在完成具体任务上。

   • (S) 风格（Style）：指定你希望 LLM 使用的写作风格。这可能是一位具体名人的写作风格，也可以是某种职业专家（比如商业分析师或 CEO）的风格。这能引导 LLM 使用符合你需求的方式和词语给出响应。

   • (T) 语气（Tone）：设定响应的态度。这能确保 LLM 的响应符合所需的情感或情绪上下文，比如正式、幽默、善解人意等。

   • (A) 受众（Audience）：确定响应的目标受众。针对具体受众（比如领域专家、初学者、孩童）定制 LLM 的响应，确保其在你所需的上下文中是适当的和可被理解的。

   • ® 响应（Response）：提供响应的格式。这能确保 LLM 输出你的下游任务所需的格式，比如列表、JSON、专业报告等。对于大多数通过程序化方法将 LLM 响应用于下游任务的 LLM 应用而言，理想的输出格式是 JSON。

   • 

   • 使用分隔符为 prompt 设置分节

   • 任务越复杂，使用分隔符分节对 LLM 响应的影响就越大。

   • 分隔符可以使用任何通常不会同时出现的特殊字符序列，举些例子：###、===、>>>

   • 用 XML 标签当分隔符

   • 

   • 使用 LLM 防护围栏创建系统提示

   • System Prompts 是指附加的额外 prompt，其作用是指示 LLM 理应的行为方式。之所以说这是额外附加的，是因为它位于「普通」prompt（也被称为用户 prompt）之外。

   • 防护围栏是通过 System Prompt 中的几句话添加的。然后，这些防护围栏在聊天的整个过程中就不变了

   • 仅使用 LLM 分析数据集，不使用插件或代码

   • 这个例子彰显了 LLM 发现模式的能力，其能从多维度的数据集中解读和提炼出有意义的见解，这能确保其分析深深植根于数据集的事实真相。 目前而言，使用高级数据分析插件只能执行更简单的数据集任务，比如计算描述性统计信息或创建图表，但需要算法的更高级任务有时可能会遭遇报错，无法得到输出结果，原因可能是计算限制等问题。

3. GPT-4o深夜炸场！AI实时视频通话丝滑如人类，Plus功能免费可用，奥特曼：《她》来了（2024年05月14日）
   • 不开玩笑，电影《她》真的来了。OpenAI最新旗舰大模型 GPT-4o，不仅免费可用，能力更是横跨听、看、说，丝滑流畅毫无延迟，就像在打一个视频电话。
   • 在GPT-4o之前，ChatGPT语音模式由三个独立模型组成，语音转文本→GPT3.5/GPT-4→文本转语音。
   • 这样一来，整个系统的延迟足足有2.8秒（GPT-3.5）和5.4秒（GPT-4），而且丢失了大量的信息，它无法直接感受音调、多个说话者或背景噪音，也无法输出笑声、唱歌声，或表达情感。
   • GPT-4o则是跨文本、视觉和音频端到端训练的新模型，这意味着所有输入和输出都由同一个神经网络处理。
4. AI拉货挣钱，已经绕地球2500圈了（2024年05月15日）
   • 嬴彻科技。其卡车NOA商业里程已经超过1亿公里。
   • 使用嬴彻智能驾驶系统的里程占比已经到90%-95%，用户黏性极强。
5. 抖音豆包成年轻人AI顶流！字节跳动大模型家族登场，tokens价格比行业低99%（2024年05月16日）
   • 截止到2024年3月，豆包月活用户为2328.2万，在AIGC类应用中排名第一。
   • 安卓市场累计下载量1.37亿，在AIGC类应用中大幅领先。
   • 豆包、扣子的背后离不开强大的技术底座——豆包大模型（曾用名「云雀」）。
6. 中国旧AI四小龙，连年亏钱（2024年05月19日）
   • 商汤、云从、旷视、依图，特别是已经上市了的商汤科技以及云从科技，股价和市值更是猛猛下跌。
   • 商汤 SenseAuto 绝影智能汽车平台，已和30多家车企、近50个车型建立了合作，实现了2000万台车的订单。 年度亏损，从2019年的49.7亿元人民币一路提升至2023年的64.9亿人民币。
   • 云从科技可谓根正苗红，前身是由中科院，最大的人脸识别研究团队孵化而成。融资全是内资机构，并且经常出现地方政府基金与国有资本的身影，其中包括了广州南沙金控、长三角产业创新基金等政府基金。说个有趣的，云从科技本身在“AI四小龙”当中成立时间最晚，却是最早通过IPO审核的那个。 亏损减少，从2022年的9.16亿元人民币，减少至2023年的6.4亿人民币。
   • 旷视科技累计赢得56项世界冠军。根据招股书的披露，旷视科技尚未盈利，以及存在累计未弥补亏损的情况。
   • 依图，在人脸识别技术方面，依图科技连续多年保持着最高水平，并曾在美国国家标准技术局（NIST）主办的全球人脸识别测试（FRVT）中夺得第一名。
7. HuggingFace教你怎样做出SOTA视觉模型（2024-05-18）
   • DWHZckiT6wSfLZ0_7BcQMg
   • HuggingFace和法国索邦大学的一篇论文，总结出了构建视觉大模型的关键经验，给开发者指明了一条路。
   • 
   • HuggingFace论文中的这些经验，来自于视觉模型Idefics2的开发过程。
   • 想把视觉大模型搞好，架构的选择很重要。
   • 语言模型对整体表现的影响，比视觉模块更大。（当前的视觉大模型主要都采用语言模型+视觉编码器的形式进行开发）
   • 采用分阶段预训练策略，更有利于构建模型能力。
   • 训练数据应包含多种类型，并注意之间的比例平衡。
   • 专业人士评价称，这是一篇很好的调查报告，对视觉模型开发者很有帮助，不过同时也提醒说不要当成万金油来看。
   • 当然也有人打趣说，什么架构数据都是浮云，有GPU才是最关键的。
8. Altman被曝七宗罪，OpenAI竟欲加密GPU合作军方？员工大批离职团队濒临崩溃（2024年05月24日）
   • OpenAI的离职潮，已经像滚雪球一样，根本停不下来了。Ilya的离去，仿佛是压弯骆驼的最后一根稻草。由Ilya领衔的超级对齐团队，是防止AGI失控、保护人类的最后一道屏障。
   • 
   • 现在，已经有愤怒的网友发帖，历数了OpenAI的七大罪状：无视AGI风险、逼迫员工放弃股权却装失忆、反对开源、跟踪GPU、泄露隐私、和军方合作等等……桩桩件件都附有参考链接。
   • 无视AGI风险，超级对齐分崩离析（Ilya等安全团队的人员离去，大概率跟AGI或者GPT-5都无关，而是被逼得走投无路。自从OpenAI发生第一轮宫斗、Sam Altman被罢免以来，整个OpenAI的情绪就不对劲了）
   • 跟踪GPU，随时撤销GPU许可证（ 具有加密原语的GPU可以使模型权重保持加密状态，直到它们被暂存并加载到GPU 上。这在主机或存储基础设施受到损害时，增加了重要的深度防御层。）
   • 签字逼迫员工放弃股权，事后装失忆
   • 和News Corp合作，ChatGPT中也会有广告了
   • 和微软一起反对开源
   • 泄露隐私，让人类过度依赖AI
   • 技术向军方开放
9. AI独角兽集体求卖身，新一轮洗牌期开始了（2024年05月25日）
   • 突然之间，几家明星初创纷纷传出消息，寻求收购。都是大家熟悉的名字、过往战绩也都不错：Adept，估值超10亿美元，由Transformer作者创立；Humane，估值7.5-10亿美元，打造出爆火AI新硬件AI Pin；Stability AI，Stable Diffusion打造者，最早一批AI独角兽。
   • 更多公司考虑出售的原因则来自于成本压力、不确定的商业模式以及激烈的市场竞争。
   • 
10. 雷军喜提自动驾驶大牛：图森中国CTO王乃岩加盟（2024年05月27日）
    • 前图森未来中国CTO王乃岩将加入小米汽车，向小米技术委员会主席、小米汽车自动驾驶负责人叶航军汇报
    • 曾被称为是“深度学习应用于目标追踪领域全球第一人”
11. 最难方言温州话被攻克！中国电信语音大模型支持30种方言，这题GPT-4o可不会做啊（2024年05月28日）
    • 来自中国电信人工智能研究院，AI领域Fellow大满贯科学家李学龙带队，发布首个能听懂30多种多方言混说的大模型。
    • 星辰语音大模型
    • 它在国际语音顶会 INTERSPEECH2024 离散语音单元建模挑战赛上，星辰语音识别大模型斩获了语音识别赛道冠军。
    • 而他们一早也提出了自己大模型领域布局：1+1+1+M+N：1个智算云底座、1个通用大模型底座、1个数据底座、M个内部大模型、N个行业大模型。
    • 实际上，他们背后搭建了一支700人的AI研发团队，70%以上来自头部互联网和AI明星企业。再加上，AI领域Fellow大满贯科学家李学龙加盟，出任电信CTO，并组建中国电信人工智能研究院（TeleAI）。
12. 神笔马良画出三维世界，基于线稿的3D生成编辑方法SketchDream来了（2024年05月31日）
    • Liu F L, Fu H, Lai Y K, et al. Sketchdream: Sketch-based text-to-3d generation and editing[J]. ACM Transactions on Graphics (TOG), 2024, 43(4): 1-13.
    • http://www.geometrylearning.com/SketchDream/
    • SketchDream 已经被 ACM SIGGRAPH 2024 接收，并将刊登在期刊 ACM Transactions on Graphics 上，已入选 SIGGRAPH 精选亮点工作宣传片。
    • 

6、June

1. 使用 python 在几秒钟内构建你自己的手部探测器（2024-06-01）

   • https://mp.weixin.qq.com/s/zk6bUZE409tiTFGQtiAO9Q
   • 
   • 如果我们可以获得索引 12 和 9 处的红色圆圈的坐标 (x, y)。我们可以比较每个索引处的 Y 坐标，这样，如果索引 12 处的 Y 坐标低于索引处的 Y 坐标指数为 9，那么我们可以认为这手牌是闭合的，否则，它是打开的。
   • 
   • 

2. 深度学习提升SOTA的tricks大盘点（2024年06月05日）

   • 一句话原则：AI performance = data(70%) + model(CNN、RNN、Transformer、Bert、GPT 20%) + trick(loss、warmup、optimizer、attack-training etc 10%) 记住：数据决定了AI的上线，模型和trick只是去逼近这个上线，还是那句老话：garbage in， garbage out。

3. 苹果智能炸裂登场：直接GPT-4o加持，全家桶都上生成式AI，Siri脱胎换骨（2024年06月11日）

   • 北京时间 6 月 11 日凌晨，苹果全球开发者大会 WWDC 在库比蒂诺的 Apple Park 正式召开
   • 
   • Apple intelligence：完整 AI 体系
   • 

4. 如何理解attention中的Q,K,V？（2024年06月15日）
   
   
   
   

5. 1.2万人朝圣CVPR，华人学者夺最佳论文！Sora舵手火爆演讲成大型追星现场（2024年06月20日）

   • 本届会议已经成为CVPR历史上规模最大、参与人数最多的一届，截止6月19日，现场参会人数已超过1.2万人。
   • 最佳论文：《Generative Image Dynamics》、《Rich Human Feedback for Text-to-Image Generation》

6. 快手「可灵」再进化！视频续写可达3分钟让全球网友炸锅（2024年06月25日）

   • 图生视频
   • 视频续写，多次续写，最长可达3分钟
   • 文本指令控制视频，女孩一键转身
   • 凭AI电影《山海奇境》刷屏全网的制作人陈坤，半年之后用可灵的图生视频功能重制了一遍《山海奇镜》的预告片
   • 
   • 

7. 旷视开源的AI人像视频生成太炸了！输入照片即可模仿任意表情包（2024年06月26日）

   • 旷视科技发布了一项新的开源 AI 人像视频生成框架 ——MegActor
   • 可以根据输入的视频生成任意持续时间的模仿视频，同时保证角色身份的一致性支持各种驱动视频，如演讲、唱歌、表情包等支持不同的画风（照片、传统绘画、漫画、AI 数字人等）
   • Yang S, Li H, Wu J, et al. MegActor: Harness the Power of Raw Video for Vivid Portrait Animation[J]. arXiv preprint arXiv:2405.20851, 2024.
   • 
   • 

8. 打开文心大模型，一看全是生产力（2024年06月29日）

   • 两个月前，文心大模型 4.0 工具版刚刚发布，今天又发布了文心大模型 4.0 Turbo。
   • 全新的智能代码助手文心快码，百度 80% 工程师都在深度使用，其中代码采纳率已达到 46%。
   • 名字叫快码，「快」主要体现在三个方面：开发速度快、业务迭代快、企业落地快。
   • 文心一言累计用户规模已达 3 亿，日调用次数也达到了 5 亿，用户日均提问量在过去半年时间里增长了 78%，提问平均长度提升了 89%。
   • 在 WAVE SUMMIT 上，百度发布了新一代 AI 框架 —— 飞桨框架 3.0，目前已经面向开发者开放。

7、July

1. 黄仁勋：我们不想当行业领导者（2024年07月03日）
   
   我们更愿意成为值得信赖的合作伙伴。

   我认为，对于初创公司而言，这种心态是必要的。我要告诉你们，作为一个初创公司，每一天都至关重要。我可以毫不犹豫地告诉你们，你们所做的每一个决定、每一项努力、每一次招聘、取得的每一个成就，以及你们所塑造的公司文化，都将在接下来的30天内决定公司的命运——是充满活力、持续成功，还是走向破产。我完全相信这一点，同时我也对自己和团队充满信心。
   

2. 突破不可解释性！视频异常新检测框架精度90.67%拿下SOTA｜华科&百度&密歇根大学（ 2024年07月04日）

3. 揭秘：阶跃星辰万亿MoE+多模态大模型矩阵亮相（2024年07月04日）

   • 万亿参数 MoE 大模型 ——Step-2 正式版
   • 千亿参数的多模态大模型 ——Step-1.5V
   • 图像生成大模型 Step-1X

4. 一分钟原画变3D角色，清华VAST成果入选图形学顶会SIGGRAPH（2024年07月12日）

   • 随便一张立绘都能生成游戏角色，任意IP快速三维化有新招了！来自清华大学和VAST的研究人员联合推出了CharacterGen
   • 整个流程可以在A800单卡上1分钟内完成。
   • Peng H Y, Zhang J P, Guo M H, et al. Charactergen: Efficient 3d character generation from single images with multi-view pose canonicalization[J]. ACM Transactions on Graphics (TOG), 2024, 43(4): 1-13.
   • https://github.com/JittorRepos/JDiffusion/tree/master/examples/CharacterGen
   • 
   • 

5. MoE也有Scaling Law，「百万专家」利用率近100%！DeepMind华人挑战MoE极限（2024年07月15日）
   MoE已然成为AI界的主流架构，不论是开源 Grok，还是闭源GPT-4，皆是其拥趸。然而，这些模型的专家，最大数量仅有32个。最近，谷歌 DeepMind 提出了全新的策略 PEER，可将 MoE 扩展到百万个专家，还不会增加计算成本。
   

6. 大模型集体失智！9.11和9.9哪个大，几乎全翻车了（2024年07月16日）

   • 也就是问题本身对人类来说，一看就知道问的是算数问题，但对AI来说是一个模糊的问题，并不清楚这两个数字代表什么。
     eg：日期、版本号

7. 读博期间应该明确的50件事！（2024年07月22日）

8. 基于 YOLOv8 的目标检测实例应用（2024年07月23日）

   • 飞机检测

9. 基于 YOLOv8 的疲劳状态检测 | 附源码（2024年07月25日）

   • 

10. 955 神仙公司名单（2024年07月28日）

11. Runway深夜炸场，Gen-3 Alpha图生视频上线，11秒让你脑洞乱飞（2024年07月30日）

    • Runway Gen 3 Alpha 模型的图生视频功能正式上线！
    • Gen 3 Alpha 支持生成的视频最长为 11 秒