【Reading Notes】（7.8）Favorite Articles from 2024 August

英特尔「芯」痛！全球裁员1.5万人，利润暴跌85%（ 2024年08月02日）

• 前有英伟达，后有AMD
• 在传统的通用服务器中，英特尔CPU是绝对的主角。而在基于GPU的服务器中，最重要的是英伟达芯片——一台AI GPU服务器，可能会配置8个英伟达GPU，和1个英特尔CPU。
• 晶体管制程推进迟缓，目前还 PK 不过台积电
• 13/14代酷睿处理器不稳定情况，曾有人测试后发现故障率高达50%，饱受诟病。

Midjourney V6.1再进化！人像逼真细节拉满，摄影级画面秒生成（2024年08月02日）

• 更连贯的图像（手臂、腿、手、身体、植物、动物等）
• 图像质量更好（减少像素伪影、增强纹理、皮肤、8 位复古效果等）
• 更精确、更详细、更正确的细节特征（眼睛、小脸、远处的手等）
• 新的图像放大器具有更好的图像/纹理质量- 标准图像作业速度提高约 25%
• 提高文本准确性（在提示中通过「引号」绘制单词）
• 新的个性化模型，具有令人惊喜的细微差别和准确性
• 个性化代码版本控制（将旧作业中的代码用于当前作业的个性化模型和数据）

一句话总结，就是让画面整体上看起来更和谐、精致。

英特尔股价暴跌 26%，40 年来最大跌幅（ 2024年08月03日）
北京时间今天凌晨，英特尔股价暴跌逾 26%，单日总市值蒸发达 323.7 亿美元（约合 2317 亿元人民币），经历了 40 年来表现最差的交易日之一。

2024 互联网公司工作时长排行榜出炉！（2024年08月03日）

计算机视觉方向的博士，如何做到一直follow新技术？（2024年08月10日）

• 第一个是积极地和同行交流，不仅仅是同一个实验室的，还可以是不同实验室的connection，我的第二个方法是关注一些自己可能没有什么connection，但是产出质量始终很高的大组
• 

50年的深度学习生涯与研究心法！（2024年08月12日）

• 他的父亲Howard Everest Hinton是英国昆虫学家，母亲Margaret是一名教师，他们都是共产主义者。他的叔叔是著名的经济学家Colin Clark，发明了「国民生产总值」这个经济术语，他的高祖父是著名的逻辑学家George Boole，他发明的布尔代数奠定了现代计算机科学的基础。
• 2019年，Hinton，与Yoshua Bengio、Yann LeCun 共同获得了图灵奖。
• 那时，也不是所有人都反对神经网络。如果再往前追溯到1950年代，如冯·诺依曼和图灵这样的研究者还是很相信神经网络，他们都对大脑的工作方式很感兴趣，特别是图灵，很相信神经网络的强化训练，这也让我对自己的研究方向很有信心。
• 可惜他们英年早逝，若是能多活几年，他们的智慧足以影响一个领域的发展，英国在这方面可能早已取得突破，说不定人工智能的现状也会大有不同。
• 但那次学校骗我赚钱的经历不禁让我萌生想多赚点钱的想法，所以后来把成立不久的 DNN-research 拍卖了。这桩买卖发生在2012年12月的NIPS（神经信息处理系统大会）期间，会议在塔霍湖边的一个娱乐场所举办，地下室里灯光闪耀，一群光着膀子的赌徒在烟雾缭绕的房间里尽情高呼，「你赢了25000，这些都是你的」…与此同时，楼上进行拍卖一家公司。参与竞拍的公司必须通过Gmail将他们的报价发给我们，然后我们再将其连同Gmail的时间戳发送给其他参与者。起拍价为50万美元，然后有人出价100万美元，看到竞价不断上涨时，我们真是太高兴了，同时也意识到我们的价值远比预想的要高。当竞价达到一定程度时（当时我们认为是天文数字了），我们更倾向于在Google工作，于是叫停了拍卖。
• 来Google工作是一个正确的选择，到现在我在这儿工作了九年。等我在这里工作满十年，他们应该会给我颁个奖，毕竟在这儿工作这么久的人屈指可数。
• 
• Yoshua Bengio是蒙特利尔大学的教授，在计算机科学与运算系任教，致力于机器学习方面的研究。
• 
• Joy and woe are woven fine, A clothing for the soul divine. 将快乐和忧伤编织，披在我神圣的心上
• 

AI失业潮来了，23年游戏行业万人被裁！暴雪员工岗位被AI抢走，悲痛万分（2024年08月17日）
目前大家基本已经达成共识：概念艺术家、平面设计师、资产艺术家和插画师是迄今为止受AI影响最大的群体。

4秒看完2小时电影！阿里发布通用多模态大模型mPLUG-Owl3 | 开源（2024年08月19日）

• 推出通用多模态大模型mPLUG-Owl3，专门用来理解多图、长视频。
• Ye J, Xu H, Liu H, et al. mplug-owl3: Towards long image-sequence understanding in multi-modal large language models[J]. arXiv preprint arXiv:2408.04840, 2024.
• https://github.com/X-PLUG/mPLUG-Owl/tree/main/mPLUG-Owl3
• 多模态检索增强
  
• 多图推理
  
• 长视频理解，mPLUG-Owl3能够看一部2小时电影，并且4秒就能开始回答用户的问题。
  

腾讯混元大模型负责人王迪：揭秘万亿 MoE 系统工程之道｜智者访谈（2024年08月21日 ）

• 本期机器之心《智者访谈》邀请到腾讯机器学习平台部总经理／混元大模型负责人王迪先生，深入腾讯从 0 到 1 自研万亿级 MoE 大模型的历程。
• 做大模型就是一个在约束条件下怎么样高效地把工程、算法、数据以及业务应用整个串联起来的工作，它对组织能力的要求是非常高的。（小模型上做实验，结论迁移到大模型）
• 其实我们看到，越是坚持这些最基本认知的东西，你会发现大模型它自然会学到很多东西，你越是加很多规则、人工的经验进去，越会发现这个东西不 work，有无穷无尽的麻烦要解决。
• dense 模型 vs MOE 模型
• 现在图像和视频生成领域可能 diffusion 的多一点，尤其在工业界，但是学术上也有全自回归的 model，各有优劣，我觉得还是需要一定的时间去验证它的效果和利弊。
• 目前来讲，统一到 Transformer 这样一个总的框架下，应该是没有太大疑问了，即便是 Sora 用的 DiT，也是用 Transformer 实现的 diffusion model，所以说已经完全离不开 Transformer 了。至于说还要不要 diffusion 这样一套思想，现在还没有定论，因为还有很多的地方需要去实践和实验。
• 场景用底座模型去微调，做好一个场景，反哺底座模型
  
• 业务团队一定要去了解模型的能力边界在什么地方，哪些是模型应该去解决的问题，哪些是产品的设计和规划上应该去包容的
• 怎么样让模型自动地去评价我们自己的模型好不好，这些能力我们叫 critic model（评价模型），但评价模型的设计，怎么样才能设计好，过往有很好的 NLP 经验的同学就能够设计得更好、更快。当然，并不是说没有这些经验的人做不了，但可能他们对问题的理解，包括做事的速度会略微慢一点。所以我一直说这两个东西都是需要，并且是相互结合的。
• 因为本身 AI 芯片就有一定的坏卡率，包括说网络设备，上万张卡总有坏的时候，那坏了之后，第一个怎么能快速地定位是哪张卡出了问题，然后快速把它踢掉，再快速重新拉起训练服务，这过程中涉及到比如怎么样快速把 checkpoint 写到磁盘上，再重新 load 进来，这个过程如果是两个小时和五分钟，那是有天壤之别，等等这些问题吧。做过大规模集群管理的团队，应该都是有相关经验的。
• 构建异构卡的集群，用不同厂家的卡，以及同一个厂家不同算力单位的卡、不同型号的卡，能不能在一起训练同一个任务？
• 所以我们内部使用一种叫做潮汐调度的方法，比如说白天的量很大，需要很多的推理卡，但晚上量小了，就通过太极平台，把这些卡晚上调度给训练去用，提高卡的利用率。
• 王迪，2008 年加入腾讯，拥有十多年在 AI 领域的深厚技术研发经验，在超大规模生成式大模型、搜广推稀疏大模型、搜索平台、GPU 算力和任务调度等技术领域取得显著成就，目前是腾讯太极机器学习平台和混元大模型技术负责人。

超6亿！文心大模型日调用量半年增长超10倍，AI成百度最强加速引擎（2024年08月23日）
在大模型加持之下，百度文库已经从一款纯粹的 “内容工具” 转变为 “生产力工具”，拥有智能PPT、智能文档、智能画本等上百项多模态AI功能。

计算机视觉毕业找不到工作怎么办？怒刷leetcode，还是另寻他路？（2024年08月23日）

• MOP（money oriented programming）才是王道。

李沐重返母校上海交大，从LLM聊到个人生涯，这里是演讲全文（2024年08月24日）

• 数据就是你要找的材料。你看那些小说里面，主角大部分时间都在找材料，包括去深山里面找、去拍卖会上买，所以搞数据是很难的事情，是个体力活。但是你必须得有这些数据，而且要多弄一些，因为你不知道到时候会不会毁掉一些。
• 算力也很重要，就是说火要大一点，设备要先进一点，因为越好的设备炼出来的东西越好。
• 算法就是你的丹方了。丹方这个东西可能跟小说不一样。它每年都在进步，而且对于细节的把控非常重要。就算别人告诉过你这个东西怎么弄，但在真实的场景里面，你会发现还是挺不一样的。这就有点像你去徒手发射火箭，发之前你要动手调一调，没调好的话就炸掉了。
• 所以一旦用到水冷之后，你的算力就可以更密，就可以放更多机器。芯片就可以压得比较扁。压得比较扁的好处就是，每个芯片之间更近了。芯片之间直接用光纤，以光速互通。光速你看上去很快，但实际上在我们眼里已经很慢了。一台机器传输到隔壁一米之外的机器所带来的几纳秒延迟，几乎是不能忍。我们自己去设计机房的时候会考虑光纤的长度，因为一米的差距就会给分布式训练带来一个可见的性能影响。
• 还有一个通讯是 GPU 和 CPU 之间的 PCIe，它每几年也在翻倍，但是确实会慢一些。
• 内存：制约模型尺寸的一大瓶颈。这是因为内存占面积 —— 一个芯片就那么大，划一块给算力，划一块给内存之后就放不下什么东西了。所以很有可能在未来几年之内，一个芯片就 200GB 内存，可能就走不动了。这个要看工艺有没有突破。
• 当我们发现自己去造一个电厂的成本比我们付的那个电费成本还低的时候，我们花了几个月时间去看那个电厂文件。
• 你的模型大小就是 100B 到 500B 这个样子。我觉得比较好的一线的模型就是 500B，超过 500B 不是训练不动，而是做 serving 很难。
• 你可以做更大，但是它很多时候是用 MoE 做的，它的有效大小（每次激活的大小）可能也就是 500B 的样子。
• 语音模型：延迟更低、信息更丰富。GPT-4o 出来之后，大家对于语音模型产生了浓厚的兴趣。以前的模型是我先做 ASR（自动语音识别），把语音信号转成文本，然后放进语言模型，让它出一个文本的回复，再通过 TTS 变成一个语音的信号。现在大家做的是直接让你的原始的语音信号进去，然后原始的语音信号再出来。现在端到端我们大概可以做到 300 毫秒。300 毫秒最大的好处是可以打断，体验会更好
• 图像模型：生成的图越来越有神韵
• 视频模型：尚属早期
• killer APP（杀手级应用）
• 对于文科白领的工作，AI 已经能完成简单任务，复杂任务需要继续努力。对于工科白领的工作，简单任务还需要努力，复杂任务存在困难。对于蓝领的工作，除了无人驾驶和特定场景（比如工厂，场景变化不大，也能采集大量数据），AI 连简单任务都做不了，完成复杂任务更难。（交互，缺数据，场景不固定）
• 预训练是工程问题，后训练才是技术问题
• 做大语言模型的研究，你可以不去做预训练，你就做后面的一部分，因为后面部分其实对大家有利的。前面变成了一个工程问题，需要很多卡，很多人来完成，后面才是算法创新。虽然它的门槛还是比较高的，8B 和 70B 的情况也不一样，8B 上调的很多东西在 70B 上不一定成立。
• 没有真正的垂直模型，就算是一个很垂直领域的模型，它的通用能力也是不能差的。比如说你要在某一个学科里面拿第一，你别的科目也不能差到哪里去。
• 数据决定了模型的上限，算法决定了模型的下限。
• 为什么我之前说创业要求的动机要比 PhD 更高一点，PhD 的动机要比工作更高一点，核心原因就在于，你会有一个延迟享受。在公司，一个事情干完就会发奖金或者被表扬；PhD 做一个研究可能要一两年；创业可能要 5 年， 5 年之后才能得到正反馈。你在没有任何正反馈的情况下，你就得很热爱这个事情，得给自己加码，让自己嗨起来。
• https://www.bilibili.com/video/BV175WQeZE7Z/?spm_id_from=333.337.search-card.all.click

RTX3090可跑，360AI团队开源最新视频模型FancyVideo，红衣大叔都说好（ 2024年08月26日）

• 《FancyVideo: Towards Dynamic and Consistent Video Generation via Cross-frame
  Textual Guidance》

首篇「虚拟现实+人工智能」综述！浙大、港中深等发布AI医疗最新报告（2024年08月27日）

• https://github.com/yixuan730/Awesome-Virtual-Reality-in-Medicine
• Wu Y, Hu K, Chen D Z, et al. AI-Enhanced Virtual Reality in Medicine: A Comprehensive Survey[J]. arXiv preprint arXiv:2402.03093, 2024.
• 医学视觉增强：着重于提升医疗人员在虚拟空间中的视角感知，有助于帮助医疗人员理解错综复杂的解剖结构以及空间关系。该类别分为两个子领域：虚拟物体重建和虚拟视觉增强
• VR医学数据处理：主要探讨当前VR系统对于分析和理解复杂医学数据的能力，这一类别讨论了VR在AI的融合下，如何辅助深入的结构和病变分析、提升诊断能力，以及对外壳手术的各个阶段提供相应支持。主要关注从传统2D数据到更加动态的3D数据的分析方法的转变。
• VR辅助干预：该领域主要介绍和分析当前AI驱动的VR技术在实时互动的医疗场景中的实际应用。该类别涵盖了VR技术在手术过程中的直接指导和辅助以及手术过程中的交互式合作（利用人机交互技术为诊疗人员提供交互式的术中反馈）两个方向的分析和讨论。
• 

时薪高达342元！特斯拉为机器人招募“人类老师”，明确要求：身高170-180cm，每天步行7+小时（2024年08月27日）
近日，特斯拉的一则最新招聘引起了广泛关注：为旗下的 Optimus 人形机器人招募“人类老师”，具体岗位名称为数据收集操作员（Data Collection Operator）。该岗位的工作内容，大体就是穿戴着动作捕捉服和 VR 头盔，根据要求执行站立、行走等特定动作，以此为机器人 Optimus 的训练提供数据支持。

GPU推理时代终结？世界最大芯片加持推理狂飙20倍，英伟达H100也被干趴！（2024年08月28日）
曾造出世界最大芯片公司Cerebras，刚刚发布了全球最快的AI推理架构——Cerebras Inference。运行Llama3.1 8B时，它能以1800 token/s的速率吐出文字。
一直以来，这家公司就致力于打造世界上最大芯片，希望将整个模型存储在一个晶片上，以此来解决内存带宽瓶颈。
不过，值得注意的是，在Cerebras上跑的Llama 3.1，上下文只有8k……相比之下，其他平台都是128K。

英伟达股价闪崩暴跌2000多亿美元！Blackwell出货延迟，老黄遭华尔街冷眼？（2024年08月30日）
他甚至断言：在某个时刻，所有购买英伟达设备的人，会立即获得回报，因为「the more you buy, the more you save」！
然而他却回避了重要的一点：这些开发者每年也在亏损数十亿美元，如果他们的客户无法获得物有所值的回报，那么这种投入将越来越不可持续。

一手实测结果出炉！智谱「超大杯」模型全家桶亮相KDD，部分任务超越GPT-4o（2024年08月30日）

• 近日，数据挖掘顶会 KDD 2024 在西班牙巴塞罗那正式召开，来自中国的研究团队和科技企业纷纷亮相。其中，在 8 月 29 日举办的大语言模型日（Large Language Model Day）上，智谱 AI 顾晓韬博士介绍了智谱 AI 支持中英双语的对话机器人 ChatGLM，成为中国科技力量的鲜明代表 。
• 据悉，智谱开源模型累计下载量已突破 2000 万次。