2020-2026个人成长曲线感悟

个人感悟

每个时代面临的真实业务问题，从本质上看大差不差。

但每个时代都会因为时代的技术发展、时代新的工具，人们会给出不同的解决方案。

比如同样是数据分析处理，在 1940-60 年代，人们靠纸收集信息、靠手工统计、靠算盘、靠笔算。

到了 1990-2000 年代，人们靠电脑，用 Excel 统计，计算效率大幅度提高，但这时大都是跑电脑单机的。

到了 2000-2010 年代，人们用数据库、用程序解决上 G 的数据处理问题，这时人们开始用多台服务器来并行处理。人们写php、python写多线程并行，用数个、数十个小时才完成计算。

到了 2011-2020 年代，人们开始用计算机集群做分布式计算，MapReduce分布式计算技术出现解决了数百G、上 T 数据量的快速计算问题。上T的数据，只需要数十分钟就计算完成。

到了 2026 年，AI 时代，人们甚至不需要亲自去写代码了，直接把需求说清楚交给 Agent，所谓的语义coding，让DataAgent自主去规划执行，完成大数据的处理、分析和复杂计算。

生活在 2026 年职场的人，不用学 Excel 、不用学SQL，只要能说清楚需求就能直接做分析。

生活在 2014 年职场的人，不用PHP写多线程并行计算，直接学python、学Hsql就能快速完成大规模数据的分析和计算。

生活在 2000 年职场的人，不用学 Excel做数据计算，直接学用Python、Pandas 就能快速完成高质量的数据报表分析。

时代赋予了人们新的武器、新的解决问题的工具，生活在新时代的人不用去学古老的方法就能在新时代下生活的很好。而且新工具反而更具竞争力。

你不必学会骑马就能远行，你不必学会驾马车、赶牛车就能舒服到达目的地。因为时代的发展，让你可以选择骑自行车、骑电动车、开车、坐地铁、坐高铁、打车、打飞机.....

人啊，要往前走，要拥抱新生活，要笑着迎接新变化！

人啊，要往向前走，要拥抱新的生产力，要拥抱新生活，要笑着迎接新变化！

这篇笔记的核心思想，可以概括成一句话：

业务问题没有变，变化的是解决问题的工具。从算盘、Excel、数据库、大数据到 AI Agent，每一次技术革命都在淘汰旧生产力、创造新生产力。真正有竞争力的人，不是固守某一种工具，而是不断拥抱新的生产力。

最近一直在思考的职业方向：不要执着于某一种技术栈，而是站在 AI 新生产力的浪潮上，持续提升自己解决业务问题的能力。

个人成长曲线

能力等级
  │
  │                                                      ★ 全栈 LLM 工程师
  │                                                  ████  (2026)
  │                                          ████████
  │                              ★ LLM 应用工程师
  │                          ████  (2025)
  │                  ████████
  │          ★ ML 工程师
  │      ████  (2023)
  │  ████
  │★ 数据工程师
  │  (2022)
  └──────────────────────────────────────────────────────────→ 时间
     2022         2023         2024         2025         2026

     第一曲线        第二曲线        第三曲线         第四曲线
     数据基建       ML建模能力       LLM应用能力       生产级工程能力

四阶段详细拆解

第一曲线：数据工程师（2020.08 - 2022.08）

成长驱动：从零到一搭建数据体系

学会的：
  ✅ 亿级日志处理不被 OOM
  ✅ 四层架构设计（ODS→明细→聚合→宽表）
  ✅ Hive ORC 分区管理
  ✅ 滑动时间窗口特征构建
  ✅ 多表 JOIN 去重

典型心态：
  "这个 Hive 查询跑了一个小时还没出结果，是哪里不对？"
  "为什么我的特征表下游说数据对不上？"

蜕变时刻：
  第一次把 OOP 基类抽象出来，三种行为三个子类——
  发现"写得好的代码可以少写很多代码"

第二曲线：ML 工程师（2022.08 - 2023.09）

成长驱动：从特征到模型

学会的：
  ✅ CVR 预估全链路（样本→特征→训练→评估）
  ✅ 多模型对比选型（GBT/LR/MLP/Wide&Deep）
  ✅ 正负样本平衡（1:290 → 1:10）
  ✅ 因果推断/Uplift（从"谁转化"到"谁因干预才转化"）
  ✅ B2B ML 建模（企业购 GMV 预测）
  ✅ 框架复用（同一套代码打穿 5 个品类）

典型心态：
  "这个模型 AUC 挺高，但线上效果怎么没涨？"
  "Uplift 模型到底有没有用？——实验组的真实转化率对比说服了我。"

蜕变时刻：
  企业购 v1→v3 的配置化演进——发现"代码是负债，配置是资产"

  框架复用到第 5 个场景时的新感悟：
  "真正的好代码不是能跑，是换一个场景改 3 行就能跑"

第三曲线：LLM 应用工程师（2023.10 - 2025.06）

成长驱动：从传统 ML 到 LLM

学会的：
  ✅ LLM 部署（vLLM/Xinference）
  ✅ Prompt 工程 5 版迭代
  ✅ LlamaFactory LoRA SFT
  ✅ 四级推理级联降本
  ✅ BERT 微调（Cosine Sim Loss）
  ✅ ASR 语音识别（FunASR）
  ✅ 多模态（文本+图片+语音）

典型心态：
  "Prompt 改了一句话，准确率掉了 10 个点——为什么？"
  "全量走大模型太贵了，怎么让简单问题不走大模型？"

蜕变时刻：
  数据格式变更导致 accuracy 从 71% 暴跌到 45%——
  发现了"数据一致性 > 数据量"的真理

  标训一体管道第一次全自动跑通的那天——
  Shell 脚本输出 F1=0.94，我盯着屏幕看了 10 秒。
  这是从"手动炼丹"到"工业流水线"的分界线。

第四曲线：全栈 LLM 工程师（2025.06 - 2026）

成长驱动：从"能用"到"可靠"

学会的：
  ✅ LangGraph 状态机设计
  ✅ 自研基础设施（AsyncVanillaRedisSaver）
  ✅ 三层容错设计
  ✅ 四模态流式 SSE
  ✅ 生产级工程规范（Python 3.13 + uv + Ruff + mypy + pytest 80%）
  ✅ Docker 多阶段构建 + Langfuse 全链路追踪

典型心态：
  "代码不只是自己看的——别人能不能看懂？三个月后的自己还能不能维护？"
  "一个 500 行的函数和一个 50 行的状态机，后者才是工程。"

蜕变时刻：
  自研 AsyncVanillaRedisSaver merge 进主分支并通过全部测试的那天——
  这是我第一次写"被框架调用的代码"而不是"调用框架的代码"。

  make check 全绿的那个瞬间——
  之前的所有项目都是"能跑就行"，这是第一个"绿了才算行"的项目。

给面试官的视觉版

┌──────────────────────────────────────────────────────────────────┐
│                    个人成长曲线 (2020-2026)                        │
├──────────────────────────────────────────────────────────────────┤
│                                                                  │
│  能力维度                          2022    2023    2024  2025 2026│
│                                                                  │
│  大数据工程 (PySpark/Hive)        ████████████████████████████████│
│  传统 ML (RF/GBT/XGB)              ░░█████████████████████████████│
│  特征工程/样本工程                  ████████████████████████████████│
│  Embedding (Word2Vec→Node2Vec)          ░░████████████████████████│
│  深度学习 (DIN/DeepFM/BERT)               ░░██████████████████████│
│  因果推断 (Uplift)                         ░░░░███████████████████│
│  LLM 部署 (vLLM/Xinference)                      ░░███████████████│
│  LLM SFT (LlamaFactory/LoRA)                       ░░████████████│
│  Prompt 工程/CoT                                             ████│
│  Agent 系统 (LangGraph)                                      ████│
│  生产级工程 (pytest/Docker/Langfuse)                         ████│
│                                                                  │
│  角色进化:                                                       │
│    2022 ────→ 数据工程师                                          │
│    2023 ────→ ML 工程师                                           │
│    2024 ────→ LLM 应用工程师                                      │
│    2025 ────→ 全栈 LLM 工程师                                     │
│    2026 ────→ Agent 系统工程师                                    │
│                                                                  │
│  关键转折点:                                                      │
│    ★ 2022.08  第一次 OOP 框架抽象                                  │
│    ★ 2023.05  v1→v3 配置化演进（代码是负债，配置是资产）             │
│    ★ 2023.11  accuracy 71%→45%→94%（数据一致性 > 数据量）          │
│    ★ 2024.09  标训一体首次全自动跑通                                │
│    ★ 2025.06  自研 AsyncVanillaRedisSaver（从调框架到被框架调）     │
│    ★ 2026.03  make check 首次全绿（从能跑到可维护）                │
│                                                                  │
└──────────────────────────────────────────────────────────────────┘

这条曲线的独特之处

大多数人的成长曲线是线性的——在一个赛道上不断挖深。你的成长曲线是阶梯式的，每一级阶梯都对应一次"自我否定式的升级"：

2022 数据工程师 → "只会处理数据不够，我要会建模"
2023 ML 工程师   → "只会做预测不够，我要回答因果关系"
2024 LLM 应用    → "只会调 API 不够，我要会自己部署和微调"
2025 全栈 LLM    → "只会做功能不够，我要让系统可靠、可维护、可观测"
2026 Agent 系统  → 进行中...

每一级阶梯都站稳了再往上跳。