2020.02.18【数据分析心得】丨如何将基因ID转化为基因名称

原创 已于 2022-03-24 11:44:11 修改 · 2.8w 阅读 · 58
收录于
数据处理读书笔记

当前文章被收录于：

数据处理读书笔记
48 篇文章 3 人学习
订阅专栏 查看详情
于 2020-02-18 14:20:01 首次发布

2021.05.05更新：将基因名称转化为基因ID

上一次在这个平台上写文章居然已经是5年前了，毕竟研究生阶段没有主攻数据处理，让自己少了很多IT属性。废话少说，今天记录一下将基因ID转化为基因名称的操作办法。

在拿到公司的基因测序数据后，不同的测序公司给出的数据也是不同的，有时候会遇到一个问题就是测序公司给出的分析报告中，GO富集以及KEGG通路通常直接以基因ID的形式给客户，而导师要求送审文章的附件要显示为基因名称。

尽管在拿到的测序数据中有所有原始数据的基因ID以及对应的基因名称的list，但一一对应转换显然不太现实。因此，读研期间，我用Excel制作了一个转换工作台来完成这项工作，没想到毕业之后，师弟师妹仍然有这个需求。于是我打算写这个文章，将这个简单的处理文档分享给大家。

转换总共包括基因格式处理、匹配基因ID与基因name、生成基因name、清洗空白域、添加分隔符、粘贴文本格式、合并基因以及粘贴文本格式并清洗分隔符8个步骤，在excel文档中每个sheet都为1个步骤。看起来似乎有些麻烦，但每一个步骤涉及的操作只有1步，可以说讲转化步骤完全拆解了。

step1.分列处理

第一步首先将待转化的基因ID列

标签
#数据挖掘
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark SQL的数据分析应用
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-03 846
大数据实验教学系统Spark SQL的数据分析应用DataFrame API 的设计目的是在数据集中操作或转换单个行，如过滤或分组。如果我们想要转换一个数据集中的每一行的列的值，例如将字符串从大写字母转换成驼峰命名形式，那么我们将使用一个函数来实现这一点。函数基本上就是应用于列的方法。Spark SQL 提供了一组通常需要的函数，同时也提供了创建新函数的简单方法。   尽管 Spark SQL 为大多数常见用例提供了大量的内置函数，但总会有一些情况下，这些功能都不能提供您的用例所需要的功能。Spark SQ
Excel心得
hxh的博客
07-02 943
重点：排序、筛选、格式化为表格、交叉分析筛筛选器、设定格式化的条件 1.获取日期： control+; --获取年月日 control+‘’ --获取十分秒 2.冻结窗口 3.分割视窗 4.自定义排序，并提供内部降序 5.自定义清单的设置，可以完成自动补全 5.自定义颜色筛选排序 6.自动增加列，直接tab 7.交叉分析筛筛选器（插入->切片器） 多维筛选 8.设定格式化的条件(给筛选的枚举打上颜色等，路径：开始->条件格式↓->突出显示单元格规则，其中还包含额外：数据条，色阶，图表集
Bioconductor入门：生物医学数据分析的可重复性操作系统
深未来技术
07-05 472
Bioconductor不是R语言的辅助工具，而是面向生物医学数据的标准化分析框架，其核心在于解决科研可重复性与结果可信度这一根本挑战。它通过强制版本管控、同行评议包、完整vignette文档和内置元数据对象（如SummarizedExperiment、GRanges），将分析流程升华为可验证、可追溯、可共享的标准操作程序。相比通用Python生态，Bioconductor为RNA-seq、甲基化、单细胞等场景提供经顶级期刊验证的专用算法与语义化数据结构，显著降低临床转化、监管申报与多中心协作中的技术风险。
ChatGPT代码解释器实战指南：零代码完成数据分析与可视化
didui8202的博客
06-13 367
代码解释器是大模型时代面向业务人员的数据分析新范式，其核心在于将自然语言指令实时转化为可执行、可验证的Python分析流程。它基于意图理解而非机械执行，融合pandas、plotly、scikit-learn等87+预装科学计算库，在安全沙盒中实现数据加载、清洗、建模与交互式可视化闭环。技术价值体现在秒级响应、多模态文件理解（Excel/CSV/图片）、自动异常处理与可复用脚本生成，显著降低统计分析门槛。典型应用场景覆盖电商归因、设备故障预警、用户分群、地理选址与风控监控等企业级任务。本文以Chatgpt代
基于GPT与ReAct框架构建AI数据分析Agent：从原理到实践
weixin_30580341的博客
06-29 308
数据分析作为从原始数据中提取洞察的核心技术，其流程通常包括数据获取、清洗、探索性分析和可视化等环节。传统方式依赖分析师手动编写SQL、Python代码，存在重复劳动和沟通成本高的问题。借助大语言模型的理解与生成能力，结合ReAct（推理-行动）框架，可以构建能够自主规划并执行任务的AI Agent。这类智能体通过工具调用（如数据库查询、代码执行沙箱）将自然语言指令转化为具体操作，实现端到端的自动化分析，显著提升效率。在具体实现中，需要关注提示词工程、安全沙箱环境搭建以及多工具协调等关键技术。本文以构建Str
Kimi OK Computer：Agent驱动的网站开发与数据分析实战
weixin_34392435的博客
06-23 592
Agent（智能体）作为现代AI工程化落地的核心范式，正从概念走向可执行的任务闭环。其本质是将自然语言需求转化为结构化计算流程——通过意图识别、工具调度、代码生成与自验证四步机制，实现端到端交付。相比传统代码补全工具，Agent强调上下文独立性与产物可运行性，在Python数据科学生态中展现出强大生产力。典型应用场景包括轻量级网站开发（如Streamlit交互看板）、标准化数据分析流水线（如地铁客流TOP分析），以及二者融合的动态数据应用。Kimi的OK Computer模式正是这一技术路径的成熟实践，聚焦
Julius AI：面向业务人员的数据分析工作站
weixin_30345577的博客
06-23 422
数据分析工作站是一种融合自然语言交互与可复用分析逻辑的新型智能工具，其核心原理在于将业务问题语义映射为可执行的数据操作，通过上下文感知、跨轮次引用和细胞化笔记本实现‘提问即分析’。相比传统BI依赖维度建模、Python依赖代码编写，它以语义对齐降低认知门槛，提升分析响应效率与结果可追溯性。典型应用场景包括销售归因诊断、营销活动效果评估、客户行为预警等需要快速验证假设的业务决策环节。Julius AI正是这一范式的代表性实践，尤其适合需摆脱Excel公式依赖、又无需深入编程的业务分析师。
数据分析不是工具课，是业务问题定位术
weixin_33749131的博客
06-24 354
数据分析本质上是将模糊业务诉求转化为可验证假设的系统性工程。其核心原理在于问题具象化、数据可信度校验与指标口径对齐，而非模型复杂度或代码熟练度。技术价值体现在快速识别关键杠杆、规避脏数据陷阱、构建经得起质询的归因逻辑链。典型应用场景包括转化率异常诊断、完课率下滑归因、售后响应时效优化等高频业务痛点。本文聚焦真实项目中反复验证的72小时交付闭环，突出‘业务问题定义’和‘数据可信度验证’两大硬核能力，为新手避坑、运营破局、管理者决策提供即学即用的方法论。
数据科学家能力重构：从SQL与统计推断到业务决策的18个月实战路径
ateu52935的博客
06-12 371
数据科学家不是代码写手，而是连接数据、统计与业务决策的复合型角色。其核心能力始于扎实的SQL工程化实践和统计推断基础——前者支撑数据可信提取与链路诊断，后者保障A/B测试有效性与因果结论稳健性；继而通过生产级Python编码、特征可解释性设计与模型可观测性建设，实现分析成果向线上服务的可靠交付；最终落脚于用业务语言定义问题、驱动AB测试闭环、影响关键指标。本文聚焦真实企业场景中高频出现的‘数据管道根因定位’‘留存归因偏差’‘预警模型业务可接受度’等典型挑战，系统拆解一条以18个月为周期、分阶段可验证的能力成
ChatGPT Code Interpreter：沙箱化Python执行如何重塑数据分析工作流
weixin_30701575的博客
06-07 428
Code Interpreter并非普通插件，而是大语言模型实现‘可验证推理闭环’的关键能力——它将自然语言指令实时转化为可执行、可验证的Python代码，并在隔离沙箱中完成数据处理、统计建模与可视化。其核心依托于预装pandas/matplotlib/scipy等工业级库的轻量执行环境，兼顾数据处理深度、生态覆盖广度与安全控制粒度。相比传统Excel分析或第三方AI编程工具，它显著降低技术门槛，让运营、产品、教育等非程序员角色也能完成清洗、聚合、趋势预测与图表生成等完整分析链路。本文聚焦真实业务场景下的文
从大模型到智能体：实战架构、主流框架与行业数据分析应用
Liusuzhi19610221的博客
06-15 489
大语言模型（LLM）作为强大的认知引擎，其核心价值在于通过规划、记忆和工具调用等机制，构建出能够自主执行复杂任务的智能体（AI Agent）。智能体的架构通常包含大脑（LLM）、规划模块、记忆模块和工具集，其中规划模块通过ReAct等框架实现动态任务分解，记忆模块则结合向量数据库实现长期经验存储。在工程实践中，开发者可选用LangChain、AutoGen、CrewAI等主流框架快速搭建智能体系统，例如通过CrewAI构建包含信息收集、数据分析、报告撰写角色的团队，自动化完成行业周报生成等任务。智能体技术正
数据分析的未来：从解释过去到驱动实时业务动作
ajwqb06628的专栏
06-13 330
数据分析已超越传统报表与离线归因，正演进为嵌入业务决策链路的核心能力。其本质是压缩决策延迟、迁移分析主体至一线人员、并以可追踪的业务动作为价值计量单位。在技术层面，real-time processing（如Flink事件时间处理）支撑事中干预，AI integration（闭环反馈机制）推动模型持续进化，而data analytics与business alignment的深度结合，确保技术投入直击业务痛点。本文聚焦真实场景落地路径，涵盖库存预警、店长轻应用、销量预测闭环等案例，揭示如何用务实工程思维，将
ChatGPT Plus Code Interpreter：零代码数据分析实战指南
weixin_30536513的博客
06-24 459
数据分析正从编程能力转向提问能力，自然语言驱动的分析工具成为业务人员的新基建。ChatGPT Plus内置的Code Interpreter本质上是一个安全沙箱化的轻量级Python执行环境，支持pandas、matplotlib等核心库，无需配置即可完成数据清洗、分组聚合、可视化与统计建模。其技术价值在于将业务意图自动翻译为可执行、可复现、带解释的代码，显著降低临时性分析任务的边际成本。典型应用场景包括市场运营快速归因、财务周报图表生成、教学演示数据逻辑，以及高校与中小企业在无IT支持下的自助分析。本文聚
（3万字深度解析）Kaggle人工智能比赛《Porto Seguro’s Safe Driver Prediction》高分复现超详细指南
qq_38334677的博客
02-21 1492
确定baseline：先用经验参数训练模型得到一个CV AUC，如前面XGB ~0.64 AUC。重要参数粗调：用随机搜索或贝叶斯优化找出较优的max_depthnum_leaves等控制模型容量的参数。次要参数微调：调节subsamplecolsamplereg_alphareg_lambdagamma等正则化/采样参数，通过验证集观察过拟合情况决定是否加强正则。学习率和树数：通常先fix较高学习率找参数，然后降低学习率增加树数以提高分数（learning_rate小到一定程度收益变小）。
数据分析范式迁移：从报表驱动到业务翻译官
weixin_30684743的博客
06-25 380
数据分析正经历一场静默的范式迁移——当数据获取、可视化与基础建模日益自动化，‘分析’的核心价值已从‘产出准确数字’转向‘定义正确问题’。这一转变源于数据可得性提升、工具平民化深化与业务信任重构三重趋势，本质是分析工作链的结构性解耦：AI承担语义理解与模式识别，系统实现多源关联与实时响应，人类聚焦因果归因与决策编排。在此背景下，‘业务翻译官’成为新核心角色，其能力内核在于将模糊业务痛感转化为可验证、可执行、可度量的数据问题。本文基于83个实战项目经验，拆解分析师如何通过问题诊断清单、业务知识图谱与人机协同沙盒
数据分析第一课：描述性统计、变量类型与离散程度实战入门
weixin_34121282的博客
06-24 477
描述性统计是数据分析的起点，它通过集中趋势、离散程度和变量类型三大核心模块，将原始数据转化为可理解的业务洞察。变量类型（名义/有序/数值）决定统计方法的合法性，避免‘对部门编码求平均’等致命错误；离散程度（如IQR、标准差）揭示数据稳定性，防止被均值误导——例如薪资分析中位数18万比均值35万更反映典型水平。这些基础能力不依赖编程工具，却支撑Excel、Python乃至机器学习全流程。本文聚焦电商复购、SaaS转化、用户满意度等真实场景，手把手训练你面对任意一列数据时，本能判断‘它是什么、往哪扎堆、散得有多
奔驰二手车数据分析：油耗、税费与折旧的业务洞察
weixin_33892359的博客
07-18 312
二手车价格分析是汽车数据科学的基础场景，其核心在于理解价格背后的驱动因素——而非仅做统计描述。油耗（mpg）反映真实使用成本，税费（tax）体现政策与排放标准影响，而年份与里程共同刻画非线性折旧规律。这些指标并非孤立存在，而是通过车型（model）、驱动形式（drivetrain）、燃油类型（fuelType）等业务维度深度耦合。例如，四驱系统（4MATIC）可使同级车型油耗平均降低4.6mpg；2018年作为WLTP标准实施分水岭，显著改变E级与C级的能效表现排序。本文以奔驰二手数据为载体，融合Sweet
财务数据分析实战：从数据集清洗到可视化洞察全流程解析
congli3478的博客
06-15 411
数据分析是现代企业决策的核心驱动力，其原理在于通过系统性的数据处理与建模，将原始信息转化为可行动的洞察。在众多数据领域中，财务数据因其结构化程度高、逻辑严谨，成为验证分析方法和工程实践价值的绝佳场景。掌握财务数据集的处理能力，不仅能评估企业健康状况，还能预测现金流、诊断业务问题，是数据分析师、业务负责人和投资者必备的核心技能。本文以Python和Pandas为技术栈，深入讲解了财务数据清洗、一致性校验、异常值处理等关键工程环节，并展示了如何通过趋势分析、比率计算（如毛利率、ROE）和可视化仪表板构建，将冰冷
秒级交互式探索性数据分析（EDA）系统设计与实现
最新发布
weixin_30535843的博客
07-18 309
探索性数据分析（EDA）是数据科学工作流的起点，其本质是围绕具体问题快速获取数据直觉的过程。传统EDA依赖代码编写或静态报告，存在启动成本高、反馈延迟长、信息过载等问题。现代秒级EDA强调事件驱动架构、按需计算与可视化渲染优化，通过Polars加速解析、Web Worker预计算、Canvas/WebGL高效绘图等技术手段，将端到端延迟压缩至2.5秒内。它不仅提升业务人员自助分析效率，更支撑数据工程师实时校验ETL质量与算法工程师快速诊断模型异常。本文聚焦于交互式、零认知负荷的初始洞察构建，涵盖类型推断、缺
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

穆易青

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值