从数据库到大型语言模型基础设施：我的转行流水账与心路历程

背景笔者哈工大小本学历校招毕业加入了某大厂数据库团队练习时长一年半。靠着业余时间自学 运气爆棚内转到了Qwen基础模型 团队后面会做一点SGLang (As Rollout Engine ) 相关的事情 因为身边有很多朋友都来问到底是如何准备的索性就把自己的转行历程以流水账的形式写出来。2025年3月DeepSeek V3/R1的开源让LLM方向迎来了一波热潮自己也是在这时候接触到了LLM Infra。在当时的时间点SGLang推理引擎因为在DeepSeek上面出众的性能表现进入了大家的视野同时因为自己有一些朋友校招就从DB转去了推理方向所以自己觉得从SGLang入手学习未尝不是一种好的选择。3月 - 6月 Challenge1: 完全不懂AI知识 这3个月自己都困于完全不懂AI的基础知识那时候甚至连Attention/卷积 /Loss函数/ForwardBackward这种最基础的概念都不懂于是自己重新拿出了本科时候人工智能导论的PPT逐帧复习也跟着网上的博客慢慢学习了LLM的相关知识 (这里推荐一下猛猿老师的知乎文章讲的非常深入浅出)。这段时间也看了点SGLang的源码 (这里推荐晨阳gg的博客链接在此)也大概明白了LLM推理是怎么一回事。6-9月Challenge2: 没有卡理论知识学了3个月自己实在有点学不下去了于是想搞点实验玩玩但是奈何自己的电脑是一台MacBook甚至连RTX的显卡都没有。不过还好阿里云的员工每个月有300块钱的代金券自己实测在韩国区买2*A10(48GB)的显存只需要15块钱一个小时调一调mem-fraction参数跑个llama14B还是没有问题。这几个月时间自己玩了玩SGLang以及尝试拿DeepSpeed玩了下分布式训练但是依旧没有什么可以写到简历上的事情当然自己这时候学ai的兴趣也有所起伏经常一个周都没花几个小时在学ai()。9-12月Challenge3: 没有PR可以做自己玩了一段时间后意识到还是要去社区找点事情做才能写简历于是在很长的时间里自己都在研究有没有什么事情可以做。第一个Feature是自己发现多年前的好友Qiaolingg正好在SGLang搞一些Spec相关的事情于是自己跑去问了下有没有活干在等待了十几天后终于接到了第一个PR #12625支持了StandaloneV2 Spec算法。在有了第一个PR之后晨阳gg慷慨的给我加了SGLang开发机的权限自己ssh上去发现是8卡H200的时候激动到眼泪流下来…有了H200后的开发就比较如鱼得水了后面的几个月主要做了几件事情#13795: 和Minimax的算法哥探索了一下Vanilla算法在SGLang上的实现这个虽然最后没有合并但是倒逼着自己学习了Eagle的全流程也是后面面试主要讲的项目Slime#1071: 帮zilingg在MoeBackward阶段实现了3个kernel函数这个涉及到Moe和Triton面试官也比较感兴趣#16348支持了九坤投资的 IQuest模型还有一些最后没有合并的PR比如在SGLang Diffusion尝试支持了LongCatVideo模型12月底的时候看到Qwen的Junyang大佬在招人做infra于是抱着无心插柳的心态试着投递了一下但没有想到居然真的面试通过了也是非常的出乎意料。以上就是大概的流程大概有几个重要的点用QA的形式记录一下DB经历对转行有用吗完全没用也完全没聊过基本上只能写在简历上凑字数()。SGLang的活去哪里找 一般来说每个季度都会有Roadmap的更新可以找自己感兴趣的需求尝试draft一版方案或者写一版代码然后在Slack去找对应模块负责的老哥聊。或者尝试从一些good first issue出发。SGLang社区卷吗 卷的卷的自我感觉一般来说release给社区的pr大概希望1-3天内就要实现好4天没有实现第一版的话就可能会被其他手速更快的老哥抢走了。印象非常深刻26年1月1号自己约了朋友开车去上海玩当时晨阳找我说想支持IQuest模型于是自己晚上9点赶回杭州开搞一直到凌晨1点半搞出了第一版实现()。26年还能入行AI Infra吗自我感觉这个方向还是在扩张的而且真正想跳槽的职业老哥可能没有那么多蛋糕在变大的话对于业余选手就是有机会的。01什么是AI大模型应用开发工程师如果说AI大模型是蕴藏着巨大能量的“后台超级能力”那么AI大模型应用开发工程师就是将这种能量转化为实用工具的执行者。AI大模型应用开发工程师是基于AI大模型设计开发落地业务的应用工程师。这个职业的核心价值在于打破技术与用户之间的壁垒把普通人难以理解的算法逻辑、模型参数转化为人人都能轻松操作的产品形态。无论是日常写作时用到的AI文案生成器、修图软件里的智能美化功能还是办公场景中的自动记账工具、会议记录用的语音转文字APP这些看似简单的应用背后都是应用开发工程师在默默搭建技术与需求之间的桥梁。他们不追求创造全新的大模型而是专注于让已有的大模型“听懂”业务需求“学会”解决具体问题最终形成可落地、可使用的产品。CSDN粉丝独家福利给大家整理了一份AI大模型全套学习资料这份完整版的 AI 大模型学习资料已经上传CSDN朋友们如果需要可以扫描下方二维码点击下方CSDN官方认证链接免费领取【保证100%免费】02AI大模型应用开发工程师的核心职责需求分析与拆解是工作的起点也是确保开发不偏离方向的关键。应用开发工程师需要直接对接业务方深入理解其核心诉求——不仅要明确“要做什么”更要厘清“为什么要做”以及“做到什么程度算合格”。在此基础上他们会将模糊的业务需求拆解为具体的技术任务明确每个环节的执行标准并评估技术实现的可行性同时定义清晰的核心指标为后续开发、测试提供依据。这一步就像建筑前的图纸设计若出现偏差后续所有工作都可能白费。技术选型与适配是衔接需求与开发的核心环节。工程师需要根据业务场景的特点选择合适的基础大模型、开发框架和工具——不同的业务对模型的响应速度、精度、成本要求不同选型的合理性直接影响最终产品的表现。同时他们还要对行业相关数据进行预处理通过提示词工程优化模型输出或在必要时进行轻量化微调让基础模型更好地适配具体业务。此外设计合理的上下文管理规则确保模型理解连贯需求建立敏感信息过滤机制保障数据安全也是这一环节的重要内容。应用开发与对接则是将方案转化为产品的实操阶段。工程师会利用选定的开发框架构建应用的核心功能同时联动各类外部系统——比如将AI模型与企业现有的客户管理系统、数据存储系统打通确保数据流转顺畅。在这一过程中他们还需要配合设计团队打磨前端交互界面让技术功能以简洁易懂的方式呈现给用户实现从技术方案到产品形态的转化。测试与优化是保障产品质量的关键步骤。工程师会开展全面的功能测试找出并修复开发过程中出现的漏洞同时针对模型的响应速度、稳定性等性能指标进行优化。安全合规性也是测试的重点需要确保应用符合数据保护、隐私安全等相关规定。此外他们还会收集用户反馈通过调整模型参数、优化提示词等方式持续提升产品体验让应用更贴合用户实际使用需求。部署运维与迭代则贯穿产品的整个生命周期。工程师会通过云服务器或私有服务器将应用部署上线并实时监控运行状态及时处理突发故障确保应用稳定运行。随着业务需求的变化他们还需要对应用功能进行迭代更新同时编写完善的开发文档和使用手册为后续的维护和交接提供支持。03薪资情况与职业价值市场对这一职业的高度认可直接体现在薪资待遇上。据猎聘最新在招岗位数据显示AI大模型应用开发工程师的月薪最高可达60k。在AI技术加速落地的当下这种“技术业务”的复合型能力尤为稀缺让该职业成为当下极具吸引力的就业选择。AI大模型应用开发工程师是AI技术落地的关键桥梁。他们用专业能力将抽象的技术转化为具体的产品让大模型的价值真正渗透到各行各业。随着AI场景化应用的不断深化这一职业的重要性将更加凸显也必将吸引更多人才投身其中推动AI技术更好地服务于社会发展。CSDN粉丝独家福利给大家整理了一份AI大模型全套学习资料这份完整版的 AI 大模型学习资料已经上传CSDN朋友们如果需要可以扫描下方二维码点击下方CSDN官方认证链接免费领取【保证100%免费】