GPU vs CPU 基本概念学习笔记

GPU vs CPU名词解释名词通俗解释Die芯片裸片封装壳里那块薄薄的硅片是芯片的本体上面刻着几十亿个晶体管电路Core核心芯片里能独立执行计算任务的大脑单元就像一个工人。4核CPU 4个工人ALU算术逻辑单元Core里专门做整数加减乘除和逻辑判断的电路是最基本的计算部件FPU浮点运算单元Core里专门处理小数如3.14运算的电路浮点指小数点位置会随数值大小移动Cache缓存芯片内部的小抄本把常用数据存在离Core最近的地方避免每次去远处内存取L1/L2/L3 Cache缓存分三层L1最快最小离Core最近L3最慢最大RAM / 主内存电脑运行时存放数据的地方断电消失比Cache慢但容量大如16GBDDR5目前主流CPU使用的内存规格第五代HBM高带宽内存GPU专用内存紧贴芯片封装传输速度是普通内存的约30倍时钟周期cycle芯片工作的最小时间间隔由时钟频率决定。3GHz芯片每秒震荡30亿次即每个周期约0.33纳秒。频率越高每个周期越短运算越快线程Thread一段独立执行的指令序列可理解为一个任务SM流式多处理器GPU里的小计算集群包含大量简单计算核心计算核心GPU里最基础的计算单元只做简单运算但数量极多Warp线程束GPU里32个线程被捆绑成一组必须步调一致地执行同一条指令SIMD一条指令同时处理多份数据通过加宽硬件通道实现SIMTGPU的并行方式一条指令让多个线程同时执行分支预测CPU技巧if-else还没判断完时提前猜走哪条路乱序执行CPU技巧不按代码顺序把现在能做的先做了带宽数据传输的马路宽度带宽越高单位时间搬运的数据越多一、核心哲学的对立CPU和GPU虽然都叫处理器但设计目标截然相反维度CPUGPU设计目标最小化延迟让单个任务尽快完成最大化吞吐量让尽量多任务同时运行核心数量少常见464个极多数千个高端超过一万个核心能力每个核心都很聪明会预判、会变通每个核心都很简单只管埋头干活适合任务复杂逻辑、操作系统、数据库、网页服务大规模重复计算AI训练、图形渲染、科学模拟生活类比CPU 顶尖外科医生一次专注一台手术技术全面能应对各种突发情况GPU 流水线工厂几千个工人同时各做一道工序单个工人技能简单但整体产出惊人二、硬件架构拆解2.1 什么是Die芯片裸片买到手的CPU/GPU外面是一个封装外壳。把外壳打开里面有一块薄薄的硅片这就是Die。Die上面用光刻技术刻出了几十亿个晶体管组合成各种电路。你买到的CPU芯片外观 ┌──────────────────┐ │ 封装外壳 │ │ ┌────────────┐ │ │ │ Die硅片│ │ ← 真正的芯片本体 │ └────────────┘ │ │ 金属触点针脚 │ ← 插在主板上的接口 └──────────────────┘CPU Die 和 GPU Die 都是硅片只是上面刻的电路设计完全不同。2.2 CPU架构为聪明的独奏家打造┌──────────────────────────────────────────────┐ │ CPU Die芯片本体 │ │ │ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ │ │ │ Core 0 │ │ Core 1 │ │ Core 2 │ │ │ │ ──────── │ │ ──────── │ │ ──────── │ │ │ │ ALU │ │ ALU │ │ ALU │ │ ← 整数加减乘除 │ │ FPU │ │ FPU │ │ FPU │ │ ← 小数运算 │ │ L1 Cache │ │ L1 Cache │ │ L1 Cache │ │ ← 每核自己的便签 │ │ L2 Cache │ │ L2 Cache │ │ L2 Cache │ │ ← 稍大的抽屉 │ └──────────┘ └──────────┘ └──────────┘ │ │ │ │ 共享L3 Cache所有核共用的文件柜 │ │ │ │ 内存控制器 → 外部主内存RAM │ └──────────────────────────────────────────────┘各组件解释组件作用ALU处理整数运算1、100这类没有小数点的数的计算器FPU处理小数如3.14AI模型权重的专用计算器L1/L2 CacheCore自己的随身便签存最近用过的数据极快但很小L3 Cache所有Core共享的公共资料室比L1/L2慢但比内存快主内存RAM容量大16-64GB但访问需要约200个时钟周期为什么要分这么多层缓存主内存距离Core较远取一次数据要等200个时钟周期。好比工人需要资料但资料室在2公里外。解决在工人旁边放小书架L1再远点放大书架L2/L3常用资料提前放进来大多数时候就不用跑远路。2.3 GPU架构为万人合唱团打造GPU的设计思路和CPU完全不同——不追求每个工人有多聪明而是追求有多少工人同时干活。关于厂商差异下图是通用GPU架构不依赖特定厂商。NVIDIA、AMD、Intel的GPU都遵循类似的层次结构。各厂商只是叫法不同NVIDIA叫SMAMD叫CUIntel叫Xe-core但原理完全相同。┌──────────────────────────────────────────────────────────┐ │ GPU Die芯片本体 │ │ │ │ ┌─────────────────────────────────────────────────┐ │ │ │ SM流式多处理器GPU的小计算集群 │ │ │ │ │ │ │ │ ┌────┐┌────┐┌────┐┌────┐ (几十到上百个核心) │ │ │ │ │核心││核心││核心││核心│ │ │ ← 简单计算单元 │ │ └────┘└────┘└────┘└────┘ │ │ │ │ │ │ │ │ Warp调度器 寄存器堆 共享内存 │ │ │ └─────────────────────────────────────────────────┘ │ │ │ │ × N个SM几十到上百个同时工作 │ │ │ │ 高速专用内存HBM←→ L2 Cache ←→ SM │ └──────────────────────────────────────────────────────────┘各组件解释组件作用SMGPU里的工人小队包含几十到上百个简单计算核心计算核心最基本的计算单元只做简单运算但数量极多靠数量取胜Warp调度器SM里的小管家决定哪32个线程接下来执行寄存器堆每个线程专属的便签纸始终保留在硬件里——这是GPU能快速切换线程的关键高速专用内存HBMGPU专用内存传输速度是普通电脑内存的约30倍三、延迟 vs 吞吐量最根本的取舍3.1 先理解这两个概念延迟完成一件事需要多长时间越短越好吞吐量单位时间内能完成多少件事越多越好生活例子延迟吞吐量外科医生一台手术 2小时一天能做 4台流水线工厂做一件衬衫 1天每天产出 10,000件两者都有价值只是适用场景不同。3.2 CPU的策略消灭等待CPU最大的敌人是内存访问的等待。每次从主内存读数据需要等约200个时钟周期——相当于停工200步没有优化时 [取指令] → [等主内存....200步....] → [执行] → [写回] ↑ 这200步CPU什么都没干纯粹在等 CPU的三大优化手段 ① 大Cache把常用数据提前存在手边 ② 分支预测if-else还没判断完提前猜结果 ③ 乱序执行当前指令在等待时把后面不依赖这个结果的指令先执行乱序执行举例代码顺序如果严格按序 步骤1: 从内存读A等200步 步骤2: 从内存读B等200步 步骤3: C A B 顺序执行总耗时200 200 1 401步 CPU实际执行乱序 → 同时发出读A和读B的请求两个等待并行进行 → 200步后A和B都到了 → 执行C A B 实际耗时200 1 201步节省近一半CPU核心像一位全能魔术师当一件事卡住时它会变着花样继续工作。3.3 GPU的策略用线程淹没等待GPU根本不试图消灭等待而是备好海量线程让等待中的线程靠边站立刻切换到其他准备好的线程GPU同时有1000组线程每组32个叫一个Warp在排队 时间轴 Warp 0: [执行] → [要读内存等着...] ↓ 立刻切换零代价 Warp 1: [执行] → [要读内存等着...] ↓ 立刻切换 Warp 2: [执行] → [要读内存等着...] ↓ ... ...还有997个Warp在排队... 当所有Warp都轮完一圈Warp 0的内存数据早就回来了 Warp 0: [继续执行] ✅为什么GPU切换线程是零代价的CPU切换线程需要保存/恢复所有寄存器数据需要额外时间。GPU不同每个Warp的所有寄存器始终保留在硬件里不会被覆盖切换瞬间完成。顿悟点GPU不怕延迟它靠海量并发线程来掩盖延迟。只要排队的线程足够多等待时间就会被完全填满。四、SIMD vs SIMT两种一次干多件事的方式4.1 CPU的SIMD加宽数据通道SIMD Single Instruction Multiple Data 单指令多数据“一条指令可以附带多个数据参数吗”不是附带参数而是数据本身被打包成更宽的格式硬件电路同时处理这一大包数据。通俗类比普通加法单车道每次只能过1辆车处理1个数SIMD加法把道路拓宽成16车道同一时刻过16辆车处理16个数普通加法一次1个数需要16条指令 指令1: 1 1 2 指令2: 2 2 4 ... 指令16: 16 16 32 SIMD加法一次16个数只需1条指令 输入A[1, 2, 3, 4, 5, 6, 7, 8, 9,10,11,12,13,14,15,16] 输入B[1, 2, 3, 4, 5, 6, 7, 8, 9,10,11,12,13,14,15,16] 输出C[2, 4, 6, 8,10,12,14,16,18,20,22,24,26,28,30,32] 16次运算同时完成关键理解这不是顺序执行16次而是硬件电路本身就有16条并行的计算通道物理上同时完成——就像16车道收费站和单车道的区别。局限每次最多处理多少个数由芯片电路宽度决定不能无限扩展。程序员需要专门改写代码才能用上SIMD。4.2 GPU的SIMT让多个线程齐步走SIMT Single Instruction Multiple Threads 单指令多线程GPU把32个线程捆绑成一个Warp这32个线程共用一个指令发射器每个时钟周期只发出一条指令但32个线程同时执行这条指令各自处理自己的数据Warp32个线程同步执行一条加法指令 线程 0: a[0] b[0] c[0] ┐ 线程 1: a[1] b[1] c[1] │ 线程 2: a[2] b[2] c[2] │ ← 这32个线程在同一时刻 ... │ 执行同一条加法指令 线程31: a[31] b[31] c[31] ┘ 但每个线程处理各自的数据SIMT最妙的地方程序员写代码时就像在写只处理一个元素的单线程程序硬件自动把它复制到32个线程同时执行。程序员不需要关心向量化的细节。4.3 SIMD和SIMT的本质区别SIMDCPUSIMTGPU并行方式加宽数据通道电路更宽多个线程同步执行并行上限受芯片电路宽度限制如一次最多16个float受线程数量限制可以几百万个线程编程难度需要手动向量化或特殊指令写普通逻辑框架自动并行适合规模小规模批量运算几十个数超大规模并行几百万个数五、内存层次结构对比5.1 CPU内存层次追求低延迟速度最快 ↑ 寄存器 ~1个时钟周期 ← Core的双手 容量最小 ↑ ↓ L1 Cache ~4个时钟周期 ← 每核自己的便签32-64KB ↓ L2 Cache ~12个时钟周期 ← 每核自己的抽屉256KB-1MB ↓ L3 Cache ~40个时钟周期 ← 所有核共享的文件柜32-192MB ↓ 速度最慢 ↓ 主内存RAM~200个时钟周期 ← 电脑的书架8-128GB 容量最大 ↓5.2 GPU内存层次追求高带宽速度最快 ↑ 寄存器 ~1个时钟周期 ← 数量极多始终保留在硬件里 容量最小 ↑ ↓ 共享内存 ~20-30个时钟周期 ← SM内线程共享的小黑板 ↓ L1/L2 Cache ~30-200个时钟周期 ↓ 速度最慢 ↓ 高速专用内存 ~400个时钟周期 ← 延迟更高但带宽是普通内存的30倍 容量最大 ↓重要发现GPU高速专用内存HBM的延迟400周期比CPU主内存200周期还高但它的带宽是普通内存的约30倍。为什么GPU反而要用延迟更高的内存矩阵乘法需要同时处理几百万个数字关键在于一次能搬多少数据带宽而不是某一个数据多快到达延迟。类比CPU内存 快递专车速度快但一辆只送一个包裹GPU内存 大型货轮单趟等待时间长但一次运几万个集装箱整体货物流量惊人六、分支处理GPU的软肋6.1 什么是分支程序里的if-else就是分支根据条件走不同的执行路径。6.2 CPU如何处理分支非常擅长CPU有分支预测器在条件还没判断出来之前根据历史规律猜测这次可能走哪条路提前开始执行。猜对了节省等待时间猜错了丢弃结果重来现代CPU分支预测准确率高达95%以上大量if-else对CPU几乎没有影响。6.3 GPU如何处理分支很痛苦GPU的32个线程一个Warp必须步调一致同一时刻只能执行同一条指令。当if-else让不同线程走不同路径时Warp里32个线程遇到if-else 线程 0~15应该执行A路径 线程16~31应该执行B路径 但32个线程只能统一行动GPU的处理方式很无奈 第1步所有线程执行A路径 线程 0~15正常执行A [有效] 线程16~31被屏蔽空转 [浪费] 第2步所有线程执行B路径 线程 0~15被屏蔽空转 [浪费] 线程16~31正常执行B [有效] 效率减半这就是Warp Divergence线程束分化——原本步调一致的线程因为if-else而分道扬镳。结论CPU写满if-else的复杂逻辑 → 完全没问题GPU写满if-else的复杂逻辑 → 性能大幅下降好的GPU程序要尽量让同一Warp里的线程命运相同七、适用场景总结CPU擅长✅ 复杂业务逻辑大量判断、分支、递归调用✅ 追求快速响应的任务网页请求、键盘输入✅ 操作系统、任务调度、文件读写✅ 不规则数据结构链表、树GPU擅长✅ 矩阵乘法深度学习核心运算✅ 图像/视频处理每个像素独立处理✅ 科学模拟流体动力学、气象预报✅ 图形渲染游戏画面八、深度学习为什么离不开GPU以矩阵乘法 C A × B1024×1024为例需要计算1024 × 1024 × 1024 约10亿次乘加运算 CPU8核3GHz - 每核每周期约1次FMA乘加 - 理论峰值3GHz × 8核 24 GFLOPS - 耗时约40毫秒 GPU高端型号 - 专用Tensor Core每周期可完成多次小矩阵乘法 - 理论峰值约1000 TFLOPS - 耗时约0.001毫秒 - 加速比约40,000倍Tensor Core张量核心GPU专门为矩阵乘法设计的硬件单元比普通计算核心快几十倍。九、顿悟总结CPUGPU哲学让一件事做得极快让很多事同时做核心少而强多而简延迟极力消除用并发掩盖分支擅长预测器怕Warp分化内存大缓存低延迟高带宽HBM编程串行思维数据并行思维类比瑞士军刀流水线工厂最终顿悟GPU不是更快的CPU而是完全不同的计算范式。当你的问题能被拆解成百万个相同的小问题时GPU就是终极武器。深度学习训练的本质就是把学习过程变成了这样一个百万相同小问题。