从0到1搭建食品包装喷码OCR：YOLOv11+CRNN工业级识别系统，准确率99.2%

一、项目背景工业喷码识别的痛点上个月帮一个食品厂做了喷码识别系统的改造他们之前用的传统OCR设备问题百出生产日期喷码稍微有点模糊、倾斜或者反光准确率就直接跌到60%以下每天需要3个工人人工复检漏检率高达15%经常因为过期产品流入市场被投诉。我试过直接用Tesseract、PaddleOCR等通用OCR工具结果更差很多喷码直接识别成乱码。原因很简单通用OCR是为印刷体设计的而食品包装喷码有其特殊性喷码质量参差不齐有断墨、飞墨、模糊、重影背景复杂彩色包装、反光膜、褶皱、油污角度多变喷码可能倾斜、旋转、倒置字符集简单只有数字和少数字母但字体特殊最终我采用了YOLOv11做喷码区域检测CRNN做字符识别的方案经过两周的调优最终实现了整体识别准确率99.2%单张图片推理速度12ms在Jetson Orin NX上可实现30fps实时检测完全替代了人工复检。本文将从0到1完整讲解这套系统的搭建过程所有代码和数据集均可直接复用适合所有工业OCR场景。二、技术栈选型选择工业界最成熟、最易部署的技术组合喷码区域检测YOLOv11n轻量、高速、小目标检测能力强字符识别CRNN专门针对不定长文本识别工业界标准方案图像预处理OpenCV 4.10去反光、二值化、倾斜校正训练框架PyTorch 2.4 Ultralytics 8.3部署框架ONNX Runtime 1.19跨平台支持CPU/GPU/边缘设备三、系统整体架构采用检测-识别两阶段架构将复杂问题拆解为两个简单问题大幅提升准确率和鲁棒性工业相机采集图像图像预处理YOLOv11喷码区域检测裁剪喷码区域CRNN字符识别结果校验与格式化输出到MES系统四、第一步数据集制作最关键的一步工业OCR项目90%的效果取决于数据集的质量。我采集了1200张不同食品包装的喷码图片涵盖了各种常见的问题场景。4.1 数据采集与标注数据采集用工业相机在生产线上实际拍摄确保数据分布和真实场景一致特别要多拍模糊、倾斜、反光的坏样本标注工具使用LabelImg只标注一个类别code框出喷码的完整区域数据集划分按8:1:1划分为训练集、验证集和测试集4.2 针对性数据增强这是提升鲁棒性的关键针对喷码的特点做以下增强几何变换随机旋转(-15°15°)、缩放(0.81.2)、平移、透视变换光度变换随机亮度、对比度、饱和度调整模拟不同光照条件噪声添加高斯噪声、椒盐噪声模拟喷码的飞墨和断墨模糊处理高斯模糊、运动模糊模拟相机抖动和喷码模糊# 使用Albumentations做数据增强importalbumentationsasA transformA.Compose([A.RandomRotate90(),A.ShiftScaleRotate(shift_limit0.1,scale_limit0.2,rotate_limit15,p0.8),A.RandomBrightnessContrast(brightness_limit0.3,contrast_limit0.3,p0.8),A.GaussNoise(var_limit(10.0,50.0),p0.5),A.GaussianBlur(blur_limit(3,7),p0.5),A.HueSaturationValue(hue_shift_limit10,sat_shift_limit10,val_shift_limit10,p0.5),])五、第二步YOLOv11喷码区域检测这一步的目标是把喷码从复杂的背景中精准抠出来消除背景干扰大幅提升后续识别的准确率。5.1 模型训练创建数据集配置文件code_detection.yamlpath:../datasets/code_detectiontrain:images/trainval:images/valtest:images/testnames:0:code训练命令yolo traindatacode_detection.yamlmodelyolov11n.ptepochs50imgsz640batch165.2 检测优化技巧喷码通常是小目标需要针对性优化将输入分辨率从640提高到800提升小目标检测精度关闭Mosaic增强最后10轮避免小目标被截断降低置信度阈值到0.25提高召回率使用NMS的IOU阈值0.45减少重复检测训练完成后喷码区域检测的准确率可以达到99.8%几乎不会漏检。六、第三步CRNN字符识别CRNN是目前工业界最成熟的不定长文本识别方案结合了CNN的特征提取能力和RNN的序列建模能力非常适合喷码识别。6.1 字符集定义食品包装喷码通常只有数字和少数字母我们定义一个简单的字符集# 字符集0-9 空格CHARSET0123456789 NUM_CLASSESlen(CHARSET)1# 1 for blank6.2 识别数据集制作用训练好的YOLO模型自动裁剪所有喷码区域生成识别数据集fromultralyticsimportYOLO det_modelYOLO(best_detection.pt)defcrop_code_regions(image_path,output_dir):resultsdet_model(image_path)imagecv2.imread(image_path)fori,boxinenumerate(results[0].boxes.xyxy):x1,y1,x2,y2map(int,box)code_imageimage[y1:y2,x1:x2]cv2.imwrite(f{output_dir}/{os.path.basename(image_path).split(.)[0]}_{i}.jpg,code_image)然后用LabelMe标注每个裁剪后的喷码图片的文本内容保存为txt文件。6.3 CRNN模型训练使用PyTorch实现一个简单的CRNN模型训练50轮即可达到很好的效果。训练完成后单张喷码图片的识别速度仅需3ms。七、完整推理系统实现将检测和识别模块整合起来实现端到端的喷码识别importcv2importtorchimportnumpyasnpfromultralyticsimportYOLOfromcrnnimportCRNN,decode_predictionsclassCodeRecognitionSystem:def__init__(self,det_model_path,rec_model_path,charset):# 加载检测模型self.det_modelYOLO(det_model_path)# 加载识别模型self.rec_modelCRNN(NUM_CLASSES)self.rec_model.load_state_dict(torch.load(rec_model_path,map_locationcpu))self.rec_model.eval()self.charsetcharsetdefpreprocess_code(self,code_image):预处理喷码图片# 转换为灰度图graycv2.cvtColor(code_image,cv2.COLOR_BGR2GRAY)# 自适应二值化binarycv2.adaptiveThreshold(gray,255,cv2.ADAPTIVE_THRESH_GAUSSIAN_C,cv2.THRESH_BINARY_INV,11,2)# 调整大小为CRNN输入尺寸(100x32)resizedcv2.resize(binary,(100,32))# 归一化normalizedresized/255.0# 转换为张量tensortorch.from_numpy(normalized).float().unsqueeze(0).unsqueeze(0)returntensordefpredict(self,image):端到端识别喷码# 第一步检测喷码区域det_resultsself.det_model(image,conf0.25)codes[]forboxindet_results[0].boxes.xyxy:x1,y1,x2,y2map(int,box)# 裁剪喷码区域code_imageimage[y1:y2,x1:x2]# 预处理input_tensorself.preprocess_code(code_image)# 第二步识别字符withtorch.no_grad():outputself.rec_model(input_tensor)# 解码结果textdecode_predictions(output,self.charset)[0]codes.append({text:text,bbox:[x1,y1,x2,y2]})returncodesdefdraw_result(self,image,codes):绘制识别结果forcodeincodes:x1,y1,x2,y2code[bbox]cv2.rectangle(image,(x1,y1),(x2,y2),(0,255,0),2)cv2.putText(image,code[text],(x1,y1-10),cv2.FONT_HERSHEY_SIMPLEX,0.8,(0,0,255),2)returnimage# 使用示例if__name____main__:systemCodeRecognitionSystem(det_model_pathbest_detection.pt,rec_model_pathbest_recognition.pt,charsetCHARSET)imagecv2.imread(test.jpg)codessystem.predict(image)print(识别结果,[code[text]forcodeincodes])result_imagesystem.draw_result(image,codes)cv2.imwrite(result.jpg,result_image)八、工业级优化技巧8.1 图像预处理优化去反光使用同态滤波去除包装膜的反光倾斜校正通过霍夫变换检测喷码的倾斜角度自动校正背景去除使用形态学操作去除复杂背景8.2 结果校验喷码的格式通常是固定的如2026.04.13可以通过正则表达式校验识别结果过滤掉明显错误的结果importredefvalidate_code(text):校验生产日期格式patternr^\d{4}\.\d{2}\.\d{2}$returnre.match(pattern,text)isnotNone8.3 推理加速将两个模型都导出为ONNX格式使用ONNX Runtime推理使用TensorRT量化为INT8速度再提升2-3倍批量处理多张图片提高吞吐量九、最终效果对比在包含120张测试图片的测试集上不同方案的准确率对比方案清晰喷码准确率模糊喷码准确率倾斜喷码准确率整体准确率Tesseract OCR72.5%21.3%35.8%43.2%PaddleOCR85.7%38.6%52.4%58.9%传统工业OCR设备92.1%45.3%61.7%66.4%本文方案(YOLOCRNN)99.8%97.2%98.5%99.2%十、避坑指南不要用通用OCR直接做工业喷码识别通用OCR是为印刷体设计的对喷码的鲁棒性极差数据集一定要包含坏样本多拍模糊、倾斜、反光的图片这些才是实际生产中最常见的情况不要跳过检测直接识别背景干扰会严重降低识别准确率检测是必不可少的一步字符集不要太大只包含你需要的字符字符集越小识别准确率越高不要用太高分辨率做识别CRNN的输入尺寸是固定的太高的分辨率反而会降低效果十一、总结与展望本文实现的这套食品包装喷码识别系统已经在多个食品厂的生产线上稳定运行准确率和速度都完全满足工业要求。相比传统的OCR设备这套方案成本更低灵活性更高可以根据不同的喷码格式快速调整。未来可以扩展的方向加入多语言支持识别中文和其他语言的喷码实现二维码和条形码的同时识别加入异常检测自动识别喷码缺失、模糊等问题开发Web界面方便远程监控和管理最后提醒大家工业项目的核心不是模型有多复杂而是数据有多贴近真实场景。只要数据集做好了即使是简单的模型也能达到很好的效果。