《零基础入门Spark》学习笔记 Day 14

张开发

• 2026/4/11 21:53:00 • 15 分钟阅读

分享文章

特征工程-上特征工程是机器学习流程中至关重要的环节旨在通过数据转换、组合或创建新特征提升模型性能。其核心目标包括提高数据质量、增强特征与目标变量的相关性以及降低计算复杂度。对于原始数据中的字段我们会把它们分为数值型和非数值型。Spark MLlib特征处理函数可以分为如下几类预处理StringIndexer作用是以数据列为单位把字段中的字符串转换为数值索引。StringIndexed的用法比较简单可以分为三个步骤第一步实例化StringIndexer对象第二步通过setInputCol和setOutputCol来指定输入列和输出列第三步调用fit和transform函数完成数据转换特征选择ChiSqSelector就是依据一定的标准对特征字段进行遴选。实际上面对数量众多的候选特征业务经验往往是特征选择的重要出发点之一。与此同时我们还会使用一些统计方法去计算候选特征与预测标的之间的关联性从而以量化的方式衡量不同特征对于预测标的重要性。要使用ChiSqSelector来选择数值型字段需要完成两步第一步使用VectorAssembler创建特征向量第二步基于特征向量使用ChiSqSelector完成特征选择。归一化MinMaxScaler用于是把一组数值统一映射到同一个值域而这个值域通常是[0,1]。当原始数据之间的量纲差异较大时抖动较大模型不容易收敛从而导致训练效率较差。相反当所有特征数据都被约束到同一个值域时模型训练的效率会得到大幅提升。MinMaxScaler的用法也分为两步第一步使用VectorAssembler创建特征向量第二步基于特征向量使用使用MinMaxScaler完成归一化归一化的目标在于去掉不同特征之间量纲的影响避免量纲不一致而导致的梯度下降震荡模型收敛效率低下等问题。离散化Embedding向量计算

更多文章

前端开发 2026/4/11 21:50:47

如何在5分钟内用Draw.io ECE插件绘制专业电路图：终极免费指南

如何在5分钟内用Draw.io ECE插件绘制专业电路图：终极免费指南【免费下载链接】Draw-io-ECE Custom-made draw.io-shapes - in the form of an importable library - for drawing circuits and conceptual drawings in draw.io. 项目地址: https://gitcode.com/gh…

张开发

前端开发 2026/4/11 21:48:09

【独家首发】AI研发链路追踪成熟度模型（AMM v2.1）：覆盖Prompt→Embedding→Rerank→LLM→Action 5大阶段，仅限前500名开发者获取评估工具包

第一章：AI原生软件研发链路追踪系统搭建 2026奇点智能技术大会(https://ml-summit.org) AI原生软件的研发过程高度依赖模型版本、数据集快照、训练参数、推理服务部署状态及用户反馈信号的强关联性。传统APM工具难以覆盖从Prompt工程、微调轨迹、RAG检索日志到LLM代…

张开发

前端开发 2026/4/11 21:42:20

PixelMentor：一个开源网站 · 调用AI视觉能力分析图片 · 提供影视后期修改意见夯

1. 前言本文详细介绍如何使用 kylin v10 iso 文件构建出 docker image，docker 版本为 20.10.7。 2. 构建 yum 离线源 2.1. 挂载 ISO 文件 mount Kylin-Server-V10-GFB-Release-030-ARM64.iso /media 2.2. 添加离线 repo 文件在/etc/yum.repos.d/下创建kylin…

张开发

前端开发 2026/4/11 21:40:25