最近,机器学习和人工智能技术在数据分析领域中发挥着越来越大的作用。而正是这个领域最受欢迎的仿人聊天 AI 。但是,对于许多数据科学家和分析师来说,并不是他们首选的工具。相反,、sk-learn是数据科学家的最爱,因为它是一个数据分析库,可以轻松处理和分析大量数据。
在本文中,将介绍和搭配使用时的三个主要场景:数据清洗、数据可视化和特征工程。
本文所有代码均来自“知否AI问答”,下面分别举例说明每个场景下的应用。这里只是做简单的说明,“知否AI问答”并不只局限于该深度的应用。
以下示例均使用“辅助编程”下的“代码生成”模块。
数据清洗
数据清洗是数据分析的重要一部分。在数据分析中,我们收集到的数据可能存在许多重复、缺失或非常规数据。为了确保数据的准确性和可靠性,我们需要筛选和清洗数据。
例如,有一份带有通讯录信息的数据,需要对“电话号码”、“电子邮件”、“身份证号码”等信息进行,重复值、空值、格式不合法的数据进行清洗和标记。
1、点击“代码生成”模块中输入需求和需要生成的脚本语言
2、评估生成的代码质量,集成到我们的代码中
数据可视化
数据分析的另一个重要部分是数据可视化。通过可视化数据,我们可以更好地了解和理解数据。
例如,有一份金融数据,生成描述公司股票价格的变化或公司的盈利情况的代码。包括条形图、折线图和散点图。
特征工程
在机器学习中,特征工程是最重要的任务之一。在这项任务中,我们需要利用聪明的特征工程技术来识别和提取数据中的关键特征。使用可以帮助我们生成文本来描述数据中的特征、属性和关系的代码。特征工程的内容很多,本文只是简单介绍了几种常用的方法。
1、线性回归计算斜率和方差
2、数据密度计算正常状态/周期
基于聚类——数据密度()提取典型(正常状态)特征,是基于一组邻域来描述样本集密度的空间聚类算法,将具有足够密度的区域划分为簇。
3、相关分析计算特征间关系
皮尔森相关系数( ) 是一种最简单的,能帮助理解特征和响应变量之间关系的方法,该方法衡量的是变量之间的线性相关性,结果的取值区间为[-1,1 ] [-1,1 ][-1,1],-1表示完全的负相关,+1表示完全的正相关,0表示没有线性相关。
4、归一化、标准化
现实的数据一般都是有单位的,比如常用身高的单位有米、厘米,这些情况会影响到数据分析的结果,这个无量纲化并不是说统一量纲为米,而是说,无论是米还是厘米,最后都会变成1,也就是没有了单位。无量纲化使不同规格的数据转换到同一规格。常见的无量纲化方法有标准化和归一化
5. 聚类KMean
K-Means算法原理,对于给定的样本集,按照样本之间的距离大小,将样本集划分为K个簇。让簇内的点尽量紧密的连在一起,而让簇间的距离尽量的大。
通过将它们结合使用,我们可以在数据清洗、数据可视化和特征工程等多种场景中发挥它们的作用。最终,它们可以帮助我们更好地分析数据、识别关键特征和生成有意义的见解。
的强大在于已经学会了目前人类大部分的“非感性类型”的知识,我们在与之交流的时候,他会把相对确定、与问题最匹配的答案和知识反馈给我们,极大的降低我们搜索和查询的成本。