参考链接:
https://my.oschina.net/u/4581316/blog/4898542 https://blog.csdn.net/weixin_26746401/article/details/108260112
数据分析的EDA是一个必不可少的过程,一个能够自动生成数据基础分析报告的工具,可以节省大量的人工。
EDA的主要实现功能有:单变量的分析、多变量的联合分析、因变量与自变量的联合分析
在此,主要介绍两个工具:Pandas-Profiling,Sweetviz。
两个工具的功能类似,都能生成HTML的分析报告,不同的是Sweetviz需要Python3.6及以上的版本,并且可以比较两个数据集间差异
安装命令: pip install pandas-profiling, pip install sweetviz
使用:
1. pandas-profiling
github链接: https://github.com/pandas-profiling/pandas-profiling
-
报告内容:
-
总概


-
单变量分析

-
交互分析

-
相关性

-
缺失值

-
数据示例


-
-
调用代码如下:
from pandas_profiling import ProfileReport
from pandas_profiling import ProfileReport
profile = ProfileReport(mpg, title=‘MPG Pandas Profiling Report’) #mpg为pandas的DataFrame对象
profile.to_file(“report.html”) #保存报告
2. sweetviz
github链接: https://github.com/fbdesignpro/sweetviz
-
sweetviz共有三种不同分析模式:
- 1)analyze: 分析单个数据集,可以指定因变量,也就是监督模型最终的输出结果
- 2)compare_intra: 分析比较一个数据集中的两部分
- 3)compare:分析比较两个数据集,常用于分析训练集和测试集的差异
-
报告内容:
黑色的表示因变量

-
总概

-
相关性

-
单变量分析
-
因变量的分析


-
自变量的分析 (数值型)

-
因变量的分析 (类别型)


-
自变量的分析 (文本型)

-
-
两个数据比较时的总概

-
两个数据比较时的单变量分析
与单数据集的类似,但是会根据颜色来区分不同数据集间的差别


-
-
代码调用方式如下:
>import sweetviz as sv
my_report = sv.analyze(mpg, target_feat='mpg') #mpg为DataFrame
my_report = sv.compare_intra(mpg,mpg["origin"] == "usa",["USA","NOT - USA"],target_feat = 'mpg')
my_report = sv.compare([mpg,'all'], [mpg[mpg.origin == "usa"],'usa'], 'mpg')
my_report.show_html() #show_html( filepath='SWEETVIZ_REPORT.html', open_browser=True, layout='widescreen', scale=None)
本文介绍了两种数据分析报告自动生成工具——Pandas-Profiling和Sweetviz,它们能节省EDA过程中的手动工作。Pandas-Profiling提供包括总概、单变量分析、交互分析等在内的报告;Sweetviz不仅有相似功能,还支持比较两个数据集的差异,且需Python3.6以上版本。通过示例展示了如何使用这两个工具生成HTML分析报告。

1282

被折叠的 条评论
为什么被折叠?



