数据分析报告自动生成工具:Pandas-Profiling, Sweetviz

本文介绍了两种数据分析报告自动生成工具——Pandas-Profiling和Sweetviz,它们能节省EDA过程中的手动工作。Pandas-Profiling提供包括总概、单变量分析、交互分析等在内的报告;Sweetviz不仅有相似功能,还支持比较两个数据集的差异,且需Python3.6以上版本。通过示例展示了如何使用这两个工具生成HTML分析报告。

参考链接:
https://my.oschina.net/u/4581316/blog/4898542 https://blog.csdn.net/weixin_26746401/article/details/108260112
数据分析的EDA是一个必不可少的过程,一个能够自动生成数据基础分析报告的工具,可以节省大量的人工。
EDA的主要实现功能有:单变量的分析、多变量的联合分析、因变量与自变量的联合分析
在此,主要介绍两个工具:Pandas-Profiling,Sweetviz
两个工具的功能类似,都能生成HTML的分析报告,不同的是Sweetviz需要Python3.6及以上的版本,并且可以比较两个数据集间差异
安装命令: pip install pandas-profiling, pip install sweetviz
使用:

1. pandas-profiling

github链接: https://github.com/pandas-profiling/pandas-profiling

  • 报告内容:

    • 总概
      在这里插入图片描述
      在这里插入图片描述

    • 单变量分析
      在这里插入图片描述

    • 交互分析
      在这里插入图片描述

    • 相关性
      在这里插入图片描述

    • 缺失值
      在这里插入图片描述

    • 数据示例
      在这里插入图片描述在这里插入图片描述

  • 调用代码如下:

    from pandas_profiling import ProfileReport
    from pandas_profiling import ProfileReport
    profile = ProfileReport(mpg, title=‘MPG Pandas Profiling Report’) #mpg为pandas的DataFrame对象
    profile.to_file(“report.html”) #保存报告

2. sweetviz

github链接: https://github.com/fbdesignpro/sweetviz

  • sweetviz共有三种不同分析模式:

    • 1)analyze: 分析单个数据集,可以指定因变量,也就是监督模型最终的输出结果
    • 2)compare_intra: 分析比较一个数据集中的两部分
    • 3)compare:分析比较两个数据集,常用于分析训练集和测试集的差异
  • 报告内容:
    黑色的表示因变量
    在这里插入图片描述

    • 总概
      在这里插入图片描述

    • 相关性
      在这里插入图片描述

    • 单变量分析

      • 因变量的分析
        在这里插入图片描述在这里插入图片描述

      • 自变量的分析 (数值型)
        在这里插入图片描述 在这里插入图片描述

      • 因变量的分析 (类别型)
        在这里插入图片描述
        在这里插入图片描述

      • 自变量的分析 (文本型)
        在这里插入图片描述

    • 两个数据比较时的总概
      在这里插入图片描述

    • 两个数据比较时的单变量分析
      与单数据集的类似,但是会根据颜色来区分不同数据集间的差别
      在这里插入图片描述
      在这里插入图片描述

  • 代码调用方式如下:

>import sweetviz as sv
my_report = sv.analyze(mpg, target_feat='mpg')   #mpg为DataFrame
my_report = sv.compare_intra(mpg,mpg["origin"] == "usa",["USA","NOT - USA"],target_feat = 'mpg') 
my_report = sv.compare([mpg,'all'], [mpg[mpg.origin == "usa"],'usa'],  'mpg') 
my_report.show_html()    #show_html(  filepath='SWEETVIZ_REPORT.html',  open_browser=True,  layout='widescreen', scale=None)
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值