加速Python数据分析的小技巧分别有哪些

这期内容当中小编将会给大家带来有关加速Python数据分析的小技巧分别有哪些，文章内容丰富且以专业的角度为大家分析和叙述，阅读完这篇文章希望大家可以有所收获。

创新互联公司网站建设公司，提供成都网站设计、网站制作、外贸营销网站建设，网页设计，建网站，PHP网站建设等专业做网站服务;可快速的进行网站开发网页制作和功能扩展；专业做搜索引擎喜爱的网站，是专业的做网站团队，希望更多企业前来合作!

有时候，一点小小的黑客行为可以节省时间，挽救生命。一个小小的快捷方式或附加组件有时会被证明是天赐之物，并且可以真正提高生产力。所以，下面是我最喜欢的一些技巧，我以本文的形式一起使用和编译它们。其中，有些可能是相当有名的，有些可能是新的，但我相信下次您从事数据分析项目时，它们会非常有用。

1.Profiling the pandas dataframe

Profiling 是一个帮助我们理解数据的程序，而 Pandas Profiling  正是实现这一点的一个 python 包。这是对 pandas 数据帧进行探索性数据分析的一种简单快速的方法。pandas df.describe()和  df.info()函数通常用作 EDA 过程的第一步。但是，它只提供了非常基本的数据概述，对于大型数据集没有太大帮助。另一方面，pandas 分析函数使用  df.profile_report()扩展 pandas 数据帧，以便快速进行数据分析。它用一行代码显示了大量信息，在交互式 HTML  报告中也显示了这些信息。对于给定的数据集，pandas 分析包计算以下统计信息：

Pandas Profiling 包计算统计信息

安装

pip install pandas-profiling  --或者  conda install -c anaconda pandas-profiling

使用

让我们使用古老的 Titanic 数据集来演示通用的 Python 分析器的功能。

#importing the necessary packages import pandas as pd import pandas_profiling  # Depreciated: pre 2.0.0 version df = pd.read_csv('titanic/train.csv') pandas_profiling.ProfileReport(df)

注：在这篇文章发表一周后，Pandas-Profiling 发布了一个升级版本 2.0.0。其语法发生了一些变化，事实上，功能已经包含在 pandas  中，报告也变得更加全面。以下是最新的语法用法：

使用

要在 Jupyter notebook 中显示报告，请运行：

#Pandas-Profiling 2.0.0 df.profile_report()

这一行代码就是在 Jupyter notebook 中显示数据分析报告所需的全部代码。报告非常详细，必要时包括图表。

还可以将报告导出到具有以下代码的交互式 HTML 文件中。

profile = df.profile_report(title='Pandas Profiling Report') profile.to_file(outputfile="Titanic data profiling.html")

2.为 pandas plots 带来交互性

pandas  有一个内置的.plot()函数作为数据帧类的一部分。然而，用这个函数呈现的可视化并不是交互式的，这使得它不那么吸引人。相反，也不能排除使用  pandas.dataframe.plot()函数绘制图表的易用性。如果我们不需要对代码进行重大修改，就可以像绘制 pandas plots  那样绘出交互式图表呢?你可以在 Cufflinks 库的帮助下做到这一点。Cufflinks 将 plotly 的力量与 pandas  的灵活性结合起来，便于绘制。现在让我们来看看如何安装这个库并让它在 pandas 中工作。

安装

pip install plotly # Plotly is a pre-requisite before installing cufflinks pip install cufflinks

使用

#importing Pandas import pandas as pd #importing plotly and cufflinks in offline mode import cufflinks as cf  import plotly.offline cf.go_offline() cf.set_config_file(offline=False, world_readable=True)

是时候用 Titanic 数据集来展示它的魔法了。

df.iplot()

df.iplot() vs df.plot()

右视图显示的是静态图表，左图表是交互式的，更详细地说，所有这一切在语法上都没有重大变化。

3.一点点 Magic

Magic 命令是 Jupyter notebook 中的一组方便的函数，旨在解决标准数据分析中的一些常见问题。在%lsmagic  的帮助下，您可以看到所有可用的 magic。

所有可用的 magic 函数列表

magic 命令有两种：行 magics(前缀为一个% 字符并在一行输入上操作)和单元 magics(用%%  前缀关联并在多行输入上操作)。如果设置为 1，则可以调用 magic 函数，而无需键入初始百分比。

让我们看看其中一些在常见数据分析任务中可能有用的功能：

%  pastebin

%Pastebin 将代码上载到 Pastebin 并返回 URL。Pastebin  是一种在线内容托管服务，我们可以在其中存储纯文本(如源代码片段)，然后可以与其他人共享 URL。事实上，Github gist 也类似于  Pastebin，尽管有版本控制。

考虑使用包含以下内容的 python script file.py：

#file.py def foo(x):     return x

使用 Jupyter notebook 中的%pastebin 生成 pastebin url

%matplotlib notebook

%matplotlib inline 函数用于呈现 Jupyter noteboo 中的静态 matplotlib  绘图。尝试用 notebook 替换内嵌部件，以轻松获得可缩放和可调整大小的绘图。确保在导入 Matplotlib 库之前调用了函数。

%matplotlib inline vs %matplotlib notebook

• %run

%run 函数在 notebook 内运行 python 脚本。

%run file.py

• %%writefile

%WriteFile 将单元格的内容写入文件。在这里，代码将被写入一个名为 foo 的文件，并保存在当前目录中。

• %%latex

%%latex 函数将单元格内容呈现为 LaTeX。它可用于在单元中编写数学公式和方程。

4.发现和消除错误

interactive debugger  也是一个神奇的函数，但我已经为它提供了自己的一个类别。如果在运行代码单元时遇到异常，请在新行中键入%debug  并运行它。这将打开一个交互式调试环境，将您带到发生异常的位置。您还可以检查程序中分配的变量值，并在此处执行操作。要退出调试器，请单击 q。

5.输出也可以很漂亮

如果您想为数据结构生成美观的表示，pprint 是你想要的模块，它在打印字典或 JSON 数据时特别有用。让我们来看一个使用  print 和 pprint 显示输出的示例。

6.突出报警框

我们可以在您的 Jupyter  笔记本中使用警告/注释框来突出显示重要的内容或任何需要突出显示的内容。注释的颜色取决于警报的类型。只需在需要突出显示的单元格中添加以下代码。

蓝色警报框：信息提示

 Tip: Use blue boxes (alert-info) for tips and notes. If it’s a note, you don’t have to include the word “Note”.