首页 » PHP教程 » php数据清洗技巧_强强联合在Power BI 中运用Python2数据清洗

php数据清洗技巧_强强联合在Power BI 中运用Python2数据清洗

访客 2024-11-21 0

扫一扫用手机浏览

文章目录 [+]

​上一篇文章我们讲解了在Power BI中利用Python来获取数据的一些运用:

「强强联合」在Power BI 中利用Python(1)——导入数据

php数据清洗技巧_强强联合在Power BI 中运用Python2数据清洗

这一篇我们将连续讲解如何在Power BI中利用Python进行数据洗濯事情。

php数据清洗技巧_强强联合在Power BI 中运用Python2数据清洗
(图片来自网络侵删)

实在我们仔细看一了局景1和场景2,它们之间是个逆过程,场景1是从Python获取数据通报到Power BI,而场景2是Power BI或者Power Query获取了数据,用python来处理。

那么这个逆过程该当如何操作呢?话不多说,抓紧上车:

前文我们讲过,Python与Power BI的数据通报是通过Dataframe格式的数据来实现的。

Python的处理结果以Dataframe形式输出,M将Dataframe自动转换为Table格式。
M将其Table类型的数据通报给Python,Python会自动将Table转换为Dataframe。

举个大略的例子:

首先我们进入Power Query管理器界面,通过新建一个空查询,并建立一个1到100的列表,再将其转换为表:

# 'dataset' 保留此脚本的输入数据

然后点击“转换-运行Python脚本”:

脚本编辑器中自带一句话:

importpandasas pd

一行以“#”开头的语句,在Python的规范中表示注释,以是这句话并不会运行,它的意思是将你要进行修正的表用dataset来表示,也便是说Python是通过dataset变量来访问数据的。

理论上我们须要在这个地方键入:

importpandasas pd

以表示我们要利用pandas库,但是Power BI在调用Python时,自动导入了pandas和matplotlib库,以是这一行写不写都一样,我们知道下面的代码是在调用pandas库即可。

在脚本编辑器输入框中输入以下代码:

dataset.insert(loc=1,column="add_100",value=dataset["Value"]+100)

dataset便是源数据表自动换换的dataframe格式数据,“loc=1”代表在第一列数据后插入一列,列名是“add_100”,值是“Value”的值+100,第一行是1,add_100列第一行便是101,以此类推:

点击运行,得到的是一个子表,将其展开:

准确无误。

当然,我们也可以连续在这个表里进行一系列操作,比如复制一张表,再创建一个新dataframe表:

运行,得到结果:

再比如,我们想提取数据的某列,比如上面这张表的“key2”列,我们可以点击运行Python脚本,并写入如下的代码:

(power query自动对Python添加 #(lf) 用来进行转义)

当然,以上所说这些功能直接在powerquery中就可以实现,乃至更大略便捷,以是上述内容都是些:

吗?

并!
不!
是!
以上只是在循规蹈矩地见告大家,powerquery中是可以用Python进行数据洗濯的,并且清楚地见告大家调用Python的方法,大家该当很闇练了吧。

以下才是重点(当然上面也是):

在powerquery数据洗濯中利用较多的Python功能一定会有正则,由于powerquery本身是没有正则的,以是这时候调用Python来进行正则就显得尤为主要,否则你可能须要在powerquery中添加很多步骤也不一定能得到想要的结果。

比如下面这个例子:

真实情形可能远远比这个繁芜。

这种数据如果已经导入到Power BI中,在powerquery里是没有办法直接进行处理的,这时候就可以调用Python的re正则表达式了:

import reimport json​# 自定义获取文本电子邮件的函数def get_find_emails(text): emails = re.findall(r"[a-z0-9\.\-+_]+@[a-z0-9\.\-+_]+\.[a-z]+", text) emails=';'.join(emails) return emails​# 自定义获取文本手机号函数def get_findAll_mobiles(text): mobiles = re.findall(r"1\d{10}", text) mobiles =';'.join(mobiles) return mobiles​email_list=[]tele_list=[]for i in range(len(dataset)): text=dataset.iat[i,1] email=get_find_emails(text) email_list.append(email) tele=get_findAll_mobiles(text) tele_list.append(tele)dataset['email']=email_listdataset['tele']=tele_list

正则表达式的利用,大家可以进行干系搜索和学习,网上资源还是很多的。

这段代码定义了两个函数:get_find_emails(自定义获取文本电子邮件的函数)和get_find_mobiles(自定义获取文本手机号函数),得到两个list,末了再放入dataset数据表中。

在IDE中运行无误后复制到powerquery的Python脚本编辑器中:

点击确定,返回结果:

后面两列便是我们想要的手机号和邮箱了。

这样我们就实现了在powerquery中利用正则表达式对数据进行洗濯的目的。

当然,也可以调用R、PHP或者js来实现相同的目的,方法大同小异,各位读者可以自行研究。

本文讲解了在powerquery中进行数据洗濯事情时如何利用Python来实现一些特定的功能。
当然,数据洗濯的全体流程是繁芜多变的,结合本文所讲的内容,希望大家都能充分挖掘powerquery和Python在数据洗濯过程中的优缺陷,结合起来利用,势必能事半功倍。

下一篇我们将连续讲解如何利用Python的matplotlib库在Power BI中进行可视化呈现。

感谢您对【学谦数据运营】的关注,支持与厚爱,如果您以为本文对您有用,请不要吝惜您的点赞、转发、点亮在看,有任何问题欢迎大家在留言区留言,感激。

标签:

相关文章

构建未来IT网络框架,关键要素与实施步骤

随着信息技术的飞速发展,网络已成为企业和社会运行的重要基础设施。构建一个高效、安全、可靠的IT网络框架,已成为企业信息化建设的关键...

PHP教程 2024-12-27 阅读0 评论0

构建高效IT运维体系,规划与方法

随着信息技术的飞速发展,IT运维在企业的信息化建设中扮演着越来越重要的角色。高效、稳定的IT运维体系是企业持续发展的基石。本文将从...

PHP教程 2024-12-27 阅读0 评论0

初探C语言,开启编程之旅的大门

在信息时代的浪潮中,编程已成为一种必备技能。而C语言作为一门历史悠久、应用广泛的编程语言,无疑成为了众多编程爱好者的入门首选。今天...

PHP教程 2024-12-27 阅读0 评论0