上一篇文章我们讲解了在Power BI中利用Python来获取数据的一些运用:
「强强联合」在Power BI 中利用Python(1)——导入数据
这一篇我们将连续讲解如何在Power BI中利用Python进行数据洗濯事情。

实在我们仔细看一了局景1和场景2,它们之间是个逆过程,场景1是从Python获取数据通报到Power BI,而场景2是Power BI或者Power Query获取了数据,用python来处理。
那么这个逆过程该当如何操作呢?话不多说,抓紧上车:
前文我们讲过,Python与Power BI的数据通报是通过Dataframe格式的数据来实现的。
Python的处理结果以Dataframe形式输出,M将Dataframe自动转换为Table格式。M将其Table类型的数据通报给Python,Python会自动将Table转换为Dataframe。
举个大略的例子:
首先我们进入Power Query管理器界面,通过新建一个空查询,并建立一个1到100的列表,再将其转换为表:
# 'dataset' 保留此脚本的输入数据
然后点击“转换-运行Python脚本”:
脚本编辑器中自带一句话:
importpandasas pd
一行以“#”开头的语句,在Python的规范中表示注释,以是这句话并不会运行,它的意思是将你要进行修正的表用dataset来表示,也便是说Python是通过dataset变量来访问数据的。
理论上我们须要在这个地方键入:
importpandasas pd
以表示我们要利用pandas库,但是Power BI在调用Python时,自动导入了pandas和matplotlib库,以是这一行写不写都一样,我们知道下面的代码是在调用pandas库即可。
在脚本编辑器输入框中输入以下代码:
dataset.insert(loc=1,column="add_100",value=dataset["Value"]+100)
dataset便是源数据表自动换换的dataframe格式数据,“loc=1”代表在第一列数据后插入一列,列名是“add_100”,值是“Value”的值+100,第一行是1,add_100列第一行便是101,以此类推:
点击运行,得到的是一个子表,将其展开:
准确无误。
当然,我们也可以连续在这个表里进行一系列操作,比如复制一张表,再创建一个新dataframe表:
运行,得到结果:
再比如,我们想提取数据的某列,比如上面这张表的“key2”列,我们可以点击运行Python脚本,并写入如下的代码:
(power query自动对Python添加 #(lf) 用来进行转义)
当然,以上所说这些功能直接在powerquery中就可以实现,乃至更大略便捷,以是上述内容都是些:
吗?
并!
不!
是!
以上只是在循规蹈矩地见告大家,powerquery中是可以用Python进行数据洗濯的,并且清楚地见告大家调用Python的方法,大家该当很闇练了吧。
以下才是重点(当然上面也是):
在powerquery数据洗濯中利用较多的Python功能一定会有正则,由于powerquery本身是没有正则的,以是这时候调用Python来进行正则就显得尤为主要,否则你可能须要在powerquery中添加很多步骤也不一定能得到想要的结果。
比如下面这个例子:
真实情形可能远远比这个繁芜。
这种数据如果已经导入到Power BI中,在powerquery里是没有办法直接进行处理的,这时候就可以调用Python的re正则表达式了:
import reimport json# 自定义获取文本电子邮件的函数def get_find_emails(text): emails = re.findall(r"[a-z0-9\.\-+_]+@[a-z0-9\.\-+_]+\.[a-z]+", text) emails=';'.join(emails) return emails# 自定义获取文本手机号函数def get_findAll_mobiles(text): mobiles = re.findall(r"1\d{10}", text) mobiles =';'.join(mobiles) return mobilesemail_list=[]tele_list=[]for i in range(len(dataset)): text=dataset.iat[i,1] email=get_find_emails(text) email_list.append(email) tele=get_findAll_mobiles(text) tele_list.append(tele)dataset['email']=email_listdataset['tele']=tele_list
正则表达式的利用,大家可以进行干系搜索和学习,网上资源还是很多的。
这段代码定义了两个函数:get_find_emails(自定义获取文本电子邮件的函数)和get_find_mobiles(自定义获取文本手机号函数),得到两个list,末了再放入dataset数据表中。
在IDE中运行无误后复制到powerquery的Python脚本编辑器中:
点击确定,返回结果:
后面两列便是我们想要的手机号和邮箱了。
这样我们就实现了在powerquery中利用正则表达式对数据进行洗濯的目的。
当然,也可以调用R、PHP或者js来实现相同的目的,方法大同小异,各位读者可以自行研究。
本文讲解了在powerquery中进行数据洗濯事情时如何利用Python来实现一些特定的功能。当然,数据洗濯的全体流程是繁芜多变的,结合本文所讲的内容,希望大家都能充分挖掘powerquery和Python在数据洗濯过程中的优缺陷,结合起来利用,势必能事半功倍。
下一篇我们将连续讲解如何利用Python的matplotlib库在Power BI中进行可视化呈现。
感谢您对【学谦数据运营】的关注,支持与厚爱,如果您以为本文对您有用,请不要吝惜您的点赞、转发、点亮在看,有任何问题欢迎大家在留言区留言,感激。