利用Python进行数据分析之-数据加载.ppt

数据加载，存储与文件格数据加载，存储与文件格式式 1，读写文本格式数据：（read_csv,read_table,read_fwf,read_clipboard,open()to_csv,to_excel,write()2,JSON数据:（两个方法：json.loads()json.dumps()）3，XML和HTML:WEB信息收集（两个接口lxml.html,lxml.objectify）4，二进制数据格式（pickle函数，短期存储格式）5，使用HTML和WEBAPI（requests包）6，使用数据库目录读取文本格式数据read_csv从文件，url，文件型对象中加载带分隔符的数据，默认分隔符为逗号。read_table从文件，url，文件型对象中加载带分隔符的数据，默认分隔符为制表符（t）。read_fwf读取定宽格式的数据，无分隔符read_clipboard读取剪贴板中数据读取文本格式数据pandas读取文件会自动推断数据类型，不用指定。以read_csv为例，下面是常用的几个参数：用names重新规定列名，用index_col指定索引，也可以将多个列组合作为层次化索引。可以编写正则表达式规定分隔符。用skiprows跳过某些行。缺失数据要么没有，要么用某个标记值表示，pandas常用NA、-1.#IND、NULL等进行标记。用na_values用来不同的NA标记值。Nrows只读取几行Chunksize:逐块读取文件定义一个字典为各个列指定NA标记值，直接=null的就是把df中所有为空值的都标为null跳过第3行将数据写出到文本格式1、利用data_frame的to_csv方法，可以将数据写到一个以逗号分隔的文件中，也可用sep参数指定分隔符，如data.to_csv()2、缺失值写入输出时会被表示为空字符串，可使用na_rep表示为别的标记值。不添加后缀的话默认是一个file文件data.to_csv(sys.stdout,sep=|)#打印到屏幕data.to_csv(sys.stdout,na_rep=NULL)#空字符处显示为NULL datato_csv(sys.stdout,index=False,header=False)#禁用行和列的标签data.to_csv(sys.stdout,cols=a,b,c)#按照指定的顺序显示列sys.stdout就相当于print，使用之前要importJSON数据JSON数据已经成为通过http请求在wed浏览器和其他应用程序之间发送数据的标准格式之一，它是一种比表格型文本格式更灵活的数据格式。JSON非常接近于有效的python代码，基本类型都有对象，数组，字符串，数值，布尔型以及null。Python形式JSON格式JSON格式json.loads()json.dumps()Html基本信息HTML使用标记标签来描述网页HTML文档描述网页保存为后缀名带.html打开就是一个网页ahref超链接XML和HTML:WEB信息收集Python有许多可以读写HTML和XML格式数据的库，lxml就是其中之一。XML和HTML:WEB信息收集Python有许多可以读写HTML和XML格式数据的库，lxml就是其中之一。fromlxml.htmlimportparsefromurllib.requestimporturlopenurllib2在python中是urllib.requestfrompandas.io.parsersimportTextParserimportpandasaspdparsed=parse(urlopen(http:/