等考二级python-文件和数据格式化PPT学习课件.ppt

全国计算机等级考试二级教程全国计算机等级考试二级教程Python语言语言程序设计程序设计(2018年版)1【第第6章章】文件和数据格式化文件和数据格式化2n文件的使用:文件打开、关闭和读写n数据组织的维度：一维数据和二维数据n一维数据的处理：表示、存储和处理n二维数据的处理：表示、存储和处理n采用CSV格式对一二维数据文件的读写考纲考点知识导图文件的使用n文件是存储在辅助存储器上的一组数据序列，可以包含任何数据内容。概念上，文件是数据的集合和抽象。文件包括两种类型：文文本本文文件件和和二二进进制文件制文件。文件n文本文件一般由单一特定编码的字符组成，如UTF-8编码，内容容易统一展示和阅读。n二进制文件直接由比特0和比特1组成，文件内部数据的组织格式与文件用途有关。二进制是信息按照非字符但特定格式形成的文件，例如，png格式的图片文件、avi格式的视频文件。文件的类型n二进制文件和文本文件最主要的区别在于是否有统一的字符编码。n无论文件创建为文本文件或者二进制文件，都可以用“文本文件方式”和“二进制文件方式”打开，但打开后的操作不同。文件的类型123f=open(a.txt,rt)#t表示文本文件方式表示文本文件方式print(f.readline()f.close()全国计算机等级考试n文本文件a.txt，采用二进制方式打开n采用文本方式读入文件，文件经过编码形成字符串，打印出有含义的字符；采用二进制方式打开文件，文件被解析为字节流。文件的类型123f=open(“a.txt”,“rb”)#b表示表示二二进进制制文件方式文件方式print(f.readline()f.close()bxc8xabxb9xfaxbcxc6xcbxe3xbbxfaxb5xc8xbcxb6xbfxbcxcaxd4nPython对文本文件和二进制文件采用统一的操作步骤，即“打开打开-操作操作-关闭关闭”文件的打开和关闭nPython通过open()函数打开一个文件，并返回一个操作这个文件的变量，语法形式如下：=open(,)文件的打开和关闭打开模式含义r只读模式，如果文件不存在，返回异常FileNotFoundError，默认值w覆盖写模式，文件不存在则创建，存在则完全覆盖源文件x创建写模式，文件不存在则创建，存在则返回异常FileExistsErrora追加写模式，文件不存在则创建，存在则在原文件最后追加内容b二进制文件模式t文本文件模式，默认值+与r/w/x/a一同使用，在原功能基础上增加同时读写功能n打开模式使用字符串方式表示，根据字符串定义，单引号或者双引号均可。上述打开模式中，r、w、x、b可以和b、t、+组合使用，形成既表达读写又表达文件模式的方式。文件的打开和关闭n文件使用结束后要用close()方法关闭，释放文件的使用授权，语法形式如下：.close()文件的打开和关闭n新建一个文本文件a.txt，其内容为“全国计算机等级考试”，保存在目录PATH中，假设此时路径PATH是Windows系统的D盘根目录。打开并关闭该文件的操作过程如下。文件的打开和关闭PATH=D:f=open(PATH+a.txt,rt)print(f.readline()国家计算机等级考试f.close()print(f.readline()Traceback(mostrecentcalllast):File,line1,inprint(f.readline()ValueError:I/Ooperationonclosedfile.n根据打开方式不同，文件读写也会根据文本文件或二进制打开方式有所不同。文件的读写方法含义f.read(size=-1)从文件中读入整个文件内容。参数可选，如果给出，读入前size长度的字符串或字节流f.readline(size=-1)从文件中读入一行内容。参数可选，如果给出，读入该行前size长度的字符串或字节流f.readlines(hint=-1)从文件中读入所有行，以每行为元素形成一个列表。参数可选，如果给出，读入hint行f.seek(offset)改变当前文件操作指针的位置，offset的值：0：文件开头；2:文件结尾n如果文件不大，可以一次性将文件内容读入，保存到程序内部变量中。f.read()是最常用的一次性读入文件的函数，其结果是一个字符串。文件的读写f=open(D:/b.txt,r)s=f.read()print(s)新年都未有芳华，二月初惊见草芽。白雪却嫌春色晚，故穿庭树作飞花。f.close()nf.readlines()也是一次性读入文件的函数，其结果是一个列表，每个元素是文件的一行。文件的读写f=open(D:/b.txt,r)ls=f.readlines()print(ls)新年都未有芳华，二月初惊见草芽。n,白雪却嫌春色晚，故穿庭树作飞花。nf.close()n文件打开后，对文件的读写有一个读取指针，当从文件中读入内容后，读取指针将向前进，再次读取的内容将从指针的新位置开始。文件的读写f=open(D:/b.txt,r)s=f.read()print(s)新年都未有芳华，二月初惊见草芽。白雪却嫌春色晚，故穿庭树作飞花。ls=f.readlines()print(ls)f.close()n结合读取指针理解，上述代码中ls返回值为空，因为之前f.read()方法已经读取了文件全部内容，读取指针在文件末尾，再次调用f.readlines()方法已经无法从当前读取指针读入内容，因此返回结果为空。文件的读写nf.seek()方法能够移动读取指针的位置，f.seek(0)将读取指针移动到文件开头，f.seek(2)将读取指针移动到文件结尾。文件的读写f=open(D:/b.txt,r)s=f.read()print(s)新年都未有芳华，二月初惊见草芽。白雪却嫌春色晚，故穿庭树作飞花。f.seek(0)#将将读读取指取指针针重置到文件开重置到文件开头头ls=f.readlines()print(ls)新年都未有芳华，二月初惊见草芽。n,白雪却嫌春色晚，故穿庭树作飞花。nf.close()n从文本文件中逐行读入内容并进行处理是一个基本的文件操作需求。文本文件可以看成是由行组成的组合类型，因此，可以使用遍历循环逐行遍历文件，使用方法如下：f=open(,r)for line in f:#处理一行数据处理一行数据f.close()文件的读写文件的读写1234f=open(D:/b.txt,r)forlineinf:print(line)f.close()新年都未有芳华，二月初惊见草芽。白雪却嫌春色晚，故穿庭树作飞花。文件的读写f=open(D:/c.txt,w)f.write(新年都未有芳华n)f.write(二月初惊见草芽n)f.write(白雪却嫌春色晚n)f.write(故穿庭树作飞花n)f.close()方法含义f.write(s)向文件写入一个字符串或字节流f.writelines(lines)将一个元素为字符串的列表写入文件nf.write(s)向文件写入字符串s，每次写入后，将会记录一个写入指针。该方法可以反复调用，将在写入指针后分批写入内容，直至文件被关闭。文件的读写n上述语句运行后将在D盘目录下生成一个文件c.txt，内容如下。n使用f.write(s)时，要显式的使用n对写入文本进行分行，如果不进行分行，每次写入的字符串会被连接起来。新年都未有芳华二月初惊见草芽白雪却嫌春色晚故穿庭树作飞花文件的读写nf.writelines(lines)直接将列表类型的各元素连接起来写入文件f。ls=新年都未有芳新年都未有芳华华n,二月初惊二月初惊见见草芽草芽n,白雪却嫌春色晚白雪却嫌春色晚n,故穿庭故穿庭树树作作飞飞花花nf=open(D:/c.txt,w)f.writelines(ls)f.close()数据组织的维度数据组织的维度n一组数据在被计算机处理前需要进行一定的组织，表明数据之间的基本关系和逻辑，进而形成“数据的维度”。根据数据的关系不同，数据组织可以分为：一维数据、二维数据和高维数据一维数据、二维数据和高维数据。一维数据n一维数据由对等关系的有序或无序数据构成，采用线线性性方方式式组组织织，对应于数学中数组的概念。例如：中国的直辖市列表即可表示为一维数据，一维数据具有线性特点。北京、上海、天津、重庆二维数据n二维数据，也称表格数据，由关联关系数据构成，采用二维表格方式组织，对应于数学中的矩阵，常见的表格都属于二维数据。n例如：国家统计局发布的居民消费价格指数是二维数据二维数据指标2014年2015年2016年居民消费价格指数102101.4102食品103.1102.3104.6烟酒及用品99.4102.1101.5衣着102.4102.7101.4家庭设备用品101.2101100.5医疗保健和个人用品101.3102101.1交通和通信99.998.398.7娱乐教育文化101.9101.4101.6居住102100.7101.6每个数据为相比上年数据的标准值，即上年指标为100。高维数据n高维数据由键值对类型的数据构成，采用对象方式组织，可以多层嵌套。n高维数据在Web系统中十分常用，作为当今Internet组织内容的主要方式，高位数据衍生出HTML、XML、JSON等具体数据组织的语法结构。高维数据本书:第1章:程序设计基本方法,第2章:Python语言基本语法元素,第3章:基本数据类型,第4章:程序的控制结构,第5章:函数和代码复用,第6章:组合数据类型,第7章:文件和数据格式化,第8章:Python计算生态,第9章:Python标准库概览,第10章:Python第三方库概览,第11章:Python第三方库纵览,第12章:考试指导,附录:附录1234567一维数据的处理一维数据的表示n一维数据是最简单的数据组织类型，由于是线性结构，在Python语言中主要采用列表形式表示。例如：中国的直辖市数据可以采用一个列表变量表示。ls=北京北京,上海上海,天津天津,重重庆庆print(ls)北京北京,上海上海,天津天津,重重庆庆一维数据的存储n一维数据的文件存储有多种方式，总体思路是采用特殊字符分隔各数据。常用存储方法包括4种。n（1）采用空格分隔元素，例如：北京上海天津重庆n（2）采用逗号分隔元素，例如：北京,上海,天津,重庆一维数据的存储n（3）采用换行分隔包括，例如：北京上海天津重庆n（4）其他特殊符号分隔，以分号分隔为例，例如：北京;上海;天津;重庆一维数据的存储n逗号分割的存储格式叫做CSV格式格式（Comma-SeparatedValues，即逗号分隔值），它是一种通用的、相对简单的文件格式，在商业和科学上广泛应用，大部分编辑器都支持直接读入或保存文件为CSV格式n一维数据保存成CSV格式后，各元素采用逗号分隔，形成一行。从Python表示到数据存储，需要将列表对象输出为CSV格式以及将CSV格式读入成列表对象一维数据的存储n列表对象输出为CSV格式文件方法如下，采用字符串的join()方法最为方便。1234ls=北京北京,上海上海,天津天津,重重庆庆f=open(city.csv,w)f.write(,.join(ls)+n)f.close()北京,上海,天津,重庆一维数据的处理n对一维数据进行处理首先需要从CSV格式文件读入一维数据，并将其表示为列表对象。1234f=open(city.csv,r)ls=f.read().strip(n).split(,)f.close()print(ls)北京北京,上海上海,天津天津,重重庆庆二维数据的处理n二维数据由多条一维数据构成，可以看成是一维数据的组合形式。因此，二维数据可以采用二维列表来表示，即列表的每个元素对应二维数据的一行，这个元素本身也是列表类型，其内部各元素对应这行中的各列值二维数据的处理ls=指标,2014年,2015年,2016年,居民消费价格指数,102,101.4,102,食品,103.1,102.3,104.6,烟酒及用品,994,102.1,101.5,衣着,102.4,102.7,101.4,家庭设备用品,101.2,101,100.5,医疗保健和个人用品,101.3,102,101.1,交通和通信,99.9,98.3,98.7,娱乐教育文化,101.9,101.4,101.6,居住,102,100.7,101.6,二维数据的存储n二维数据由一维数据组成，用CSV格式文件存储。CSV文件的每一行是一维数据，整个CSV文件是一个二维数据。n二维列表对象输出为CSV格式文件方法如下，采用遍历循环和字符串的join()方法方法相结合。1234#ls代表二代表二维维列表，此列表，此处处省略省略f=open(cpi.csv,w)forrowinls:f.write(,.join(row)+n)f.close()二维数据的处理n对二维数据进行处理首先需要从CSV格式文件读入二维数据，并将其表示为二维列表对象。借鉴一维数据读取方法，从CSV文件读入数据的方法如下。123456f=open(cpi.csv,r)ls=forlineinf:ls.append(line.strip(n).split(,)f.close()print(ls)二维数据的处理n程序执行后二维列表对象ls的内容如下。指标,2014年,2015年,2016年,居民消费价格指数,102,101.4,102,食品,103.1,102.3,104.6,烟酒及用品,994,102.1,101.5,衣着,102.4,102.7,101.4,家庭设备用品,101.2,101,100.5,医疗保健和个人用品,101.3,102,101.1,交通和通信,99.9,98.3,98.7,娱乐教育文化,101.9,101.4,101.6,居住,102,100.7,101.6二维数据的处理n二维数据处理等同于二维列表的操作，与一维列表不同，二维列表一般需要借助循环遍历实现对每个数据的处理，基本代码格式如下：for row in ls:for item in row:二维数据的处理n对二维数据进行格式化输出，打印成表格形状123456#此此处处略去从略去从CSV获获取数据到二取数据到二维维列表列表lsforrowinls:line=foriteminrow:line+=:10t.format(item)print(line)实例解析：国家财政数据趋势演算国家财政数据趋势演算n国家统计局每年会公开许多数据，比如国民经济核算指标等。国家统计局公布的大部分数据都以二维表格形式展现，然而，藏在这些数据背后的价值要比表格所展现的更多。国家财政数据趋势演算n以国家财政收支的公开数据为例，这里展示如何利用Python挖掘数据变化的规律。将从网上获取的公开信息存为finance.csv文件指标2000年2015年2016年全部收入13395.2152269.2159605中央收入6989.269267.272365.6地方收入6406.18300287239.4全部支出15886.5175877.8187755.2中央支出5519.925542.227403.9地方支出10366.7150335.6160351.4国家财政数据趋势演算n由个别数据预测规律属于数值分析的内容，可以通过线性回归方程建立简单模型，线性回归方程的公式为：nX代表年份，Y代表各年份对应的数值。Python实现的国家财政数据趋势演算，根据上述三个数值计算出更多年份的可能数据。国家财政数据趋势演算实例7.1123456789101112131415161718192021222324252627#FinancePredict.pydefparseCSV(filename):dataNames,data=,f=open(filename,r,encoding=utf-8)forlineinf:splitedLine=line.strip().split(,)if指指标标insplitedLine0:years=int(x:-1)forxinsplitedLine1:else:dataNames.append(:10.format(splitedLine0)data.append(float(x)forxinsplitedLine1:)f.close()returnyears,dataNames,datadefmeans(data):returnsum(data)/len(data)deflinearRegression(xlist,ylist):xmeans,ymeans=means(xlist),means(ylist)bNumerator=-len(xlist)*xmeans*ymeansbDenominator=-len(xlist)*xmeans*2forx,yinzip(xlist,ylist):bNumerator+=x*ybDenominator+=x*2b=bNumerator/bDenominatora=ymeans-b*xmeansreturna,b国家财政数据趋势演算实例7.12829303132333435363738394041424344454647484950515253defcalNewData(newyears,a,b):return(a+b*x)forxinnewyearsdefshowResults(years,dataNames,newDatas):print(:60.format(国家国家财财政收支政收支线线性估性估计计)header=指指标标foryearinyears:header+=:10.format(year)print(header)forname,lineDatainzip(dataNames,newDatas):line=namefordatainlineData:line+=:10.1f.format(data)print(line)defmain():newyears=x+2010forxinrange(7)newDatas=years,dataNames,datas=parseCSV(finance.csv)fordataindatas:a,b=linearRegression(years,data)newDatas.append(calNewData(newyears,a,b)showResults(newyears,dataNames,newDatas)main()国家财政数据趋势演算国家财政收支线性估计指标2010201120122013201420152016全部收入105359.6114550.1123740.6132931.0142121.5151312.0160502.4中央收入48169.152283.856398.560513.264627.968742.772857.4地方收入57190.662266.367342.172417.877493.682569.387645.1全部支出122936.9133645.7144354.5155063.3165772.1176480.9187189.8中央支出19037.520390.921744.323097.724451.125804.527157.9地方支出103899.4113254.8122610.2131965.6141321.0150676.4160031.9本章小结 本章讲解了文件的基本使用方法，包括文件的打开、关闭、读取和写入。进一步围绕数据的维度，讲解了一维数据、二维数据和高维数据的概念，以及一二维数据的表示、存储和处理方法。通过国家财政数据趋势演算的实例帮助读者理解数据处理的基本方法。一二维数据是社会生活中数据运用的绝对大多数，请思考一下，方圆十米范围内有哪些一二维数据亟待程序的处理？！