《数据清洗》课件 第2章 数据格式与编码.pdf

数据清洗大数据应用人才培养系列教材第二章数据格式与编码2.1 文件文本格式2.2 数据编码2:3数据转换 习题2.1文件文本格式第二章数据格式与编码1.常见文本格式文本是计算机保存数据的主要方式，存放于计算机系统的文件系统中。文本有多种 不同的格式，常见的文本格式有txt、doc、zip、jpg和HTML等。Windows操作系统下常见的文本格式：txt、doc、xls格式等类（UNIX）操作系统下常见文本格式：dmg、tar格式等2网络文本格式：HTML、xmls php、jsp、css格式等，2.1文件文本格式第二章数据格式与编码2.xls及xlsx文件格式xlsx是Microsoft Office Excel 2007或者更新版本保存的文件格式,是用新的基于XML 的压缩文件格式取代了其之前专有的文件格式。此文件格式在传统的文件扩展名后面添加了 字母x（.docx取代.doc，.xlsx取代.xls），使文件占用系统的空间更小。xls格式的文件能用所有版本的Microsoft Excel打开。Mic ro so ft e j JOffic e2007，2.1文件文本格式第二章数据格式与编码3,JSON文本格式JSON全称是JavaSc ript Objec t No t at io n,即JavaSc ript对象标记，是一种轻量级的数 据传输格式，常用于网络信息的传输。JSON基于ECMASc ript规范，采用独立于编程语言 的文本格式来存储和表示数据。JSON具有简洁和清晰的层次结构，是一种当下较为理想的数据传输语言。因为JSON易 于阅读和编写，也易于机器解析和生成，因此能有效地提升网络传输效率，在现有的客户端 和服务器数据交换传输中，JSON的应用非常广泛。如下所示，为JSON的举例：可以理解为是一个name:Michael _.包含ne属性，且name 值为 Michae 1 的对象name:Mic hael,name:Jerry 包含两个时象的数组jso n，2.1文件文本格式第二章数据格式与编码4.HTML和XML文本格式HTML HTML全称是HyperText Markup Language,即超文本标记语言，这里的超文本 指的是页面内可以包含图片、链接，甚至音乐、程序等非文字元素，HTML是标准通用 标记语言下的一个应用。如下所示，为一个典型的HTML文件内容：网页标p align=c ent er酒页主体  , .超级链接  . ,img bo rder=0 src=,/image/04 gif w idt h-t 100 height=80 alt=图片，2.1文件文本格式第二章数据格式与编码4.HTML和XML文本格式XML与JSON功能相同的另一种格式是XML,其全称是Ext ensible Markup Language,即 可扩展标记语言，也是标准通用标记语言下的一个应用。XML是各种应用程序之间进 行数据传输最常用的工具。如下图所示，为一个典型的xml文件内容。Reverse for-iteration by index shoe tcut Expansion snippet for reverse*for loop Expansionatpgor y Surround With/-index i mx length/dcctor-code language-vcsharp s 0;$index$-)I SselectedS SendS)D，2.1文件文本格式第二章数据格式与编码F面介绍XML和JSON的比较:JSON和XML都是纯文本JSON和XML都具有自我描述性XML和JSON都可以通过JavaScript进行解析I 1/Q 如XM L有结束标签而J SO N没有JSON传输一般比XML更短、速度更快大数据应用人才培养系列教材第二章数据格式与编码文件文本式2.2 数据编码2.3 数据转换 习题，2.2数据编码第二章数据格式与编码o数据类型数据类型是一种数据结构，包括定义一个值的集合以及定义在 这个值集上的一组操作。通常根据数据的特点将数据划分为不 同的类型。按照计算机的存储特性，编程语言和数据库应用都会把数据划 分为特定的几种类型：类型1Java常见数据类型Java的基础数据类型可分为4类8种，包含整型(byt e、sho rt,int.lo ng)、浮点型(flo at、do uble)、逻辑型(bo o lean)以及符型(c har)0具体内容如下:，2.2数据编码第二章数据格式与编码布尔类型布尔类型bo o l常用于记录判断对错的逻辑变量，只允许取值t rue或false文本类型包括字符和字符串整数类型浮点类型整数类型，顾名思义，用来存储有符号的整数数据。在计算机中用二进制补 码的形式表示 浮点数又称小数、非整数，与整数类型相似。Java浮点数类型有固定的取 值范围和字段长度，不受平台影响表2-1 Java常见数据类型类 型字节取值范围byte1-2-27-lshort2一215/、*215int4-231 231-1long8-263263-1float4-3.403E38 3.403E38double8T.798E308 1.798E308boolean1/8true 或 falsechar20-216-1，2.2数据编码第二章数据格式与编码2|数据类型类型2MySQL常见数据类型数值类型：MySQL支持所有标准SQL数值数据类型 23日期和时间类型：表示时间值的日期和时间类型有DATE、TIME、YEAR、DATATIM E和TIM ESTAM P字符串类型：CHAR、VARCHAR、TEXT、ENUM和SET等，2.2数据编码第二章数据格式与编码S数据类型间转换在编程语言中，不同数据类型可以相互转换，例如整型、实数型(常 量)、字符型数据可以混合运算。Java程序类型转换规则如下所示:低-高byt e,sho rt,c har-int-lo ng-flo at-do uble(1)不能对boolean类型进行类型转换(2)不能把对象类型转换成不相关类型的对象(3)在把容量大的类型转换为容量小的类型时必须使用强制类型转换(4)转换过程中可能导致溢出或损失精度(5)转换的数据类型必须是兼容的(6)格式：(type)value type是要强制类型转换后的数据类型，2.2数据编码第二章数据格式与编码S字符编码对字符进行编码，是信息交流的技术基础，在此之前，需要了 解一些基本概念，如字节 字符 字符集 编码 内码。1）字节、字符和字符集：字节是计算机存储数据的单位，一个字节是一串8位二进制数,是一个具体的二进制空间；字符是各种文字和符号的总称，包括各个国家文字、标点符号、图形符号、数字等；字符集是多个字符的集合，字符集种类较多，每个字符集包含 的字符个数不同，常见字符集有ASCII字符集等。)2.2数据编码第二章数据格式与编码o字符编码3|2)内码：在计算机科学及相关领域中,内码是指整机系统中使 用的二进制字符编码，指的是将资讯编码后，通过某种方式 存储在特定存储设备时，内部的编码形式。在不同的系统中ASCII字符编码表ASC工工值字符控制字符ASCII值字符asckt值字符ASCH值字符bo o空NUL1 032空格064096001SOH033i1065A097a002STX034066BP 098b003ETX035#067rri099c004EOT036$068rr100d005ENIi037%069E101eP006j二 ACK038&070F102f007嘟声1一039071103g008BS040(|072H104h009HT041073I105i010LF042074rr106J 11VT043+075K107kqi2FF044/0761081013CR045077HT109m014SO046078110n015SI047yir079ps ri111o016DLE0480080p112P017i Dei一0491081r1113q018j DC2 一0502082R114r019DC30513083115sr 020DC40524084rr116t021NAK0535085u117u022SYN0546086V118V023ETB055r7lPostPIT119w024CAN0568088x-120X025EM0579向9rnn121y026SUB058090z122z027ESC059091-r|123028FS060t ri092124-r029GS061=093F|125030RS062ll094126二!031US063?095127GB2312简体中文编码表,会有不同的内码。+e;8=+D-1?N0-+B)：f+A-f+9门户。+8 r u 8;+7:n S$t6 V 丝 A=7 +3。0。+2、I+J?+1 X 0+0 M o+F15,00+E14,00)的+D13.4C12.Hxq+B11.6X1+AX10,闵 X+91X9 的IX+8viil8皿+7VII7 颇w+6V16蚓VI+5V5助V+41V42O,IV+3iiia19,蛉 eIII+2H218.g H+li 11 7.传 I+016.(8 H X h X+7,7 G w g W+6&6 F V f V+5%5 E u e U+44 D T d t+3#3cs c s+2”2 B R b r+1!1 A Q a q+0oalp、p+FM+DWV 2tacrfc 4济世心cfK+B办t:cci马+A;Q 右 7+9狞tAJ、7 h+8ic 匕 I+7i_ 54?，A-+1本廿 4T*cf+27匕W7+17夕/工+0夕yxA4-e o o o o o O dlAlBlclDlElF CA1A1A1A1A1A1e o o o o o o e o o o o o o e o o o o o o d A B c D E F d A B c D E F d A B c D E F 0 2 2 2 2 2 2 0 3 3 3 3 3 3 0 4 4 4 4 4 4 c A A A A A A c A A A A A A C&AAA&A，2.2数据编码第二章数据格式与编码o字符编码3 I 2）编码与字符集：编码（Encoding）和字符集不同。字符集 只是字符的集合，不一定适合做网络传送、处理，有时须经编 码（Encode）后才能应用。如Unicode可依不同需要以UTF-8、UTF-16、UTF-32等方式编码。字符编码就是以二进制的数字 来对应字符集的字符。下图为Unicode字符集。，2.2数据编码第二章数据格式与编码gf空痢唾马1)空值在数据库中，空值(NULL)用来表示实际值未知或无意义的情况。空值不同于空白或零值，没有两个相等的空值，比较两个 空值或将空值与任何其他值相比均返回未知，这是因为每个空 值均为未知。空值具有以下特点：(1)等价于没有任何值(2)与0.空字符串或空格不同(3)在where条件中，Oracle认为结果为NULL的条件为 FALSE f带有这样条件的select语句不返回行，并且不返回错 误信息。但NULL和FALSE是不同的(4)排序时比其他数据都大，2.2数据编码第二章数据格式与编码OI空值和乱码_2）乱码乱码主要指用文本编辑器打开文本时，使用了不对应的字符集和编码，从而造成文本解码错误，导致文本的部分字符或所有 字符无法被正确显示的情况，下图为常见的乱码。7 j，1：1 M 14 +8 *J.:U-l CU v!,i!I?-u-|,t J w|一，：W LJ!i J!?|?ZN?.?F?-?)?4?-?6DDq)-J|a)LFL?&?(ZVDDef 11：Cj74Uv1 uI?Se(7?ryPf?J Hh Elz?斗砒#-j?cRDe?9Pi?$?DU 密 口270?J fl?D1(E 树?uB7w OC?+?!a?DRE+?mr?p a?u Bx?QuDZ f0?丁 _T?*1?UOD?uO Y M?N?c?x 7Tr 心欠 1 FS 0 x#6口口)3瓜?口.+b”喝 K*?!-?Nfl?-c?,?C?q 874fE?Dah?，,lA?7,h酝#5 产？CO?八8Aik性矍?g 鞭 1(x 口?O?EVj_?/r?6?婿?X?0|?q dY?Ob?J?Pp?0;O?-QDDfs,?国？?w i?e2CIN?嘲w-r131c502口|?9Q 1?6薮r?C；L(?-pT 1 hff!(p?DA-|葡JP?DXkl?B 0 I?北？勺？20JME?V2(snBa=V?n+O?T?iyd?T?7=UL 1,?DP?i h?r?SnO?,“？Vt DDTfc H$?&#?0?S岩X(!CPVw 9A)九7口卬。?玲。xu(yXD|-7?+1=Wfl7 W a?d R6?选w h7UM”x8HD 口M/5口 1x|B 型?u?a?Cl?DLI?湘!?|?D2I?哪?V?HGJnHT?口羟?5rF4T?7 j?W|?h?A?V?hn7,D FY?d-v%o D?7 Y73?55?bnzG?Iq!?|?%e(n.Dt t,kDF8M?ku?D?D?Z)76Ds?OD5 X塞(Q TIRD仍9口？bL102Y$卜 Zi72D5?s+?7)?w!?i!?(DN+?8Dzo _?1 7-37g 8?5JIKo|8Dd?(?=?A?n*Jlr?o Hv?I O7IT-.x+Y?,”,?小*阳。?0?早。？IGFl?Pi/?、flD大数据应用人才培养系列教材第二章数据格式与编码2J文件文本式2.2 数据编码2.3 数据转换习题，2.3数据转换第二章数据格式与编码文件是计算机信息保存的主要形式，也是操作系统中文件管理的重要载体,在不同时代和不同系统中都有与之对应的格式，针对系统的功能和特性，文 件系统也会有所不同。以下主要介绍两种类型的数据转换：电子表格转换、RDBMS数据转换。MySQL2.3数据转换 第二章数据格式与编码o电子表格转换数据信息一般使用专门软件处理，常见的有Excel、Access.MySQL 和 SQL Servero1数据库文件导出目前主要用的数据库是RDBMS,即关系型数据库管理系统(RelationalDatabase Management System),它将数据组织为相关的行和列，而 点蛤工田壬次珈据库的软件就是关系数据库管理系统，以下为RDBMS的特特点一数据以表格的形式出现特点二每行为各种记录名称，2.3数据转换第二章数据格式与编码o电子表格转换可以通过命令行的MySQ L命令将数据库导出到一个后缀名为.sq I的文件 中，该文件格式可以通过txt文本编辑器编辑。，2.3数据转换第二章数据格式与编码。I巴巴经数据转换常见的RDBMS有Oracle、MySQL、Access.SQL Server等。在日常业务中，可能存在数据规模的变化，出现数据库管理系 统的变化，例如MySQL转换到Oracle数据库管理系统等。大多数据库管理系统均有数据的导入、导出工具，可以实现数 据源到目标的转换。例如，SQL Server可以通过数据库客户端(SSMS)的界面工具实现数据库与Excel、数据库与数据库之间的相互转换。ORACLe需 accessSQL Server 2008大数据应用人才培养系列教材第二章数据格式与编码2文件文本格式2.2数据编码转换习题习题:1.Windows下常见的文本格式有哪些，分别有什么用途？2.Linux下常见的文本格式有哪些，分别有什么用途？3.分别解释字符、字节和字符集，并说明它们的区别。4.Ja va中常见的数据类型有几种，分别是什么？5.MySQL中常见的数据类型有几种，分别是什么？6.分别解释空值和乱码，并举例说明它们在实际应用中的表现形式。7.参照图2-1的ASCH码表，符号。的ASCH码值是48,那么符号3 的ASCII码值是多少？同理，符号a的ASCII码值是97,那么符号c的 ASCII码值是多少？（用十进制表示）8.请分别写出符号3和符号c的ASCII码值二进制表示（提示：符号0 的ASCH码二进制表示为0011 0000）。感谢聆听