hadoop培训视频教程30.pptx

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,Hadoop Stream,中的,key,和,value,控制分片的大小,避免分片,把整个文件当作一条记录处理,课程目标,Hadoop,Stream,中的,key,和,value,Stream,应用可以决定分隔符，该分隔符用于通过标准输入把,key/value,对转换成一串比特值发送到,map,或,reduce,函数,默认是,Tab,（制表符）,通过,-D,指定具体属性,分隔符作用的位置：,Hadoop,Stream,中的,key,和,value,Stream,分隔符属性,控制分片的大小,通过,FileInputFormat,类进行输入数据的分片,FileInputFormat,只分割大文件，即超过,HDFS,块大小的文件,控制分片大小的属性,可以强制设置分片比文件块大或者比块小,分片大小的计算公式,Math.max(minSize,Math.min(goalSize,blockSize);,其中,goalSize,为“,InputFile,大小”,/“,我们在配置文件中定义的,mapred.map.tasks”,值,控制分片的大小,参数设置如何影响分片大小,避免分片,有些应用程序可能不希望文件被切分，而是用一个,mapper,完整处理每一个输入文件,两种方法,增加分片大小，将它设置为最大值,long.MAX_VALUE,即可,使用,FileInputFormat,具体子类，重载,isSplitable(),方法把返回值位置为,false,。,把整个文件当作一条记录处理,有些应用程序需要访问一个文件中的全部内容。即使不分割文件，仍然需要一个,RecordReader,来读取文件内容作为,record,的值,具体实现：,把整个文件当作一条记录处理,把整个文件当作一条记录处理,欢迎访问我们的官方网站,