1、光纤链路排错经验 一、 组网: 用户采用4台S5500作为接入交换机、1台S5500作为核心交换机组网,4台接入交换机分别在三个仓库以及门卫处与核心机房都是通过2根八芯单模光纤走地井连接,在这5个机房再通过跳纤来连接到交换上。用户要求实现内网的用户主机访问公共服务器资源,并实现全网互通。组网如下图所示: 二、 问题描述: PC现无法访问server服务器,进一步发现S5500光纤端口灯不亮,端口信息显示down状态。在核心交换机端通过自环测试发现该端口以及光模块正常,接入交换机端也同样测试发现正常。监控网络正常使用,再将网络接口转接到监控主干链路上,发现网络同样无
2、法正常使用。 三、 过程分析: 想要恢复链路,首先要排查出故障点,根据故障点情况结合实际恢复链路通畅。在这里主要分析光纤通路,光信号从接入交换机光口出来通过跳线,转接到主干光纤,然后再通过核心跳线转接到核心交换上。由于该链路不通,首先要排除两端接口以及光模块问题,这里使用自环检测(如果是超远距离传输光纤线缆需要接光衰然后在自环,防止烧坏光模块)。当检测完成发现无问题,再测试接入端的光纤跳纤:如果是多模光纤可以将一端接到多模光纤模块的tx口,检测对端是否有光;单模光纤如果没有光功率计可以使用光电笔检测(该方法只能检测出中间无断路,并不能检测出线路光衰较大的情况)。最后再检测主线路
3、部分,检测方式同跳线一样。光路走向流程如图所示: 四、 解决方法: 从上述的分析可以看出,只要保证了光信号一出一收两条路径都能正常就可以解决用户无法访问服务器的问题。为了保证光路正常通路,最好的解决方法就是,通过使用光功率计来检测对端发射光在本端的光功率是否在光口可接受范围内。由于用户组网使用了一些监控设备来接入该主干光缆,并且该光路现正常使用,通过将网络光纤转接到该监控主干光缆,发现网络光路仍然不通;并且两端端口自环检测正常。由此可以判断出主要问题在两端的跳纤上。 如图所示: 在没有光功率计并且客户业务又比较着急恢复的情况,可以先将两端的接入跳
4、纤更换。有光功率计时就可以直接检测跳纤的光衰是否正常。 五、 说明及注意事项: 1、光纤的连接需要注意以下几点:(1)光纤接口有没有插紧完全对接上;(2)光纤接口端面是否受灰尘等污染;(3)光纤中间是否存在物理损坏,部分损伤或者断开;(4)光纤弯曲是否半径小于8cm;(5)其他相关问题。 2、该案例适用于光纤网络基本排错。 某大学城防病毒案例 问题描述: 某大规模教育园区网络中,采用两台万兆交换机FORCE 10作为网络核心,三个分校区各采用两台FORCE 10作为校区核心,而采用我司的S6506共22台做为三级汇聚层交换机,并接入800多台接入交换
5、机S3026E,接园区一万多个信息点,承载整个校园INTERNET业务。 设备拓扑图如下: 发生问题时,客户反馈S6506 出现 VLAN内不停的有ARP扫描(就是6506的VLAN INTERFACE不停的发本VLAN内每个IP地址的ARP REQUEST解析报文),网络速度很慢。 现场抓包记录如下: 在接入层交换机S3026E上的电脑上网发现网络速度缓慢,且S3026的cpu占用率也较高 处理过程: 通过使用抓包软件分析发现网络内有大量的ARP解析报文,从而导致网络速度缓慢,怀疑可能是网内有多台电脑感染病毒造成。 解
6、决方案: 在上网PC机上安装天等防火墙个人版,通过看防火墙的攻击日志可以得知攻击是从219.223.180.155和219.223.169.54 这两台电脑来的,(由于是下班时间,可能网内还有其它电脑也感染)。所以在S6506上做: acl number 110 rule 35 deny tcp destination-port eq 135 rule 36 deny udp destination-port eq 135 rule 49 deny tcp destination-port eq 445 rule 50 deny udp destination-port eq 44
7、5 int g 1/0/1 qos packet-filter inbound ip-group 110 not-carefo 以阻止病毒攻击。 由于是下班时间,所以无法得知这两台电脑的更详细的信息。如果没有防火墙个人版或者没有明确的病毒信息,可以添加如下列表测试: rule 30 deny tcp destination-port eq 3127 rule 31 deny tcp destination-port eq 1025 rule 32 deny tcp destination-port eq 5554 rule 33 deny tcp destina
8、tion-port eq 9996 rule 34 deny tcp destination-port eq 1068 rule 35 deny tcp destination-port eq 135 rule 36 deny udp destination-port eq 135 rule 37 deny tcp destination-port eq 137 rule 38 deny udp destination-port eq netbios-ns rule 39 deny tcp destination-port eq 138 rule 40 deny u
9、dp destination-port eq netbios-dgm rule 41 deny tcp destination-port eq 139 rule 42 deny udp destination-port eq netbios-ssn rule 43 deny tcp destination-port eq 593 rule 44 deny tcp destination-port eq 4444 rule 45 deny tcp destination-port eq 5800 rule 46 deny tcp destination-port eq 5
10、900 rule 48 deny tcp destination-port eq 8998 rule 49 deny tcp destination-port eq 445 rule 50 deny udp destination-port eq 445 rule 51 deny udp destination-port eq 1434 结论: 对染毒电脑进行杀毒并对所有电脑加装微软的漏洞补丁,并安装防病毒软件,已彻底清除病毒对网络的影响。 MSR系列路由器 QoS CBQ(基于类的队列)基本功能的配置 关键字:MSR;QoS;CBQ;基于
11、类的队列;MQC;WRED 一、组网需求: MSR路由器是互联网出口,下挂2个网段,对10网段访问Internet作AF队列8k保证,对于所有RTP流则给与EF队列32k保证 设备清单:MSR系列路由器1台 二、组网图: 三、配置步骤: 适用设备和版本:MSR系列、Version 5.20, Beta 1202后所有版本。 MSR配置 # //定义流量类型acl2000 traffic classifier acl2000 operator and //匹配ACL 2000 if-match acl 2000 //定义流量类型rtp traffic c
12、lassifier rtp operator and //匹配协议类型为RTP if-match protocol rtp # //定义流量行为ef32k traffic behavior ef32k //队列保证ef 32k带宽 queue ef bandwidth 32 cbs 1500 //定义流量行为af8k traffic behavior af8k //队列保证af 8k带宽 queue af bandwidth 8 //使能该队列的wred wred # //定义QoS策略s3/0cbq qos policy s3/0cbq /
13、/蒋流量类型acl2000和流量行为af8k绑定 classifier acl2000 behavior af8k //蒋流量类型rtp和流量行为ef32k绑定 classifier rtp behavior ef32k # //定义ACL 2000 acl number 2000 //匹配源地址为10.0.0.0/24的流 rule 0 permit source 10.0.0.0 0.0.0.255 ## //出外网接口 interface Serial3/0 link-protocol ppp //设置接口的QoS最大带宽为64k qos ma
14、x-bandwidth 64 ip address 1.2.0.2 255.255.255.252 //在接口的出方向应用QoS策略s3/0cbq qos apply policy s3/0cbq outbound # //连结10网段的接口 interface Ethernet0/0 port link-mode route ip address 10.0.0.1 255.255.255.0 # //连结20网段的接口 interface Ethernet0/1 port link-mode route ip address 20.0.0.1 255.
15、255.255.0 # 四、配置关键点: 1) CBQ的配置其实是MQC配置,需要配置流量类型、流量行为和QoS策略; 2) 注意流量类型和流量行为的对应关系; 3) 在同一个QoS策略中,所有流量行为的队列带宽统一使用固定值或百分比。 MSR系列路由器 教育网双出口NAT服务器的典型配置 一、组网需求: MSR的G0/0连接某学校内网,G5/0连接电信出口,G5/1连接教育网出口,路由配置:访问教育网地址通过G5/1出去,其余通过默认路由通过G5/0出去。电信网络访问教育网地址都是通过电信和教育网的专用连接互通的,因此电信主机访问该校都是从G5/1进来,如果以教育网源
16、地址(211.1.1.0/24)从G5/0访问电信网络,会被电信过滤。该校内网服务器192.168.34.55需要对外提供访问,其域名是,对应DNS解析结果是211.1.1.4。先要求电信主机和校园网内部主机都可以通过域名或211.1.1.4正常访问,且要求校园网内部可以通过NAT任意访问电信网络或教育网络。 设备清单:MSR一台 二、组网图: 三、配置步骤: 适用设备和版本:MSR系列、Version 5.20, Release 1205P01后所有版本。 MSR关键配置(路由部分配置略) # //地址池0用于访问电信的NAT nat address-group 0
17、202.2.2.50 202.2.2.100 //地址池1用于访问教育网的NAT nat address-group 1 211.1.1.50 211.1.1.100 //静态NAT用于外部访问内部服务器 nat static 192.168.34.55 211.1.1.4 # //ACL 2000用于内网访问教育网和电信的NAT,允许192.168.0.0/0的源 acl number 2000 description "NAT" rule 10 permit source 192.168.0.0 0.0.255.255 //ACL 2222用于策略路由的允许
18、节点,即内部服务器往外发的HTTP从G5/1出去 acl number 2222 description "policy-based-route permit node" rule 0 permit source 192.168.34.55 0 # //用于内部主机访问211.1.1.4的NAT映射 acl number 3000 description "192.168.0.0/24 access 211.1.1.4" rule 0 permit ip source 192.168.0.0 0.0.255.255 destination 192.168.34.55 0
19、 //ACL 3333用于策略路由拒绝节点,即内部服务器返回内部主机的不需要被策略 acl number 3333 description "policy-based-route deny node" rule 0 permit ip source 192.168.34.55 0 destination 192.168.0.0 0.0.255.255 # interface GigabitEthernet0/0 port link-mode route //内部主机访问211.1.1.4时,将211.1.1.4替换成192.168.34.55 nat outboun
20、d static //内部主机访问211.1.1.4时,将内部主机地址转换成192.168.86.2 nat outbound 3000 description to neibu-Lan ip address 192.168.86.2 255.255.255.252 //策略路由,内部服务器返回内部的不被策略,返回外部的从G5/1出去 ip policy-based-route aaa # interface GigabitEthernet5/0 port link-mode route //内部访问电信时需要NAT nat outbound 2000
21、address-group 0 description connect to ChinaNet ip address 202.2.2.2 255.255.255.0 tcp mss 1420 # interface GigabitEthernet5/1 port link-mode route //外部访问内部服务器211.1.1.4时静态转换成192.168.34.55 nat outbound static //内部访问教育网时需要NAT nat outbound 2000 address-group 1 description connect to
22、 Cernet ip address 211.1.1.2 255.255.255.0 tcp mss 1420 # //策略路由aaa拒绝节点序号3 policy-based-route aaa deny node 3 //匹配条件ACL 3333,即内部服务器返回内部的流量不需要被策略 if-match acl 3333 //策略路由aaa允许节点5 policy-based-route aaa permit node 5 //匹配ACL 2222,即内部服务器发出的流量 if-match acl 2222 //应用下一跳211.1.1.1,即从G5/1
23、出去 apply ip-address next-hop 211.1.1.1 # 四、配置关键点: 1) 此案例所实现之功能只在MSR上验证过,不同设备由于内部处理机制差异不能保证能够实现; 2) 策略路由是保证内部服务器返回外网的流量从G5/1出去,如果不使用策略路由会按照普通路由转发从G5/0出去,这样转换后的源地址211.1.1.4会被电信给过滤掉,因此必须使用策略路由从G5/1出去; 3) 策略路由的拒绝节点的作用是只要匹配ACL就变成普通路由转发,而不被策略; 4) 在G0/0应用2个NAT的作用是使内网可以通过访问211.1.1.4访问内部服务器,如果只使用N
24、AT Outbound Static,那么内部主机192.168.1.199发送HTTP请求的源、目的地址对<192.168.1.199, 211.1.1.4>会变成<192.168.1.199, 192.168.34.55>然后发送给内部服务器,那么内部服务器会把HTTP响应以源、目的地址对<192.168.34.55, 192.168.1.199>直接返回给内部主机(192.168.1.199可以经过内部路由不需要经过MSR到达)因此对于内部主机来说始终没有接收到211.1.1.4返回的HTTP响应,因此打开网页失败。解决问题的办法就是让内部服务器返回时经过MSR路由器,让MSR把HTTP
25、响应<192.168.34.55, 192.168.1.199>变成<211.1.1.4, 192.168.1.199>,方法就是再做一次NAT,通过NAT Outbound ACL 3000使HTTP请求变成MSR发送的<192.168.86.2, 192.168.34.55>,这样HTTP响应就会变成<192.168.34.55, 192.168.86.2>发送到MSR,MSR再变成<211.1.1.4, 192.168.1.199>返回给内部主机。 H3C低端交换机EAD快速部署特性的典型配置 一、 组网需求: 我司支持EAD快速部署的交换机设备一台 一台web服务器
26、多台PC客户端 二、 组网图: 三、 配置步骤: 1. 配置全局dot1x [h3c]dot1x 2. 配置重定向URL [h3c]dot1x url http://1.1.1.10/client 3. 配置free-ip [h3c]dot1x free-ip 1.1.1.10 24 4. 配置端口dot1x [h3c]interface g1/0/1 [h3c-GigabitEthernet1/0/1]dot1x 5. 配置支持EAD快速部署ACL定时器超时时间,单位为分钟 [h
27、3c]dot1x timer acl-timeout 100 四、 配置关键点: 1.必须先配置重定向URL,再配置free-ip,URL只能配置一条,且必须以http://开头. 2.Free-ip最多配置两个不同网段,配置free-ip时,不能使能堆叠,也不能使能802.1x特性的dhcp-launch. 3.使用域名进行重定向时会出现失败的情况,这与PC操作系统有关,如果域名解析不成功会访问某个特定的网站,通常这个地址不是x.x.x.x形式的,这样PC发出的ARP请求就不会收到回应,也就不能进行重定向. 4.使用域名重定向时需要将DNS服务器加入为Free-IP,即能够通过D
28、NS解析出域名,否则无法成功重定向. 5.DHCP Server包含在Free-IP中时,客户端可以动态获取到IP地址. 6.目前支持EAD快速部署功能的交换机版本如下: (1) H3C 5600 CMW310-F1600L01以后版本 (2) H3C 5100EI CMW310-E2200以后版本 (3) H3C 3600-SI_E328_E352 CMW310-F1600L01以后版本 (4) H3C 3600-EI CMW310-F1600L01以后版本 (5) H3C S3100EI_E126A CMW310-R2104以后版本 (6)
29、 H3C 3100-52P_E152 CMW310-F1600L01以后版本 S7506E与S6503通过专线互联丢包 故障排除过程分析 一、 组网: S7506E与S6503分别作为两个园区网的核心,中间通过运营商专线三层互联。为解决问题,临时接入到核心上两台pc,地址分别为192.168.144.21和192.168.18.4,三层互通,用于测试,定位问题。 二、 问题描述: 客户反映两个园区互访丢包严重,尢其是
30、监控业务,出现明显卡顿。两台设备上的测试PC互ping,经过联通线路会有7%以上的丢包率。 三、 过程分析: 1、检查是否配置问题? 检查配置,发现两台设备之间既有静态路由又起了RIP协议,两端设备上网段并不多,没必要用RIP。跟客户说明情况后,优化修改配置,把RIP去掉,只用静态路由,其他配置没问题。 2、链路上流量是否拥挤? 客户告知中间链路带宽为100Mbps,专线互联端口为100Mbps。在接口上发现数据速率在20Mbps以内,并且接口上没有错误包,广播报文也不多,据此临时判断非带宽问题。 3、确定数据包丢弃位置 1)在7506E交换机上做QOS策略,应用在与6503
31、互联接口的入和出方向上。 具体操作如下: //定义测试的数据流 acl number 3900 rule 10 permit icmp source 192.168.18.4 0 destination 192.168.144.21 0 rule 20 permit icmp source 192.168.144.21 0 destination 192.168.18.4 0 # //定义QOS策略 traffic classifier tj operator and if-match acl 3900 # traffic behavior tj accou
32、nting # qos policy tj classifier tj behavior tj # //把策略应用在互联接口G2/0/2的入出方向上: interface g2/0/2 qos apply policy tj inbound qos apply polcy tj outbound //显示数据包统计结果,通过查看QOS,会显示出入出方向的数据报文, dis qos policy interface g2/0/2 从192.168.18.4发出4个icmp request报文,但只返回3个,截图如下: 2)同时在65
33、03交换机连接PC接口的入方向上做qos流量统计,用来统计返回的icmp reply报文。 在6503上互联接口上做qos流量统计 //定义测试的数据流 acl number 3900 rule 10 permit icmp source 192.168.18.4 0 destination 192.168.144.21 0 rule 20 permit icmp source 192.168.144.21 0 destination 192.168.18.4 0 # interface g1/0/2 //连PC192.168.144.21的接口,统计REPLY报文 qos
34、 traffic-statistic inbound ip-group 3900 interface g3/0/47 //与7506E的互联接口,统计由7506E发过来的REQUEST报文 qos traffic-statistic inbound ip-group 3900 //查看统计的命令,具体统计结果看下面截图 display qos-interface g1/0/2 traffic-statistic display qos-interface g3/0/47 traffic-statistic
35、 从以上截图中我们看到S6503交换机g1/0/2端口两次报文统计数量差别为4,说明此次收到了从PC192.168.144.21返回的reply报文。 在S6503交换机互联端口上流量统计只能用在入方向,为了确定REPLY报文是否发出,在出方向上做端口镜像,通过电脑抓包,看出方向的报文。 抓包截图如下: 从上图可以看出,S6503交换机从与S7506E交换机互联端口G3/0/47已经发出了4个reply报文。 3)以上处理过程分析总结: A、此测试用ICMP报文测试,数据源为7506E端的192.168.18.4 ,目的为6503端的192.168.144.21,Ping了
36、4个报文,丢掉1个。 B、S7506E发送了4个报文为REQUEST,数量正常(参照前面截图)。 C、连接目标主机192.168.144.21的端口,接收了目标主机发出的4个REPLY报文,数量正常(参照前面截图) D、S6503与S7506E的互联接口,通过出方向端口镜像抓包,有4个REPLY报文,说明报文正常发出。 E、7506E上入方向REPLY报文只收到3个,少收1个(参照前面截图)。 通过以上测试,分析报文的转发过程,由此判断出包丢在链路上了。 为保证分析结果正确,进行了多次测试,结果一致 4)链路详细测试 抛开设备,链路两端直连PC,ping字节为30000的报文,
37、发现有少量丢包 用专IxChariot软件测试链路带宽发现不到10Mbps 结论:运营商提供的链路带宽远远小于承诺的100Mbps,带宽过窄,链路拥塞导致丢包。 四、 解决方法: 通过以上步聚分析,问题已经定位清楚,包丢在运营商线路上。让客户联系运营商排除线路,经过运营商调整线路后,网络正常,不再丢包。 S5024P-EI+S1626 的酒店解决方案典型配置 一、 组网需求: 出于网络安全性考虑,某酒店需要使用监
38、控服务器对每间客房的上行流量进行监控,且酒店每间客房的客户均可以通过出口路由器上网,互不干扰。为满足需求,提供以下组网方案: 1、 H3C S5024P-EI交换机作为核心交换机,H3C S1626作为接入交换机; 2、 将交换机上与路由器相连的端口镜像到与监控服务器相连的端口; 3、 在S1626上运用Isolate-user-vlan功能; 4、 为避免下行流量产生广播(因交换机的MAC表中不存在上行VLAN所对应的客户的MAC地址),使用交换机的MAC地址同步功能。 二、 组网图: 三、 配置步骤: S5024P-EI上的配置 (1)单击“设备管理→VLAN 设置→8
39、02.1Q VLAN”,进入VLAN 设置页面,单击<新建>按钮,创建所有客房所对应的VLAN(此处为:VLAN201、VLAN 202、VLAN301、VLAN 302)及VLAN 1000。 (2)单击“设备管理→VLAN 设置→Hybrid 端口”,进入Hybrid 端口设置页面,单击<新建>按钮,将端口1设置为Hybrid 端口,PVID 为1000,且出端口时报文不带VLAN Tag。 3)单击“设备管理→VLAN 设置→Trunk 端口”,进Trunk 端口设置页面,单击<新建>按钮,将端口2-端口4设置为Trunk 端口,且允许所有的VLAN 通过。 (4)单击 “
40、端口管理→端口设置→端口镜像”,进入端口镜像设置页,设置端口2 为监控端口,设置端口1为被镜像端口(监控其入端口和出端口数据)。 (5)单击“设备管理→VLAN 设置→MAC 地址同步”,进入MAC 地址同步设置页面;将下行VLAN(VLAN 201、202、301、302)同步到上行VLAN(VLAN 1000);单击“保存配置→保存配置”,进入相应的设置页面,单击<保存…>按钮完成设置。 S1626上的配置 (1)设置VLAN 1000 为Isolate User VLAN, (2)Isolate User VLAN 1000包含与交换机相连的上行端口和两个Second
41、ary VLAN:VLAN 201(对应201房间)和VLAN 202(对应202房间)。 (3)设置Secondary VLAN 的报文通过Isolate User VLAN 的上行端口时带VLAN Tag。 通过如上配置,可以实现酒店通过交换机的1端口监控出入客房的总流量,使用MAC地址的同步功能避免了下行流量产生广播,实现了酒店每间客房的客户均可以通过出口路由器上网,且互不干扰。 四、 配置关键点: S5024P-EI的mac地址同步设置 S1626的Isolate-user-vlan设置 S3600系列产品Qos流量监管和端口限速的配置 一
42、组网需求:
公司企业网通过以太网交换机的端口实现各部门之间的互连。财务部门的工资查询服务器由Ethernet1/0/1端口接入(IP地址129.110.1.2)。组网需求为限制工资服务器向外发送流量的平均速率不能超过640Kbps,超出规格的报文将报文优先级为4。
二、组网图:
三、配置步骤:
S3628P-EI的配置:
1.进入3000号的高级访问控制列表视图。
43、it ip source 129.110.1.2 0.0.0.0 destination any [Quidway-acl-adv-3000] quit 3.对工资服务器对外发送的流量进行流量限制 限制工资服务器向外发送报文的平均速率为640kbps,对超出规格的报文设置优先级为4。 [Quidway] interface Ethernet1/0/1 [Quidway-Ethernet1/0/1] traffic-limit inbound ip-group 3000 640 exceed remark-dscp 4 四、配置关键点: 该配置的关键就是对工资服务器对外发送的流量进
44、行流量限制,[Quidway-Ethernet1/0/1] traffic-limit inbound ip-group 3000 640 exceed remark-dscp 4。 H3C S9500交换机ARP表项的老化时间及防止老化机制 ARP表项的老化时间默认20分钟,命令arp timer aging可以修改ARP的老化时间。 当ARP老化到系统设置的老化时间的一半时,即默认情况下在10分钟时,会发送ARP请求,确定对端是否在线,若收到ARP应答,则重新更新ARP的老化时间;否则,继续老化,老化到0时,再次发送ARP请求,若没有收到应答,则老化该表项,在系统中删除。
45、在运行过程中,H3C S9500交换机收到ARP请求或者免费ARP报文后,会自动对该ARP的老化时间进行更新。 AIX系统下如何查看主机系统配置 1. 查看CPU信息 # lsattr -El proc0 frequency 1498500000 Processor Speed False smt_enabled true Processor SMT enabled False smt_threads 2 Processor SMT threads False stat
46、e enable Processor state False type PowerPC_POWER5 Processor type False 根据返回的信息可以看出,CPU的主频是1.5G,超线程已经打开,CPU的类型是POWER5 2. 查看CPU个数 # lsdev -C|grep proc proc0 Available 00-00 Processor proc2 Available 00-02 Processor C
47、PU有两个proc0和proc2 3. # lsattr -El mem0 查看内存 goodsize 3744 Amount of usable physical memory in Mbytes False size 3744 Total amount of physical memory in Mbytes False 内存是4G的,这里显示为3744,是因为有一些损耗。 S3600系列交换机ACL资源占用的使用说明 针对S3600系列交换机而言,ACL占用的资源分为占用mask资源与占用rule资源两种,mask资源即下发的rule中网段掩码对应
48、的资源数量,rule资源即acl中总的rule条目数。不同设备对应的可用的mask资源与rule资源数量不同,其中还包括系统占用的一些资源。只有当mask剩余资源与rule剩余资源同时满足的情况下,acl才能下发成功。对于acl的资源使用情况,可以使用命令display drv qacl_resource 来查看,以S3600-52P-EI为例,结果如下:
49、9 12 237 1 4 19 12 237 2 4 19 12 237 3 4 19 12 237 4 4 19 12 237 5 4 19 12 237 6 4 5 12 123 7 4 5 12 123 8 4 5 12 123 9 4 5 12






