IPv6应用实践-中科大.pptx

IPv6IPv6应用实践应用实践张焕杰中国科学技术大学 网络信息中心2024/5/22 周三1提纲中国科大校园网络简介安徽省教育主干网简介校园网IPv6应用与管理2024/5/22 周三2一流的基础设施 支撑一流研究型大学建设20余年建设校园网络覆盖校园各个角落直接服务科学研究过程文献访问 同行交流 科研协作 应用保障 超算服务高速安全智能稳定10余年建设超算设施服务重点科研方向2024/5/22 周三3加大平台建设，增强服务能力校园网络承载上网流量、一卡通、视频监控、能源监控等10余套业务7X24保障全校师生正常使用，保障谷歌学术一直可用大陆高校第一家开通eduroam学术无线网络漫游服务提供学术带宽，近代物理系与CERN的带宽使用排国内前列参与北京、上海、苏州校区以及先研院的网络规划设计和对接安徽省教育和科研计算机网覆盖16个城市，连接教育厅、考试院和省内近80所高校保障历年高招录取、视频会议等关键应用 超算中心“研究组校级共享国家级”三级超算服务模式支持的高水平科研成果不断涌现，发表在nature、nature子刊等一流期刊，全校约10%的高水平论文使用超算平台2024/5/22 周三4教育网CERNET 网络信息中心东校区西校区南校区服务器群超级计算平台联通CUNET校园网络主干及出口示意图10G下一代教育网CERNET2(IPv6)电信CHINANET教三楼生命科学学院加速器计算机科学系信息学院火灾科学实验室高性能计算中心图书馆西区活动中心力三楼力二楼力一楼南区教学楼南区办公楼MBA中心软件学院南区图书馆南区实验楼南区学生宿舍西区学生宿舍力四楼南区汇聚节点东区学生宿舍行政办公楼理化中心大楼理化一号楼大礼堂微尺度物理楼数学楼教一楼教二楼化学楼艺术楼东区活动中心公共事务学院电四楼电子工程与信息系计算中心汇聚节点无线网1.7G科技网CSTNET 1.2G3G2G移动CMNET1G西区核心网络中心核心先研院核心万兆主干、万兆主干、千兆进楼、千兆进楼、百兆到桌面百兆到桌面万兆主干、万兆主干、万兆进楼、万兆进楼、千兆到桌面千兆到桌面1+21+22+32+34+64+62024/5/22 周三5中国科大校园网特点1+2 充足的网络资源1个自治域号 ASN 450812B IPv4地址，其中1B+32C直接从CNNIC申请/32 IPv6地址2+3 多样的网络出口和丰富的可用带宽2个学术网络出口：中国教育和科研计算机网、中国科技网3个商业网络出口：移动、联通、电信实际使用带宽约13G（2万用户）4+6 IP协议全支持2005年5月起全校网络支持IPv4+IPv6双栈目前约1/2的用户使用IPv62层VLAN范围广2层VLAN覆盖合肥的校区和上海研究院2024/5/22 周三6合肥路由器B上海路由器B合肥城域网核心交换机上海城域网核心交换机科大先研院交换机科大东区交换机上海研究院交换机干线科大先研院科大上海研究院科大VPN虚拟机Eth0 10.255.34Eth1 172.16.21.2(电信)Eth2 数据口vlan989vlan989上海VPN虚拟机Eth0 10.255.34Eth1 218.22.21.10Eth2 数据口上海研究院VLAN透传无线ACVLAN200POE交换机及APVLAN2008个IP8个IP干线的1G带宽为主线路电信公网为备用线路2024/5/22 周三7主备线路使用情况主用干线1G备用电信Internet主用线路故障，3秒钟切换开通的业务：1.无线上网，包含eduroam，跟科大本部完全相同2.一卡通服务，跟科大本部一样采用无线连接3.上海研究院有线网络用户访问科大本部2024/5/22 周三8用户自主选择路由普通用户9种出口组合VIP用户+4种2024/5/22 周三9提纲中国科大校园网络简介安徽省教育主干网简介校园网IPv6应用与管理2024/5/22 周三10安徽省教育和科研计算机网主干省级教育行业主干网，连接近80所高校支持IPv4/IPv6协议2024/5/22 周三11武汉南京济南安徽省教育科研网省网中心（科大）省网中心（科大）IPv4 IPv4主干主干20132013年改造年改造南京武汉中国教育科研网CERNET网络中心（赛尔网络）网络中心（赛尔网络）CNGI主干网清华大学清华大学中国科大支持中国科大支持CENETCENET合肥节点合肥节点（科大）支持（科大）支持省网主节点省网主节点（高校）（高校）支持支持市市专线接入学校专线接入学校VPNVPN接入学校接入学校IPv6IPv6主干主干20182018年改造年改造VPN1G 10G 100GIPv6/IPv4IPv6/IPv4国国家家级级主主干干省省级级主主干干接接入入网网络络非完全商业化运作，会员制非完全商业化运作，会员制分级建设，协同管理，统一服务分级建设，协同管理，统一服务赛尔负责赛尔负责IPIP地址域名、主干传输地址域名、主干传输省网负责省内线路和传输省网负责省内线路和传输会员学校就近会员学校就近接入接入20142014年改造年改造100GX4100GX410G10G1G1G2024/5/22 周三12安徽省教育和科研计算机网u线路与协议 合肥部分高校10G+1G线路 省内各城市1G线路+VPN备用线路 部分学校VPN线路接入 支持IPv6/IPv4双栈u路由协议 CERNET静态路由/CERNET2 BGP 内部主干使用OSPF+OSPFv3协议 BGP承载用户路由u冗余性 主干线路1G+VPN备用线路 合肥局部光纤环网 部分高校双路由裸光纤，动态路由或port channel备用 IPv4总流量IPv6总流量2024/5/22 周三132024/5/22 周三14IPv6流量合肥工业大学安徽大学安徽农业大学安徽师范大学滁州学院中国科学技术大学2024/5/22 周三15透传VPN技术将以太网数据包利用其它网络透传https:/ 周三16学校VPN接入231原始数据包VPN后数据包2024/5/22 周三17学校VPN接入123456原始数据包VPN后数据包2024/5/22 周三18提纲中国科大校园网络简介安徽省教育主干网简介校园网IPv6应用与管理2024/5/22 周三19科大校园网IPv6历史1999年李津生教授承担863课题中国科大IPv6示范网2000年采用纯IPv6链路和隧道技术相结合的组网技术，建成校内IPv6测试网2004年CNGI-CERNET2中国科学技术大学节点建成2005年校园网改造为万兆主干，校内全面支持IPv6，包括OpenVPN的远程用户均支持IPv62017年反向代理支持IPv6，600余个网站正式提供IPv6服务2024/5/22 周三20网络管理理念以用户为中心支持技术探究开放的校园网络接入方式丰富，满足各种用户需要使用方便快捷，尽量少设置障碍只要不违反法律法规不影响网络运行都应该支持只要是TCP/IP系统都能接入应用如支持LUG(学生Linux协会)开展PXE启动、开源软件镜像等技术探究https:/ 周三21IPv6主干万兆主干2台Cisco N7K、1台H3C CR16004(BRAS)处理3层路由其他设备仅作2层交换机使用IPv4/IPv6双栈路由协议3台核心交换机之间路由协议为OSPFv3利用BGP协议与CNGI-CERNET2接入设备互通部分静态路由2024/5/22 周三22BGP路由信息科大自治域2400:B600:/32CERNET2合肥节点自治域CERNET2核心网自治域沃达丰IIJHECNGI-IX自治域2024/5/22 周三23用户IPv6接入无认证校内办公区、宿舍区、无线网络直接接入校外用户OpenVPN，通过电信、联通、移动网络出口提供用户接入地址分配使用无状态方式分配IPv6地址只要安装IPv6协议就能分到地址，最大程度方便用户2024/5/22 周三24vlan接口配置interface Vlan167 ip address 202.38.81.254/25 ip verify unicast source reachable-via rx ipv6 address 2001:da8:d800:81:1/64 ipv6 verify unicast source reachable-via rx ip dhcp relay address 202.38.64.7 2024/5/22 周三25BRAS接口配置interface Route-Aggregation1.500 vlan-type dot1q vid 500 second-dot1q 51 to 900 dhcp select relay ipv6 address 2001:DA8:D800:500:1/64 ipv6 address auto link-local ipv6 nd autoconfig other-flag undo ipv6 nd ra halt ipv6 nd ra router-lifetime 9000 ipv6 subscriber l2-connected enable ipv6 subscriber initiator ndrs enable ipv6 subscriber initiator unclassified-ip enable ipv6 subscriber user-detect nd retry 5 interval 60 ipv6 subscriber unclassified-ip domain ustcipv6 ipv6 subscriber ndrs domain ustcipv6开发一个简单的radius服务器，仅仅允许特定的地址段上线2024/5/22 周三26子网用户的IPv6接入子网用户有些实验室建立子网，通过地址转换设备连接到校园网。可以将IPv6数据包桥接到内网，让内部用户使用IPv6也可以分配独立网段，设置静态路由子网用户的独立网段IPv6接入给子网分配IPv6/64前缀，核心交换机设置静态路由子网管理员在子网的网关设备上设置如下信息内外接口IPv6地址设置默认路由，并启用路由功能设备内部的RA广播通过这些设置，子网内的用户同样可以方便使用IPv62024/5/22 周三27用户的跟踪与日志记录采集交换机上的信息来跟踪用户收集3层交换机用户的IPv6地址和MAC地址对应表show ipv6 nei通过snmp协议收集2层交换机的MIB信息可以得到某个MAC地址是在哪个接口下的BRAS使用radius记账消息提供IPv6地址和MAC地址、2层VLAN的信息使用这些信息，可以任给IPv6地址，可以查出某个时间段对应的MAC地址；对于宿舍用户，根据内层VLAN号可以直接定位到宿舍房间任给MAC地址，可以查出接在哪个交换机的哪个接口下2024/5/22 周三282024/5/22 周三可编辑29/31校园网IPv4/IPv6活动机器数据IPv6机器数 IPv4机器数 月年一天内IPv4机器数 IPv4IPv4机器数机器数IPv6IPv6机器数机器数一天内4万3万一周内6.9万6.2万2024/5/22 周三30科大校园网IPv6应用基础IPv6环境DNS、OpenVPN现有应用的IPv6原生支持BBS/IPTV/FTP/个人主页/高性能计算等IPv6相关科研项目的支撑和试验环境基于IPv6的传感器网络研究等网站的大规模服务支持使用nginx反向代理服务器，对外统一提供IPv6+SSL支持2024/5/22 周三31互联网根DNS服务器名义上有13个13个 a.root- m.root-http:/ 每个有IPv4、IPv6地址13个的原因是DNS数据包最大512字节的限制实际上远远不止13个很多服务器在13个IP地址上提供服务(AnyCast)http:/root-servers.org/公布有官方的，大约几百个真实的服务器数量没有人能准确知道教育网内的根域名服务器测量到根域名服务器的IPv4地址延迟，可以判断教育网内有12个根域名服务器0ms f j30ms a b c d e g i k l m300ms h 这个不在教育网内30ms以内的延迟，在教育网内2024/5/22 周三32互联网根DNS服务器任何人都可以做根域名服务器任何人只要下载 https:/www.iana.org/domains/root/files配置好bind，就可以提供根域名服务要想使用方便，需要劫持相关的路由教育网劫持了12个根域名服务器的IPv4路由我校自己提供根域名服务劫持了13个根域名服务器的IPv6路由和1个IPv4路由相关说明https:/ 周三33校园网劫持的路由#show ip route198.97.190.53/32,ubest/mbest:1/0 *via 202.38.64.12,20/0,8w0d,bgp-45081,external,tag 65500#show ipv6 route2001:500:1:53/128,ubest/mbest:1/0 *via 2001:da8:d800:12,Vlan640,20/0,8w0d,bgp-45081,external,tag 655002001:500:2:c/128,ubest/mbest:1/02001:500:12:d0d/128,ubest/mbest:1/02001:500:2d:d/128,ubest/mbest:1/02001:500:2f:f/128,ubest/mbest:1/02001:500:9f:42/128,ubest/mbest:1/02001:500:a8:e/128,ubest/mbest:1/02001:500:200:b/128,ubest/mbest:1/02001:503:c27:2:30/128,ubest/mbest:1/02001:503:ba3e:2:30/128,ubest/mbest:1/02001:7fd:1/128,ubest/mbest:1/02001:7fe:53/128,ubest/mbest:1/02001:dc3:35/128,ubest/mbest:1/02024/5/22 周三34知名学校主网站特性对比学校学校IPv6IPv6SSLSSLHTTP/2HTTP/2Harvard UniversityMITStanford UniversityUC BerkeleyUniversity of OxfordCalifornia Institute of TechnologyUniversity of CambridgeColumbia UniversityPrinceton UniversityYale University2024/5/22 周三35C9学校主网站特性对比学校学校教育网教育网电信电信联通联通移动移动鹏博士鹏博士IPv6IPv6SSLSSLHTTP/2HTTP/2中科大北大清华浙大南大上交复旦西交哈工大https:/ 周三36IPv6+SSL网站服务教育网交换机 电信联通科技网虚拟机1个接口划分若干VLAN每个VLAN对应一个出口移动WAFWEB防火墙反向代理服务器有6个入口解决访问速度问题1台反向代理服务600个网站统一申请SSL证书+IPv6支持WAF倒置倒置统一统一拦截各类拦截各类WEB攻击攻击Linux虚拟机反向代理服务器 IPv4/IPv6WANLAN增加HTTP 头：Host:X-Real-IP:X-Forwarded-Proto:两种SSL证书Letsencrypt.org*独立域名证书自动更新nginx开源软件免费证书HTTP2支持2024/5/22 周三37科大、清华网站速度对比https:/ 周三38科大与部分学校网站速度对比北大清华上交复旦中科大 vs2024/5/22 周三39网站访问SSL测试2024/5/22 周三40网站访问统计2024/5/22 周三41网站访问统计https:/ 周三42IP黑名单系统核心交换机IP黑名单系统http:/丢弃发给黑名IP的数据包（单向）0022 ssh扫描0023 telnet扫描0025 垃圾邮件发送0080 恶意文件下载、WAF报警1433 SQL扫描3306 MySQL扫描3389 远程桌面扫描不同的攻击，加黑名单的时间不等IP黑名单 校园网BGP动态注入手工添加日志分析蜜罐捕获东北大学其他原理：ip route 192.0.2.1/32 Null0ipv6 route 2001:db8:1/128 Null0通过BGP把黑名单IP的next_hop设置为192.0.2.1或2001:db8:12024/5/22 周三43IP黑名单统计2024/5/22 周三44IP黑名单管理2024/5/22 周三45存在问题与下一步工作思考IPv6流量占比少带宽曾经占校园出口50%比例，目前占比大约15%网站访问占比10%更多应用的建设新建/移植更多的应用吸引更多的高带宽科研用户充分发挥高带宽的优势吸引各种高性能计算用户/网格应用用户支撑更多的与IPv6有关的科研项目提供稳定的网络，逐步吸引用户2024/5/22 周三462024/5/22 周三47