虚拟化关键技术案例.doc

虚拟化技术
案例一、KVM寻常管理
一、实验目
(1) 掌握通过VIRSH对虚拟机进行寻常管理方式。
(2) 掌握VNC使用方式。
(3) 理解虚拟机进行CPU扩容，内存扩容及优化概念。
二、实验原理
可以使用各种方式创立虚拟机，例如qemu，virt-manager等。本例使用virt-install创立Ubuntu14.04虚拟机demo。以demo虚拟机为例，通过virsh工具进行CPU扩容，内存扩容，网络桥接，内存优化，磁盘I/O优化测试等，通过这些方式，让读者掌握KVM虚拟机寻常管理操作。
三、实验环境
宿主机操作系统：Ubuntu14.04版本，4.2.0-27-generic内核，QEMU2.0.0版本，IP地址192.168.70.204。
虚拟机操作系统：Ubuntu14.04版本。
四、实验内容及环节
1、VIRSH创立和管理虚拟机
(1) 在宿主机上，创立虚拟磁盘,-f指定格式，代码如下所示：
root@xjy-pc:/home/kvm# qemu-img create -f raw /home/kvm/ubuntu.raw 10G
Formatting '/home/kvm/ubuntu.raw'，fmt=raw size=
(2) 使用virt-install（读者也可以通过其她方式创立虚拟机），通过环节一中创立虚拟磁盘，创立一台Ubuntu虚拟机，命名为demo，指定VNC端标语。如下所示：
root@xjy-pc:/home/kvm# virt-install --name demo --virt-type kvm --ram 1024 --cdrom /home/kvm/iso/ubuntu-14.04-desktop-amd64.iso --disk /home/kvm/ubuntu.raw --network network=default --graphics vnc,listen=0.0.0.0 --noautoconsole

Starting install...
Creating domain... | 0 B 00:00
Domain installation still in progress. You can reconnect to the console to complete the installation process.
(3) 在此外一台Windows操作系统中，打开一种VNC客户端，输入服务器IP地址和VNC端标语（这里是192.168.70.204:5900），连接建立KVM虚拟机，如图1所示。

图1 VNC连接KVM虚拟机
(4) 将环节二中Ubuntu虚拟机逐渐进行安装，图2为安装过程界面，安装完毕后，图3所示为Ubuntu虚拟机启动后界面。

图2 Ubuntu14.04安装界面

图3 Ubuntu14.04虚拟机
(5) 可以使用virsh list查看已经启动虚拟机，如果未启动，使用命令“virsh start demo”进行启动，代码如下所示：
root@xjy-pc:/etc/libvirt/qemu# virsh list --all
Id Name State
----------------------------------------------------
- demo shut off

root@xjy-pc:/etc/libvirt/qemu# virsh start demo
Domain demo started

root@xjy-pc:/etc/libvirt/qemu# virsh list --all
Id Name State
----------------------------------------------------
12 demo running
(6) 可以使用“virsh shutdown demo”关闭demo虚拟机，使用“virsh destroy demo”强制关闭demo虚拟机电源。如下所示：
root@xjy-pc:/etc/libvirt/qemu# virsh list --all
Id Name State
----------------------------------------------------
12 demo running

root@xjy-pc:/etc/libvirt/qemu# virsh destroy demo
Domain demo destroyed

root@xjy-pc:/etc/libvirt/qemu# virsh list --all
Id Name State
----------------------------------------------------
- demo shut off

(7) KVM虚拟机配备文献默认位置为：/etc/libvirt/qemu/，可以通过配备文献定义并启动虚拟机，命令为：virsh create /etc/libvirt/qemu/demo.xml。
(8) 通过virsh将内存中运营虚拟机导出至虚拟机配备文献，命令为：# virsh dumpxml demo > /etc/libvirt/qemu/demo2.xml，如图4所示。

图4 将虚拟机导出xml文献
(9) 通过“virsh edit demo”可以编辑KVM虚拟机配备文献，virsh edit将调用vi命令编辑/etc/libvirt/qemu/demo.xml配备文献。也可以直接通过vi命令进行编辑，修改，保存。
2、CPU扩容
(1) 使用“virsh edit”编辑虚拟机，为了实现CPU热添加，就需要更改CPU最大值，固然热添加值不能超过最大值。修改demo虚拟机vcpu配备当前为1，自动扩容，最大为4，代码如下：
root@xjy-pc:/etc/libvirt/qemu# virsh edit demo
<domain type='kvm'>
<name>demo</name>
<uuid>7ed0d5dd-d283-5390-9575-c1458db792fd</uuid>
<memory unit='KiB'>1048576</memory>
<currentMemory unit='KiB'>1048576</currentMemory>
<vcpu placement='auto' current='1'>4</vcpu>
<os>
<type arch='x86_64' machine='pc-i440fx-trusty'>hvm</type>
<boot dev='hd'/>
</os>
<features>
<acpi/>
……
(2) 关闭虚拟机demo，再次启动，并使用“virsh setvcpus”命令将demo热修改为2个cpu。
root@xjy-pc:/etc/libvirt/qemu# virsh shutdown demo
Domain demo is being shutdown
root@xjy-pc:/etc/libvirt/qemu# virsh start demo
Domain demo started
root@xjy-pc:/etc/libvirt/qemu# virsh setvcpus demo 2 --live

(3) 通过VNC登录KVM虚拟机，使用命令“grep processor /proc/cpuinfo |wc -l”查看与否扩容成功，如果成果为2，阐明扩容成功。
3、内存扩容
(1) 内存设立拥有一种气球(balloon)机制，可以增大也可以减少，但要设立一种最大值，默认并没有最大值，可以在安装时指定。
(2) 使用virsh edit编辑demo虚拟机配备文献，<memory>标签表达最大内存。将图5中<memory>标签内容设立为4194304（4G），如图6所示。<currentMemory>标签内容表达当前内存为1048576（1G）。

图5 demo虚拟机配备文献

图6 修改demo虚拟机配备文献
(3) 配备文献修改后，关闭虚拟机demo，再次启动。如下所示：
root@xjy-pc:/etc/libvirt/qemu# virsh shutdown demo
Domain demo is being shutdown

root@xjy-pc:/etc/libvirt/qemu# virsh start demo
Domain demo started

(4) demo虚拟机内存修改之前使用“virsh qemu-monitor-command”命令查看demo当前内存。代码如下，“balloon：actual=1024”表达当前内存为1024M，即1G。
root@xjy-pc:/etc/libvirt/qemu# virsh qemu-monitor-command demo --hmp --cmd info balloon
balloon：actual=1024
(5) 将demo内存热修改为2097M，即2G。修改完毕后再次查看当前内存，代码如下：
root@xjy-pc:/etc/libvirt/qemu# virsh qemu-monitor-command demo --hmp --cmd balloon 2097

root@xjy-pc:/etc/libvirt/qemu# virsh qemu-monitor-command demo --hmp --cmd info balloon
balloon：actual=2097
(6) 可以看出内存已经热修改为2G。
4、网络管理
(1) 在默认状况KVM网络是NAT模式，但是在生产状况，用多都是网桥模式。
(2) 一方面在宿主机上添加一种网桥br0，并查看网桥信息。使用命令“brctl”。代码如下：
root@xjy-pc:~# brctl addbr br0
root@xjy-pc:~# brctl show
bridge name bridge id STP enabled interfaces
br0 8000. no
virbr0 8000.fe540048bd84 yes vnet0
(3) 网桥br0添加完毕后，查看br0ip地址，代码如下：
root@xjy-pc:~# ifconfig br0
br0 Link encap:Ethernet HWaddr 26:f4:b6:0d:7a:7f
BROADCAST MULTICAST MTU:1500 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
(4) 接下来使用桥接模式把eth0加入网桥br0，让eth0成为br0一种端口。同步将eth0接口ip删除，给br0设立ip为192.168.70.205，24位子网掩码。同步添加路由网关为192.168.70.2，并关闭防火墙，代码如下：（这个环节会导致宿主机网络断掉，之后重新通过bridge建立网络连接，因此建立bridge这个环节不要通过SSH连接远程配备。）
root@xjy-pc:~# brctl addif br0 eth0 &&ip addr del dev eth0 192.168.70.204/24 && ifconfig br0 192.168.70.205/24 up && route add default gw 192.168.70.2&& iptables -F
(5) 再次查看网桥br0ip地址，代码如下：
root@xjy-pc:~# ifconfig br0
br0 Link encap:Ethernet HWaddr 00:25:90:76:67:b5
inet addr:192.168.70.205 Bcast:192.168.70.255 Mask:255.255.255.0
inet6 addr：fe80::225:90ff:fe76:67b5/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:528 errors:0 dropped:0 overruns:0 frame:0
TX packets:104 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:76041 (76.0 KB) TX bytes:15118 (15.1 KB)
(6) 使用virsh edit命令编辑虚拟机网络配备，修改为使用br0网桥模式。

图7 demo虚拟机未修改前网络配备

图8 demo虚拟机修改后网络配备
(7) 将demo虚拟机关闭后重新启动，代码如下：
root@xjy-pc:/etc/libvirt/qemu# virsh shutdown demo
Domain demo is being shutdown

root@xjy-pc:/etc/libvirt/qemu# virsh start demo
Domain demo started
(8) 使用VNC连接demo虚拟机，在demo虚拟机中配备其静态IP地址为192.168.70.203后重启网卡。代码如下：
root@demo-pc:~# ifconfig eth0
eth0 Link encap:Ethernet HWaddr 51:54:00:48:bd:84
inet addr:192.168.70.203 Bcast:192.168.70.255 Mask:255.255.255.0
inet6 addr：fe80::225:90ff:fe76:67b5/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:208452 errors:0 dropped:219 overruns:0 frame:0
TX packets:702108 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:66675114 (66.6 MB) TX bytes: (1.0 GB)
Interrupt:20 Memory:f7a00000-f7a0
root@demo-pc:~# /etc/init.d/networking restart

(9) 在KVM服务器上使用ping命令测试与demo虚拟机连通性，代码如下：
root@xjy-pc:~# ping 192.168.70.203 -c 5
PING 192.168.70.203 (192.168.70.203) 56(84) bytes of data.
64 bytes from 192.168.70.203：icmp_seq=1 ttl=64 time=0.265 ms
64 bytes from 192.168.70.203：icmp_seq=2 ttl=64 time=0.329 ms
64 bytes from 192.168.70.203：icmp_seq=3 ttl=64 time=0.225 ms
64 bytes from 192.168.70.203：icmp_seq=4 ttl=64 time=0.314 ms
64 bytes from 192.168.70.203：icmp_seq=5 ttl=64 time=0.303 ms

--- 192.168.70.203 ping statistics ---
5 packets transmitted，5 received，0% packet loss，time 3999ms
rtt min/avg/max/mdev = 0.225/0.287/0.329/0.039 ms
(10) 在demo虚拟机中使用ping命令测试与KVM服务器连通性，代码如下：
root@demo-pc:~# ping 192.168.70.205 -c 5
PING 192.168.70.205 (192.168.70.205) 56(84) bytes of data.
64 bytes from 192.168.70.205：icmp_seq=1 ttl=64 time=0.181 ms
64 bytes from 192.168.70.205：icmp_seq=2 ttl=64 time=0.207 ms
64 bytes from 192.168.70.205：icmp_seq=3 ttl=64 time=0.329 ms
64 bytes from 192.168.70.205：icmp_seq=4 ttl=64 time=0.388 ms
64 bytes from 192.168.70.205：icmp_seq=5 ttl=64 time=0.248 ms

--- 192.168.70.205 ping statistics ---
5 packets transmitted，5 received，0% packet loss，time 3999ms
rtt min/avg/max/mdev = 0.181/0.288/0.388/0.064 ms
(11) 至此，虚拟机通过桥接模式和宿主机连通，和外界网络也保持了畅通。
5、内存优化
内存优化项普通涉及EPT技术、透明大页和KSM技术几种。
EPT技术：
(1) EPT技术也叫扩展页表，这是Intel开创硬件辅助内存虚拟化技术。内存使用，是一种逻辑地址跟物理地址转换过程。虚拟机内部有逻辑地址转换成物理地址过程，然后虚拟机又要和宿主机内存进行逻辑到物理转换过程，整个寻址过程有两次地址转换，效率非常低。而EPT技术，能将两次地址转换变成了一次，提高效率。这项技术基本上当前服务器CPU都支持，只要在BIOS打开了IntelVT设立，那么EPT也一起打开了。
(2) 使用图9中命令查看CPU与否支持EPT特性，使用图10中命令查看与否已启动EPT和VPID，Y表达已经加载了EPT和VPID，如果没加载可以通过命令“Modprobekvm _intel ept=0,vpid=0”加载。如图9和10所示：

图9 查看cpu与否支持EPT特性

图10 查看与否启动EPT特性
透明大页：
(1) 透明大页，也叫透明巨型页（Transparent Huge Page，THP），它容许所有空余内存被用作缓存以提高性能，使用大页可以明显提高CPU命中率,因此如果GuestOS使用大内存或者内存负载比较重状况下，通过配备透明大页可以明显提高性能。这个设立在Ubuntu14.04中是默认启动，不需要手动去操作。
(2) Ubuntu14.04支持透明大页，默认启动，如图11所示：

图11 透明大页默认启动
(3) 图11中参数阐明：
never :关闭。
always :尽量使用透明大页，扫描内存，有512个4k页面可以整合，就整合成一种2M页面，需要使用swap时候，内存被分割为4k大小。
madvise :避免变化内存占用。
(4) 默认状况下，大页数目为0，通过下面两种方式可以查看到，代码如下：
root@xjy-pc:~# cat /proc/sys/vm/nr_hugepages
0
root@xjy-pc:~# cat /proc/meminfo|grep HugePage
AnonHugePages： 376832 kB
HugePages_Total： 0
HugePages_Free： 0
HugePages_Rsvd： 0
HugePages_Surp： 0
(5) 设立大页数量为后，再次查看大页数目，此时系统有个可用大页，代码如下：
root@xjy-pc:~# echo > /proc/sys/vm/nr_hugepages
root@xjy-pc:~# cat /proc/sys/vm/nr_hugepages

(6) 修改大页数量后查看虚拟机运营状态，发现虽然虚拟机在运营，透明大页也没有被使用。
root@xjy-pc:~# virsh list --all
Id Name State
----------------------------------------------------
2 demo running

root@xjy-pc:~# cat /proc/meminfo|grep HugePage
AnonHugePages： 374784 kB
HugePages_Total：
HugePages_Free：
HugePages_Rsvd： 0
HugePages_Surp： 0
(7) 使用命令“virsh shutdown demo”将demo虚拟机关闭，然后修改demo虚拟机配备，添加使用大页内容，（图12中可以看到demo虚拟机内存为1G），在图12<currentMemory>标签下面添加<memoryBacking>标签。如图12和13所示。

图12 demo虚拟机配备文献修改前

图13 demo虚拟机配备文献修改后
(8) 挂载大页，然后重新启动libvirtd-bin。
root@xjy-pc:/dev# mount -t hugetlbfs hutetlbfs /dev/hugepages
root@xjy-pc:/dev# mount|tail -l
……
hutetlbfs on /dev/hugepages type hugetlbfs (rw)
root@xjy-pc:/dev# /etc/init.d/libvirt-bin restart
* Restarting libvirt management daemon /usr/sbin/libvirtd
...done.
(9) 使用“virsh start demo”重新启动虚拟机后查当作果。从如下代码可以看出，共消耗了520个大页，每个大页默认大小为2M，正好是demo所有内存。
root@xjy-pc:/dev# cat /proc/meminfo|grep -i HugePage
AnonHugePages： 34816 kB
HugePages_Total：
HugePages_Free： 1480
HugePages_Rsvd： 0
HugePages_Surp： 0
Hugepagesize： 2048 kB
(10) 如果关闭demo话，所有大页将被释放，代码如下：
root@xjy-pc:/dev# virsh shutdown demo
Domain demo is being shutdown
root@xjy-pc:/dev# cat /proc/meminfo|grep -i HugePage
AnonHugePages： 34816 kB
HugePages_Total：
HugePages_Free：
HugePages_Rsvd： 0
HugePages_Surp： 0
Hugepagesize： 2048 kB
(11) 此外，透明大页启动使用命令“echo always > /sys/kernel/mm/transparent_hugepage/enabled”，关闭使用“echo never >/sys/kernel/mm/transparent_hugepage/enabled”。

KSM技术：
(1) KSM（Kernel SamePage Merging），也叫相似页面内存压缩技术。KSM服务在Linux系统里默认是启动，它作用就是让内存运用更加高效。内存是分页，如果各种程序中用内存都是相似页面，那么KSM就会把相似内存合并，这样就能腾出更多空间。
(2) KSM在系统里有个守护进程ksmd，它作用就是不断扫描宿主机内存状况，检测有相似页面就会合并，固然这或多或少会消耗点CPU。查看ksmd进程代码如下：
root@xjy-pc:~# ps aux|grep ksmd|grep -v grep
root 68 0.4 0.0 0 0 ? SN 09:16 0:13 [ksmd]
(3) 如果宿主机环境，内存资源比较丰富，建议这个功能不启动。如果不够，又想跑多一点虚拟机，那么可以打开这个功能，但是一定要清晰，这个是一种内存超用方案，如果大某些虚拟机内存变化比较频繁（例如内存使用率一下高，一下低），那么不建议启动，由于内存不够时，就会用到SWAP，那么KSM会严重影响虚拟机性能。
(4) 在宿主机KSM服务打开状况下，如果不想让虚拟机受宿主机KSM影响，可以进行如下操作：
编辑虚拟机XML文献，添加：
<memoryBacking>
<nosharepages/>
</memoryBacking>
这样，KSM就不会去合并这个虚拟机内存了
6、磁盘I/O优化
(1) I/O调度算法，也叫电梯算法。普通有Noop，Deadline和CFQ几种。Noop Scheduler是一种简朴FIFO队列，一种最简朴调度算法，由于会产生读I/O阻塞，普通使用在SSD硬盘，此时不需要调度，I/O效果非常好。Deadline Scheduler是按照截止时间调度算法，为了防止浮现读取被饿死现象，按照截止时间进行调节，默认是读期限短于写期限，这样就不会产生饿死状况。CFQ（Complete Fair Queueing Schedule）是完全公平排队I/O调度算法，保证每个进程相对特别公平使用I/O。
(2) 查看宿主机Ubuntu14.04支持调度算法，默认采用Deadline Scheduler，代码如下：
root@xjy-pc:/dev# dmesg|grep -i "scheduler"
[ 0.378025] io scheduler noop registered
[ 0.378027] io scheduler deadline registered (default)
[ 0.378048] io scheduler cfq registered
(3) 暂时修改宿主机sda磁盘I/O调度算法，将deadling修改为CFQ模式，代码如下：
root@xjy-pc:/dev# cat /sys/block/sda/queue/scheduler
noop [deadline] cfq
root@xjy-pc:/dev# echo cfq > /sys/block/sda/queue/scheduler
root@xjy-pc:/dev# cat /sys/block/sda/queue/scheduler
noop deadline [cfq]
(4) 虚拟机磁盘只但是是宿主机一种文献,因此其I/O调度并无太大意义,反而会影响I/O效率,因此可以通过将客户机I/O调度方略设立为NOOP来提高性能。NOOP就是一种FIFO队列,不做I/O调度。
五、实验代码
无
虚拟化技术
案例二、虚拟机迁移
一、实验目
(1) 掌握虚拟机迁移概念。
(2) 掌握虚拟机静态迁移方式和动态迁移方式。
(3) 掌握NFS服务器配备和使用。
二、实验原理
静态迁移是指在虚拟机关闭或暂停状况下，将源宿主机上虚拟机磁盘文献和配备文献拷贝到目的宿主机上。这种方式需要显式停止虚拟机运营，对服务可用性规定高需求不适当。
动态迁移无需拷贝虚拟机配备文献和磁盘文献，但是需要迁移主机之间有相似目录构造放置虚拟机磁盘文献，可以通过各种方式实现，本例采用基于共享存储动态迁移，通过NFS来实现。
三、实验环境
服务器操作系统：Ubuntu14.04版本。
源宿主机为节点1，主机名xjy-pc，桥接IP为192.168.10.221，NFS挂载目录/home/kvm。
目的宿主机为节点2，主机名为lib，桥接IP为192.168.10.215，NFS挂载目录/home/kvm。
静态迁移测试虚拟机：demo，IP为192.168.10.210，虚拟磁盘文献为ubuntu.raw。
动态迁移测试虚拟机：demo3，IP为192.168.10.210，虚拟磁盘文献为ubuntu.raw。
NFS服务器：操作系统版本:OEL5.8x64，桥接IP为192.168.10.161，服务目录为/mnt/vg/。
四、实验内容及环节
1、虚拟机静态迁移
(1) 静态迁移也叫做常规迁移、离线迁移（Offline Migration）。是在虚拟机关机或暂停状况下，拷贝虚拟机磁盘文献与配备文献到目的虚拟主机中，实现从一台物理机到另一台物理机迁移。由于虚拟机文献系统建立在虚拟机镜像文献上面，因此在虚拟机关机状况下，只需要简朴迁移虚拟机镜像和相应配备文献到此外一台物理主机上即可。如果需要保存虚拟机迁移之前状态，那么应当在迁移之前将虚拟机暂停，然后拷贝状态至目主机，最后在目主机重建虚拟机状态，恢复执行。这种方式迁移过程需要显式停止虚拟机运营。从顾客角度看，有明确一段停机时间，虚拟机上服务不可用。这种迁移方式简朴易行，合用于对服务可用性规定不严格场合。
(2) 在节点1上进行操作，一方面拟定demo虚拟机状态为关闭，如图1所示。

图1 查看虚拟机状态
(3) 准备迁移demo虚拟机，使用命令“virsh domblklist demo”查看demo虚拟机磁盘文献，如图2所示。

图2虚拟机磁盘文献
(4) 导出虚拟机配备文献，如图3所示。

图3 导入虚拟机配备文献
(5) 拷贝配备文献到目的宿主机上，目的宿主机IP地址为192.168.10.215。如图4所示。

图4 拷贝配备文献
(6) 将虚拟机磁盘文献也拷贝到目的宿主机。虚拟机demo磁盘文献为ubuntu.raw。如图5所示。

图5 拷贝磁盘文献
(7) 这时，已经将源宿主机节点1上demo虚拟机磁盘文献与配备文献都复制到目的宿主机节点2上了，下面开始在目的宿主机节点2上进行虚拟机配备和启动。
(8) 接下来在目的宿主机节点2上操作，一方面查看节点2环境。如图6所示，demo虚拟机配备文献已经拷贝过来。

图6 查看目的主机上demo虚拟机配备文献
(9) 查看虚拟机磁盘文献，如图7所示，ubuntu.raw磁盘文献也已经拷贝过来，目录构造与源宿主机一致。如图7所示。

图7 查看目的主机上demo虚拟机磁盘文献
(10) 使用virsh子命令define定义并注册demo虚拟机。如图8所示。

图8 定义并注册demo虚拟机
(11) 启动迁移后demo虚拟机，通过“virsh console demo”登录到迁移后虚拟机进行确认。如图9所示。

图9 启动目的主机上虚拟机
2、虚拟机动态迁移
(1) KVM虚拟机动态迁移无需拷贝虚拟机配备文献和磁盘文献，但是需要迁移主机之间有相似目录构造放置虚拟机磁盘文献（本例为“/home/kvm”目录），这里动态迁移是基于共享存储动态迁移，通过NFS来实现，需要qemu-kvm-0.12.2以上版本支持。
(2) 在NFS服务器上，下载安装NFS，kernel-server相称于server端,common是client端，使用命令“sudo apt-get install nfs-kernel-server nfs-common portmap”安装NFS。
(3) 配备NFS服务器，IP为192.168.10.161，将NFS服务器上“/mnt/vg”目录设为服务目录。一方面使用命令“sudo mkdir /mnt/vg”创立该目录，然后使用命令“sudo chmod 777 /mnt/vg”修改该目录权限，接下来使用vim修改“/etc/exports”文献添加共享目录，在该文献中添加“/mnt/vg *(rw,sync)”即可。*(rw,sync)是命令参数，表达涉及读写权限。
(4) “/etc/exports”文献修改后，使用命令“sudo exportfs –r”刷新。然后启动NFS服务，命令如下：
sudo /etc/init.d/portmap restart
sudo /etc/init.d/nfs-kernel-server restart
(5) NFS服务启动后，在节点1上使用命令“showmount –e 192.168.10.161”查看共享目录，如图1所示：

图1 在节点1上查看NFS共享目录
(6) 在节点1或节点2上使用命令“scp ubuntu.raw 192.168.10.161:/mnt/vg”将demo3虚拟机虚拟磁盘文献