本文共 17801 字,大约阅读时间需要 59 分钟。
转自:
OpenStack是通过Glance组件负责镜像的上传、删除、编辑等相关功能,而且OpenStack支持多种虚拟机镜像格式(AKI、AMI、ARI、ISO、QCOW2、Raw、VDI、VHD、VMDK)。用户可以通过命令行的方式或者直接通过Horizon界面上传相关镜像文件,操作也非常方便。
命令行参考如:
glance image-create --name "cirros-0.3.2-x86_64" --disk-format qcow2 --container-format bare --is-public True --progress < cirros-0.3.2-x86_64-disk.img
目标
本篇文章主要研究一下在OpenStack环境中,镜像上传的存储目录结构,创建实例后的存储目录结构,以及相关的逻辑关系。
测试环境
OpenStack icehouse
原理解析
OpenStack的glance组件包括两个服务Glance API和Glance Registry。当用户创建虚拟机请求时,通过Nova组件
发出的镜像请求时,API服务主要处理接收该请求,然后通过Registry服务处理Glance的元数据存储信息,包括镜像
大小、镜像格式、镜像名称等等,同时用户可以自定义镜像或者虚拟机实例的后台存储,默认存储在宿主机的本地文
件系统中,用户可以选择比较丰富的后台存储方案,而今比较火的使用Ceph来实现。
具体实践
1、进入控制节点,查看镜像列表
2、查看默认的镜像存储目录(/etc/glance/glance-api.conf)
root@controller:~# grep ^[a-z] /etc/glance/glance-api.conf default_store = filebind_host = 0.0.0.0bind_port = 9292log_file = /var/log/glance/api.logbacklog = 4096workers = 1registry_host = 0.0.0.0registry_port = 9191registry_client_protocol = httpnotification_driver = messagingrpc_backend=rabbitrabbit_host = 192.168.12.1rabbit_port = 5672rabbit_use_ssl = falserabbit_userid = guestrabbit_password = mq4smtestrabbit_virtual_host = /rabbit_notification_exchange = glancerabbit_notification_topic = notificationsrabbit_durable_queues = Falseqpid_notification_exchange = glanceqpid_notification_topic = notificationsqpid_hostname = localhostqpid_port = 5672qpid_username =qpid_password =qpid_sasl_mechanisms =qpid_reconnect_timeout = 0qpid_reconnect_limit = 0qpid_reconnect_interval_min = 0qpid_reconnect_interval_max = 0qpid_reconnect_interval = 0qpid_heartbeat = 5qpid_protocol = tcpqpid_tcp_nodelay = Truefilesystem_store_datadir = /var/lib/glance/images/swift_store_auth_version = 2swift_store_auth_address = 127.0.0.1:5000/v2.0/swift_store_user = jdoe:jdoeswift_store_key = a86850deb2742ec3cb41518e26aa2d89swift_store_container = glanceswift_store_create_container_on_put = Falseswift_store_large_object_size = 5120swift_store_large_object_chunk_size = 200swift_enable_snet = Falses3_store_host = 127.0.0.1:8080/v1.0/s3_store_access_key = <20-char AWS access key>s3_store_secret_key = <40-char AWS secret key>s3_store_bucket =glances3_store_create_bucket_on_put = Falsesheepdog_store_address = localhostsheepdog_store_port = 7000sheepdog_store_chunk_size = 64delayed_delete = Falsescrub_time = 43200scrubber_datadir = /var/lib/glance/scrubberimage_cache_dir = /var/lib/glance/image-cache/connection = mysql://glancedbadmin:glance4smtest@192.168.12.1/glancebackend = sqlalchemyauth_uri=http://192.168.12.1:5000auth_host = 192.168.12.1auth_port = 35357auth_protocol = httpadmin_tenant_name = serviceadmin_user = glanceadmin_password = glance4smtestflavor=keystone
我们可以看到这里面内容比较多,但是我们只关系镜像存储即:filesystem_store_datadir = /var/lib/glance/images/
3、接下来进入该目录,查看镜像详细信息
root@controller:/var/lib/glance/images# lltotal 46810148drwxr-xr-x 2 glance glance 4096 Dec 21 17:36 ./drwxr-xr-x 4 glance glance 4096 Jun 17 2015 ../-rw-r----- 1 glance glance 968560640 Nov 23 15:50 01fa9624-d339-486c-a18e-a3cd801ff663-rw-r----- 1 glance glance 4557045760 Nov 20 14:39 13134458-54de-4969-bc94-7fc3bb01f881-rw-r----- 1 glance glance 5244256256 Sep 24 15:39 262d7988-9672-4fd1-a88b-42df293d078f-rw-r----- 1 glance glance 1623392256 Dec 7 16:16 32f643e8-a9f8-4d37-91ca-16d553a7aa6e-rw-r----- 1 glance glance 19464192 Jun 26 2015 38470ce5-34bb-4ee3-a58d-2c136c8dc88b-rw-r----- 1 glance glance 1705639936 Dec 7 15:35 41f0fd90-aa87-424e-b087-0d924467513d-rw-r----- 1 glance glance 4284418560 Dec 7 14:49 4ef781ee-d2b5-4922-8fd0-f12aa81f996f-rw-r----- 1 glance glance 8041725952 Jul 8 12:23 84691638-6247-402d-80d5-3429c1aa1554-rw-r----- 1 glance glance 2135359488 Oct 16 16:29 8c50877e-ef0a-4620-9516-33d7096a6bc1-rw-r----- 1 glance glance 8779983360 Dec 1 14:49 9a79c48f-d155-4daf-8335-b247d5750503-rw-r----- 1 glance glance 295900672 Sep 24 09:26 b7c95d83-5c4a-419c-9669-2af1329f4eac-rw-r----- 1 glance glance 990371840 Nov 20 14:31 bcdc62a7-3171-468c-b543-b483be843ed6-rw-r----- 1 glance glance 482873856 Nov 21 13:24 c6978549-872d-4cfa-b8ae-8f577d99e8db-rw-r----- 1 glance glance 13167616 Dec 21 17:36 d5aab3ac-74b5-4d53-91ee-92a22b48bb61-rw-r----- 1 glance glance 790448128 Nov 25 23:42 e026dc51-26a1-46d8-9dff-e81c17789aa0-rw-r----- 1 glance glance 4470931456 Sep 24 14:40 f8d4714b-2b02-40b9-9123-0eccf859b7f5-rw-r----- 1 glance glance 3529972224 Dec 18 14:22 f9c15896-3c15-4020-a4ed-c5439df8a767
4、也许我们会对某个镜像的格式、大小感兴趣,随便挑选两个查看一下,使用qemu-img info命令即可
root@controller:/var/lib/glance/images# qemu-img info 84691638-6247-402d-80d5-3429c1aa1554image: 84691638-6247-402d-80d5-3429c1aa1554file format: qcow2virtual size: 25G (26843545600 bytes)disk size: 7.5Gcluster_size: 65536Format specific information: compat: 1.1 lazy refcounts: false
我们可以看到,上述命令查看的镜像格式为qcow2,镜像设置的虚拟存储为25GB,本身磁盘大小占用7.5GB ,我们通
过上述列表可以看到该镜像为Win7镜像,不过7.5GB的大小还是比较大,还需要对镜像进行压缩。
root@controller:/var/lib/glance/images# qemu-img info 4ef781ee-d2b5-4922-8fd0-f12aa81f996fimage: 4ef781ee-d2b5-4922-8fd0-f12aa81f996ffile format: vmdkvirtual size: 120G (128849018880 bytes)disk size: 4.0GFormat specific information: cid: 155036437 parent cid: 4294967295 create type: streamOptimized extents: [0]: compressed: true virtual size: 128849018880 filename: 4ef781ee-d2b5-4922-8fd0-f12aa81f996f cluster size: 65536 format:我们有查看了一个镜像信息,这个镜像格式为vmdk,也是通过VMWare Workstation导出的格式,虚拟存储120GB,磁盘大小为4GB,由于该格式为VMware的格式,所以OpenStack内部还是做了一个转换的。
注意:为什么要强调虚拟存储,这是因为我们在制作镜像的时候都会设置一个默认的存储空间,例如上述120GB的虚
拟存储,其实虚拟存储并不是物理上占用这么多空间,但是如果将镜像文件的虚拟存储设置过大,在通过OpenStac
k创建云主机时,就需要选择相应虚拟存储的云主机配置类型,也就是为这个镜像预留120GB的物理空间,这个是需
要用户注意的。
对于镜像的存储并没有什么特别的,用户只需要了解镜像具体的存储目录即可,必要时可以选择不同的后台存储,只
需要配置一下glance-api.conf的相关关键字的值即可。
=============================================================
接下来我们看一下通过镜像创建的虚拟机实例的相关内容。
1、查看OpenStack环境下所创建的虚拟机实例的列表
通过nova list可以查看,不过由于用户可能创建多个租户(tenants),如果需要查看所有需要添加–all-tenants参数
,如果需要查看某个计算节点的所有实例,就需要添加–host参数
2、我们以计算节点compute为例,查看一下这些虚拟机实例具体的存储位置/var/lib/nova/instances
root@compute:/var/lib/nova/instances# lltotal 52drwxr-xr-x 12 nova nova 4096 Dec 28 15:32 ./drwxr-xr-x 13 nova nova 4096 Dec 2 10:25 ../drwxr-xr-x 2 nova nova 4096 Dec 7 16:21 0b095133-8c76-4a8c-acfd-a66948920089/drwxr-xr-x 2 nova nova 4096 Dec 1 15:31 1260f4e1-01a4-4f9f-8398-ee8a7235927d/drwxr-xr-x 2 nova nova 4096 Dec 7 16:02 2e1978ab-b4e2-4771-ad55-b612e4d262d2/drwxrwxr-x 2 nova nova 4096 Dec 2 18:06 561dd9f4-56d3-4967-b2bc-1f1b390169d8/drwxr-xr-x 2 nova nova 4096 Dec 31 14:01 582dddf4-5d33-4689-a946-d5958aa263d6/drwxr-xr-x 2 nova nova 4096 Dec 18 11:03 667911ae-2ebb-44e2-b453-9d3a4ff634fb/drwxr-xr-x 2 nova nova 4096 Dec 1 10:52 72a8b045-6e92-4ccb-9a32-bdd7d86bbf3d/drwxr-xr-x 2 nova nova 4096 Dec 29 15:22 _base/-rw-r--r-- 1 nova nova 30 Dec 31 14:03 compute_nodesdrwxr-xr-x 2 nova nova 4096 Dec 25 11:29 locks/drwxr-xr-x 2 nova nova 4096 Jun 26 2015 snapshots/
接下来任意选取某个虚拟机实例文件夹,查看一下详细目录
root@compute:/var/lib/nova/instances/2e1978ab-b4e2-4771-ad55-b612e4d262d2# lltotal 1090852drwxr-xr-x 2 nova nova 4096 Dec 7 16:02 ./drwxr-xr-x 12 nova nova 4096 Dec 28 15:32 ../-rw-rw---- 1 libvirt-qemu kvm 0 Dec 21 08:43 console.log-rw-r--r-- 1 libvirt-qemu kvm 1116864512 Dec 31 14:17 disk-rw-r--r-- 1 nova nova 162 Dec 7 16:02 disk.info-rw-r--r-- 1 libvirt-qemu kvm 197120 Dec 7 16:02 disk.swap-rw-r--r-- 1 nova nova 1873 Dec 21 08:43 libvirt.xml
这里面包含一个disk文件,还有一个重要的libvirt.xml,由于OpenStack使用的KVM,一般通过libvirt来对多源
hypervisor进行管理,所以我们创建的虚拟机都可以通过修改libvirt.xml配置文件来查看信息
root@compute:/var/lib/nova/instances/2e1978ab-b4e2-4771-ad55-b612e4d262d2# cat libvirt.xml从这个XML我们可以看到相关OpenStack的版本,虚拟机的格式,网络信息,qemu的外设信息等。2e1978ab-b4e2-4771-ad55-b612e4d262d2 instance-00000113 4194304 4 OpenStack Foundation OpenStack Nova 2014.1.3 00efeb7b-3fb8-dc11-aef8-bcee7be344ef 2e1978ab-b4e2-4771-ad55-b612e4d262d2 hvm
接下来我们查看一下某个虚拟机实例的大小(实际占用的物理磁盘大小),由于我们的虚拟机为docker虚拟机,
格式为qcow2,我们直接查看disk文件
root@compute:/var/lib/nova/instances/2e1978ab-b4e2-4771-ad55-b612e4d262d2# qemu-img info diskimage: diskfile format: qcow2virtual size: 120G (128849018880 bytes)disk size: 1.0Gcluster_size: 65536backing file: /var/lib/nova/instances/_base/6ddc6b9b411ee235dd5df14264418b011826b5bbFormat specific information: compat: 1.1 lazy refcounts: false
我们可以看到,disk文件只占用了1GB,但是这个文件还基于一个back file,具体路径为……
继续查看该back file
root@compute:/var/lib/nova/instances/_base# qemu-img info 6ddc6b9b411ee235dd5df14264418b011826b5bb image: 6ddc6b9b411ee235dd5df14264418b011826b5bbfile format: rawvirtual size: 120G (128849018880 bytes)disk size: 8.5G两者的总和8.5GB+1GB才是docker的实际物理占用空间,但是我们也看到了虚拟设置的最大存储空间为120GB。
至于为什么看到相关虚拟机实例的文件并不是一个文件,这是由于qcow2格式决定的,详细可以参考更多的介绍
总结
了解镜像及虚拟机存储目录是非常有必要的,一方面我们可以使用更加高级的存储技术来保证虚拟机的高可用,另外
也可以通过技术手段,利用现有的物理文件对虚拟机进行实例恢复!