http://www.cnblogs.com/sammyliu/p/4543110.html
學習 KVM 的系列文章：
其中，KVM 全稱是 基於內核的虛擬機器（Kernel-based Virtual Machine），它是一個 Linux 的一個內核模組，該內核模組使得 Linux 變成了一個 Hypervisor：
本文介紹的是基於 X86 CPU 的 KVM。
KVM 是實現攔截虛機的 I/O 請求的原理：
QEMU-KVM：
KVM：
KVM 所支援的功能包括：
RedHat Linux KVM 有如下兩種安裝方式：
選擇安裝型別爲 Virtualizaiton Host ：
可以選擇具體的 KVM 用戶端、平臺和工具：
這種安裝方式要求該系統已經被註冊，否則會報錯：
[root@rh65 ~]# yum install qemu-kvm qemu-img Loaded plugins: product-id, refresh-packagekit, security, subscription-manager This system is not registered to Red Hat Subscription Management. You can use subscription-manager to register. Setting up Install Process Nothing to do
你至少需要安裝 qemu-kvm qemu-img 這兩個包。
# yum install qemu-kvm qemu-img
你還可以安裝其它工具包：
# yum install virt-manager libvirt libvirt-python python-virtinst libvirt-client
QEMU/KVM 的程式碼包括幾個部分：
（1）KVM 內核模組是 Linux 內核的一部分。通常 Linux 比較新的發行版（2.6.20+）都包含了 KVM 內核，也可以從這裏得到。比如在我的RedHat 6.5 上：
[root@rh65 isoimages]# uname -r 2.6.32-431.el6.x86_64 [root@rh65 isoimages]# modprobe -l | grep kvm kernel/arch/x86/kvm/kvm.ko kernel/arch/x86/kvm/kvm-intel.ko kernel/arch/x86/kvm/kvm-amd.ko
（2）使用者空間的工具即 qemu-kvm。qemu-kvm 是 KVM 專案從 QEMU 新拉出的一個分支（看這篇文章）。在 QEMU 1.3 版本之前，QEMU 和 QEMU-KVM 是有區別的，但是從 2012 年底 GA 的 QEMU 1.3 版本開始，兩者就完全一樣了。
（3）Linux Guest OS virtio 驅動，也是較新的Linux 內核的一部分了。
（4）Windows Guest OS virtio 驅動，可以從這裏下載。
RedHat 6.5 上自帶的 QEMU 太老，0.12.0 版本，最新版本都到了 2.* 了。
（1）. 參考 這篇文章，將 RedHat 6.5 的 ISO 檔案當作本地源
mount -o loop soft/rhel-server-6.4-x86_64-dvd.iso /mnt/rhel6/
vim /etc/fstab
=> /root/isoimages/soft/RHEL6.5-20131111.0-Server-x86_64-DVD1.iso /mnt/rhel6 iso9660 ro,loop
[root@rh65 qemu-2.3.0]# cat /etc/yum.repos.d/local.repo
[local]
name=local
baseurl=file:///mnt/rhel6/
enabled=1
gpgcjeck=0
|
1
|
yum clean all
yum update |
（2）. 安裝依賴包包
yum install gcc yum install autoconf yum install autoconf automake libtool yum install -y glib* yum install zlib*
（3）. 從 http://wiki.qemu.org/Download 下載程式碼，上傳到我的編譯環境 RedHat 6.5.
tar -jzvf qemu-2.3.0.tar.bz2 cd qemu-2.3.0 ./configure make -j 4 make install
（4）. 安裝完成
[root@rh65 qemu-2.3.0]# /usr/local/bin/qemu-x86_64 -version qemu-x86_64 version 2.3.0, Copyright (c) 2003-2008 Fabrice Bellard
（5）. 爲方便起見，建立一個link
ln -s /usr/bin/qemu-system-x86_64 /usr/bin/qemu-kvm
可以從 libvirt 官網下載安裝包。最新的版本是 0.10.2.
virt-install \ --name=guest1-rhel5-64 \ --file=/var/lib/libvirt/images/guest1-rhel5-64.dsk \ --file-size=8 \ --nonsparse --graphics spice \ --vcpus=2 --ram=2048 \ --location=http://example1.com/installation_tree/RHEL5.6-Serverx86_64/os \ --network bridge=br0 \ --os-type=linux \ --os-variant=rhel5.4
使用 VMM GUI 建立的虛機的xml 定義檔案在 /etc/libvirt/qemu/ 目錄中。
（1）建立一個空的qcow2格式的映象檔案
qemu-img create -f qcow2 windows-master.qcow2 10G
（2）啓動一個虛機，將系統安裝盤掛到 cdrom，安裝操作系統
qemu-kvm -hda windows-master.qcow2 -m 512 -boot d -cdrom /home/user/isos/en_winxp_pro_with_sp2.iso
（3）現在你就擁有了一個帶操作系統的映象檔案。你可以以它爲模板建立新的映象檔案。使用模板的好處是，它會被設定爲只讀所以可以免於破壞。
qemu-img create -b windows-master.qcow2 -f qcow2 windows-clone.qcow2
（4）你可以在新的映象檔案上啓動虛機了
qemu-kvm -hda windows-clone.qcow2 -m 400
學習 KVM 的系列文章：
.png)
.png)
.png)
.png)
.png)
|
|
利用二進制翻譯的全虛擬化
|
硬體輔助虛擬化
|
操作系統協助/半虛擬化
|
| 實現技術 |
BT和直接執行
|
遇到特權指令轉到root模式執行
|
Hypercall
|
| 客戶操作系統修改/相容性 |
無需修改客戶操作系統，最佳相容性
|
無需修改客戶操作系統，最佳相容性
|
客戶操作系統需要修改來支援hypercall，因此它不能執行在物理硬體本身或其他的hypervisor上，相容性差，不支援Windows
|
| 效能 |
差
|
全虛擬化下，CPU需要在兩種模式之間切換，帶來效能開銷；但是，其效能在逐漸逼近半虛擬化。
|
好。半虛擬化下CPU效能開銷幾乎爲0，虛機的效能接近於物理機。
|
| 應用廠商 |
VMware Workstation/QEMU/Virtual PC
|
VMware ESXi/Microsoft Hyper-V/Xen 3.0/KVM
|
Xen
|
KVM 是基於CPU 輔助的全虛擬化方案，它需要CPU虛擬化特性的支援。
這個命令檢視主機上的CPU 物理情況：
[s1@rh65 ~]$ numactl --hardware available: 2 nodes (0-1) //2顆CPU node 0 cpus: 0 1 2 3 4 5 12 13 14 15 16 17 //這顆 CPU 有8個內核 node 0 size: 12276 MB node 0 free: 7060 MB node 1 cpus: 6 7 8 9 10 11 18 19 20 21 22 23 node 1 size: 8192 MB node 1 free: 6773 MB node distances: node 0 1 0: 10 21 1: 21 10
要支援 KVM， Intel CPU 的 vmx 或者 AMD CPU 的 svm 擴充套件必須生效了：
[root@rh65 s1]# egrep "(vmx|svm)" /proc/cpuinfo flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good xtopology nonstop_tsc aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 popcnt aes lahf_lm arat epb dts tpr_shadow vnmi flexpriority ept vpid
從系統架構來看，目前的商用伺服器大體可以分爲三類：
詳細描述可以參考 SMP、NUMA、MPP體系結構介紹。
檢視你的伺服器的 CPU 架構：
[root@rh65 s1]# uname -a Linux rh65 2.6.32-431.el6.x86_64 #1 SMP Sun Nov 10 22:19:54 EST 2013 x86_64 x86_64 x86_64 GNU/Linux #這伺服器是 SMP 架構
可見：
（1）qemu-kvm 通過對 /dev/kvm 的 一系列 ICOTL 命令控制虛機，比如
open("/dev/kvm", O_RDWR|O_LARGEFILE) = 3 ioctl(3, KVM_GET_API_VERSION, 0) = 12 ioctl(3, KVM_CHECK_EXTENSION, 0x19) = 0 ioctl(3, KVM_CREATE_VM, 0) = 4 ioctl(3, KVM_CHECK_EXTENSION, 0x4) = 1 ioctl(3, KVM_CHECK_EXTENSION, 0x4) = 1 ioctl(4, KVM_SET_TSS_ADDR, 0xfffbd000) = 0 ioctl(3, KVM_CHECK_EXTENSION, 0x25) = 0 ioctl(3, KVM_CHECK_EXTENSION, 0xb) = 1 ioctl(4, KVM_CREATE_PIT, 0xb) = 0 ioctl(3, KVM_CHECK_EXTENSION, 0xf) = 2 ioctl(3, KVM_CHECK_EXTENSION, 0x3) = 1 ioctl(3, KVM_CHECK_EXTENSION, 0) = 1 ioctl(4, KVM_CREATE_IRQCHIP, 0) = 0 ioctl(3, KVM_CHECK_EXTENSION, 0x1a) = 0
（2）一個 KVM 虛機即一個 Linux qemu-kvm 進程，與其他 Linux 進程一樣被Linux 進程排程器排程。
（3）KVM 虛機包括虛擬記憶體、虛擬CPU和虛機 I/O裝置，其中，記憶體和 CPU 的虛擬化由 KVM 內核模組負責實現，I/O 裝置的虛擬化由 QEMU 負責實現。
（3）KVM戶機系統的記憶體是 qumu-kvm 進程的地址空間的一部分。
（4）KVM 虛機的 vCPU 作爲 執行緒執行在 qemu-kvm 進程的上下文中。
vCPU、QEMU 進程、LInux 進程排程和物理CPU之間的邏輯關係：
根據上面的 1.3 章節，支援虛擬化的 CPU 中都增加了新的功能。以 Intel VT 技術爲例，它增加了兩種執行模式：VMX root 模式和 VMX nonroot 模式。通常來講，主機操作系統和 VMM 執行在 VMX root 模式中，客戶機操作系統及其應用執行在 VMX nonroot 模式中。因爲兩個模式都支援所有的 ring，因此，客戶機可以執行在它所需要的 ring 中（OS 執行在 ring 0 中，應用執行在 ring 3 中），VMM 也執行在其需要的 ring 中 （對 KVM 來說，QEMU 執行在 ring 3，KVM 執行在 ring 0）。CPU 在兩種模式之間的切換稱爲 VMX 切換。從 root mode 進入 nonroot mode，稱爲 VM entry；從 nonroot mode 進入 root mode，稱爲 VM exit。可見，CPU 受控制地在兩種模式之間切換，輪流執行 VMM 程式碼和 Guest OS 程式碼。
對 KVM 虛機來說，執行在 VMX Root Mode 下的 VMM 在需要執行 Guest OS 指令時執行 VMLAUNCH 指令將 CPU 轉換到 VMX non-root mode，開始執行客戶機程式碼，即 VM entry 過程；在 Guest OS 需要退出該 mode 時，CPU 自動切換到 VMX Root mode，即 VM exit 過程。可見，KVM 客戶機程式碼是受 VMM 控制直接執行在物理 CPU 上的。QEMU 只是通過 KVM 控制虛機的程式碼被 CPU 執行，但是它們本身並不執行其程式碼。也就是說，CPU 並沒有真正的被虛級化成虛擬的 CPU 給客戶機使用。
這篇文章 是關於 vSphere 中 CPU 虛擬化的，我覺得它和 KVM CPU 虛擬化存在很大的一致。下圖是使用 2 socket 2 core 共 4 個 vCPU 的情形：
幾個概念：socket （顆，CPU 的物理單位），core （核，每個 CPU 中的物理內核），thread （超執行緒，通常來說，一個 CPU core 只提供一個 thread，這時客戶機就只看到一個 CPU；但是，超執行緒技術實現了 CPU 核的虛擬化，一個核被虛擬化出多個邏輯 CPU，可以同時執行多個執行緒）。
上圖分三層，他們分別是是VM層，VMKernel層和物理層。對於物理伺服器而言，所有的CPU資源都分配給單獨的操作系統和上面執行的應用。應用將請求先發送給操作系統，然後操作系統排程物理的CPU資源。在虛擬化平臺比如 KVM 中，在VM層和物理層之間加入了VMkernel層，從而允許所有的VM共用物理層的資源。VM上的應用將請求發送給VM上的操作系統，然後操縱系統排程Virtual CPU資源（操作系統認爲Virtual CPU和物理 CPU是一樣的），然後VMkernel層對多個物理CPU Core進行資源排程，從而滿足Virtual CPU的需要。在虛擬化平臺中OS CPU Scheduler和Hyperviisor CPU Scheduler都在各自的領域內進行資源排程。
KVM 中，可以指定 socket，core 和 thread 的數目，比如 設定 「-smp 5,sockets=5,cores=1,threads=1」，則 vCPU 的數目爲 5*1*1 = 5。客戶機看到的是基於 KVM vCPU 的 CPU 核，而 vCPU 作爲 QEMU 執行緒被 Linux 作爲普通的執行緒/輕量級進程排程到物理的 CPU 核上。至於你是該使用多 socket 和 多core，這篇文章 有仔細的分析，其結論是在 VMware ESXi 上，效能沒什麼區別，只是某些客戶機操作系統會限制物理 CPU 的數目，這種情況下，可以使用少 socket 多 core。
一個普通的 Linux 內核有兩種執行模式：內核模式（Kenerl）和使用者模式 （User）。爲了支援帶有虛擬化功能的 CPU，KVM 向 Linux 內核增加了第三種模式即客戶機模式（Guest），該模式對應於 CPU 的 VMX non-root mode。
KVM 內核模組作爲 User mode 和 Guest mode 之間的橋樑：
三種模式的分工爲：
(來源)
QEMU-KVM 相比原生 QEMU 的改動：
主機 Linux 將一個虛擬視作一個 QEMU 進程，該進程包括下面 下麪幾種執行緒：
在我的測試環境中（RedHata Linux 作 Hypervisor）：
| smp 設定的值 | 執行緒數 | 執行緒 |
| 4 | 8 |
1 個主執行緒（I/O 執行緒）、4 個 vCPU 執行緒、3 個其它執行緒 |
| 6 | 10 | 1 個主執行緒（I/O 執行緒）、6 個 vCPU 執行緒、3 個其它執行緒 |
這篇文章 談談了這些執行緒的情況。
(來源)
| 客戶機程式碼執行（客戶機執行緒） | I/O 執行緒 | 非 I/O 執行緒 |
| 虛擬CPU（主機 QEMU 執行緒） | QEMU I/O 執行緒 | QEMU vCPU 執行緒 |
| 物理 CPU | 物理 CPU 的 VMX non-root 模式中 |
物理 CPU 的 VMX non-root 模式中 |
要將客戶機內的執行緒排程到某個物理 CPU，需要經歷兩個過程：
KVM 使用標準的 Linux 進程排程方法來排程 vCPU 進程。Linux 系統中，執行緒和進程的區別是 進程有獨立的內核空間，執行緒是程式碼的執行單位，也就是排程的基本單位。Linux 中，執行緒是就是輕量級的進程，也就是共用了部分資源(地址空間、檔案控制代碼、號志等等)的進程，所以執行緒也按照進程的排程方式來進行排程。
（1）Linux 進程排程原理可以參考 這篇文章 和 這篇文章。通常情況下，在SMP系統中，Linux內核的進程排程器根據自有的排程策略將系統中的一個可執行（runable）進程排程到某個CPU上執行。下面 下麪是 Linux 進程的狀態機：
（2）處理器親和性：可以設定 vCPU 在指定的物理 CPU 上執行，具體可以參考這篇文章 和 這篇文章。
根據 Linux 進程排程策略，可以看出，在 Linux 主機上執行的 KVM 客戶機 的總 vCPU 數目最好是不要超過物理 CPU 內核數，否則，會出現執行緒間的 CPU 內核資源競爭，導致有虛機因爲 vCPU 進程等待而導致速度很慢。
關於這兩次排程，業界有很多的研究，比如上海交大的論文 Schedule Processes, not VCPUs 提出動態地減少 vCPU 的數目即減少第二次排程。
另外，這篇文章 談到的是 vSphere CPU 的排程方式，有空的時候可以研究下並和 KVM vCPU 的排程方式進行比較。
KVM 支援 SMP 和 NUMA 多CPU架構的主機和客戶機。對 SMP 型別的客戶機，使用 「-smp」參數：
-smp [,cores=][,threads=][,sockets=][,maxcpus=]
對 NUMA 型別的客戶機，使用 「-numa」參數：
-numa [,mem=][,cpus=]][,nodeid=]
[root@rh65 s1]# kvm -cpu ? x86 Opteron_G5 AMD Opteron 63xx class CPU x86 Opteron_G4 AMD Opteron 62xx class CPU x86 Opteron_G3 AMD Opteron 23xx (Gen 3 Class Opteron) x86 Opteron_G2 AMD Opteron 22xx (Gen 2 Class Opteron) x86 Opteron_G1 AMD Opteron 240 (Gen 1 Class Opteron) x86 Haswell Intel Core Processor (Haswell) x86 SandyBridge Intel Xeon E312xx (Sandy Bridge) x86 Westmere Westmere E56xx/L56xx/X56xx (Nehalem-C) x86 Nehalem Intel Core i7 9xx (Nehalem Class Core i7) x86 Penryn Intel Core 2 Duo P9xxx (Penryn Class Core 2) x86 Conroe Intel Celeron_4x0 (Conroe/Merom Class Core 2) x86 cpu64-rhel5 QEMU Virtual CPU version (cpu64-rhel5) x86 cpu64-rhel6 QEMU Virtual CPU version (cpu64-rhel6) x86 n270 Intel(R) Atom(TM) CPU N270 @ 1.60GHz x86 athlon QEMU Virtual CPU version 0.12.1 x86 pentium3 x86 pentium2 x86 pentium x86 486 x86 coreduo Genuine Intel(R) CPU T2600 @ 2.16GHz x86 qemu32 QEMU Virtual CPU version 0.12.1 x86 kvm64 Common KVM processor x86 core2duo Intel(R) Core(TM)2 Duo CPU T7700 @ 2.40GHz x86 phenom AMD Phenom(tm) 9550 Quad-Core Processor x86 qemu64 QEMU Virtual CPU version 0.12.1 Recognized CPUID flags: f_edx: pbe ia64 tm ht ss sse2 sse fxsr mmx acpi ds clflush pn pse36 pat cmov mca pge mtrr sep apic cx8 mce pae msr tsc pse de vme fpu f_ecx: hypervisor rdrand f16c avx osxsave xsave aes tsc-deadline popcnt movbe x2apic sse4.2|sse4_2 sse4.1|sse4_1 dca pcid pdcm xtpr cx16 fma cid ssse3 tm2 est smx vmx ds_cpl monitor dtes64 pclmulqdq|pclmuldq pni|sse3 extf_edx: 3dnow 3dnowext lm|i64 rdtscp pdpe1gb fxsr_opt|ffxsr fxsr mmx mmxext nx|xd pse36 pat cmov mca pge mtrr syscall apic cx8 mce pae msr tsc pse de vme fpu extf_ecx: perfctr_nb perfctr_core topoext tbm nodeid_msr tce fma4 lwp wdt skinit xop ibs osvw 3dnowprefetch misalignsse sse4a abm cr8legacy extapic svm cmp_legacy lahf_lm [root@rh65 s1]#
每個 Hypervisor 都有自己的策略，來定義預設上哪些CPU功能會被暴露給客戶機。至於哪些功能會被暴露給客戶機系統，取決於客戶機的設定。qemu32 和 qemu64 是基本的客戶機 CPU 模型，但是還有其他的模型可以使用。你可以使用 qemu-kvm 命令的 -cpu 參數來指定客戶機的 CPU 模型，還可以附加指定的 CPU 特性。"-cpu" 會將該指定 CPU 模型的所有功能全部暴露給客戶機，即使某些特性在主機的物理CPU上不支援，這時候QEMU/KVM 會模擬這些特性，因此，這時候也許會出現一定的效能下降。
RedHat Linux 6 上使用預設的 cpu64-rhe16 作爲客戶機 CPU model：
你可以指定特定的 CPU model 和 feature：
qemu-kvm -cpu Nehalem,+aes
你也可以直接使用 -cpu host，這樣的話會客戶機使用和主機相同的 CPU model。
這篇文章 （http://my.oschina.net/chape/blog/173981） 介紹了一些指導性方法，摘要如下：
我們來假設一個主機有 2 個socket，每個 socket 有 4 個core。主頻2.4G MHZ 那麼一共可用的資源是 2*4*2.4G= 19.2G MHZ。假設主機上執行了三個VM，VM1和VM2設定爲1socket*1core，VM3設定爲1socket*2core。那麼VM1和VM2分別有1個vCPU，而VM3有2個vCPU。假設其他設定爲預設設定。
那麼三個VM獲得該主機CPU資源分配如下：VM1：25%； VM2：25%； VM3:50%
假設執行在VM3上的應用支援多執行緒，那麼該應用可以充分利用到所非配的CPU資源。2vCPU的設定是合適的。假設執行在VM3上的應用不支援多執行緒，該應用根本無法同時使用利用2個vCPU. 與此同時，VMkernal層的CPU Scheduler必須等待物理層中兩個空閒的pCPU，纔開始資源調配來滿足2個vCPU的需要。在僅有2vCPU的情況下，對該VM的效能不會有太大負面影響。但如果分配4vCPU或者更多，這種資源排程上的負擔有可能會對該VM上執行的應用有很大負面影響。
確定 vCPU 數目的步驟。假如我們要建立一個VM，以下幾步可以幫助確定合適的vCPU數目
1 瞭解應用並設定初始值
該應用是否是關鍵應用，是否有Service Level Agreement。一定要對執行在虛擬機器上的應用是否支援多執行緒深入瞭解。諮詢應用的提供商是否支援多執行緒和SMP（Symmetricmulti-processing）。參考該應用在物理伺服器上執行時所需要的CPU個數。如果沒有參照資訊，可設定1vCPU作爲初始值，然後密切觀測資源使用情況。
2 觀測資源使用情況
確定一個時間段，觀測該虛擬機器的資源使用情況。時間段取決於應用的特點和要求，可以是數天，甚至數週。不僅觀測該VM的CPU使用率，而且觀測在操作系統內該應用對CPU的佔用率。特別要區分CPU使用率平均值和CPU使用率峯值。
假如分配有4個vCPU，如果在該VM上的應用的CPU
3 更改vCPU數目並觀測結果
每次的改動儘量少，如果可能需要4vCPU，先設定2vCPU在觀測效能是否可以接受。
EPT 和 NPT採用類似的原理，都是作爲 CPU 中新的一層，用來將客戶機的實體地址翻譯爲主機的實體地址。關於 EPT， Intel 官方文件中的技術如下（實在看不懂...）
EPT的好處是，它的兩階段記憶體轉換，特點就是將 Guest Physical Address → System Physical Address，VMM不用再保留一份 SPT (Shadow Page Table)，以及以往還得經過 SPT 這個轉換過程。除了降低各部虛擬機器器在切換時所造成的效能損耗外，硬體指令集也比虛擬化軟體處理來得可靠與穩定。
KSM 在 Linux 2.6.32 版本中被加入到內核中。
其原理是，KSM 作爲內核中的守護行程（稱爲 ksmd）存在，它定期執行頁面掃描，識別副本頁面併合並副本，釋放這些頁面以供它用。因此，在多個進程中，Linux將內核相似的記憶體頁合併成一個記憶體頁。這個特性，被KVM用來減少多個相似的虛擬機器的記憶體佔用，提高記憶體的使用效率。由於記憶體是共用的，所以多個虛擬機器使用的記憶體減少了。這個特性，對於虛擬機器使用相同映象和操作系統時，效果更加明顯。但是，事情總是有代價的，使用這個特性，都要增加內核開銷，用時間換空間。所以爲了提高效率，可以將這個特性關閉。
其好處是，在執行類似的客戶機操作系統時，通過 KSM，可以節約大量的記憶體，從而可以實現更多的記憶體超分，執行更多的虛機。
（1）初始狀態：
（2）合併後：
（3）Guest 1 寫記憶體後：
這是KVM虛擬機器的又一個優化技術.。Intel 的 x86 CPU 通常使用4Kb記憶體頁，當是經過設定，也能夠使用巨頁(huge page): (4MB on x86_32, 2MB on x86_64 and x86_32 PAE)
使用巨頁，KVM的虛擬機器的頁表將使用更少的記憶體，並且將提高CPU的效率。最高情況下，可以提高20%的效率！
使用方法，需要三部：
mkdir /dev/hugepages
mount -t hugetlbfs hugetlbfs /dev/hugepages
#保留一些記憶體給巨頁 sysctl vm.nr_hugepages=2048 （使用 x86_64 系統時，這相當於從實體記憶體中保留了2048 x 2M = 4GB 的空間來給虛擬機器使用）
#給 kvm 傳遞參數 hugepages qemu-kvm - qemu-kvm -mem-path /dev/hugepages
也可以在組態檔裡加入：
驗證方式，當虛擬機器正常啓動以後，在物理機裡檢視：
cat /proc/meminfo |grep -i hugepages
老外的一篇文件，他使用的是libvirt方式，先讓libvirtd進程使用hugepages空間，然後再分配給虛擬機器。
參考資料：
http://www.cnblogs.com/xusongwei/archive/2012/07/30/2615592.html
https://www.ibm.com/developerworks/cn/linux/l-cn-vt/
http://www.slideshare.net/HwanjuKim/3cpu-virtualization-and-scheduling
http://www.cse.iitb.ac.in/~puru/courses/autumn12/cs695/classes/kvm-overview.pdf
http://www.linux-kvm.com/content/using-ksm-kernel-samepage-merging-kvm
http://blog.csdn.net/summer_liuwei/article/details/6013255
http://blog.pchome.net/article/458429.html
http://blog.chinaunix.net/uid-20794164-id-3601787.html
虛擬化技術效能比較和分析，周斌，張瑩
http://wiki.qemu.org/images/c/c8/Cpu-models-and-libvirt-devconf-2014.pdf
http://frankdenneman.nl/2011/01/11/beating-a-dead-horse-using-cpu-affinity/
學習 KVM 的系列文章：
Qemu 純軟體的方式來模擬I/O裝置，其中包括經常使用的網絡卡裝置。Guest OS啓動命令中沒有傳入的網路設定時，QEMU預設分配 rtl8139 型別的虛擬網絡卡型別，使用的是預設使用者設定模式，這時候由於沒有具體的網路模式的設定，Guest的網路功能是有限的。 全虛擬化情況下，KVM虛機可以選擇的網路模式包括：
分別使用的 qemu-kvm 參數爲：
網橋模式是目前比較簡單，也是用的比較多的模式，下圖是網橋模式下的 VM的收發包的流程。
如圖中所示，紅色箭頭表示數據報文的入方向，步驟：
注意：RedHat Linux KVM 不支援 SCSI 模擬。
| 型別 | 選項 |
| 磁碟裝置（軟碟、硬碟、CDROM等） |
-drive option[,option[,option[,...]]]：定義一個硬碟裝置；可用子選項有很多。
file=/path/to/somefile：硬體映像檔案路徑；
if=interface：指定硬碟裝置所連線的介面型別，即控制器型別，如ide、scsi、sd、mtd、floppy、pflash及virtio等；
index=index：設定同一種控制器型別中不同裝置的索引號，即標識號；
media=media：定義媒介型別爲硬碟(disk)還是光碟(cdrom)； format=format：指定映像檔案的格式，具體格式可參見qemu-img命令；
-boot [order=drives][,once=drives][,menu=on|off]：定義啓動裝置的引導次序，每種裝置使用一個字元表示；不同的架構所支援的裝置及其表示字元不盡相同，在x86 PC架構上，a、b表示軟碟機、c表示第一塊硬碟，d表示第一個光碟機裝置，n-p表示網路適配器；預設爲硬碟裝置(-boot order=dc,once=d)
|
| 網路 |
-net nic[,vlan=n][,macaddr=mac][,model=type][,name=name][,addr=addr][,vectors=v]：建立一個新的網絡卡裝置並連線至vlan n中；PC架構上預設的NIC爲e1000，macaddr用於爲其指定MAC地址，name用於指定一個在監控時顯示的網上裝置名稱；emu可以模擬多個型別的網絡卡裝置；可以使用「qemu-kvm -net nic,model=?」來獲取當前平臺支援的型別；
-net tap[,vlan=n][,name=name][,fd=h][,ifname=name][,script=file][,downscript=dfile]：通過物理機的TAP網路介面連線至vlan n中，使用script=file指定的指令碼(預設爲/etc/qemu-ifup)來設定當前網路介面，並使用downscript=file指定的指令碼(預設爲/etc/qemu-ifdown)來撤消介面設定；使用script=no和downscript=no可分別用來禁止執行指令碼；
-net user[,option][,option][,...]：在使用者模式設定網路棧，其不依賴於管理許可權；有效選項有：
vlan=n：連線至vlan n，預設n=0；
name=name：指定介面的顯示名稱，常用於監控模式中；
net=addr[/mask]：設定GuestOS可見的IP網路，掩碼可選，預設爲10.0.2.0/8；
host=addr：指定GuestOS中看到的物理機的IP地址，預設爲指定網路中的第二個，即x.x.x.2；
dhcpstart=addr：指定DHCP服務地址池中16個地址的起始IP，預設爲第16個至第31個，即x.x.x.16-x.x.x.31；
dns=addr：指定GuestOS可見的dns伺服器地址；預設爲GuestOS網路中的第三個地址，即x.x.x.3；
tftp=dir：啓用內建的tftp伺服器，並使用指定的dir作爲tftp伺服器的預設根目錄；
bootfile=file：BOOTP檔名稱，用於實現網路引導GuestOS；如：qemu -hda linux.img -boot n -net user,tftp=/tftpserver/pub,bootfile=/pxelinux.0
|
對於網絡卡來說，你可以使用 modle 參數指定虛擬網路的型別。 RedHat Linux 6 所支援的虛擬網路型別有：
[root@rh65 isoimages]# kvm -net nic,model=? qemu: Supported NIC models: ne2k_pci,i82551,i82557b,i82559er,rtl8139,e1000,pcnet,virtio
（1）virtio-net 的原理：
（2）virtio-net 的流程：
使用 virtio 型別的裝置比較簡單。較新的 Linux 版本上都已經安裝好了 virtio 驅動，而 Windows 的驅動需要自己下載安裝。
（1）檢查主機上是否支援 virtio 型別的網絡卡裝置
[root@rh65 isoimages]# kvm -net nic,model=? qemu: Supported NIC models: ne2k_pci,i82551,i82557b,i82559er,rtl8139,e1000,pcnet,virtio
（2）指定網絡卡裝置model 爲 virtio，啓動虛機
（3）通過 vncviewer 登錄虛機，能看到被載入了的 virtio-net 需要的內核模組
（4）檢視 pci 裝置
其它 virtio 型別的裝置的使用方式類似 virtio-net。
前面提到 virtio 在宿主機中的後端處理程式（backend）一般是由使用者空間的QEMU提供的，然而如果對於網路 I/O 請求的後端處理能夠在在內核空間來完成，則效率會更高，會提高網路吞吐量和減少網路延遲。在比較新的內核中有一個叫做 「vhost-net」 的驅動模組，它是作爲一個內核級別的後端處理程式，將virtio-net的後端處理任務放到內核空間中執行，減少內核空間到使用者空間的切換，從而提高效率。
根據 KVM 官網的這篇文章，vhost-net 能提供更低的延遲（latency）（比 e1000 虛擬網絡卡低 10%），和更高的吞吐量（throughput）（8倍於普通 virtio，大概 7~8 Gigabits/sec )。
vhost-net 與 virtio-net 的比較：
vhost-net 的要求：
qemu-kvm 命令的 -net tap 有幾個選項和 vhost-net 相關的: -net tap,[,vnet_hdr=on|off][,vhost=on|off][,vhostfd=h][,vhostforce=on|off]
vhost-net 的使用範例：
（1）確保主機上 vhost-net 內核模組被載入了
（2）啓動一個虛擬機器，在客戶機中使用 -net 定義一個 virtio-net 網絡卡，在主機端使用 -netdev 啓動 vhost
（3）在虛擬機器端，看到 virtio 網絡卡使用的 TAP 裝置爲 tap0。
（4）在宿主機中看 vhost-net 被載入和使用了，以及 Linux 橋 br0，它連線物理網絡卡 eth1 和 客戶機使用的 TAP 裝置 tap0
一般來說，使用 vhost-net 作爲後端處理驅動可以提高網路的效能。不過，對於一些網路負載型別使用 vhost-net 作爲後端，卻可能使其效能不升反降。特別是從宿主機到其中的客戶機之間的UDP流量，如果客戶機處理接受數據的速度比宿主機發送的速度要慢，這時就容易出現效能下降。在這種情況下，使用vhost-net將會是UDP socket的接受緩衝區更快地溢位，從而導致更多的數據包丟失。故這種情況下，不使用vhost-net，讓傳輸速度稍微慢一點，反而會提高整體的效能。
使用 qemu-kvm 命令列，加上「vhost=off」（或沒有vhost選項）就會不使用vhost-net，而在使用libvirt時，需要對客戶機的設定的XML檔案中的網路設定部分進行如下的設定，指定後端驅動的名稱爲「qemu」（而不是「vhost」）。
…
…
另一個比較特殊的 virtio 裝置是 virtio-balloon。通常來說，要改變客戶機所佔用的宿主機記憶體，要先關閉客戶機，修改啓動時的記憶體設定，然後重新啓動客戶機纔可以實現。而 記憶體的 ballooning （氣球）技術可以在客戶機執行時動態地調整它所佔用的宿主機記憶體資源，而不需要關閉客戶機。該技術能夠：
優勢和不足：
| 優勢 | 不足 |
|
|
在QEMU monitor中，提供了兩個命令檢視和設定客戶機記憶體的大小。
（1）啓動一個虛機，記憶體爲 2048M，啓用 virtio-balloon
（2）通過 vncviewer 進入虛機，檢視 pci 裝置
（3）看看記憶體情況，共 2G 記憶體
（4）進入 QEMU Monitor，調整 balloon 記憶體爲 500M
（5）回到虛機，檢視記憶體，變爲 500 M
.png)
ethtool -L eth0 combined M ( 1 <= M <= N)
學習 KVM 的系列文章：
本文將分析 PCI/PCIe 裝置直接分配（Pass-through）和 SR-IOV， 以及三種 I/O 虛擬化方式的比較。
裝置直接分配 （Device assignment）也稱爲 Device Pass-Through。
先簡單看看PCI 和 PCI-E 的區別（AMD CPU）：
（簡單點看，PCI 卡的效能沒有 PCI-E 高，因爲 PCI-E 是直接連在 IOMMU 上，而 PCI 卡是連在一個 IO Hub 上。）
主要的 PCI 裝置型別：
硬碟直接分配：
準備工作：
（1）在 BIOS 中開啓 Intel VT-d
（2）在 Linux 內核中啓用 PCI Pass-through
新增 intel_iommu=on 到 /boot/grub/grub.conf 檔案中。（在我的 RedHat Linux 6上，該檔案是 /boot/grub.conf）
（3）重新啓動系統，使得設定生效
實際分配：
（1）使用 lspci -nn 命令找到待分配的 PCI 裝置。這裏以一個 FC 卡爲例：
使用 lspci 命令得到的 PCI 數位的含義，以後使用 libvirt API 分配裝置時會用到：
（2）使用 virsh nodedev-list 命令找到該裝置的 PCI 編號
（3）將裝置從主機上解除
（4）使用 virt-manager 將裝置直接分配給一個啓動了的虛擬機器
（5）新增好了後的效果
（6）在虛機中檢視該PCI裝置
（7）不再使用的話，需要在 virt-manager 中首先將該裝置移除，然後在主機上重新掛載該裝置
除了步驟（4），其他步驟同上面。
光纖卡 SR-IOV 的例子：
手頭沒有支援SR-IOV的裝置。這是 RedHat 上 SR-IOV 的設定步驟： Using SR-IOV。
簡單來說，SR-IOV 分配步驟和裝置直接分配相比基本類似，除了要使 PF 虛擬化成多個 VF 以外。
| 優勢 | 不足 |
|
|
純模擬網絡卡和物理網絡卡的比較：
（來源：Evaluating and Optimizing I/O Virtualization in Kernel-based Virtual Machine (KVM), Binbin Zhang, Xiaolin Wang, Rongfeng Lai, Liang Yang, Zhenlin Wang,Yingwei Luo, Xiaoming Li）
（測試環境：兩臺物理伺服器 HostA 和 HostB，都使用GB乙太網。HostA 使用 82566DC 網絡卡，HostB 使用 82567LM-2 網絡卡，一臺虛機執行在 HostB 上，使用 KVM-76.）
結論：
Virtio 和 vhost_net 的吞吐量比較：
RedHat Linux 6 上 virtio，vhost_net，SR-IOV 和物理裝置網路延遲的比較：
（來源：RedHat 官網）
RedHat Linux 6 上 virtio 和 vhost_net 所消耗的主機CPU資源的比較：
（來源同上）
使用 virtio 的 KVM 與物理機的 TCP 吞吐量對比：
（數據來源：RedHat 官網）
物理機與使用 SR-IOV 的 KVM 的網路效能對比：
（來源：同上）
物理機與使用 Pass-through 的KVM 的 TCP 效能對比：
（資料來源：Open Source Virtualization: KVM and Linux, Chris Wright, Principal Software Engineer, Red Hat,September 4, 2009）
（來源：Reconnaissance of Virtio: What’s new and how it’s all connected? by Mario Smarduch）
KVM 依賴的Intel/AMD 處理器的各種虛擬化擴充套件：
| 處理器 | CPU 虛擬化 | 記憶體虛擬化 | PCI Pass-through |
| Intel | VT-x | VPID，EPT | VT-d |
| AMD | AMD-V | ASID，NPT | IOMMU |
I/O 虛擬化方案的選擇：
其它參考資料：
學習 KVM 的系列文章：
爲什麼需要Libvirt？
Libvirt提供了什麼？
目前，libvirt 已經成爲使用最爲廣泛的對各種虛擬機器進行管理的工具和應用程式介面（API），而且一些常用的虛擬機器管理工具（如virsh、virt-install、virt-manager等）和雲端計算框架平臺（如OpenStack、OpenNebula、Eucalyptus等）都在底層使用libvirt的應用程式介面。
(SLE
11)
| 物件 | 解釋 |
| Domain （域） | 指執行在由Hypervisor提供的虛擬機器器上的一個操作系統範例（常常是指一個虛擬機器）或者用來啓動虛機的設定。 |
| Hypervisor | 一個虛擬化主機的軟體層 |
| Node （主機） | 一臺物理伺服器。 |
| Storage pool （儲存池） | 一組儲存媒介的集合，比如物理硬碟機。一個儲存池被劃分爲小的容器稱作卷。卷會被分給一個或者多個虛機。 |
| Volume （卷） | 一個從儲存池分配的儲存空間。一個卷會被分給一個或者多個域，常常成爲域裡的虛擬硬碟。 |
| 物件名稱 | 物件 | Python 類 | 描述 |
| Connect | 與 Hypervisor的連線 |
virConnectPtr
|
在呼叫任何 API 去管理一個本地或者遠端的Hypervisor前，必須建立和這個Hypervisor的連線。 |
| Domain | Guest domain |
virDomainPtr
|
用於列舉和管理已有的虛機，或者建立新的虛機。唯一標識：ID,Name，UUID。一個域可能是暫時性的或者永續性的。暫時性的域只能在它執行期間被管理。永續性的域在主機上儲存了它的設定。 |
| Virtual Network | 虛擬網路 |
virNetworkPtr
|
用於管理虛機的網路裝置。唯一標識：Name，UUID。一個虛擬網路可能是暫時性的或者永續性的。每個主機上安裝libvirt後，它都有一個預設的網路裝置「default」。它向該主機上執行的虛機提供DHCP服務，以及通過NAT連線到主機上。 |
| Storage Pool | 儲存池 |
virStoragePoolPtr
|
用於管理虛擬機器內的所有儲存，包括 local disk, logical volume group, iSCSI target, FibreChannel HBA and local/network file system。唯一標識：Name，UUID。一個儲存池可能是暫時性的或者永續性的。Pool 的 type 可以是 dir, fs, netfs, disk, iscsi, logical, scsi,mpath, rbd, sheepdog, gluster 或者 zfs。 |
| Storage Volume | 儲存卷 |
virStorageVolPtr
|
用於管理一個儲存池內的儲存塊，包括一個池內分配的塊、磁碟分割區、邏輯卷、SCSI/iSCSI Lun，或者一個本地或者網路檔案系統內的檔案等。唯一標識：Name，Key，Path。 |
| Host device | 主機裝置 |
virNodeDevPtr
|
用於管理主機上的物理硬體裝置，包括 the physical USB or PCI devices and logical devices these provide, such as a NIC, disk, disk
controller, sound card, etc。唯一標識：Name。
|
Libvirt API 就是對各種物件的各種操作，包括基本的增、刪、改、查操作和其它操作。
| 物件 | 增 | 刪 | 改 | 查 | 其它 |
| Connect |
virConnectOpen virConnectOpenAuth virConnectOpenReadOnly |
virConnectClose | virConnectSetKeepAlive | ||
| Strorage pool |
virStoragePoolBuild virStoragePoolCreate virStoragePoolCreateXML virStoragePoolDefineXML |
virStoragePoolDelete virStoragePoolDestroy virStoragePoolFree virStoragePoolUndefine |
virStoragePoolRefresh virStoragePoolSetAutostart |
virConnectFindStoragePoolSources virConnectListAllStoragePools virConnectListDefinedStoragePools virConnectListStoragePools virConnectNumOfDefinedStoragePools virConnectNumOfStoragePools virStoragePoolGetInfo/Name/UUID/UUIDString/XMLDesc virStoragePoolIsActive/Persistent virStoragePoolLookupByName/UUID/UUIDString/Volume virStoragePoolRef |
virStoragePoolGetAutostart virStoragePoolGetConnect virStoragePoolNumOfVolumes virStoragePoolListAllVolumes
virStoragePoolListVolumes
|
| Storage volume |
virStorageVolCreateXML virStorageVolCreateXMLFrom |
virStorageVolDelete virStorageVolFree |
virStorageVolResize virStorageVolUpload virStorageVolWipe virStorageVolWipePattern |
virStorageVolGetConnect/Info/Key/Name/Path/XMLDesc virStorageVolLookupByKey/Name/Path virStorageVolRef |
virStorageVolDownload |
| Network |
virNetworkCreate virNetworkCreateXML virNetworkDefineXML |
virNetworkDestroy virNetworkFree virNetworkUndefine |
virNetworkSetAutostart virNetworkUpdate |
virConnectListAllNetworks virConnectListDefinedNetworks virConnectListNetworks virConnectNumOfDefinedNetworks virConnectNumOfNetworks virNetworkGetBridgeName/DHCPLeases/Name/UUID/UUIDString/XMLDesc virNetworkIsActive/Persistent virNetworkLookupByName/UUID/UUIDString virNetworkGetAutostart virNetworkGetConnect
|
virConnectNetworkEventDeregisterAny virConnectNetworkEventGenericCallback virNetworkDHCPLeaseFree |
| Domain snapshot | virDomainSnapshotCreateXML |
virDomainSnapshotDelete virDomainSnapshotFree |
virDomainRevertToSnapshot |
virDomainHasCurrentSnapshot virDomainListAllSnapshots virDomainSnapshotCurrent virDomainSnapshotGetConnect/Domain/Name/Parent/XMLDesc virDomainSnapshotHasMetadata virDomainSnapshotIsCurrent virDomainSnapshotListAllChildren virDomainSnapshotListChildrenNames virDomainSnapshotListNames virDomainSnapshotLookupByName virDomainSnapshotNum virDomainSnapshotNumChildren virDomainSnapshotRef |
|
| Host |
|
virInitialize virNodeSetMemoryParameters virNodeSuspendForDuration |
virConnectBaselineCPU virConnectCompareCPU virConnectGetCPUModelNames/Capabilities/Hostname/LibVersion/MaxVcpus/Sysinfo/Type/URI/Version virConnectIsAlive virConnectIsEncrypted virConnectIsSecure virGetVersion virNodeGetCPUMap/CPUStats /CellsFreeMemory/FreeMemory/Info/MemoryParameters/MemoryS |