dockers-Cgroup資源分配設定與安全

一、cgroup的介紹：

Docker通過Cgroup來控制容器使用的資源配額，包括CPU、記憶體、磁碟三大方面，基本覆蓋了常見的資源配額和使用量控制。Cgroup是Control Groups的縮寫，是Linux核心提供的一種可以限制、記錄、隔離行程群組所使用的物理資源(如CPU、記憶體、磁碟IO等等)的機制，被LXC、docker等很多專案用於實現程序資源控制。Cgroup本身是提供將程序進行分組化管理的功能和介面的基礎結構，I/O或記憶體的分配控制等具體的資源管理功能。這些具體的資源管理功能稱為Cgroup子系統，有以下幾大子系統實現:

blkio:設定限制每個塊裝置的輸入輸出控制。例如:磁碟，光碟以及usb等等。
CPU:使用排程程式為cgroup任務提供CPU的存取。
cpuacct:產生cgroup任務的CPU資源報告。
cpuset:如果是多核心的CPU，這個子系統會為cgroup任務分配單獨的CPU和記憶體。
devices:允許或拒絕cgroup任務對裝置的存取。
freezer:暫停和恢復cgroup任務。
memory:設定每個cgroup的記憶體限制以及產生記憶體資源報告。
net_cls:標記每個網路包以供cgroup方便使用。
ns:名稱空間子系統。（按照邏輯管理分配）
perf_event:增加了對每個group的監測跟蹤的能力，可以監測屬於某個特定的group的所有執行緒以及執行在特定CPU上的執行緒。超出設定的限制會報錯！！！

1、實驗環境準備：

mkdir /opt/stress
vim /opt/stress/Dockerfile
FROM centos:7
MAINTAINER ZK "ZK@kgc.com"
RUN yum install -y wget
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
RUN yum install -y stress
Cd /opt/stress
docker build -t centos:stress .

2、實驗專案之CPU管理：

實驗專案1：
1、CPU份額的控制：cpu分配的權重比例不同：1：2
docker run -itd --name cpu512 --cpu-shares 512 centos:stress stress -c 10
docker exec -it f135cf852686 bash
Top
docker run -itd --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10
docker exec ba0805ba6812 bash
Top

2、CPU週期限制：
CPU-period:用來指定容器對CPU的使用要在多長時間做一次重新分配。
CPU-quota:在指定的週期內，最多有多長時間來跑這個容器。
docker run -itd --cpu-period 100000 --cpu-quota 200000 centos:stress
docker exec -it 4310d6e2cebc bash
Cat /sys/fs/cgroup/cpu/cpu.cfs_period_us            100000
Cat /sys/fs/cgroup/cpu/cpu.cfs_quota_us            200000

3、CPU核心數的控制：
docker run -itd --name cpu1 --cpuset-cpus 0-1 centos:stress
docker exec -it 07a163e19cfd bash
cat /sys/fs/cgroup/cpuset/cpuset.cpus     0-1
docker exec 07a163e19cfd taskset -c -p 1
docker exec -it 07a163e19cfd bash
Stress -c 10                                      在容器裡面跑10個程序
Top

3、實驗專案之記憶體管理：

1、記憶體限額：實體記憶體和swap，
docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 280M
docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 310M報錯
-m:記憶體
-memory-swap：記憶體+swap配額
建立的專案不能超出memory-swap

4、實驗專案之讀寫頻寬控制

docker run -itd --name containter_A --blkio-weight 600 centos:stress
Docker ps -a
docker exec -it 95a3f75769b2 bash
  cat /sys/fs/cgroup/blkio/blkio.weight
docker run -itd --name containter_B --blkio-weight 300 centos:stress
  docker exec -it 95a3f75769b2 bash
cat /sys/fs/cgroup/blkio/blkio.weight

5、實驗專案之讀寫速度控制：

docker run -it --device-write-bps /dev/sda:5MB centos:stress
dd if=/dev/zero of=test bs=1M count=1024 oflag=direct   慢
docker run -it centos:stress
dd if=/dev/zero of=test bs=1M count=1024 oflag=direct  快

二、Docker-TLS加密通訊：

為了防止鏈路劫持、連線劫持等問題導致的Docker通中被中間人攻擊，c/s兩端通過加密的方式通訊。
加密演演算法：
1：對稱 DES 3DES AES 長度不同長度越長安全越高，解密速度越慢
2：非對稱 RSA 公鑰，私鑰公鑰:所有人可知(鎖) 私鑰（鑰匙）個人身份資訊，不可抵賴。
3：證書:個人資訊，金鑰，有效期
4：ca: 證書頒發機構ca證書
金鑰key—》身份簽名csr—》（伺服器/使用者端）(結合ca.pem）製作證書pem
證書pem傳送給使用者端，使用者端驗證就使用證書驗證
程式碼實現：

openssl genrsa -aes256 -out ca-key.pem 4096
openssl req -new -x509 -days 1000 -key ca-key.pem -sha256 -subj "/CN=*" -out ca.pem
openssl genrsa -out server-key.pem 4096
openssl req -subj "/CN=*" -sha256 -new -key server-key.pem -out server.csr
openssl x509 -req -days 1000 -sha256 -in server.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -out server-cert.pem
openssl req -subj "/CN=client" -new -key key.pem -out client.csr
echo extendedKeyUsage=clientAuth > extfile.cnf
openssl x509 -req -days 1000 -sha256 -in client.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -out cert.pem -extfile extfile.cnf
rm -rf ca.srl client.csr extfile.cnf server.csr

ExecStart=/usr/bin/dockerd --tlsverify --tlscacert=/tls/ca.pem --tlscert=/tls/server-cert.pem --tlskey=/tls/server-key.pem -H tcp://0.0.0.0:2376 -H unix:///var/run/docker.sock
systemctl daemon-reload 
systemctl restart docker
docker --tlsverify --tlscacert=ca.pem --tlscert=cert.pem --tlskey=key.pem -H tcp://master:2376 version

scp ca.pem root@14.0.0.11:/etc/docker
scp cert.pem root@14.0.0.11:/etc/docker
scp key.pem root@14.0.0.11:/etc/docker
docker --tlsverify --tlscacert=ca.pem --tlscert=cert.pem --tlskey=key.pem -H tcp://master:2376 version