| 節點名 | 節點IP | 節點作用 |
| gpfsnode1 | 192.168.27.61 | gpfs主節點 |
| gpfsnode2 | 192.168.27.62 | gpfs從節點 |
| gpfsclient | 192.168.27.63 | gpfs使用者端 |
| timeserver | 192.168.0.7 | 時間同步伺服器 |
[root@gpfsnode1 ~]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.27.61 gpfsnode1 192.168.27.62 gpfsnode2 192.168.27.63 gpfsclient
[root@gpfsnode1 ~ ]# ssh-keygen -t rsa Enter file in which to save the key (/root/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: [root@gpfsnode1 ~ ]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@gpfsnode2 /usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/root/.ssh/id_rsa.pub" Are you sure you want to continue connecting (yes/no)? yes root@gpfsnode2's password: 這裡輸入gpfsnode2的密碼
關閉防火牆 [root@gpfsnode1 ~] systemctl stop firewalld 設定防火牆不開機自動啟動 [root@gpfsnode1 ~] systemctl disable firewalld
[root@gpfsnode1 ~] vim /etc/selinux/config SELINUX=disabled
[root@gpfsnode1 ~] crontab -e */5 * * * * /usr/sbin/ntpdate 192.168.0.7;/usr/sbin/hwclock -w
| 包名 | 功能 | 安裝命令 |
| Gcc | 程式碼編譯包 | yum install gcc |
| Cpp | 計算機程式語言 | yum install cpp |
| Automake | Makefile檔案編輯器 | yum install automake |
| Kernel-devel | 核心檔案開發包 | yum install kernel-devel |
| Kernel-headers | 系統核心標頭檔案包 | yum install kernel-headers |
| binutils | 一組開發工具包 | yum install binutils |
| Python | Python主安裝檔案 | yum install python |
| Make | Linux系統的編譯工具 | yum install make |
| Ksh | 互動式的命令直譯器和命令變成語言 | yum install ksh |
| Gcc-c++ | 針對C++的程式碼編譯包 | yum install gcc-c++ |
| rpm-build | rpm安裝包編譯工具 | yum install rpm-build |
[root@gpfsnode1 ~]# ./Spectrum_Scale_Advanced-5.0.3.0-x86_64-Linux-install --text-only
[root@gpfsnode1 ~]# cd /usr/lpp/mmfs/5.0.3.0/gpfs_rpms
gpfs.base-5.0.3-1.*.rpm gpfs.gpl-5.0.3-1.noarch.rpm gpfs.compression-5.0.3-1.*.rpm gpfs.gskit-8.0.50-86.*.rpm gpfs.msg.en_US-5.0.3-1.noarch.rpm gpfs.license.xxx-5.0.3-1.*.rpm（其中 xxx 是許可證型別） gpfs.adv-5.0.3-1.*.rpm（僅限 IBM Spectrum Scale Advanced 或 Data Management Edition） gpfs.crypto-5.0.3-1.*.rpm（僅限 IBM Spectrum Scale Advanced 或 Data Management Edition）
rpm -ivh gpfs.base-5.0.3-0.x86_64.rpm rpm -ivh gpfs.gpl-5.0.3-0.noarch.rpm rpm -ivh gpfs.adv-5.0.3-0.x86_64.rpm rpm -ivh gpfs.license.adv-5.0.3-0.x86_64.rpm rpm -ivh gpfs.gskit-8.0.50-86.x86_64.rpm rpm -ivh gpfs.msg.en_US-5.0.3-0.noarch.rpm rpm -ivh gpfs.crypto-5.0.3-0.x86_64.rpm rpm -ivh gpfs.docs-5.0.3-0.noarch.rpm
if [ -f ~/.bashrc ]; then . ~/.bashrc fi # User specific environment and startup programs PATH=$PATH:$HOME/bin:/usr/lpp/mmfs/bin export PATH
[root@gpfsnode1 ~]# /usr/lpp/mmfs/bin/mmbuildgpl --build-package
Wrote: /root/rpmbuild/RPMS/x86_64/gpfs.gplbin-3.10.0-229.el7.x86_64-5.0.3-x.x86_64.rpm
[root@gpfsnode1 ~]# mmcrcluster -N /tmp/mmfs/nodefile -p gpfsnode1 -s gpfsnode2 -C gpfscluster -A -r /usr/bin/ssh -R /usr/bin/scp
gpfsnode1:quorum-manager:
gpfsnode2:quorum-manager:
[root@gpfsnode1 ~]# mmchlicense server --accept -N all
從節點使用以下命令啟動 GPFS 守護行程和叢集。
[root@gpfsnode1 ~]# /usr/lpp/mmfs/bin/mmstartup -N Nodename
%nsd:device=/dev/sdb nsd=data01 servers=gpfsnode1 usage=dataAndMetadata failureGroup=-1 pool=system %nsd:device=/dev/sdb nsd=data02 servers=gpfsnode2 usage=dataAndMetadata failureGroup=-1 pool=system
[root@gpfsnode1 ~]# mmcrnsd -F /gpfsfile/NSDfile
檢視nsd：
[root@gpfsnode1 ~]# mmlsnsd -m
[root@gpfsnode1 ~]# mmstartup -a
[root@gpfsnode1 ~]# mmgetstate -Las
[root@gpfsnode1 ~]# mmcrfs gpfs -F /tmp/mmfs/nsdfile -A yes -B 1M -j hcluster -m 2 -r 2 -M 3 -R 3 -T /gpfs --metadata-block-size 256K
[root@gpfsnode1 ~]# mmcrfs gpfs -F /tmp/mmfs/nsdfile -k nfs4
[root@gpfsnode1 ~]# mmmount gpfs /gpfs -N all
查詢掛載是否成功，看見檔案系統為gpfs的表示掛載成功。
[root@gpfsnode1 ~]# df -hT 檔案系統 型別 容量 已用 可用 已用% 掛載點 /dev/mapper/rhel-root xfs 92G 14G 78G 15% / devtmpfs devtmpfs 1.9G 0 1.9G 0% /dev tmpfs tmpfs 1.9G 0 1.9G 0% /dev/shm tmpfs tmpfs 1.9G 9.0M 1.9G 1% /run tmpfs tmpfs 1.9G 0 1.9G 0% /sys/fs/cgroup /dev/sda1 xfs 1014M 143M 872M 15% /boot tmpfs tmpfs 378M 0 378M 0% /run/user/0 gpfs gpfs 600G 6.7G 594G 2% /gpfs
[root@gpfsnode1 ~]# mmgetstate -Las Node number Node name Quorum Nodes up Total nodes GPFS state Remarks ------------------------------------------------------------------------------------- 1 gpfsnode1 2 2 3 active quorum node 2 gpfsnode2 2 2 3 active quorum node 3 gpfsclient 2 2 3 active Summary information --------------------- Number of nodes defined in the cluster: 3 Number of local nodes active in the cluster: 3 Number of remote nodes joined in this cluster: 0 Number of quorum nodes defined in the cluster: 2 Number of quorum nodes active in the cluster: 2 Quorum = 2, Quorum achieved
[root@gpfsnode1 ~]# mmcrfileset gpfs sqdb [root@gpfsnode1 ~]# mmlinkfileset gpfs sqdb -J /gpfs/sqdbfolder [root@gpfsnode1 ~]# mmlsfileset gpfs
檢視節點 # mmlsnode 檢視叢集 # mmlscluster -Lsa 增加節點（如下為增加伺服器端，也可以修改server的引數後增加使用者端） # mmaddnode -N gpfs04:quorum # mmchlicense server --accept -N gpfs04 關閉所有節點 # mmshutdown -a # mmshutdown -N nodename 檢視設定 # mmlsconfig all 修改設定 # mmchconfig 使用以下命令解除安裝 GPFS 檔案系統並停止所有節點上的 GPFS。 # mmshutdown -a 解除安裝gpfs分割區 # mmumount gpfs 使用以下命令在可用檔案系統之一上設定 CES 共用根檔案系統。 # mmchconfig cesSharedRoot=/gpfs/fs0 使用以下命令在叢集中的所有節點上啟動 GPFS。 # mmstartup -a # mmstartup -N nodename 使用以下命令在所需節點上啟用 CES。 # mmchnode --ces-enable -N prnode1,prnode2,prnode3 使用以下命令將協定節點的 IP 地址新增到 CES。 # mmces address add --ces-ip 198.51.100.2 # mmces address add --node prnode1 --ces-ip 198.51.100.2 使用以下命令驗證 CES 設定。 # mmlscluster --ces # mmces address list
mmcrfs -T
mmchfs -T
gpfsclient:client
[root@gpfsclient ~]# mmaddnonde -N addnodefile
[root@gpfsclient ~]# mmchlicense client --accept -N gpfsclient [root@gpfsclient ~]# mmstartup -N gpfsclient [root@gpfsclient ~]# mmmount gpfs /gpfs -N gpfsclient
節點服務啟動後，GPFS檔案系統會自動掛載，可以通過df -h命令檢視。
[root@gpfsclient ~]# mmumount gpfs
[root@gpfsclient ~]# mmmount gpfs /gpfs -N ${CLIENT_NODE_NAME}
[root@gpfnode1 ~]# mmstartup -a
2.掛載Server端的gpfs目錄。
[root@gpfnode1 ~]# mmmount gpfs /gpfs -N all
[root@gpfsclient ~]# mmstartup -N gpfsclient
解除安裝：mmumount gpfs
[root@gpfsclient ~]# mmmount gpfs /gpfs -N gpfsclient
搭建步驟到此結束
如果有什麼建議或者不明白的地方，歡迎留言或者私信我，看見第一時間回覆。
本篇檔案中存在的已知問題歡迎各路大牛指出。