danny 2007-3-15 10:49
Linux Cluster for NFS安裝及設定分享
一.作業環境介紹：
項 目 主機名稱 OS版本 IP 說明
一 Storage RHEL4U1 192.168.1.40 作為Shared Disk使用
二 Node1 RHEL4U1 192.168.1.41 Cluster的節點一
三 Node1 RHEL4U1 192.168.1.42 Cluster的節點二
二.目地：
由於實作Cluster環境通常都需要有Share Disk，而Share Disk都須要購買
DiskArray，但如果只是要測試，可以使用iSCSI方式來練習，所以我們將以
iSCSI方式來模擬，但須要注意OS，最好是拿RHEL 3版本或以上來練習，雖然版
本2就有支援，可是相關Cluster軟體在版本3或以上才比較穩定。
三.安裝方式介紹：
《介紹iSCSI Target安裝》
在storage主機上：
# tar zxvf iscsitarget-0.4.5.tar.gz
# cd iscsitarget-0.4.5
# export KERNELSRC=/usr/src/kernels/<kernel version>
(我使用的是2.6.9-11.EL-i686這一個Kernel)
# make && make install（開始進行編譯及安裝）
※確定沒有出現錯誤，再進行下一步
# grep –v ‘#’ etc/ietd.conf > /etc/ietd.conf
# vi /etc/ietd.conf
※請注意必須先分割一塊空間當作Share Disk使用，並且不可以Mount進行，我
這邊使用的是/dev/sda3這一個分割區修改內容如以下所示：
1.Target iqn.2007-03.unix-like.idv.tw:storage.disk1.sys1.xyz
2.Lun 0 /dev/sda3 fileio
3.Alias Test
# /etc/init.d/iscsi-target start
# chkconfig iscsi-target on
# dmesg（查看是否有以下訊息）
iSCSI Enterprise Target Software - version 0.4.5
iotype_init(91) register fileio
target_param(109) d 1 8192 262144 65536 2 20 8 0
《Node1 & Node2安裝iSCSI Initiator》
在Node1：
# rpm –Uvh mkinitrd-4.2.1.6-1.i386.rpm
（請使用昇級方式來安裝mkinitrd）
# rpm –ivh kernel-2.6.9-42.EL.i686.rpm
（請重新開機，並選擇這個Kernel登入）
# rpm –ivh sysfsutils-1.2.0-1.i386.rpm
# rpm –ivh iscsi-initiator-utils-4.0.3.0-2.i386.rpm
# vi /etc/iscsi.conf（修改內容如下）
#DiscoveryAddress=10.4.100.0
DiscoveryAddress=192.168.1.40（只須增加這一行，IP為Storage的IP）
# or
#DiscoveryAddress=10.4.100.1:3260
# service iscsi start
# chkconfig iscsi on
# fdisk –l 或 cat /proc/scsi/scsi
（檢查是否有多出顆硬碟）
※請先分割一個區塊並且格式化，我們切割一塊500 MB，名稱為/dev/sdb1
# mkdir /nfsdata
（測試使用）
# mount /dev/sdb1 /nfsdata
（確定是否可以產生檔案）
# umount /nfs_data
※請在Node2節點上做相同步驟
《Node1 & Node2安裝Cluster》
在Node1上：
# rpm –ivh magma-1.0.6-0.i686.rpm
# rpm –ivh ccs-1.0.7-0.i686.rpm
# rpm –ivh cman-kernel-2.6.9-45.2.i686.rpm
# rpm –ivh cman-1.0.11-0.i686.rpm
# rpm –ivh dlm-kernel-2.6.9-42.10.i686.rpm
# rpm –ivh dlm-1.0.1-1.i686.rpm
# rpm –ivh gulm-1.0.7-0.i686.rpm
# rpm –ivh perl-Net-Telnet-3.03-3.noarch.rpm
# rpm –ivh fence-1.32.25-1.i686.rpm
# rpm –ivh iddev-2.0.0-3.i686.rpm
# rpm –ivh magma-plugins-1.0.9-0.i386.rpm
# rpm –ivh rgmanager-1.9-53-0.i386.rpm
# rpm –ivh system-config-cluster-1.0.27-1.0.noarch.rpm
※請在Node2節點上做相同步驟
《在Node1上設定NFS Cluster》
# system-config-cluster
※建議當第一次進來，會詢問是否建立新的設定檔，請先按下『Create New
Configuration』，並且馬上儲存離開
# vi /etc/cluster/cluster.conf
（修改名稱如：Cluster1)
# system-config-cluster
請依照下面方式輸入相關資料
1.在【Cluster＋Cluster Nodes】，選擇“Add a Cluster Node”，將Node1及
Node2的FQDN完整名稱輸入
2.在【Cluster＋Fence Devices】，選擇“Add a Fence Device”，請選
擇“Manual Fencing”種類，再輸入名稱“NPS”
3.在【Cluster＋Cluster Nodes】，選擇“節點1”,請選擇“Fence
Configuration”，進去後，再選擇“Add a New Fence Level”，會增加一
個“Fence-Level-1”項目，再點選擇這個項目，選擇“Add a New Fence to
this Level”，再按下OK，節點2也是相同做法
4.在【Cluster＋Managed Resources＋Failover Domains】，選擇“Create a
Failover Domain，輸入”nfsha“名稱”，出現組態畫面，請先選擇節點1，
再選擇節點2，您可以在這裡將右邊的“Proritized List”打勾，來決定優先順
序，數字愈小優先權愈高
5.在【Cluster＋Managed Resources＋Resouces】，請選擇“Create a
Resource”，請先選擇“File System”，名稱輸入“nfsdata”，格式
為”ext3“，Mount Point為”/nfsdata”，Device為“/dev/sdb1”
6.在【Cluster＋Managed Resources＋Resouces】，請選擇“Create a
Resource”，請先選擇“NFS Client”，名稱輸入“any_host”，Target
為“*”
7.在【Cluster＋Managed Resources＋Resouces】，請選擇“Create a
Resource”，請先選擇“NFS Export”，名稱輸入“nfs_export”
8.在【Cluster＋Managed Resources＋Resouces】，請選擇“Create a
Resource”，請先選擇“IP Address”，請輸入“192.168.1.45”
9.【Cluster＋Managed Resources＋Services】，請選擇“Create a
Service”，輸入“nfs1”，請先在右上角的的Failover Domain改
為”nfsha“，按下下面的”Add a Shared Resource to this service“，請
先選擇”nfsdata“，再按一下剛剛新增的nfsdata，再選擇下方的”Attach a
Shard Resource to the selection“，選擇”nfs_export“，再按一下
nfs_export，再選擇下方的”Attach a Shard Resource to the selection“，
選擇”any_host“，最後選擇”Add a Shared Resource to this service“，
選擇”192.168.1.45 IP Address“，即大功告成
10.最後記得儲存離開
# scp –r /etc/cluster node2:/etc
（注意，是整個目錄拷貝過去）
※請依序在Node1及Node2啟動服務
（每一個服務都要同時啟動完成，再啟動下一個服務）
# service ccsd start
（檢查Cluster版本有無異動，啟動時間會比較久）
# service cman start
（Cluster manager）
# service fenced start
（啟動電源設備，在測試時會出現Failed，不過不會影響後面的操作）
# service rgmanager start
（管理resource）
※如果啟動有問題的話，請依照相反順序來進行關閉
《進行測試NFS Cluster》
您可以利用以下幾種方法來進行測試
# ping 192.168.1.45
（是否有回應狀況）
# showmount –e 192.168.1.45
（查看是否有分享目錄出來）
# mount 192.168.1.45:/nfsdata /nfsdata
（確定是否可以正常Mount進來，如果要寫入檔案，記得權限要開）
# system-config-cluster
(請選擇Cluster Manager，以確定服務否有啟動)
利用其它電腦進行掛載後，再將目前使用的節點關機，以查看是否Failover過去
From [url=http://phorum.study-area.org/viewtopic.php?t=44931]http://phorum.study-area.org/viewtopic.php?t=44931[/url]