一、设备信息及规划
DellR730服务器：
2*E5-2643v33.4GHz6C/4*16GDDR4memory/3*300GB15KRPMSAS/Raid/2*2Port1000M/dualpowersupply/DVD/2*singleportFCHBAcard/3yearoverseaswarranty
其中磁盘0、1做Raid1,磁盘2做热备
DellMD3800f：
7*600GB15KRPMSAS/2*16GFC,2UMD38xxF,8GCFcache,4*5mfiber/3yearoverseaswarranty
其中磁盘0、1、2、3、4、5做Raid10，磁盘6做热备
Lun1=1.7T做数据存储,Lun2=3G做oracle仲裁,Lun3=2G预留BOSS仲裁。
二、R730安装配置1、开机设置Raid1
服务器开机，系统自检，加载到PERC卡自检界面的时候，按 查看磁盘列表，各个磁盘状态为“Ready” 高亮选中需要管理的PERC卡，按F2，选择弹出菜单里的“CreateNewVD”。然后根据提示，选择slot0和slot1两块盘，创建Raid1。 高亮选中已创建的磁盘组，按F2，选择弹出菜单里的“ManageDed.HS” 选中对应的热备盘 热备盘添加成功 清除磁盘数据 将Raid信息清除，然后重建Raid信息，选中ID:0的虚拟磁盘后按F2在选项中选择FastInit就能清除数据。 2、HBA卡安装注意事项 在安装HBA卡时就记住WWN号码和端口顺序，MD3800f存储每次刷新时显示顺序都会不一样。 3、linux6.5安装（略） 三、DellMD3800f初始安装配置1、连接管理网口 在电脑中安装DellPowerVaultMDStorageManager，开机并连接到管理网口，将电脑的IP设置成与192.168.129.101同一网段的IP，通过DellPowerVaultMDStorageManager连接到DELLMD3800f测试。 在Linux主机中也必须安装DellPowerVaultMDStorageManager软件，否则会造成控制器自动切换问题。Linux主机不需要配置同网段IP，只要光纤连接后使用软件的自动搜索即可。 RAID控制器模块网络配置可使用DHCP服务器（默认设置）进行分配。但是，如果DHCP服务器在150秒内不可用，RAID控制器模块会分配静态IP地址。初次连接或每次断开后，都需要等待150秒才能ping通。 2、查找添加存储 在软件的“设置”菜单中添加存储阵列，可以使用自动搜索也可以使用带外管理手动输入主备控制器的IP地址进行添加。 右键点击添加的存储，选择“管理存储阵列”，将打开新的窗口对存储进行管理。 3、创建磁盘组 点击“存储和备份服务”，7块硬盘情况下，使用前6块创建磁盘组，使用Raid10，映射关系为0-1,2-3,4-5。 4、创建并初始化虚拟磁盘 创建Lun1用于数据存储，Lun2用于oracle仲裁，Lun3用于jboss仲裁，留出一部分容量不分配。新的虚拟磁盘初始化需要大概2个小时，选中虚拟磁盘后可以在右侧看到进度。 5、创建热备盘 选择“硬件”标签，右键点击未使用的磁盘，选择“热备用容量”，选择“手动分配单个物理盘”。 为磁盘组分配热备用物理磁盘 6、添加主机和主机组 选择存储阵列，在右键选项中选择定义主机 填写主机名 选择FC接口类型和主机端口标识，可通过下列命令确定FCHBA卡的WWN号[root@BOSS1~]#cat/sys/class/fc_host/host1/port_name0x21000024ff1111ca [root@BOSS1~]#cat/sys/class/fc_host/host2/port_name0x21000024ff1111d0 确定是主机组 命名主机组 7、为主机组添加映射 右键选择主机组“添加LUN映射” 8、MD3800f存储摘要 四、Linux多路径软件DMMP安装配置 [root@BOSS1~]#fdisk-l Disk/dev/sdb:1771.7GB,1771674009600bytes255heads,63sectors/track,215393cylindersDisk/dev/sdc:3221MB,3221225472bytes100heads,62sectors/track,1014cylindersDisk/dev/sde:1771.7GB,1771674009600bytes255heads,63sectors/track,215393cylindersDisk/dev/sdd:2147MB,2147483648bytes67heads,62sectors/track,1009cylindersDisk/dev/sdg:2147MB,2147483648bytes67heads,62sectors/track,1009cylindersDisk/dev/sdf:3221MB,3221225472bytes 100heads,62sectors/track,1014cylinders 将MD3800f的卷映射到主机上以后，可以看到六块盘，需要通过linux自带的多路径软件聚合成三块。主要用到下面这两个包 device-mapper-1.02.63-4.el5.x86_64.rpm device-mapper-multipath-0.4.7-46.el5.x86_64.rpm 查看包的安装情况 [root@sms01Server]#rpm-qdevice-mapper-* packagedevice-mapper-1.02.63-4.el5.i386.rpmisnotinstalledpackagedevice-mapper-1.02.63-4.el5.x86_64.rpmisnotinstalled packagedevice-mapper-event-1.02.63-4.el5.x86_64.rpmisnotinstalledpackagedevice-mapper-multipath-0.4.7-46.el5.x86_64.rpmisnotinstalled 安装底层模块 [root@sms01Server]#rpm-Uvhdevice-mapper-1.02.63-4.el5.x86_64.rpm检查安装是否正常 [root@sms01Server]#lsmod|grepdm_multipat 安装多路径工具包 [root@sms01]#rpm-Uvhdevice-mapper-multipath-0.4.7-46.el5.x86_64.rpm设置开机自启动 [root@sms01Server]#chkconfigmultipathdon 接着通过命令：multipath–ll查看多路径状态查看模块是否加载成功[root@liujing~]#multipath–ll查看多路径状态 Mar1019:18:28|/etc/multipath.confdoesnotexist,blacklistingalldevices. Mar1019:18:28|Asamplemultipath.conffileislocatedatMar1019:18:28|/usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf Mar1019:18:28|Youcanrun/sbin/mpathconftocreateormodify/etc/multipath.conf Mar1019:18:28|DMmultipathkerneldrivernotloaded----DM模块没有加载 如果模块没有加载成功请使用下列命初始化DM,或重启系统 ---UsethefollowingcommandstoinitializeandstartDMforthefirsttime: #modprobedm-multipath #modprobedm-round-robin#servicemultipathdstart#multipath-v2 初始化完了之后再通过multipath-ll命令查看是否加载成功[root@liujing~]#multipath-ll Mar1019:21:14|/etc/multipath.confdoesnotexist,blacklistingalldevices. Mar1019:21:14|Asamplemultipath.conffileislocatedatMar1019:21:14|/usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf Mar1019:21:14|Youcanrun/sbin/mpathconftocreateormodify/etc/multipath.conf DMmultipathkerneldrivernotloaded----这个提示没了说明DM模块已加载成功。 从上面的提示可以看到，DM模块是成功加载，但是/etc/下没有multipath.conf配置文件 编辑配置文件 [root@sms01Server]#vi/etc/multipath.conf在linux6.5中需要手动创建此文件#cp/usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf/etc/multipath.conf将blacklist{ devnode\"*\" } 注释掉 并确保下面不被注释defaults{ user_friendly_namesyes} 开启服务 [root@sms01Server]#servicemultipathdstartmultipath基本操作命令 #/etc/init.d/multipathdstart#multipath-F#multipath-v2 #开启mulitipath服务#删除现有没有使用的路径 #格式化路径，检测路径，合并路径 双机中，如果映射3个卷，可能在主机是dm-0，dm-1，dm-2的顺序，而在另一台是dm-1，dm-0，dm-2的顺序。为了保证双机的设备名一致，需在两台机器的multipath.conf配置文件中增加wwid对应名称的配置。 检测并查看WWN号 [root@BOSS1Packages]#multipath-v2[root@BOSS1Packages]#multipath-ll mpathd(3600a0980009883c8000001fd574c51d9)dm-2DELL,MD38xxfsize=2.0Gfeatures='0'hwhandler='0'wp=rw |-+-policy='round-robin0'prio=1status=active|`-1:0:0:3sdd8:48activereadyrunning `-+-policy='round-robin0'prio=1status=enabled`-2:0:0:3sdg8:96activereadyrunning mpathc(3600a098000988461000002725747151e)dm-1DELL,MD38xxfsize=3.0Gfeatures='0'hwhandler='0'wp=rw |-+-policy='round-robin0'prio=1status=active|`-1:0:0:2sdc8:32activereadyrunning `-+-policy='round-robin0'prio=1status=enabled`-2:0:0:2sdf8:80activereadyrunning mpathb(3600a0980009884610000026f574714fd)dm-0DELL,MD38xxfsize=1.6Tfeatures='0'hwhandler='0'wp=rw |-+-policy='round-robin0'prio=1status=active|`-1:0:0:1sdb8:16activereadyrunning `-+-policy='round-robin0'prio=1status=enabled`-2:0:0:1sde8:64activereadyrunning配置文件中增加对应multipaths{multipath{ wwidalias } multipath{ wwidalias } multipath{ wwidalias } } 3600a0980009884610000026f574714fdmpathb 3600a098000988461000002725747151empathc 3600a0980009883c8000001fd574c51d9mpathd 在使用fdisk-l查看的时候，会看到多出的聚合后设备 Disk/dev/mapper/mpathb:1771.7GB,1771674009600bytes255heads,63sectors/track,215393cylindersUnits=cylindersof16065*512=8225280bytes Sectorsize(logical/physical):512bytes/512bytes I/Osize(minimum/optimal):512bytes/512bytesDiskidentifier:0x00000000 Disk/dev/mapper/mpathc:3221MB,3221225472bytes255heads,63sectors/track,391cylinders Units=cylindersof16065*512=8225280bytes Sectorsize(logical/physical):512bytes/512bytesI/Osize(minimum/optimal):512bytes/512bytesDiskidentifier:0x00000000 Disk/dev/mapper/mpathd:2147MB,2147483648bytes255heads,63sectors/track,261cylinders Units=cylindersof16065*512=8225280bytes Sectorsize(logical/physical):512bytes/512bytesI/Osize(minimum/optimal):512bytes/512bytesDiskidentifier:0x00000000 使用fdisk对/dev/mapper/mpathb进行分区， [root@sms02starboss]#fdisk/dev/mapper/mpathb DevicecontainsneitheravalidDOSpartitiontable,norSun,SGIorOSFdisklabel BuildinganewDOSdisklabelwithdiskidentifier0xac956c3a. Changeswillremaininmemoryonly,untilyoudecidetowritethem.Afterthat,ofcourse,thepreviouscontentwon'tberecoverable. Warning:invalidflag0x0000ofpartitiontable4willbecorrectedbyw(rite) WARNING:DOS-compatiblemodeisdeprecated.It'sstronglyrecommendedtoswitchoffthemode(command'c')andchangedisplayunitstosectors(command'u'). Command(mforhelp):n------------------------新建分区Commandactioneextended pprimarypartition(1-4) p-----------------------------主分区Partitionnumber(1-4):1 Firstcylinder(1-1016,default1):Usingdefaultvalue1 Lastcylinder,+cylindersor+size{K,M,G}(1-1016,default1016):Usingdefaultvalue1016 Command(mforhelp):w---------------------写入列表相当于保存Thepartitiontablehasbeenaltered! Callingioctl()tore-readpartitiontable.Syncingdisks. 分区后会出现/dev/mapper/mpathbp1 如果是超过2T需要用GPT进行分区，oracle不能用超过2T的分区 [root@sms02starboss]#parted/dev/mapper/mpathb//用parted命令分区GNUParted2.1 Using/dev/mapper/mpathb WelcometoGNUParted!Type'help'toviewalistofcommands.(parted)mklabelGPT//建立磁盘labelWarning:Theexistingdisklabelon/dev/mapper/mpathbwillbedestroyedandall dataonthisdiskwillbelost.Doyouwanttocontinue?Yes/No?y(parted)Partition mkpartname? []? ora01 // 创// 分建区 分名 区称 Filesystemtype?Start?End? 2577GBp [ext2]?ext4//文件系统 1 // 大 小 (parted)//查看是否成功 Model:Linuxdevice-mapper(multipath)(dm)Disk/dev/mapper/mpathb:2577GB Sectorsize(logical/physical):512B/512BPartitionTable:gptNumberStartEndSizeFilesystem11049kB2577GB2577GB(parted) Nameora01 Flags quit Information:Youmayneedtoupdate/etc/fstab.使用mkfs.ext4/dev/mapper/mpathbp1格式化只能用/dev/mapper/mpathbp1挂载 多路径测试： 启用多路径软件前设备识别/dev/sdb和/dev/sdc，拔下一个控制器上的FC线，/dev/sdb消失。启用多路径软件后，拔下控制器上的FC线，/dev/sdb和/dev/sdc 均不消失，且/dev/mapper/mpathbp1没有变化，挂载该盘阵的主机没有丢失挂载，持续向盘阵上写一个文件ping192.168.2.11>>/bossdata/test.txt没有中断。 五、RoseHA9.0双机软件安装 参考《RoseHA8.9forLinux快速安装说明v1.2-2013-03-29.pdf》BOSS01：192.168.2.11 9.9.9.11（心跳）10.10.10.12（心跳）BOSS02：192.168.2.21 9.9.9.21（心跳）10.10.10.22（心跳） 安装注意 挂载点要写“/bossdata”而不能写“/bossdata/” 当配置不准确，切换时可能出现假死，可以通过clusterdstop命令终止进程。8.9版本仲裁盘要写/dev/mapper/mpathcp1而9.0版本要写/dev/mapper/mpathc在/opt/Rose/Cluster/bin目录下，可以通过执行脚本检测先挂载好盘阵 [root@sms01bin]#mount/dev/mapper/mpathbp1/bossdata 测试oracle启动 [root@sms01bin]#./ora_start.sh USAGE:OracleSIDListenerNameTNSName [root@sms01bin]#./ora_start.shstarbossLISTENERstarboss注意大小写敏感测试rose监听 [root@sms01bin]#./ag_oracle.bin ./ag_oracle.bin [root@sms01bin]#./ora_stop.sh USAGE:OracleSIDOracleListenerNameOracleTnsName [root@sms01bin]#./ora_stop.shstarbossLISTENERstarboss 因篇幅问题不能全部显示，请点此查看更多更全内容