自由论坛

标题: 【学习笔记】分布式存储 [打印本页]

作者: prostar 时间: 2016-3-13 16:27
标题: 【学习笔记】分布式存储
存储分类:
DAS 直挂式存储(direct  access/attach storage) 比如:机箱里的硬盘
NAS 网络附加存储(network attched storage) 比如:NFS,SAMBA等
SAN 存储区域网络(storage area network)
分布式存储(云存储)

         apache

         |
         |
      nginx----storage(硬raid)---  mysql
         |
         |
         oracle

两种SAN
FC-SAN：早期的SAN，服务器与交换机的数据传输是通过光纤进行的，服务器把SCSI指令传输到存储设备上，不能走普通LAN网的IP协议。
IP-SAN：后期出现的SAN，用IP协议封装的SAN，可以完全走普通网络，因此叫做IP-SAN，最典型的就是热门的ISCSI。

FC-SAN:速度快，成本高，传输距离有一定限制
IP-SAN:速度较慢（但以后会有W兆以太网标准），成本低，传输距离无限制

IP-SAN的共享技术:
gnbd  (global network block device) rhel5可以用，现在已经不再支持了
iscsi 网络scsi,现在做ip-san的主要方式

====================================================================

iscsi 网络scsi(small computer system interface)

iscsi可以把块设备,或者单个dd出来的文件,lvm等共享成网络存储

存储的N个磁盘－－》硬RAID－－》iscsi或FC－－》分区（lvm可选)－－》格式化－－》挂载使用

         10.1.1.35
         存储服务端(存储导出端，宿主机)
            |
　          　  | iscsi
            |
         存储客户端(存储导入端，虚拟机)
         10.1.1.6

实验前准备:
因为我们没有实际存储设备，那么可以通过分区或者dd产生文件来模拟存储.
再因为大家宿主机都没有多余的free空间，那么我们就通过dd产生四个大小不完全相同的文件来模拟存储

# dd if=/dev/zero of=/data/storage1 bs=1M count=500
# dd if=/dev/zero of=/data/storage2 bs=1M count=1000
# dd if=/dev/zero of=/data/storage3 bs=1M count=1500
# dd if=/dev/zero of=/data/storage4 bs=1M count=2000

一共产生四个模拟存储文件（1个500M,1个1000M,1个1500M,1个2000M;这么设计是为了方便后面讨论的)

第一大步

服务器端
下面开始iscsi的共享
1,在iscsi存储服务端安装下面iscsi的服务端软件包
# yum install scsi-target-utils -y

2,配置主配置文件
# vim /etc/tgt/targets.conf

<target iscsi:data1>
      backing-store /data/storage1
      incominguser li li123 --存储客户端要求验证才可以通过网络使用这个设备，用户名和密码与系统用户无关
</target>
<target iscsi:data2>
      backing-store /data/storage2
      incominguser li li123
</target>
<target iscsi:data3>
      backing-store /data/storage3 --这个存储共享没有任何验证方式，也就表示任何人可以远程iscsi挂载使用
</target>
<target iscsi:data4>
      backing-store /data/storage4
      initiator-address 10.1.1.0/24 --指定一个网段内的所有客户端可以使用这个设备
</target>

3，启动服务
# /etc/init.d/tgtd start --启动iscsi服务

--如果服务端启动出现问题，或者不能stop，可以ps -ef |grep tgt然后kill -9杀掉进程；但这样做的话可能会造成你再也起不来了；解决方法： rm /var/lock/subsys/tgtd -rf再来启

# netstat -ntlup |grep tgtd  --端口为3260
tcp       0    0 0.0.0.0:3260             0.0.0.0:*                LISTEN    6283/tgtd
tcp       0    0 :::3260                   :::*                      LISTEN    6283/tgtd

# chkconfig tgtd on

4.验证你导出的存储是否OK
# tgtadm --lld iscsi --op show --mode target --启动服务后使用此命令查看导出的资源信息
或者直接使用
# tgt-admin --show

第二大步:
iscsic客户端的配置 --所有的客户端都要配置，步骤都一样

1，在每个客户端安装iscsi的客户端软件包
客户端配置yum

# yum install iscsi-initiator-utils -y

2。因为iscsi服务端有两个资源被配置了验证，所以需要修改客户端配置文件才可以通过验证进行登录（如果iscsi服务端没有配置用户名密码验证，则客户端这一小步骤可以不用做）
# vim /etc/iscsi/iscsid.conf
53 node.session.auth.authmethod = CHAP    --CHAP (Challenge-Handshake Authentication Protocol )
57 node.session.auth.username = li
58 node.session.auth.password = li123

67 discovery.sendtargets.auth.authmethod = CHAP
71 discovery.sendtargets.auth.username = li
72 discovery.sendtargets.auth.password = li123

3，启动客户端iscsi服务
# /etc/init.d/iscsi start --现在第一次是没有任何信息的,因为我们根本就没有去discovery服务端的任何信息.如果你先去做discovery连接,再启动服务,会默认把所有发现的资源连接起来
# chkconfig iscsi on

4，在登录前必须要先连接并发现资源（discovery)

# iscsiadm -m discovery -t sendtargets -p 10.1.1.35  --使用此命令发现服务端的iscsi共享资源，IP为iscsi存储服务端的IP
10.1.1.35:3260,1 iscsi:data1
10.1.1.35:3260,1 iscsi:data2
10.1.1.35:3260,1 iscsi:data3
10.1.1.35:3260,1 iscsi:data4

5,发现资源成功后，就可以进行资源登录了
只登录其中一个目录:
# iscsiadm -m node -T iscsi:data1 -p 10.1.1.35 -l
直接登录所有发现的目标:
# iscsiadm -m node -l
或者/etc/init.d/iscsi restart重启iscsi服务也会自动把所有发现的目标给登录过来

6,登录成功后，直接使用fdisk -l查看
# fdisk -l |grep sd[b-z]

7，关于取消登录和删除
取消登录其中一个特定目录: --把-l改成-u
iscsiadm -m node -T iscsi:data1 -p 10.1.1.35 -u
取消登录所有目录:
iscsiadm -m node -u

8，用上面的命令取消登录后，如果把服务重启/etc/init.d/iscsi restart，它会仍然帮你把这些目录再自动登录上，如果你希望取消登录后，把相关信息完全删除，则需要做下面的操作
删除登录过的特定目录的信息: --把-l改成--op delete
iscsiadm -m node -T iscsi:data1 -p 10.1.1.35 --op delete
删除所有登录过的目录信息：
iscsiadm -m node --op delete
或者rm /var/lib/iscsi/*  -rf

问题:
如果iscsi设备有多个，重启iscsi服务后，可能会出现顺序变化的情况
可以多重启几次/etc/init.d/iscsi服务就会出现这种情况

解决方法主要有二种：udev 或者存储多路径绑定

=================================================================

udev  linux设备管理器

scsi设备特性

# cat /proc/scsi/scsi       --如果有光驱的话，这里会看到两个：一个是/dev/sda，另一个是/dev/cdrom

# yum install lsscsi
#lsscsi       --此命令与cat /proc/scsi/scsi的内容对应

# lsscsi
[0:0:0:0] disk ATA    ST3500413AS    JC4B  /dev/sda
[0:0:1:0] disk ATA    ST3500418AS    CC38  /dev/sdb
[5:0:0:0] disk SanDisk  Cruzer Micro    0.1 /dev/sdd
--我这里是双硬盘，第二个是把光驱连的硬盘，所以没有光驱

#ls /sys
VFS层有设备信息，内存信息，总线信息都放在/proc目录里；但/proc目录是进程相关
所以在2.6内核后把系统相关的信息

一个DAS的存储或者SAN的存储，连接到系统，系统如何去发现这个设备？或者拔出这个设备，系统又是如何去知道和操作？
# ls /sys/class/scsi_host/ --对就我的双硬盘和U盘
host0  host1  host5

# cat /sys/class/scsi_host/host0/state
running
# cat /sys/class/scsi_host/host1/state
running
# cat /sys/class/scsi_host/host2/state
running
--所有的设备都是running才表示设备连接没问题

# ll /sys/class/scsi_host/host5/device/target5\:0\:0/5\:0\:0\:0/delete       --这个文件是只写的
--w------- 1 root root 4096 Jan  4 11:54 /sys/class/scsi_host/host5/device/target5:0:0/5:0:0:0/delete

# echo 1 > /sys/class/scsi_host/host5/device/target5\:0\:0/5\:0\:0\:0/delete --给它写一个1值

# lsscsi
[0:0:0:0] disk ATA    ST3500413AS    JC4B  /dev/sda
[0:0:1:0] disk ATA    ST3500418AS    CC38  /dev/sdb
--再次查看我的U盘就没了

有四个 SCSI 特有的可写参数： scan,state,supported_mode,active_mode；
可以向其中写入不同的参数来控制此 SCSI 控制器的各种状态；
其它一些可读属性用于读取这个 SCSI 控制器的一些当前值；
其中的 scan 属性文件在调试一些 SCSI 硬件驱动时很有用，它是只写的，
可以写入三个至四个以空格分开的整数，用于分别指定对应的 host, channel, id, lun 进行重新搜索。
且这个 scan 属性支持以"-"作为通配符
如以下命令可以执行让整个 scsi_host 进行重新搜索，这个功能用于调试某些对热挺拔实现不完善的 SCSI 驱动程序很有用
# echo "- - -" > /sys/class/scsi_host/host5/scan

# lsscsi    --再次查看，U盘又回来了
[0:0:0:0] disk ATA    ST3500413AS    JC4B  /dev/sda
[0:0:1:0] disk ATA    ST3500418AS    CC38  /dev/sdb
[5:0:0:0] disk SanDisk  Cruzer Micro    0.1 /dev/sdd

但注意上面的删除设备操作不要对你的硬盘sda进行操作;会直接系统崩溃掉（kernel panic或者是任何操作都不行了)，重启解决；
使用虚拟机可以模拟
（服务器不要随便操作硬件）

你也可以把上面U盘的操作小实验对应的应用到iscsi上
1,在iscsi客户端操作
# lsscsi
[1:0:0:0] cd/dvd  QEMU    QEMU DVD-ROM    0.12  /dev/sr0
[30:0:0:0] storage IET    Controller    0001  -
[30:0:0:1] disk IET    VIRTUAL-DISK    0001  /dev/sdc
[31:0:0:0] storage IET    Controller    0001  -
[31:0:0:1] disk IET    VIRTUAL-DISK    0001  /dev/sdd
[32:0:0:0] storage IET    Controller    0001  -
[32:0:0:1] disk IET    VIRTUAL-DISK    0001  /dev/sdb
[33:0:0:0] storage IET    Controller    0001  -
[33:0:0:1] disk IET    VIRTUAL-DISK    0001  /dev/sda

# fdisk -l |grep sd[a-z]
Disk /dev/sda: 2097 MB, 2097152000 bytes
Disk /dev/sdb: 1572 MB, 1572864000 bytes
Disk /dev/sdd: 524 MB, 524288000 bytes
Disk /dev/sdc: 1048 MB, 1048576000 bytes --以这个1G大小的iscsi的target为例，它对应的编号为30:0:0:1

2,echo 1 > /sys/class/scsi_host/host30/device/session29/target30\:0\:0/30\:0\:0\:1/delete    --使用此命令断开30:0:0:1的连接

3，# fdisk -l |grep sd[a-z] --就查看不到/dev/sdc了
Disk /dev/sda: 2097 MB, 2097152000 bytes
Disk /dev/sdb: 1572 MB, 1572864000 bytes
Disk /dev/sdd: 524 MB, 524288000 bytes

4，echo "- - -" > /sys/class/scsi_host/host30/scan --重新扫描，并连接先前断开的设备

5，fdisk -l |grep sd[a-z] --断开的/dev/sdc又回来了
Disk /dev/sda: 2097 MB, 2097152000 bytes
Disk /dev/sdb: 1572 MB, 1572864000 bytes
Disk /dev/sdd: 524 MB, 524288000 bytes
Disk /dev/sdc: 1048 MB, 1048576000 bytes

=======================================================================

udev参考文档
http://www.ibm.com/developerworks/cn/linux/l-cn-udev/index.html

udev 是 Linux2.6 内核里的一个功能，它替代了原来的 devfs，成为当前 Linux 默认的设备管理工具。
udev 以守护进程的形式运行，通过侦听内核发出来的 uevent 来管理 /dev目录下的设备文件。
不像之前的设备管理工具，udev 在用户空间 (user space) 运行，而不在内核空间 (kernel space) 运行。

udev 是高效的设备管理工具，其最大的优势是动态管理设备和自定义设备的命名规则，
因此替代 devfs 成为 Linux 默认的设备管理工具

1，动态管理：当设备添加 / 删除时，udev 的守护进程侦听来自内核的 uevent，
以此添加或者删除 /dev下的设备文件，所以 udev 只为已经连接的设备产生设备文件，
而不会在 /dev下产生大量虚无的设备文件。

2，自定义命名规则：通过 Linux 默认的规则文件，
udev 在 /dev/ 里为所有的设备定义了内核设备名称，比如 /dev/sda、/dev/hda、/dev/fd等等。
由于 udev 是在用户空间 (user space) 运行，Linux 用户可以通过自定义的规则文件，灵活地产生标识性强的设备文件名，
比如 /dev/boot_disk、/dev/root_disk、/dev/color_printer等等。

3，设定设备的权限和所有者组：udev 可以按一定的条件来设置设备文件的权限和设备文件所有者组。

udev的配置目录： /etc/udev
规则文件目录： /etc/udev/rules.d
脚本目录：/etc/udev/scripts

udev的配置文件
cat /etc/udev/udev.conf
udev_log="err"       --相对于rhel4.x版本，在rhel5里配置文件只有日志一项配置。

udev的规则和规则文件
规则文件是udev里最重要的部分，默认是存放在/etc/udev/rules.d/下，都要以.rules结尾。

devfs：devfs是 Linux 早期的设备管理工具，已经被 udev 取代。
sysfs：sysfs是 Linux 2.6 内核里的一个虚拟文件系统 (/sys)。它把设备和驱动的信息从内核的设备模块导出到用户空间 (userspace)。从该文件系统中，Linux 用户可以获取很多设备的属性。
devpath：devpath是指一个设备在 sysfs文件系统 (/sys)下的相对路径，该路径包含了该设备的属性文件。udev 里的多数命令都是针对 devpath操作的。
例如：sda的 devpath是 /block/sda，sda2 的 devpath是 /block/sda/sda2。
内核设备名称：设备在 sysfs里的名称，是 udev 默认使用的设备文件名

udev 规则的所有操作符：
“==”：比较键、值，若等于，则该条件满足；
“!=”：比较键、值，若不等于，则该条件满足；
“=”：对一个键赋值；
“+=”：为一个表示多个条目的键赋值。
“:=”：对一个键赋值，并拒绝之后所有对该键的改动。目的是防止后面的规则文件对该键赋值。

udev 规则的匹配键
ACTION：事件 (uevent) 的行为，例如：add( 添加设备 )、remove( 删除设备 )。
KERNEL：内核设备名称，例如：sda, cdrom。
DEVPATH：设备的 devpath 路径。
SUBSYSTEM：设备的子系统名称，例如：sda 的子系统为 block。
BUS：设备在 devpath 里的总线名称，例如：usb。
DRIVER：设备在 devpath 里的设备驱动名称，例如：ide-cdrom。
ID：设备在 devpath 里的识别号。
SYSFS{filename}：设备的 devpath 路径下，设备的属性文件“filename”里的内容.
例如：SYSFS{model}==“ST936701SS”表示：如果设备的型号为 ST936701SS，则该设备匹配该匹配键。
在一条规则中，可以设定最多五条 SYSFS 的匹配键。
ENV{key}：环境变量。在一条规则中，可以设定最多五条环境变量的匹配键。
PROGRAM：调用外部命令。
RESULT：外部命令 PROGRAM 的返回结果。例如：
PROGRAM=="/lib/udev/scsi_id -g -s $devpath", RESULT=="35000c50000a7ef67"
调用外部命令 /lib/udev/scsi_id查询设备的 SCSI ID，如果返回结果为 35000c50000a7ef67，则该设备匹配该匹配键。

udev 的重要赋值键
NAME：在 /dev下产生的设备文件名。只有第一次对某个设备的 NAME 的赋值行为生效，之后匹配的规则再对该设备的 NAME 赋值行为将被忽略。如果没有任何规则对设备的 NAME 赋值，udev 将使用内核设备名称来产生设备文件。
SYMLINK：为 /dev/下的设备文件产生符号链接。由于 udev 只能为某个设备产生一个设备文件，所以为了不覆盖系统默认的 udev 规则所产生的文件，推荐使用符号链接。
OWNER, GROUP, MODE：为设备设定权限。
ENV{key}：导入一个环境变量。

udev 的值和可调用的替换操作符
在键值对中的键和操作符都介绍完了，最后是值 (value)。Linux 用户可以随意地定制 udev 规则文件的值。例如：my_root_disk, my_printer。同时也可以引用下面的替换操作符：
$kernel, %k：设备的内核设备名称，例如：sda、cdrom。
$number, %n：设备的内核号码，例如：sda3 的内核号码是 3。
$devpath, %p：设备的 devpath路径。
$id, %b：设备在 devpath里的 ID 号。
$sysfs{file}, %s{file}：设备的 sysfs里 file 的内容。其实就是设备的属性值。
例如：$sysfs{size} 表示该设备 ( 磁盘 ) 的大小。
$env{key}, %E{key}：一个环境变量的值。
$major, %M：设备的 major 号。
$minor %m：设备的 minor 号。
$result, %c：PROGRAM 返回的结果。
$parent, %P：父设备的设备文件名。
$root, %r：udev_root的值，默认是 /dev/。
$tempnode, %N：临时设备名。
%%：符号 % 本身。
$$：符号 $ 本身。

例1：把sda1在/dev下做一个设备名的软链接，叫/dev/boot_disk
# vim /etc/udev/rules.d/dev_name_change.rules --这个文件名是自定义的，名字随意，但要求以.rules结尾

KERNEL=="sda1",SYMLINK="boot_disk"

# start_udev

# ls /dev/boot_disk -l
lrwxrwxrwx 1 root root 4 Jan  5 12:01 /dev/boot_disk -> sda1

如果把上面的SYMLINK改成NAME,那么start_udev后，则/dev/sda1不存在了，只有一个/dev/boot_disk了，这就是改名了，而不是做软链接

--把上面的一句改成下面这样
KERNEL=="sda1",NAME="boot_disk",OWNER="ftp",GROUP="mysql",MODE="0777"


# start_udev

# ll /dev/boot_disk    --/dev/sda1这个名字就没有了，替代的名字是这个
brwxrwxrwx 1 ftp mysql 8, 1 Mar  2 14:50 /dev/boot_disk

扩展问题一：
关于改名后，重启系统还能否像以前一样挂载的讨论

答案:
主要是看/etc/fstab里怎么写的
如果是像rhel6写uuid的，那肯定没问题
如果是写LABEL，也没有问题，因为名字变化了，但LABEL名不变
但如果是写/dev/sda1的，那就有问题了（经过测试是有问题）

扩展

ABEL是给一个磁盘或分区取的一个标签，如果因为特殊情况磁盘或分区名变了，但是LABEL不变
# e2label /dev/sda1  /boot_disk    --把/dev/sda1的label做成叫/boot_disk
# e2label /dev/sda1       --查看/dev/sda1的lable,blkid这个命令除了查看uuid也可以查看label
/boot_disk

把一个分区开机自动挂载到一个目录，在/etc/fstab有三种写法
# vim /etc/fstab
第一种:
UUID=xxxx  /boot    ext4 defaults       1 2
第二种:
LABEL=xxxx  /boot ext4 defaults       1 2
第三种:
/dev/sda1 /boot ext4 defaults       1 2

扩展问题二：
能否用rm -rf /dev/sda来删除这个硬盘名字

也是可以的，你可以使用start_udev来恢复

例二：查看设备相关数据来识别设备

# udevadm info --help 去查看

# udevadm info -a -p /block/sda |egrep "model|size"
ATTR{size}=="976773168"          --注意rhel6里SYSFS变成了ATTR，在后面的规则里写的时候也要改变
ATTRS{model}=="ST3500418AS    "

--如果两个硬盘品牌,大小都一样,上面两个属性是可能完全一样的,那么可以用下面的命令去查找它的scsi_id,这个是不一样的

# /lib/udev/scsi_id --page=0x80 --whitelisted --device=/dev/sda
SATA    ST3500418AS             6VMG4DZ8

例三：针对查看到的相关数据，可以进行匹配赋值
# vim /etc/udev/rules.d/50-udev.rules  --加上下面一句
KERNEL=="sd*[!0-9]",SYSFS{size}=="976773168",SUBSYSTEM=="block",SYSFS{model}=="ST3500418AS    ",SYMLINK="my_disk"

--意思表示为：以sd开头，不以数字结尾（就是指sda,sdb,sdc等，而不是sda1,sdb2等分区），并且要匹配大小为976773168个块大小，还要匹配子系统类型为block，还要匹配model为ST3500418AS    ，然后我就把这个匹配的盘做一个软链接

KERNEL=="sd*[!0-9]",SYSFS{size}=="976773168",SUBSYSTEM=="block",SYSFS{model}=="ST3500413AS    ",SYMLINK="zhang_disk"
--别一个硬盘model为ST3500413AS    的，我就把这个盘做一个软链接叫zhang_disk

#start_udev

#ll /dev/my_disk
lrwxrwxrwx 1 root root 3 Jan  5 14:41 /dev/my_disk -> sdb
# ll /dev/zhang_disk
lrwxrwxrwx 1 root root 3 Jan  5 14:51 /dev/zhang_disk -> sda

--经过上面的绑定后，就算是把机箱打开，把两个硬盘换线；sda和sdb会变化但对应的my_disk和zhang_disk还是以前的盘

--上面的例子是在rhel5.4上做的，在rhel6.3上做的话，写法如下
--主要要注意的是SYSFS被改成了ATTR或ATTRS，总之对应udevadm info查到的结果就好了
KERNEL=="sd*[!0-9]",ATTR{size}=="976773168",SUBSYSTEM=="block",ATTRS{model}=="ST3500418AS    ",SYMLINK="my_disk"

例四，绑定裸设备
# ls /dev/raw/       --默认情况下，此目录里只有一个rawctl文件
rawctl

下面我要把本机的一个block设备绑定成裸设备
我这里先分一个分区（假设为/dev/sda8)，不需要对其格式化

# groupadd oinstall
# useradd  -g oinstall oracle
# id oracle
uid=538(oracle) gid=538(oinstall) groups=538(oinstall)

# vim /etc/udev/rules.d/60-raw.rules

ACTION=="add", KERNEL=="sda8", RUN+="/bin/raw /dev/raw/raw8 %N"
KERNEL=="raw[0-9]*",OWNER="oracle",GROUP="oinstall",NAME="raw/%k"

# start_udev

# raw /dev/raw/raw8 /dev/sda8
/dev/raw/raw8: bound to major 8, minor 8

# ll /dev/raw/raw8
crw-rw---- 1 oracle oinstall 162, 8 Dec 10 14:42 /dev/raw/raw8

例五:关于在rhel6下使用vmware8，克隆虚拟机后，源虚拟机的eth0克隆后会变成eth1的问题的讨论
--还有kvm虚拟化的克隆也是这样的

第一步:
进入克隆的虚拟机，打开下面的配置文件
# vim /etc/udev/rules.d/70-persistent-net.rules

SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:2a:bf:52", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"

SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:33:7c:75", ATTR{type}=="1", KERNEL=="eth*", NAME="eth1"

--这个配置文件默认看到有两段，第一段的MAC地址是源虚拟机网卡的，第二段的MAC是现在这台克隆虚拟机的

--修改方法，把第一段注释，把第二段eth1改成eth0,变成如下面配置

# cat /etc/udev/rules.d/70-persistent-net.rules

SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:33:7c:75", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"

第二步:
修改网卡配置文件变成类似下面的样子(删除原来的mac地址和uuid,改onboot=yes）
# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="dhcp"
NM_CONTROLLED="no"
ONBOOT="yes"
TYPE="Ethernet"

第三步:
# /etc/init.d/NetworkManager stop
# chkconfig NetworkManager off
# ifconfig eth1 down
# start_udev
# ifconfig eth0 up

--如果上面不行，reboot你的系统试试

例六：使用udev设备名绑定，解决上面iscsi设备名顺序混乱的问题

# vim  /etc/udev/rules.d/iscsi.rules --新建一个文件，只要以.rules结尾就可以

KERNEL=="sd*", BUS=="scsi", PROGRAM=="/etc/udev/iscsidev.sh %b",SYMLINK+="iscsi/%c/part%n"
--关于%b，也就是一个scsi挂载到系统后使用lsscsi得到的id号，例如46:0:0:1
--%c，是PROGRAM得到的结果
--%n，指的对应的分区号（如sda1，那么这个%n就代表1)

# vim  /etc/udev/iscsidev.sh

#!/bin/bash

HOST=`echo $1 |cut -d":" -f1`

[ -e /sys/class/iscsi_host ] || exit 1

cat /sys/class/iscsi_host/host${HOST}/device/session*/iscsi_session/session*/targetname

# chmod 755 /etc/udev/iscsidev.sh --记得脚本给执行权限

# start_udev

如果fstab要开机自动挂载的话

vim /etc/fstab       --只要注意:符号在fstab里前面不要加\转义符就可以了

/dev/iscsi/iscsi:data1/part1  /web  ext4 defaults 0 0

=====================================================================
课外扩展:

freeNAS

　　是一套免费的NAS服务器，它能将一部普通PC变成网络存储服务器。该软件基于FreeBSD，Samba 及PHP，支持CIFS (samba), FTP, NFS protocols, Software RAID (0,1,5) 及 web 界面的设定工具。用户可通过Windows、Macs、FTP、SSH 及网络文件系统 (NFS) 来访问存储服务器；FreeNAS可被安装于硬盘或移动介质USB Flash Disk上。FreeNAS 服务器前途无量；它是组建简单网络存储服务器的绝佳选择，免去安装整套Linux或 FreeBSD 的烦恼。

笔记目录/arch/san_iso/FreeNAS-9.2.1.7-RELEASE-x64.iso --目前的最新版本

openfiler

Openfiler 由rPath Linux驱动，它是一个基于浏览器的免费网络存储管理实用程序，可以在单一框架中提供基于文件的网络连接存储 (NAS) 和基于块的存储区域网 (SAN)。Openfiler 支持 CIFS、NFS、HTTP/DAV 和 FTP

笔记目录/arch/san_iso/openfileresa-2.99.1-x86_64-disc1.iso  --目前的最新版本

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝