-- squid http://www.squid-cache.org/ 代理服务器的作用 共享网络，加快网络访问速度(缓存)，防止内部主机受攻击，限制用户访问(七层限制)等 外网 | | 路由器 | | squid正向代理 | | |----------------------| 上网用户一 上网用户二 三种代理类型 正向代理 客户端需要设置代理服务器的IP和代理端口 --代理内部主机上网（共享上网，并可以进行用户限制等功能） 透明代理 客户端不需要设置代理服务器的IP和代理端口，对用户是透明的 反向代理 从网络访问内部服务器，与正向相反 client | | 反向代理 ｜ ｜ web --关于它们的应用： 正向和透明用于控制上网行为，共享上网等网络管理功能 反向代理主要应用于架构。 有四层和七层等之分，可用于动静分离等架构。 硬件反向代理负载均衡调度:F5 BIG-IP squid varnish haproxy apache nginx 客户端 缓存(正向代理) －－－ 缓存（反向代理) apache+php(缓存) memcache(缓存) mysql(query-cache 缓存) 实验环境 公网 ｜ ｜ eth0 172.16.2.35 squid 服务器 vmnet1 192.168.1.1 内网用户VM1 内网用户VM2 eth0 eth0 192.168.1.128 192.168.1.129 准备这个拓扑图要注意的地方 1,宿主机（squid服务器）需要能上外网，在这里就是指向公司的路由器 2，192.168.1.0网络，我这里使用vmware的vmnet1网段来模拟 3，内网用户只要与squid服务器能ping通就行，不用指网关和DNS 4，内网用户需要安装图形界面，并安装firefox浏览器 5，squid服务器能上外网，但内网用户不能上外网，我们的目地就是让squid代理内网用户上外网 第一步：安装squid www.squid-cache.org # yum install squid -y 第二步：修改配置文件 rhel6.5下自带的squid（主配置文件少了很多参数，文档都写到了/usr/share/doc/squid-3.1.10/squid.conf.documented这个文件里) --rhel6.5下的配置 vim /etc/squid/squid.conf 59 http_access allow all --把deny all改民allow all 68 cache_dir ufs /var/spool/squid 100 16 256 --把缓存目录这一句打开注释 如果你第二次重启squid时报下面的错误,表示内存高速缓存大于磁盘缓存的总空间 WARNING cache_mem is larger than total disk cache space! 原因:默认情况下,cache_mem为256M,而squid的配置里磁盘缓存默认为100M 如果你要解决这个问题的话: 1,第一种方式:调小cache_mem,因为磁盘缓存默认是100M,所以你加上一句cache_mem 100 MB 2,第二种方式:调大磁盘缓存;如cache_dir ufs /var/spool/squid 256 16 256;把100换成256 --------------------------------------------------------- 第三步： 初始化缓存目录 --在rhel6的启动脚本里也会帮你初始化,如果你是第一次启动的话 ls /var/spool/squid --初始化之前为空 squid -zX --z参数创建缓存目录，X参数是打开调试功能，在这里就是可以看到创建过程 ls /var/spool/squid --初始化之后再查看，就创建了16个目录，每个目录里256个子目录 du -sh /var/spool/squid/ --查看一下大小，目前为17M # du -sh /var/spool/squid/ 17M /var/spool/squid/ # du -s /var/spool/squid/ 16452 /var/spool/squid/ 第三步： 启动服务 /etc/init.d/squid start 重新装载的话可以使用 /etc/init.d/squid reload 或者使用 squid -k reconfig 停服务可以使用 /etc/init.d/squid stop 或者使用 squid -k shutdown [root@li ~]# lsof -i:3128 --查看3128端口 COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME squid 4937 squid 12u IPv4 36871 TCP *:squid (LISTEN) 第四步： 客户端的测试 不用设置网关和DNS指向 主要是修改浏览器 --filefox配置 编辑－－性能－－高级－－网络－－设置－－ 手动填写代理服务器的IP和代理端口 --IE配置 右键IE图标－－连接－－局域网设置－－为LAN使用代理服务器前打勾并填上代理服务器的内网IP及其代理端口 测试： 访问已经访问过的页面是否能感觉到页面加快 再次查看 du -s /var/spool/squid 发现增大，因为缓存了对象 查看相关日志 /var/log/squid/squid/*.log ================================================================ 透明（transparent)代理： 第一步： 在squid服务器上打开路由转发功能 # vim /etc/sysctl.conf net.ipv4.ip_forward = 1 --因为要使用iptables写NAT表的规则，所以要打开ip_forward # sysctl -p 第二步:修改配置文件 # vim /etc/squid/squid.conf http_port 3128 intercept # /etc/init.d/squid restart 第三步:配置iptables client squid 公司路由器 vmnet1 eth0 192.168.1.128 192.168.1.1 172.16.2.35--> 172.16.1.1 公网IP | | | client网关指向192.168.1.1-- clientDNS指向8.8.8.8 ---------------------------------->外网DNS 由上面的分析，需要在squid服务器上写上一句snat，让DNS能正常访问外网 # iptables -t nat -A POSTROUTING -p udp --dport 53 -o eth0 -j SNAT --to-source 172.16.2.35 这样的话，内网客户端的DNS OK了，但是http的80端口的访问如果也做一个SNAT的话，如下的规则: # iptables -t nat -A POSTROUTING -p tcp --dport 80 -o eth0 -j SNAT --to-source 172.16.2.35 那么这就做的是完全的通过iptables来上外网;与squid无关 所以应该换成下面一句规则，把80端口的访问都重定向到3128端口 # iptables -t nat -A PREROUTING -p tcp --dport 80 -i vmnet1 -j REDIRECT --to-port 3128 # iptables -t nat -A PREROUTING -p tcp --dport 443 -i vmnet1 -j REDIRECT --to-port 3128 第四步:客户端验证 省略 总结: --上面所做的透明代理其实和上次iptables所讲的几乎一样，唯一不同的就是把80端口的SNAT换成了端口的转换，把它交给3128的squid来上网 --但就上面这样做，并没有看出比使用iptables上网有什么优势 --squid共享上网的优势就在于使用acl访问控制，缓存，资源控制等 ================================================================= squid 里的 ACL 访问控制列表 acl denyip src 192.168.1.129/32 --拒绝内网的192.168.1.129/32上网 http_access deny denyip acl denyip src 192.168.1.129-192.168.1.132/255.255.255.255 http_access deny denyip acl baddsturl2 dst 220.11.22.33 --不能访问这个外网IP的网站 http_access deny baddsturl2 acl baddsturl dstdomain -i www.baidu.com --不能访问www.baidu.com和WWW.BAIDU.COM；-i参数定义大小写都匹配； 但是可以访问zhidao.baidu.com或tieba.baidu.com，并且可以使用www.baidu.com的IP也可以访问 http_access deny baddsturl acl baddsturl dstdom_regex -i baidu.com --这是把baidu.com以下的所有域名都禁止 ，但直接使用IP仍然是可以访问的 http_access deny baddsturl acl baddsturl dstdom_regex "/etc/squid/baddsturl" --如果网址太多，可以写成一个文件，然后在这个文件里一行一个网站写上你要禁止的 http_access deny baddsturl acl baddsturl3 url_regex -i baidu --拒绝访问url里有baidu这个关键字的网站 http_access deny baddsturl3 acl badfile urlpath_regex -i \.mp3$ \.rmvb$ \.exe$ \.zip$ \.mp4$ \.avi$ \.rar$ http_access deny badfile --禁止下载带有定义后缀名的文件 acl vip arp 00:0C:29:79:0C:1A --rhel5系列里的rpm版不支持，需要编译版squid加上此功能；如果用的是rhel6的rpm版，支持MAC地址功能 http_access allow vip acl badipclient2 src 192.168.1.0/255.255.255.0 acl worktime time MTWHF 9:00-17:00 http_access deny badipclient2 worktime --拒绝192.168.1.0网段工作时间不能上网 acl badipclient3 src 192.168.1.128 acl conn5 maxconn 5 http_access deny badipclient3 conn5 --最大连接数为5 实现如下要求： 1，允许周一到周五12：00-14：00和17:30-21：00和双休能上网，别的时间不能上网 2，禁止下载.exe .rar .mp3 .avi .rmvb .mp4后缀的文件 3，禁止访问qq.com,mop.com,sina.com,163.com,youku.com 4，禁止访问网址中包含某些关键字的网站：比如 sex news movie sport game stock 5, vip没有任何限制 --把上面五点情况做成两种需求： 1，上课时间不能上任何网站，休息时间可以上网，但受限 2，上课时间可以上网，但受限，休息时间可以无限制上网 acl lunchtime time MTWHF 12:00-14:00 acl dinnertime time MTWHF 17:30-21:00 acl weekend time SA 00:00-24:00 acl badfile urlpath_regex -i \.mp3$ \.rmvb$ \.exe$ \.zip$ \.mp4$ \.avi$ \.rar$ acl badweb dstdom_regex "/etc/squid/denywebsite" acl badword url_regex -i sex news movie sport game stock acl vip mac 00:0C:29:79:0C:1A vim /etc/squid/denywebsite qq.com sina.com mop.com 163.com youku.com 第一种需求 http_access allow vip http_access deny badfile http_access deny badweb http_access deny badword http_access allow lunchtime http_access allow dinnertime http_access allow weekend http_access deny all 第二种 http_access allow vip http_access allow lunchtime http_access allow dinnertime http_access allow weekend http_access deny badfile http_access deny badweb http_access deny badword http_access allow all ==================================================================== 客户端 ｜ | 反向代理(缓存加速，网站数据切分） ｜ | web服务器 | amoeba | mysql 实验环境 内网web服务器 squid VM2 eth0 vmnet1 eth1 eth0 192.168.1.128 192.168.1.1 172.16.2.35 172.16.2.x --注意: 192.168.1.1为squid的一个内网IP 172.16.2.35为squid的外网IP(也就是说在这个架构里squid在最前端) 172.16.2.x 为外网客户端 第一步： 在内网web服务器上安装httpd,并做一个主页用于测试 yum install httpd* -y echo "内网web" > /var/www/html/index.html /etc/init.d/httpd restart 第二步: 在squid服务器上安装，并进行配置 yum install squid -y 用一个新的配置文件；如果是在上面的透明代理基础上再做反向代理，先注释掉前面所有的配置 vim /etc/squid/squid.conf 62 http_port 80 accel vhost vport --accel 反向代理加速模式 --vhost 支持域名 --vport 支持IP cache_peer 192.168.1.128 parent 80 0 no-query originserver name=web --192.168.1.128 内网web服务器的IP --parent 上下关系，非平级关系 --80 代理内部web服务器的80端口 --0 没有使用icp，表示就一台squid服务器 --no-query 不去查询邻居，与上面的0结合使用 --originserver 表示源实际服务器 --name=web 定义一个名字，让后面的参数引用 cache_peer_domain web web.cluster.com --对web.cluster.com的请求会给web这台服务器（也就是上面定义的192.168.1.128);如果有多台web的话，可以多台web绑定同一个域名，还可以实现RR轮循调度 cache_peer_domain web 172.16.2.35 --光写上面一条，客户端只能通过web.cluster.com访问，再加上这条，客户端就可以使用172.16.2.35来访问 59 http_access allow all cache_dir ufs /var/spool/squid 256 16 256 保存后，先不要重启squid；因为我这是在透明代理的基础上再做的，所以要把前面做的缓存和日志给删除，清除iptables规则 # rm /var/spool/squid/* -rf # rm /var/log/squid/*.log -rf # iptables -t nat -F # squid -zX --重新初始化 重启服务，注意不要与apache的80端口冲突 --测试： 所以这里客户端的DNS解析web.cluster.com应该得到172.16.2.35的结果 所以这里不做DNS的话，就直接在/etc/hosts里写上 172.16.2.35 web.cluster.com 再使用http://web.cluster.com 就可以访问到内部的web服务器了 可以使用curl -I http://web.cluster.com去查有没有命中缓存 ================================================================= 多台squid反向代理 参考 http://www.ibm.com/developerworks/cn/linux/l-cn-squid 客户端 DNS轮叫（round-robin) www.abc.com squid1 squid2 web1 web2 参考它实现 client | | |－－－－－－－－－－－| squid 1 squid 2 | | |－－－－－－－－－－－| | | |－－－－－－－－－－－| lamp1 lamp 2 |－－－－－－－－－－－| | | mysql + nfs 两台squid1使用icp协议共同工作 两台lamp可以安装一个phpwind或discuz论坛 lamp里mysql独立出来，lamp的网站家目录也独立出来，使用nfs共享（--注意其权限） 把mysql和nfs做在同一台 --在这里我实现下面的架构 client li.cluster.com | squid2.cluster.com 外网 172.16.2.4 | 172.16.2.130 |－－－－－－－－－－－| squid 1 squid 2 | | |－－－－－－－－－－－| 内网 1.1.1.1 | 1.1.1.149 | |－－－－－－－－－－－| web1 web 2 |－－－－－－－－－－－| web内网 1.1.1.128 1.1.1.131 第一步： 主机名绑定 时间同步 防火墙关闭 yum配置 第二步： squid1 上的配置 yum install squid* -y # vim /etc/squid/squid.conf --下面只列出需要修改的参数 http_port 80 accel vhost vport icp_port 3130 icp_access allow all --在rhel6.5下的squid3.1版加上这一句 cache_peer 1.1.1.149 sibling 80 3130 cache_peer 1.1.1.128 parent 80 0 no-query originserver round-robin name=web1 cache_peer 1.1.1.131 parent 80 0 no-query originserver round-robin name=web2 cache_peer_domain web1 web2 web.cluster.com http_access allow all 保存配置文件后 squid -zX --初始化缓存目录 /etc/init.d/squid start --启动 第三步 squid2上的配置 yum install squid -y # vim /etc/squid/squid.conf 修改配置文件，和squid1的配置几乎一样，把squid1的配置文件拷过来，再修改两个参数 cache_peer 1.1.1.1 sibling 80 3130 --IP改为squid1的内网IP 保存配置文件后 squid -zX --初始化缓存目录 /etc/init.d/squid start --启动 第四步： 配置两个内网web服务器 yum install httpd* -y --因为我这里没有做共享存储，所以这里估计分别做两个不同的主页，来测试 在web1 128上 echo 128 > /var/www/html/index.html 在web1 129上 echo 129 > /var/www/html/index.html /etc/init.d/httpd start --再把两个web启起来 第五步： 我现在使用172.16.2.108做外网的一个客户端来验证 --因为我的架构是做了DNS的轮叫，也就是网站域名为web.cluster.com，但轮叫两个IP172.16.2.4和172.16.2.130 vim /etc/hosts --为了方便，我这里没有做DNS，使用hosts文件来模拟DNS轮叫 172.16.2.4 web.cluster.com 172.16.2.130 web.cluster.com [root@108 ~]# elinks web.cluster.com --得到的结果怎么样都是128的主页 [root@108 ~]# curl -I http://web.cluster.com HTTP/1.0 200 OK Date: Tue, 10 Apr 2012 09:01:42 GMT Server: Apache/2.2.3 (Red Hat) Last-Modified: Tue, 10 Apr 2012 09:01:35 GMT ETag: "1546ce-c-5ea859c0" Accept-Ranges: bytes Content-Length: 12 Content-Type: text/html; charset=UTF-8 Age: 1 X-Cache: HIT from li.cluster.com X-Cache-Lookup: HIT from li.cluster.com:80 --HIT表示命中缓存 Via: 1.0 li.cluster.com:80 (squid/2.6.STABLE21) Connection: close --结果多次删除两台squid的/var/spool/squid/*缓存信息，多台客户端的测试，有时是128的主页，有时是129的主页，说明是正常的轮叫成功 --或者清空两个缓存，重启，只启动一个httpd，那客户端就只能访问这个启动的httpd --但实际应用时，128和129应该是经过同步或共享存储的同一网站，内容是一致的 --上面的架构，坏掉任意一台内网web或squid，不影响网站的运行 测试:当缓存查不到，是否可以去找sibling的另一台squid 1，在两台web建立一个同名文件（内容不同) 2, 客户端去访问squid1的那个文件，得到内容缓存起来 3，关闭两台web ，然后客户端去访问squid2的那个文件，会得到同样的内容,说明是当缓存查不到，是先去查sibling的另一台