Nginx 缓存与提速

资源压缩提升效率

建立在动静分离的基础之上,如果一个静态资源的Size越小,那么自然传输速度会更快,同时也会更节省带宽,因此我们在部署项目时,也可以通过Nginx对于静态资源实现压缩传输,一方面可以节省带宽资源,第二方面也可以加快响应速度并提升系统整体吞吐。

在Nginx也提供了三个支持资源压缩的模块ngx_http_gzip_module、ngx_http_gzip_static_module、ngx_http_gunzip_module,其中ngx_http_gzip_module属于内置模块,代表着可以直接使用该模块下的一些压缩指令,后续的资源压缩操作都基于该模块,先来看看压缩配置的一些参数/指令:

了解了Nginx中的基本压缩配置后,接下来可以在Nginx中简单配置一下:

http{
    # 开启压缩机制
    gzip on;
    # 指定会被压缩的文件类型(也可自己配置其他类型)
    gzip_types text/plain application/javascript text/css application/xml text/javascript image/jpeg image/gif image/png;
    # 设置压缩级别,越高资源消耗越大,但压缩效果越好
    gzip_comp_level 5;
    # 在头部中添加Vary: Accept-Encoding(建议开启)指定压缩
    gzip_vary on;
    # 处理压缩请求的缓冲区数量和大小
    gzip_buffers 16 8k;
    # 对于不支持压缩功能的客户端请求不开启压缩机制
    gzip_disable "MSIE [1-6]\."; 
    # 低版本的IE浏览器不支持压缩# 设置压缩响应所支持的HTTP最低版本
    gzip_http_version 1.1;
    # 设置触发压缩的最小阈值
    gzip_min_length 2k;
    # 关闭对后端服务器的响应结果进行压缩
    gzip_proxied off;
}

在上述的压缩配置中,最后一个gzip_proxied选项,可以根据系统的实际情况决定,总共存在多种选项:

OK~,简单修改好了Nginx的压缩配置后,可以在原本的index页面中引入一个jquery-3.6.0.js文件:

<script type="text/javascript" src="jquery-3.6.0.js"></script>  

分别来对比下压缩前后的区别:

从图中可以很明显看出,未开启压缩机制前访问时,js文件的原始大小为230K,当配置好压缩后再重启Nginx,会发现文件大小从230KB→69KB,效果立竿见影!

注意点:①对于图片、视频类型的数据,会默认开启压缩机制,因此一般无需再次开启压缩。②对于.js文件而言,需要指定压缩类型为application/javascript,而并非text/javascript、application/x-javascript。

Nginx 缓冲区

先来思考一个问题,接入Nginx的项目一般请求流程为:“客户端→Nginx→服务端”,在这个过程中存在两个连接:“客户端→Nginx、Nginx→服务端”,那么两个不同的连接速度不一致,就会影响用户的体验(比如浏览器的加载速度跟不上服务端的响应速度)。

其实也就类似电脑的内存跟不上CPU速度,所以对于用户造成的体验感极差,因此在CPU设计时都会加入三级高速缓冲区,用于缓解CPU和内存速率不一致的矛盾。在Nginx也同样存在缓冲区的机制,主要目的就在于:「「用来解决两个连接之间速度不匹配造成的问题」」 ,有了缓冲后,Nginx代理可暂存后端的响应,然后按需供给数据给客户端。先来看看一些关于缓冲区的配置项:

语法:

非缓冲参数项:

具体的nginx.conf配置如下:

http{
    proxy_connect_timeout 10;
    proxy_read_timeout 120;
    proxy_send_timeout 10;
    proxy_buffering on;
    client_body_buffer_size 512k;
    proxy_buffers 4 64k;
    proxy_buffer_size 16k;
    proxy_busy_buffers_size 128k;
    proxy_temp_file_write_size 128k;
    proxy_temp_path /soft/nginx/temp_buffer;
}  

上述的缓冲区参数,是基于每个请求分配的空间,而并不是所有请求的共享空间。当然,具体的参数值还需要根据业务去决定,要综合考虑机器的内存以及每个请求的平均数据大小。

最后提一嘴:使用缓冲也可以减少即时传输带来的带宽消耗。

缓存机制

对于性能优化而言,缓存是一种能够大幅度提升性能的方案,因此几乎可以在各处都能看见缓存,如客户端缓存、代理缓存、服务器缓存等等,Nginx的缓存则属于代理缓存的一种。对于整个系统而言,加入缓存带来的优势额外明显:

那么在Nginx中,又该如何配置代理缓存呢?先来看看缓存相关的配置项:

「proxy_cache_path」:代理缓存的路径。

语法:

proxy_cache_path path [levels=levels] [use_temp_path=on|off] keys_zone=name:size [inactive=time] [max_size=size] [manager_files=number] [manager_sleep=time] [manager_threshold=time] [loader_files=number] [loader_sleep=time] [loader_threshold=time] [purger=on|off] [purger_files=number] [purger_sleep=time] [purger_threshold=time];

是的,你没有看错,就是这么长…,解释一下每个参数项的含义:

「proxy_cache」:开启或关闭代理缓存,开启时需要指定一个共享内存区域。

语法:

proxy_cache zone | off;

zone为内存区域的名称,即上面中keys_zone设置的名称。

「proxy_cache_key」:定义如何生成缓存的键。

语法:

proxy_cache_key string;

string为生成Key的规则,如$scheme$proxy_host$request_uri。

「proxy_cache_valid」:缓存生效的状态码与过期时间。

语法:

proxy_cache_valid [code ...] time;

code为状态码,time为有效时间,可以根据状态码设置不同的缓存时间。

例如:proxy_cache_valid 200 302 30m;

「proxy_cache_min_uses」:设置资源被请求多少次后被缓存。

语法:

proxy_cache_min_uses number;

大文件传输配置

在某些业务场景中需要传输一些大文件,但大文件传输时往往都会会出现一些Bug,比如文件超出限制、文件传输过程中请求超时等,那么此时就可以在Nginx稍微做一些配置,先来了解一些关于大文件传输时可能会用的配置项:

关于大文件传输时可能会用的配置项:

配置项 描述
client_max_body_size 默认1m 设置请求体允许最大体积,为0时不限制,超过所设定的大小,返回413错误。
client_header_timeout 等待客户端发送一个请求头的超时时间,超过所设定的大小,返回408错误。
client_body_timeout 设置读取请求体的超时时间,超过所设定的大小,返回413错误。
keepalive_timeout 服务器与客户端之间保持连接的超时时间,单位为秒。
proxy_connect_timeout http请求无法立即被容器(tomcat,netty等)处理,被放在nginx的待处理池中等待被处理。此参数为等待的最长时间,默认为60秒,官方推荐最长不要超过75秒。
proxy_read_timeout http请求被容器(tomcat,netty等)处理后,nginx会等待处理结果,也就是容器返回的response。此参数即为服务器响应时间,默认60秒。
proxy_send_timeout http请求被服务器处理完后,把数据传返回给Nginx的用时,默认60秒。

用法

client_max_body_size 1m;
# 其他时间想着的都可以参考如下
client_body_timeout 30s;

这些属性可以出现在http, server, location中。出现在不同的位置,表示其作用域不同。

注意

在调整 Nginx 的超时配置时,需要注意以下几点:

合理设置超时时间:超时时间设置过短会导致误判,设置过长会增加服务器的负担。需要根据实际情况合理调整。

超时时间的相互关系:有些超时配置之间存在相互关系,需要注意配置的先后顺序。例如,在配置反向代理时,proxy_read_timeout应该大于proxy_connect_timeout。

客户端超时设置:客户端也可能会设置超时时间,需要注意服务器端的超时配置是否会与客户端的超时配置冲突。

监控超时事件:应该定期监控超时事件的发生情况,如果发现超时事件过多,则可能需要调整超时配置。

注意超时配置的影响范围:有些超时配置只对特定的场景有效,需要注意在哪些场景下使用。例如,send_timeout只对发送响应给客户端的场景有效。

上述配置仅是作为代理层需要配置的,因为最终客户端传输文件还是直接与后端进行交互,这里只是把作为网关层的Nginx配置调高一点,调到能够“容纳大文件”传输的程度。当然,Nginx中也可以作为文件服务器使用,但需要用到一个专门的第三方模块nginx-upload-module,如果项目中文件上传的作用处不多,那么建议可以通过Nginx搭建,毕竟可以节省一台文件服务器资源。但如若文件上传/下载较为频繁,那么还是建议额外搭建文件服务器,并将上传/下载功能交由后端处理。