β

redis配置参数详细解释

小橙子的个人博客 103 阅读

转载自:http://gaojingsong.iteye.com/blog/2322594

Redis的全称是:Remote Dictionary Server

1. redis.conf 配置参数:

# By default Redis does not run as a daemon. Use ‘yes’ if you need it.

# Note that Redis will write a pid file in /var/run/redis.pid when daemonized.

#Redis默认不是以守护进程的方式运行,可以通过该配置项修改,使用yes启用守护进程

daemonize no

# When running daemonized, Redis writes a pid file in /var/run/redis.pid by

# default. You can specify a custom pid file location here.

#当 Redis 以守护进程的方式运行的时候,Redis 默认会把 pid 文件放在/var/run/redis.pid

#可配置到其他地址,当运行多个 redis 服务时,需要指定不同的 pid 文件和端口

pidfile /var/run/redis.pid

# Accept connections on the specified port, default is 6379.

# If port 0 is specified Redis will not listen on a TCP socket.

#端口

port 6379

# If you want you can bind a single interface, if the bind option is not

# specified all the interfaces will listen for incoming connections.

#指定Redis可接收请求的IP地址,不设置将处理所有请求,建议生产环境中设置

# bind 127.0.0.1

# Close the connection after a client is idle for N seconds (0 to disable)

#客户端连接的超时时间,单位为秒,超时后会关闭连接

timeout 0

# Set server verbosity to ‘debug’

# it can be one of:

# debug (a lot of information, useful for development/testing)

# verbose (many rarely useful info, but not a mess like the debug level)

# notice (moderately verbose, what you want in production probably)

# warning (only very important / critical messages are logged)

#日志记录等级,4个可选值

loglevel notice

# Specify the log file name. Also ‘stdout’ can be used to force

# Redis to log on the standard output. Note that if you use standard

# output for logging but daemonize, logs will be sent to /dev/null

#配置 log 文件地址,默认打印在命令行终端的窗口上,也可设为/dev/null屏蔽日志、

logfile stdout

# Set the number of databases. The default database is DB 0, you can select

# a different one on a per-connection basis using SELECT where

# dbid is a number between 0 and ‘databases’-1

#设置数据库的个数,可以使用 SELECT 命令来切换数据库。

databases 16

#

# Save the DB on disk:

#

#   save

#

#   Will save the DB if both the given number of seconds and the given

#   number of write operations against the DB occurred.

#

#   In the example below the behaviour will be to save:

#   after 900 sec (15 min) if at least 1 key changed

#   after 300 sec (5 min) if at least 10 keys changed

#   after 60 sec if at least 10000 keys changed

#

#   Note: you can disable saving at all commenting all the “save” lines.

#设置 Redis 进行数据库镜像的频率。保存数据到disk的策略

#900秒之内有1个keys发生变化时

#30秒之内有10个keys发生变化时

#60秒之内有10000个keys发生变化时

save 900 1

save 300 10

save 60 10000

# Compress string objects using LZF when dump .rdb databases?

# For default that’s set to ‘yes’ as it’s almost always a win.

# If you want to save some CPU in the saving child set it to ‘no’ but

# the dataset will likely be bigger if you have compressible values or keys.

#在进行镜像备份时,是否进行压缩

rdbcompression yes

# The filename where to dump the DB

#镜像备份文件的文件名

dbfilename dump.rdb

# The working directory.

#

# The DB will be written inside this directory, with the filename specified

# above using the ‘dbfilename’ configuration directive.

#

# Also the Append Only File will be created inside this directory.

#

# Note that you must specify a directory here, not a file name.

#数据库镜像备份的文件放置的路径

#路径跟文件名分开配置是因为 Redis 备份时,先会将当前数据库的状态写入到一个临时文件

#等备份完成时,再把该临时文件替换为上面所指定的文件

#而临时文件和上面所配置的备份文件都会放在这个指定的路径当中

#默认值为 ./

dir /var/lib/redis/

# Master-Slave replication. Use slaveof to make a Redis instance a copy of

# another Redis server. Note that the configuration is local to the slave

# so for example it is possible to configure the slave to save the DB with a

# different interval, or to listen to another port, and so on.

#设置该数据库为其他数据库的从数据库

#slaveof <masterip> <masterport> 当本机为从服务时,设置主服务的IP及端口

# slaveof

# If the master is password protected (using the “requirepass” configuration

# directive below) it is possible to tell the slave to authenticate before

# starting the replication synchronization process, otherwise the master will

# refuse the slave request.

#指定与主数据库连接时需要的密码验证

#masterauth <master-password> 当本机为从服务时,设置主服务的连接密码

# masterauth

# When a slave lost the connection with the master, or when the replication

# is still in progress, the slave can act in two different ways:

#

# 1) if slave-serve-stale-data is set to ‘yes’ (the default) the slave will

#    still reply to client requests, possibly with out of data data, or the

#    data set may just be empty if this is the first synchronization.

#

# 2) if slave-serve-stale data is set to ‘no’ the slave will reply with

#    an error “SYNC with master in progress” to all the kind of commands

#    but to INFO and SLAVEOF.

#当slave丢失与master的连接时,或slave仍然在于master进行数据同步时(未与master保持一致)

#slave可有两种方式来响应客户端请求:

#1)如果 slave-serve-stale-data 设置成 ‘yes'(默认),slave仍会响应客户端请求,此时可能会有问题

#2)如果 slave-serve-stale-data 设置成 ‘no’,slave会返回”SYNC with master in progress”错误信息,但 INFO 和SLAVEOF命令除外。

slave-serve-stale-data yes

# Require clients to issue AUTH before processing any other

# commands.  This might be useful in environments in which you do not trust

# others with access to the host running redis-server.

#

# This should stay commented out for backward compatibility and because most

# people do not need auth (e.g. they run their own servers).

#

# Warning: since Redis is pretty fast an outside user can try up to

# 150k passwords per second against a good box. This means that you should

# use a very strong password otherwise it will be very easy to break.

#设置客户端连接后进行任何其他指定前需要使用的密码

#redis速度相当快,一个外部用户在一秒钟进行150K次密码尝试,需指定强大的密码来防止暴力破解

# requirepass foobared

# Set the max number of connected clients at the same time. By default there

# is no limit, and it’s up to the number of file descriptors the Redis process

# is able to open. The special value ‘0’ means no limits.

# Once the limit is reached Redis will close all the new connections sending

# an error ‘max number of clients reached’.

#限制同时连接的客户数量。

#当连接数超过这个值时,redis 将不再接收其他连接请求,客户端尝试连接时将收到 error 信息

# maxclients 128

# Don’t use more memory than the specified amount of bytes.

# When the memory limit is reached Redis will try to remove keys

# accordingly to the eviction policy selected (see maxmemmory-policy).

#

# If Redis can’t remove keys according to the policy, or if the policy is

# set to ‘noeviction’, Redis will start to reply with errors to commands

# that would use more memory, like SET, LPUSH, and so on, and will continue

# to reply to read-only commands like GET.

#

# This option is usually useful when using Redis as an LRU cache, or to set

# an hard memory limit for an instance (using the ‘noeviction’ policy).

#

# WARNING: If you have slaves attached to an instance with maxmemory on,

# the size of the output buffers needed to feed the slaves are subtracted

# from the used memory count, so that network problems / resyncs will

# not trigger a loop where keys are evicted, and in turn the output

# buffer of slaves is full with DELs of keys evicted triggering the deletion

# of more keys, and so forth until the database is completely emptied.

#

# In short… if you have slaves attached it is suggested that you set a lower

# limit for maxmemory so that there is some free RAM on the system for slave

# output buffers (but this is not needed if the policy is ‘noeviction’).

#设置redis能够使用的最大内存。

#达到最大内存设置后,Redis会先尝试清除已到期或即将到期的Key(设置过expire信息的key)

#在删除时,按照过期时间进行删除,最早将要被过期的key将最先被删除

#如果已到期或即将到期的key删光,仍进行set操作,那么将返回错误

#此时redis将不再接收写请求,只接收get请求。

#maxmemory的设置比较适合于把redis当作于类似memcached 的缓存来使用

# maxmemory <bytes>

# By default Redis asynchronously dumps the dataset on disk. If you can live

# with the idea that the latest records will be lost if something like a crash

# happens this is the preferred way to run Redis. If instead you care a lot

# about your data and don’t want to that a single record can get lost you should

# enable the append only mode: when this mode is enabled Redis will append

# every write operation received in the file appendonly.aof. This file will

# be read on startup in order to rebuild the full dataset in memory.

#

# Note that you can have both the async dumps and the append only file if you

# like (you have to comment the “save” statements above to disable the dumps).

# Still if append only mode is enabled Redis will load the data from the

# log file at startup ignoring the dump.rdb file.

#

# IMPORTANT: Check the BGREWRITEAOF to check how to rewrite the append

# log file in background when it gets too big.

#redis 默认每次更新操作后会在后台异步的把数据库镜像备份到磁盘,但该备份非常耗时,且备份不宜太频繁

#redis 同步数据文件是按上面save条件来同步的

#如果发生诸如拉闸限电、拔插头等状况,那么将造成比较大范围的数据丢失

#所以redis提供了另外一种更加高效的数据库备份及灾难恢复方式

#开启append only 模式后,redis 将每一次写操作请求都追加到appendonly.aof 文件中

#redis重新启动时,会从该文件恢复出之前的状态。

#但可能会造成 appendonly.aof 文件过大,所以redis支持BGREWRITEAOF 指令,对appendonly.aof重新整理

appendonly no

# The name of the append only file (default: “appendonly.aof”)

##更新日志文件名,默认值为appendonly.aof

# appendfilename appendonly.aof

# The fsync() call tells the Operating System to actually write data on disk

# instead to wait for more data in the output buffer. Some OS will really flush

# data on disk, some other OS will just try to do it ASAP.

#

# Redis supports three different modes:

#

# no: don’t fsync, just let the OS flush the data when it wants. Faster.

# always: fsync after every write to the append only log . Slow, Safest.

# everysec: fsync only if one second passed since the last fsync. Compromise.

#

# The default is “everysec” that’s usually the right compromise between

# speed and data safety. It’s up to you to understand if you can relax this to

# “no” that will will let the operating system flush the output buffer when

# it wants, for better performances (but if you can live with the idea of

# some data loss consider the default persistence mode that’s snapshotting),

# or on the contrary, use “always” that’s very slow but a bit safer than

# everysec.

#

# If unsure, use “everysec”.

#设置对 appendonly.aof 文件进行同步的频率

#always 表示每次有写操作都进行同步,everysec 表示对写操作进行累积,每秒同步一次。

#no表示等操作系统进行数据缓存同步到磁盘,都进行同步,everysec 表示对写操作进行累积,每秒同步一次

# appendfsync always

appendfsync everysec

# appendfsync no

# Virtual Memory allows Redis to work with datasets bigger than the actual

# amount of RAM needed to hold the whole dataset in memory.

# In order to do so very used keys are taken in memory while the other keys

# are swapped into a swap file, similarly to what operating systems do

# with memory pages.

#

# To enable VM just set ‘vm-enabled’ to yes, and set the following three

# VM parameters accordingly to your needs.

#是否开启虚拟内存支持。

#redis 是一个内存数据库,当内存满时,无法接收新的写请求,所以在redis2.0后,提供了虚拟内存的支持

#但需要注意的,redis 所有的key都会放在内存中,在内存不够时,只把value 值放入交换区

#虽使用虚拟内存,但性能基本不受影响,需要注意的是要把vm-max-memory设置到足够来放下所有的key

vm-enabled no

# vm-enabled yes

# This is the path of the Redis swap file. As you can guess, swap files

# can’t be shared by different Redis instances, so make sure to use a swap

# file for every redis process you are running. Redis will complain if the

# swap file is already in use.

#

# The best kind of storage for the Redis swap file (that’s accessed at random)

# is a Solid State Disk (SSD).

#

# *** WARNING *** if you are using a shared hosting the default of putting

# the swap file under /tmp is not secure. Create a dir with access granted

# only to Redis user and configure Redis to create the swap file there.

#设置虚拟内存的交换文件路径,不可多个Redis实例共享

vm-swap-file /tmp/redis.swap

# vm-max-memory configures the VM to use at max the specified amount of

# RAM. Everything that deos not fit will be swapped on disk *if* possible, that

# is, if there is still enough contiguous space in the swap file.

#

# With vm-max-memory 0 the system will swap everything it can. Not a good

# default, just specify the max amount of RAM you can in bytes, but it’s

# better to leave some margin. For instance specify an amount of RAM

# that’s more or less between 60 and 80% of your free RAM.

#设置开启虚拟内存后,redis将使用的最大物理内存大小。

#默认为0,redis将把他所有能放到交换文件的都放到交换文件中,以尽量少的使用物理内存

#即当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘

#在生产环境下,需要根据实际情况设置该值,最好不要使用默认的 0

vm-max-memory 0

# Redis swap files is split into pages. An object can be saved using multiple

# contiguous pages, but pages can’t be shared between different objects.

# So if your page is too big, small objects swapped out on disk will waste

# a lot of space. If you page is too small, there is less space in the swap

# file (assuming you configured the same number of total swap file pages).

#

# If you use a lot of small objects, use a page size of 64 or 32 bytes.

# If you use a lot of big objects, use a bigger page size.

# If unsure, use the default :)

#设置虚拟内存的页大小

如果 value 值比较大,如要在 value 中放置博客、新闻之类的所有文章内容,就设大一点

vm-page-size 32

# Number of total memory pages in the swap file.

# Given that the page table (a bitmap of free/used pages) is taken in memory,

# every 8 pages on disk will consume 1 byte of RAM.

#

# The total swap size is vm-page-size * vm-pages

#

# With the default of 32-bytes memory pages and 134217728 pages Redis will

# use a 4 GB swap file, that will use 16 MB of RAM for the page table.

#

# It’s better to use the smallest acceptable value for your application,

# but the default is large in order to work in most conditions.

#设置交换文件的总的 page 数量

#注意page table信息是放在物理内存中,每8个page 就会占据RAM中的 1 个 byte

#总的虚拟内存大小 = vm-page-size * vm-pages

vm-pages 134217728

# Max number of VM I/O threads running at the same time.

# This threads are used to read/write data from/to swap file, since they

# also encode and decode objects from disk to memory or the reverse, a bigger

# number of threads can help with big objects even if they can’t help with

# I/O itself as the physical device may not be able to couple with many

# reads/writes operations at the same time.

#

# The special value of 0 turn off threaded I/O and enables the blocking

# Virtual Memory implementation.

#设置 VM IO 同时使用的线程数量。

vm-max-threads 4

# Hashes are encoded in a special way (much more memory efficient) when they

# have at max a given numer of elements, and the biggest element does not

# exceed a given threshold. You can configure this limits with the following

# configuration directives.

#redis 2.0后引入了 hash 数据结构。

#hash 中包含超过指定元素个数并且最大的元素当没有超过临界时,hash 将以zipmap来存储

#zipmap又称为 small hash,可大大减少内存的使用

hash-max-zipmap-entries 512

hash-max-zipmap-value 64

# Active rehashing uses 1 millisecond every 100 milliseconds of CPU time in

# order to help rehashing the main Redis hash table (the one mapping top-level

# keys to values). The hash table implementation redis uses (see dict.c)

# performs a lazy rehashing: the more operation you run into an hash table

# that is rhashing, the more rehashing “steps” are performed, so if the

# server is idle the rehashing is never complete and some more memory is used

# by the hash table.

#

# The default is to use this millisecond 10 times every second in order to

# active rehashing the main dictionaries, freeing memory when possible.

#

# If unsure:

# use “activerehashing no” if you have hard latency requirements and it is

# not a good thing in your environment that Redis can reply form time to time

# to queries with 2 milliseconds delay.

#

# use “activerehashing yes” if you don’t have such hard requirements but

# want to free memory asap when possible.

#是否重置Hash表

#设置成yes后redis将每100毫秒使用1毫秒CPU时间来对redis的hash表重新hash,可降低内存的使用

#当使用场景有较为严格的实时性需求,不能接受Redis时不时的对请求有2毫秒的延迟的话,把这项配置为no。

#如果没有这么严格的实时性要求,可以设置为 yes,以便能够尽可能快的释放内存

activerehashing yes

#日志记录等级,有4个可选值,debug,verbose(默认值),notice,warning

loglevel verbose

#指定日志输出的文件名,默认值为stdout,也可设为/dev/null屏蔽日志

logfile stdout

#可用数据库数,默认值为16,默认数据库为0

databases 16

#保存数据到disk的策略

#当有一条Keys数据被改变是,900秒刷新到disk一次

save 900 1

#当有10条Keys数据被改变时,300秒刷新到disk一次

save 300 10

#当有1w条keys数据被改变时,60秒刷新到disk一次

save 60 10000

#当dump .rdb数据库的时候是否压缩数据对象

rdbcompression yes

#本地数据库文件名,默认值为dump.rdb

dbfilename dump.rdb

#本地数据库存放路径,默认值为 ./

dir /var/lib/redis/

########### Replication #####################

#Redis的复制配置

# slaveof <masterip> <masterport> 当本机为从服务时,设置主服务的IP及端口

# masterauth <master-password> 当本机为从服务时,设置主服务的连接密码

#连接密码

# requirepass foobared

#最大客户端连接数,默认不限制

# maxclients 128

#最大内存使用设置,达到最大内存设置后,Redis会先尝试清除已到期或即将到期的Key,当此方法处理后,任到达最大内存设置,将无法再进行写入操作。

# maxmemory <bytes>

#是否在每次更新操作后进行日志记录,如果不开启,可能会在断电时导致一段时间内的数据丢失。因为redis本身同步数据文件是按上面save条件来同步的,所以有的数据会在一段时间内只存在于内存中。默认值为no

appendonly no

#更新日志文件名,默认值为appendonly.aof

#appendfilename

#更新日志条件,共有3个可选值。no表示等操作系统进行数据缓存同步到磁盘,always表示每次更新操作后手动调用fsync()将数据写到磁盘,everysec表示每秒同步一次(默认值)。

# appendfsync always

appendfsync everysec

# appendfsync no

################ VIRTUAL MEMORY ###########

#是否开启VM功能,默认值为no

vm-enabled no

# vm-enabled yes

#虚拟内存文件路径,默认值为/tmp/redis.swap,不可多个Redis实例共享

vm-swap-file /tmp/redis.swap

# 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的 (Redis的索引数据就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0。

vm-max-memory 0

vm-page-size 32

vm-pages 134217728

vm-max-threads 4

############# ADVANCED CONFIG ###############

glueoutputbuf yes

hash-max-zipmap-entries 64

hash-max-zipmap-value 512

#是否重置Hash表

activerehashing yes

注意:Redis官方文档对VM的使用提出了一些建议:

当你的key很小而value很大时,使用VM的效果会比较好.因为这样节约的内存比较大.

当你的key不小时,可以考虑使用一些非常方法将很大的key变成很大的value,比如你可以考虑将key,value组合成一个新的value.

最好使用linux ext3 等对稀疏文件支持比较好的文件系统保存你的swap文件.

vm-max-threads这个参数,可以设置访问swap文件的线程数,设置最好不要超过机器的核数.如果设置为0,那么所有对swap文件的操作都是串行的.可能会造成比较长时间的延迟,但是对数据完整性有很好的保证.

2. 调整系统内核参数

如果内存情况比较紧张的话,需要设定内核参数:

echo 1 > /proc/sys/vm/overcommit_memory

这里说一下这个配置的含义:/proc/sys/vm/overcommit_memory

该文件指定了内核针对内存分配的策略,其值可以是0、1、2。

0,表示内核将检查是否有足够的可用内存供应用进程使用;如果有足够的可用内存,内存申请允许;否则,内存申请失败,并把错误返回给应用进程。

1,表示内核允许分配所有的物理内存,而不管当前的内存状态如何。

2,表示内核允许分配超过所有物理内存和交换空间总和的内存

Redis 在dump数据的时候,会fork出一个子进程,理论上child进程所占用的内存和parent是一样的,比如parent占用的内存为 8G,这个时候也要同样分配8G的内存给child, 如果内存无法负担,往往会造成redis服务器的down机或者IO负载过高,效率下降。所以这里比较优化的内存分配策略应该设置为 1(表示内核允许分配所有的物理内存,而不管当前的内存状态如何)

一、 运行服务

# redis-server /etc/redis/redis.conf 开启

# redis-cli shutdown 关闭

二、 测试

1) 可在后台启动redis服务后,用redis-benchmark命令测试

2) 通过redis-cli命令实际操作测试

三、 保存/备份

数据备份可以通过定期备份该文件实现。

因为redis是异步写入磁盘的,如果要让内存中的数据马上写入硬盘可以执行如下命令:

redis-cli save 或者 redis-cli -p 6380 save(指定端口)

注意,以上部署操作需要具备一定的权限,比如复制和设定内核参数等。

执行redis-benchmark命令时也会将内存数据写入硬盘。

SNAPSHOTTING

数据保存频率:

save 900 1 900秒后保存,至少有1个key被更改时才会触发

save 300 10 300秒后保存,至少有10个key被更改时才会触发

save 60 10000 60秒后保存,至少有10000个key被更改时才会触发

stop-writes-on-bgsave-error yes 最近一次save操作失败则停止写操作

rdbcompression yes 启用压缩

rdbchecksum yes 启用CRC64校验码,当然这个会影响一部份性能

dbfilename dump.rdb 指定存储数据的文件名

dir ./ 指定工作目录,rdb文件和aof文件都会存放在这个目录中,默认为当前目录

SECURITY

requirepass foobared 有slave端连接时是否需要密码验证

LIMITS

maxclients 10000 同一时间内最大clients连接的数量,超过数量的连接会返回一个错误信息

maxmemory <bytes> 设置最大内存

如果内存使用量到达了最大内存设置,有6种处理方法:

volatile-lru -> remove the key with an expire set using an LRU algorithm

allkeys-lru -> remove any key according to the LRU algorithm

volatile-random -> remove a random key with an expire set

allkeys-random -> remove a random key, any key

volatile-ttl -> remove the key with the nearest expire time (minor TTL)

noeviction -> don’t expire at all, just return an error on write operations

默认的设置是 maxmemory-policy noeviction

maxmemory-samples 5 LRU算法检查的keys个数

APPEND ONLY MODE

appendonly yes 启用AOF模式

appendfilename “appendonly.aof” 设置AOF记录的文件名

向磁盘进行数据刷写的频率,有3个选项:

always 有新数据则马上刷写,速度慢但可靠性高

everysec 每秒钟刷写一次,折衷方法,所谓的redis可以只丢失1秒钟的数据就是源于此处

no 按照OS自身的刷写策略来进行,速度最快

使用选项来进行设置 appendfsync everysec

no-appendfsync-on-rewrite no 当主进程在进行向磁盘的写操作时,将会阻止其它的fsync调用

auto-aof-rewrite-percentage 100 aof文件触发自动rewrite的百分比,值为0则表示禁用自动rewrite

auto-aof-rewrite-min-size 64mb aof文件触发自动rewrite的最小文件size

aof-load-truncated yes 是否加载不完整的aof文件来进行启动

LUA SCRIPTING

lua-time-limit 5000 设置lua脚本的最大运行时间,单位为毫秒

EVENT NOTIFICATION

notify-keyspace-events “” 事件通知,默认不启用,具体参数查看配置文件

REPLICATION

Redis的主从复制采用异步的方式进行。

如果同步连接时slave端短暂的与master端断开了连接,那连接恢复后允许slave端与master端进行一次局部的再同步。

主从复制是自动进行的,并不需要用户的介入,slave端会自动尝试重连master并进行数据同步。

slaveof <master ip> <master port> 设置master端的IP与端口信息

masterauth <master-password> 如果master端启用了密码保护(requirepass),那slave端就需要配置此选项

slave-serve-stale-data yes 当slave端在主从复制的过程中与master端断开了连接,此时有2种处理方法:一种是继续提供服务即使数据可能不是最新的,另一种是对请求返回一个错误信息,默认配置是继续提供服务

slave-read-only yes 自redis 2.6版本开始,slave端默认为readonly

主从同步支持两种策略,即disk和socket方式(socket方式尚不完善,还处于实验阶段)。

新的slave端和重连的salve端不允许去继续同步进程,这被称之为“完全同步”。

一个RDB文件从master端传到slave端,分为两种情况:

1、支持disk:master端将RDB file写到disk,稍后再传送到slave端;

2、无磁盘diskless:master端直接将RDB file传到slave socket,不需要与disk进行交互。

无磁盘diskless方式适合磁盘读写速度慢但网络带宽非常高的环境。

repl-diskless-sync no 默认不使用diskless同步方式

repl-diskless-sync-delay 5 无磁盘diskless方式在进行数据传递之前会有一个时间的延迟,以便slave端能够进行到待传送的目标队列中,这个时间默认是5秒

repl-ping-slave-period 10 slave端向server端发送pings的时间区间设置,默认为10秒

repl-timeout 60 设置超时时间

repl-disable-tcp-nodelay no 是否启用TCP_NODELAY,如果启用则会使用少量的TCP包和带宽去进行数据传输到slave端,当然速度会比较慢;如果不启用则传输速度比较快,但是会占用比较多的带宽。

repl-backlog-size 1mb 设置backlog的大小,backlog是一个缓冲区,在slave端失连时存放要同步到slave的数据,因此当一个slave要重连时,经常是不需要完全同步的,执行局部同步就足够了。backlog设置的越大,slave可以失连的时间就越长。

repl-backlog-ttl 3600 如果一段时间后没有slave连接到master,则backlog size的内存将会被释放。如果值为0则表示永远不释放这部份内存。

slave-priority 100 slave端的优先级设置,值是一个整数,数字越小表示优先级越高。当master故障时将会按照优先级来选择slave端进行恢复,如果值设置为0,则表示该slave永远不会被选择。

min-slaves-to-write 3

min-slaves-max-lag 10 设置当一个master端的可用slave少于N个,延迟时间大于M秒时,不接收写操作。

REDIS CLUSTER

一个正常的redis实例是不能做为一个redis集群的节点的,除非它是以一个集群节点的方式进行启动。

cluster-enabled yes 配置redis做为一个集群节点来启动

cluster-config-file node-6379.conf 每个集群节点都有一个集群配置文件,这个文件不需要编辑,它由redis节点来创建和更新。每个redis节点的集群配置文件不可以相同。

cluster-node-timeout 15000 设置集群节点超时时间,如果超过了指定的超时时间后仍不可达,则节点被认为是失败状态,单位为毫秒。

一个属于失效的master端的slave,如果它的数据较旧,将不会启动failover。

现在来讲并没有一个简单的方法去解决如何判定一个slave端的数据的时效性问题,所以可以执行以下两个选择:

1、如果有多个slave可用于failover,它们会交换信息以便选出一个最优的进行主从复制的offset,slave端会尝试依据offset去获取每个slave的rank,这样在启动failover时对每个slave的利用就与slave端的rank成正比。

2、每个slave端和它的master端进行最后交互的时间,这可能是最近的ping或指令接收时间,或自与master端失连的过时时间。如果最近的交互时间太久,slave就不会尝试去进行failover。

第2点可以由用户来进行调整,明确一个slave不会进行failover。自最近一次与master端进行交互,过时时间有一个计算公式:

(node-timeout * slave-validity-factor)+repl-ping-slave-period

一个比较大的slave-validity-factor参数能够允许slave端使用比较旧的数据去failover它的master端,而一个比较小的值可能会阻止集群去选择slave端。

为获得最大的可用性,可以设置slave-validity-factor的值为0,这表示slave端将会一直去尝试failover它的master端而不管它与master端的最后交互时间。

cluster-slave-validity-factor 10 默认值为10

集群中的slave可以迁移到那些没有可用slave的master端,这提升了集群处理故障的能力。毕竟一个没有slave的master端如果发生了故障是没有办法去进行failover的。

要将一个slave迁移到别的master,必须这个slave的原master端有至少给定数目的可用slave才可以进行迁移,这个给定的数目由migration barrier参数来进行设置,默认值为1,表示这个要进行迁移的slave的原master端应该至少还有1个可用的slave才允许其进行迁移,要禁用这个功能只需要将此参数设置为一个非常大的值。

cluster-migration-barrier 1

默认情况下当redis集群节点发现有至少一个hashslot未被covered时将会停止接收查询。

这种情况下如果有一部份的集群down掉了,那整个集群将变得不可用。

集群将会在所有的slot重新covered之后自动恢复可用。

若想要设置集群在部份key space没有cover完成时继续去接收查询,就将参数设置为no。

cluster-require-full-coverage yes

SLOW LOG

redis的slow log是一个系统OS进行的记录查询,它是超过了指定的执行时间的。执行时间不包括类似与client进行交互或发送回复等I/O操作,它只是实际执行指令的时间。

有2个参数可以配置,一个用来告诉redis执行时间,这个时间是微秒级的(1秒=1000000微秒),这是为了不遗漏命令。另一个参数是设置slowlog的长度,当一个新的命令被记录时,最旧的命令将会从命令记录队列中移除。

slowlog-log-slower-than 10000

slowlog-max-len 128

可以使用“slowlog reset”命令来释放slowlog占用的内存。

LATENCY MONITOR

latency-monitor-threshold 0 延迟监控,用于记录等于或超过了指定时间的操作,默认是关闭状态,即值为0。

ADVANCED CONFIG

当条目数量较少且最大不会超过给定阀值时,哈希编码将使用一个很高效的内存数据结构,阀值由以下参数来进行配置。

hash-max-ziplist-entries 512

hash-max-ziplist-value 64

与哈希类似,少量的lists也会通过一个指定的方式去编码从而节省更多的空间,它的阀值通过以下参数来进行配置。

list-max-ziplist-entries 512

list-max-ziplist-value 64

集合sets在一种特殊的情况时有指定的编码方式,这种情况是集合由一组10进制的64位有符号整数范围内的数字组成的情况。以下选项可以设置集合使用这种特殊编码方式的size限制。

set-max-intset-entries 512

与哈希和列表类似,有序集合也会使用一种特殊的编码方式来节省空间,这种特殊的编码方式只用于这个有序集合的长度和元素均低于以下参数设置的值时。

zset-max-ziplist-entries 128

zset-max-ziplist-value 64

hll-sparse-max-bytes 3000 设置HyeperLogLog的字节数限制,这个值通常在0~15000之间,默认为3000,基本不超过16000

activerehashing yes redis将会在每秒中抽出10毫秒来对主字典进行重新散列化处理,这有助于尽可能的释放内存

因为某些原因,client不能足够快的从server读取数据,那client的输出缓存限制可能会使client失连,这个限制可用于3种不同的client种类,分别是:normal、slave和pubsub。

进行设置的格式如下:

client-output-buffer-limit <class><hard limit><soft limit><soft seconds>

如果达到hard limit那client将会立即失连。

如果达到soft limit那client将会在soft seconds秒之后失连。

参数soft limit < hard limit。

client-output-buffer-limit normal 0 0 0

client-output-buffer-limit slave 256mb 64mb 60

client-output-buffer-limit pubsub 32mb 8mb 60

redis使用一个内部程序来处理后台任务,例如关闭超时的client连接,清除过期的key等等。它并不会同时处理所有的任务,redis通过指定的hz参数去检查和执行任务。

hz默认设为10,提高它的值将会占用更多的cpu,当然相应的redis将会更快的处理同时到期的许多key,以及更精确的去处理超时。

hz的取值范围是1~500,通常不建议超过100,只有在请求延时非常低的情况下可以将值提升到100。

hz 10

当一个子进程要改写AOF文件,如果以下选项启用,那文件将会在每产生32MB数据时进行同步,这样提交增量文件到磁盘时可以避免出现比较大的延迟。

aof-rewrite-incremental-fsync yes

Redis官方文档对VM的使用提出了一些建议:

当key很小而value很大时,使用VM的效果会比较好.因为这样节约的内存比较大

当key不小时,可以考虑使用一些非常方法将很大的key变成很大的value,如可将key,value组合成一个新的value

最好使用linux ext3 等对稀疏文件支持比较好的文件系统保存你的swap文件

vm-max-threads参数可设置访问swap文件的线程数,最好不要超过机器的核数;设置为0则所有对swap文件的操作都是串行的,可能会造成比较长时间的延迟,但是对数据完整性有很好的保证

redis数据存储

redis的存储分为内存存储、磁盘存储和log文件三部分,配置文件中有三个参数对其进行配置。

save seconds updates,save配置,指出在多长时间内,有多少次更新操作,就将数据同步到数据文件。可多个条件配合,默认配置了三个条件。

appendonly yes/no ,appendonly配置,指出是否在每次更新操作后进行日志记录,如果不开启,可能会在断电时导致一段时间内的数据丢失。因为redis本身同步数据文件是按上面的save条件来同步的,所以有的数据会在一段时间内只存在于内存中。

appendfsync no/always/everysec ,appendfsync配置,no表示等操作系统进行数据缓存同步到磁盘,always表示每次更新操作后手动调用fsync()将数据写到磁盘,everysec表示每秒同步一次。

作者:小橙子的个人博客
快乐在于简单的满足,贪婪只是烦恼的开始!
原文地址:redis配置参数详细解释, 感谢原作者分享。

发表评论