Архивы: cache

Кэширование nginx: Мониторинг

Опубликовал(а): в: 5 ноября 2015 Нет комментариев | 9 321 views

Оригинал статьи тут, себе копирую, чтоб не потерять.

Объявляем новый log_format в nginx.conf:

log_format rt_cache '$remote_addr - $upstream_cache_status [$time_local] '
'"$request" $status $body_bytes_sent '
'"$http_referer" "$http_user_agent"';

в server разделе вашего vhost:

И замените

access_log /var/log/nginx/example.com.access.log;
На вот такое:

access_log /var/log/nginx/example.com.access.log rt_cache;

Или можно поступить как-то так.

access_log /var/log/nginx/example.com.access.log;
access_log /var/log/nginx/example.com.cache.log rt_cache;

обратите внимание, что в разных логах различаются имена файлов.

Анализируем логи:

HIT vs MISS vs etc

Можно посмотреть статистику из access.log:

awk '{print $3}' access.log | sort | uniq -c | sort -r

Sample output:

800 HIT
779 -
392 BYPASS
19 EXPIRED
14 MISS

Важно: тире (“-“) означает прочие коды return 403, return 444, и возможно всякие файлы, что не попали к нам в локейшин в котором действует кэш.

Посмотреть список уролов с MISS

awk '($3 ~ /MISS/)' access.log | awk '{print $7}' | sort | uniq -c | sort -r

BYPASS Requests URLs

awk '($3 ~ /BYPASS/)' access.log | awk '{print $7}' | sort | uniq -c | sort -r
MISS v/s BYPASS

MISS – Это промахнулись мимо кэша, возможно это первое обращение, после которого кэш создаётся.

BYPASS – это пропуск к бэкэнду минуя кэн nginx например для залогиненных пользователей.

WordPress + nginx + cache (Настройка nginx + кэширование + WP)

Опубликовал(а): в: 23 декабря 2011 1 комментарии | 28 192 views

У nginx с версии 0.7(чёта-там) появилась функция кэширования ответов от бэкэнда.
штука крайне полезная, в условиях высоких нагрузок, но настроить на корректную работу для WP оказалось не так просто.

Но попробуем
Создаём каталог где будет храниться кэш, назначаем права работы с ним (у меня nginx работает под www-data)
[cc lang=”bash”]
mkdir /var/cache/nginx
chown www-data:www-data /var/cache/nginx/[/cc]

в файле nginx.conf
пишем[cc lang=”bash”]
## Создаем кеш зону pagecache (память под ключи в 16Мб) с настройками:
# inactive: xранить кеш 1 день (если к нему не было обращений)
# max_size: максимальный размер кеш данные 256Мб
proxy_cache_path /var/cache/nginx levels=2 keys_zone=pagecache:16m inactive=1d max_size=256m;[/cc]

теперь для нужного нам Виртуал хоста в диррективе SERVER прописываем, привожу полный конфиг своего vhost

[cc lang=”bash”]server {
listen 80;
server_name www.krasfun.ru krasfun.ru krasfan.ru www.krasfan.ru;

#access_log /var/log/nginx/krasfun/access2.log;
access_log off;
error_log /var/log/nginx/krasfun/error3.log error;

#client_max_body_size 300m
# Сетевое ускорение
tcp_nopush on;
tcp_nodelay on;

#30 одновременных коннектов
#limit_conn one 30;

index index.php;

if ($http_cookie ~* «comment_author_|wordpress_(?!test_cookie)|wp-postpass_» ) {
set $do_not_cache 1;
}

root /var/www/krasfun;

fastcgi_cache_bypass $do_not_cache;
fastcgi_no_cache $do_not_cache;
fastcgi_pass_header Cookie;
fastcgi_cache pagecache;
fastcgi_cache_key $request_method|$host|$request_uri;
fastcgi_cache_valid 301 8h;
fastcgi_cache_valid 404 1h;
fastcgi_cache_valid 200 15m;

set $Mybackend unix:/tmp/php5-fpm.sock;

location / {
try_files $uri $uri/ @wordpress;
}
# Это чтоб Админка, логинизация, и регистрация не кэшировались
location ~ ^/(wp-admin/.*\.php|wp-login\.php|wp-register\.php|(feed|comment/feed)(/.*)?)$ {
try_files $uri @wordpress;
set $do_not_cache 1;
fastcgi_cache_bypass 1;
fastcgi_no_cache 1;
fastcgi_pass $Mybackend;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
fastcgi_index index.php;
include /etc/nginx/fastcgi_params;
}

location ~ \.php$ {
try_files $uri @wordpress;
include /etc/nginx/fastcgi_params;
fastcgi_pass $Mybackend;
fastcgi_index index.php;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
if ($do_not_cache != «1″) {
add_header Vary Cookie;
}
}

location @wordpress {
fastcgi_pass $Mybackend;
fastcgi_param SCRIPT_FILENAME $document_root/index.php;
include /etc/nginx/fastcgi_params;
fastcgi_cache pagecache;
fastcgi_param SCRIPT_NAME /index.php;
if ($do_not_cache != “1”) {
add_header Vary Cookie;
}
}

#Static files location
location ~* ^.+.(jpg|jpeg|gif|png|ico|css|zip|tgz|gz|rar|bz2|doc|xls|exe|pdf|ppt|txt|tar|mid|midi|wav|bmp|rtf|js|html|flv|mp3)$ {
root /var/www/krasfun; }

}
[/cc]

проверяем nginx -t и перезапускам nginx

тыкаем по сайту и потом смотри что у нас появилось в /var/cache/nginx

Прирост производительности? да конечно же есть.

тест номер1
[cc lang=”bash”]
# ab -n 1000 -c 5 http://www.krasfun.ru/
This is ApacheBench, Version 2.3 <$Revision: 655654 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking www.krasfun.ru (be patient)
Completed 100 requests
Completed 200 requests
Completed 300 requests
Completed 400 requests
Completed 500 requests
Completed 600 requests
Completed 700 requests
Completed 800 requests
Completed 900 requests
Completed 1000 requests
Finished 1000 requests

Server Software: nginx/0.8.53
Server Hostname: www.krasfun.ru
Server Port: 80

Document Path: /
Document Length: 37725 bytes

Concurrency Level: 5
Time taken for tests: 3.577 seconds
Complete requests: 1000
Failed requests: 0
Write errors: 0
Total transferred: 37972000 bytes
HTML transferred: 37725000 bytes
Requests per second: 279.54 [#/sec] (mean)
Time per request: 17.887 [ms] (mean)
Time per request: 3.577 [ms] (mean, across all concurrent requests)
Transfer rate: 10365.83 [Kbytes/sec] received

Connection Times (ms)
min mean[+/-sd] median max
Connect: 0 2 1.0 2 6
Processing: 7 16 46.0 14 1038
Waiting: 1 3 2.1 2 26
Total: 9 18 45.9 17 1039

Percentage of the requests served within a certain time (ms)
50% 17
66% 17
75% 18
80% 18
90% 19
95% 21
98% 28
99% 31
100% 1039 (longest request)
[/cc]

Без кэширования этот тест провалился куда-то