Метка: cache

  • Кэширование nginx: Мониторинг

    Оригинал статьи тут, себе копирую, чтоб не потерять.

    Объявляем новый log_format в nginx.conf:

    log_format rt_cache '$remote_addr - $upstream_cache_status [$time_local] '
    '"$request" $status $body_bytes_sent '
    '"$http_referer" "$http_user_agent"';

    в server разделе вашего vhost:

    И замените

    access_log /var/log/nginx/example.com.access.log;
    На вот такое:

    access_log /var/log/nginx/example.com.access.log rt_cache;

    Или можно поступить как-то так.

    access_log /var/log/nginx/example.com.access.log;
    access_log /var/log/nginx/example.com.cache.log rt_cache;

    обратите внимание, что в разных логах различаются имена файлов.

    Анализируем логи:

    HIT vs MISS vs etc

    Можно посмотреть статистику из access.log:

    awk '{print $3}' access.log | sort | uniq -c | sort -r

    Sample output:

    800 HIT
    779 -
    392 BYPASS
    19 EXPIRED
    14 MISS

    Важно: тире (“-“) означает прочие коды return 403, return 444, и возможно всякие файлы, что не попали к нам в локейшин в котором действует кэш.

    Посмотреть список уролов с MISS

    awk '($3 ~ /MISS/)' access.log | awk '{print $7}' | sort | uniq -c | sort -r

    BYPASS Requests URLs

    awk '($3 ~ /BYPASS/)' access.log | awk '{print $7}' | sort | uniq -c | sort -r
    MISS v/s BYPASS

    MISS — Это промахнулись мимо кэша, возможно это первое обращение, после которого кэш создаётся.

    BYPASS — это пропуск к бэкэнду минуя кэн nginx например для залогиненных пользователей.

  • WordPress + nginx + cache (Настройка nginx + кэширование + WP)

    У nginx с версии 0.7(чёта-там) появилась функция кэширования ответов от бэкэнда.
    штука крайне полезная, в условиях высоких нагрузок, но настроить на корректную работу для WP оказалось не так просто.

    Но попробуем
    Создаём каталог где будет храниться кэш, назначаем права работы с ним (у меня nginx работает под www-data)

    mkdir /var/cache/nginx
    chown www-data:www-data /var/cache/nginx/Code language: Bash (bash)

    в файле nginx.conf
    пишем

    ## Создаем кеш зону pagecache (память под ключи в 16Мб) с настройками:
    # inactive: xранить кеш 1 день (если к нему не было обращений)
    # max_size: максимальный размер кеш данные 256Мб
    proxy_cache_path /var/cache/nginx levels=2 keys_zone=pagecache:16m inactive=1d max_size=256m;Code language: Bash (bash)

    теперь для нужного нам Виртуал хоста в диррективе SERVER прописываем, привожу полный конфиг своего vhost

    server {
    listen 80;
    server_name www.krasfun.ru krasfun.ru krasfan.ru www.krasfan.ru;
    
    #access_log /var/log/nginx/krasfun/access2.log;
    access_log off;
    error_log  /var/log/nginx/krasfun/error3.log  error;
    
    
    #client_max_body_size 300m
    # Сетевое ускорение
    tcp_nopush on;
    tcp_nodelay on;
    
    #30 одновременных коннектов
    #limit_conn one 30;
    
    index index.php;
    
    if ($http_cookie ~* «comment_author_|wordpress_(?!test_cookie)|wp-postpass_» ) {
    set $do_not_cache 1;
    }
    
    root  /var/www/krasfun;
    
    fastcgi_cache_bypass $do_not_cache;
    fastcgi_no_cache $do_not_cache;
    fastcgi_pass_header Cookie;
    fastcgi_cache pagecache;
    fastcgi_cache_key $request_method|$host|$request_uri;
    fastcgi_cache_valid 301 8h;
    fastcgi_cache_valid 404 1h;
    fastcgi_cache_valid 200 15m;
    
    set $Mybackend unix:/tmp/php5-fpm.sock;
    
    location / {
    try_files $uri $uri/ @wordpress;
    }
    # Это чтоб Админка, логинизация, и регистрация не кэшировались
    location ~ ^/(wp-admin/.*\.php|wp-login\.php|wp-register\.php|(feed|comment/feed)(/.*)?)$ {
    try_files $uri @wordpress;
    set $do_not_cache 1;
    fastcgi_cache_bypass 1;
    fastcgi_no_cache 1;
    fastcgi_pass $Mybackend;
    fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
    fastcgi_index index.php;
    include /etc/nginx/fastcgi_params;
    }
    
    location ~ \.php$ {
    try_files $uri @wordpress;
    include /etc/nginx/fastcgi_params;
    fastcgi_pass $Mybackend;
    fastcgi_index index.php;
    fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
    if ($do_not_cache != «1″) {
    add_header Vary Cookie;
    }
    }
    
    location @wordpress {
    fastcgi_pass $Mybackend;
    fastcgi_param SCRIPT_FILENAME $document_root/index.php;
    include /etc/nginx/fastcgi_params;
    fastcgi_cache pagecache;
    fastcgi_param SCRIPT_NAME /index.php;
    if ($do_not_cache != "1") {
    add_header Vary Cookie;
    }
    }
    
    #Static files location
    location ~* ^.+.(jpg|jpeg|gif|png|ico|css|zip|tgz|gz|rar|bz2|doc|xls|exe|pdf|ppt|txt|tar|mid|midi|wav|bmp|rtf|js|html|flv|mp3)$ {
    root /var/www/krasfun; }
    
    }Code language: Bash (bash)

    проверяем nginx -t и перезапускам nginx

    тыкаем по сайту и потом смотри что у нас появилось в /var/cache/nginx

    Прирост производительности? да конечно же есть.

    тест номер1

    # ab -n 1000 -c 5 http://www.krasfun.ru/
    This is ApacheBench, Version 2.3 <$Revision: 655654 $>
    Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
    Licensed to The Apache Software Foundation, http://www.apache.org/
    
    Benchmarking www.krasfun.ru (be patient)
    Completed 100 requests
    Completed 200 requests
    Completed 300 requests
    Completed 400 requests
    Completed 500 requests
    Completed 600 requests
    Completed 700 requests
    Completed 800 requests
    Completed 900 requests
    Completed 1000 requests
    Finished 1000 requests
    
    
    Server Software:        nginx/0.8.53
    Server Hostname:        www.krasfun.ru
    Server Port:            80
    
    Document Path:          /
    Document Length:        37725 bytes
    
    Concurrency Level:      5
    Time taken for tests:   3.577 seconds
    Complete requests:      1000
    Failed requests:        0
    Write errors:           0
    Total transferred:      37972000 bytes
    HTML transferred:       37725000 bytes
    Requests per second:    279.54 [#/sec] (mean)
    Time per request:       17.887 [ms] (mean)
    Time per request:       3.577 [ms] (mean, across all concurrent requests)
    Transfer rate:          10365.83 [Kbytes/sec] received
    
    Connection Times (ms)
                  min  mean[+/-sd] median   max
    Connect:        0    2   1.0      2       6
    Processing:     7   16  46.0     14    1038
    Waiting:        1    3   2.1      2      26
    Total:          9   18  45.9     17    1039
    
    Percentage of the requests served within a certain time (ms)
      50%     17
      66%     17
      75%     18
      80%     18
      90%     19
      95%     21
      98%     28
      99%     31
     100%   1039 (longest request)Code language: Bash (bash)

    Без кэширования этот тест провалился куда-то