В прошлую пятницу наблюдали ситуацию в которой вполне вменяемый админ, к которому зашли в гости около 7 тыс ботов...
... и видимо, не очень радостный директор.
Поддался панике и соорудил конструкцию вида:
NGINX -> apache -> mod_php -> memcached -> [кэшированая версия /]
Это бесспорно лучше чем генерация титульной страницы на каждый запрос с несколькими выборками для базы, но все еще недостаточно хорошо...
Настолько нехорошо, что даже те 3-8 запросов которые успевал сделать бот, до того как был распознан и забанен, создавали серьезные проблемы и время обработки запросов сервером составляло 1-2 секунды.
Вспомнив пару интересных новых “тематических” фич которые проходили за последних месяцев в NGINX, решили поупражняться в config-fu и в итоге получился вот такой вот забавный этюд...
http {
# даже обычные медленные клиенты, обычно дороги
reset_timedout_connection on;
client_header_timeout 15;
client_body_timeout 15;
send_timeout 5;
keepalive_timeout 30 15;
# введем две зоны ограничений.
# По открытым соединениям и по request rate
limit_req_zone $binary_remote_addr zone=qglob:16m rate=3r/s;
limit_zone cglob $binary_remote_addr 16m;
server {
listen 80;
server_name www.myhost.ru;
proxy_set_header Host $host;
# необходимо для работы proxy_store
proxy_buffering on;
# ограничим максимальное количество соединений с одного ip
# до 4х клиентов с одного ip по rfc2616
limit_conn cglob 32;
# Быстро отлавливаем “GET / “.
# Дописываем удобное имя файла.
location = / {
rewrite ^/$ /index.html last;
}
#Пост-рейт отдача статического index.html или загрузка с бэкенда.
location = /index.html {
internal;
limit_req zone=qglob burst=9 nodelay;
open_file_cache_errors off;
root /tmp/nginx/cache/;
error_page 404 = /cached$uri ;
}
location /cached/ {
internal;
alias /tmp/nginx/cache/;
proxy_pass http://phpfarm;
proxy_store on;
proxy_store_access user:rw group:rw all:r;
proxy_temp_path /tmp/nginx/tmp/;
}
#Жестоко зажатый на два запроса в секунду поиск.
location = /advanced_search_result.php {
limit_req zone=qulag burst=2;
proxy_pass http://phpfarm;
}
# И все остальное.
location / {
proxy_pass http://phpfarm;
}
}
}
Далее 5 минутный TTL на коленке...
nohup `while true; do rm -f /tmp/nginx/cache/index.html; sleep 300; done`&
Что было необходимо и достаточно чтобы остановить 5000 ботов.
В качестве дополнительной меры можно выбирать наиболее назойливых по limiting requests из error_log и отправлять их в Null либо на ближайшем раутере либо в вашем netfilter.
Подумать еще:
Переработав этот конфигурацианный файл можно организовать и полное кэширование вашего сайта. Попробуем ?
Хорошим тоном считается что все сервисы , и LAMP в том числе, на сервере стартуют сразу после его перезагрузки автоматически.... И автоматически укладываются DDoS ом вместе с сервером.
Возможно стоит выбрать другую стратегию для initrc ?
В случае например с NAT beeline огромное количество людей может находиться за одним IP, но если вы не yandex.ru разумно предположить что 8 пользовтелей билайн на вашем сайте это достаточно ?
Что огорчило админа больше ? Боты или Директор ?
Почитать еще:
NGINX proxy module .
Дырявые ведра или что такое burst?
