Pasiekiamumo sutrikimai

azuolas

Sveiki,

Turiu problemą dėl serverio pasiekiamumo. Buvau kreipesis į pagalbą, ir savarankiškai bandžiau, bet nepavyko sutvarkyti. Jau puse metų tesiasi. Gal kažkas galės patarti.

Problema yra kad googlebot negali pasiekti 1-5% užklausų per dieną, priklausomai nuo jo aktyvumo.

Google identifikuoja problemą kaip:
Server error: No response
Google was able to connect to your server, but the connection was closed before the server sent any data.

Prasidėjo rugsėjo 25 d. 2014 iki tol bėdu nebuvo.

Jokių iptables ribojimų nėra.
Apache loge tos klaidos nėra fiksuojamos.
Svetainės veikia normaliai, greitai.
CPU viršyjimų nėra.
Ant serverio stovi kelios svetainės, pasireiškia visose.
Sukonfiguravau apache resursus pagal tutorial šiame forume.
Optimizavau mysql, svetainių darbas pagreitėjo bet problema nekinta.

Būčiau dėkingas už betkokius patarimus.

moxfelv

Pagal spalvą klaida "Atsakymo nėra". Greičiausiai tavo naudojama sistema nieko neatsako, ar tai kažkokia klaida iškyla ar dar kas.

Patarčiau pažiūrėti dienos logus, kai google kreipiasi ir koks atsakymo dydis. Jei 0 - tada tirk kodėl tuo adresu kreipiantis sistema negeneruoja atsakymo.

Jei būtų problemos dėl serverio pasiekiamumo matytum klaidas kaip: timeout arba nepavyko prisijungti.

azuolas

moxfelv , nėra apache loge nei vieno įrašo kad būtu atsakymo dydis 0 , taip pat ir atsakymai visur 200 arba 404. Nėra loge tų klaidų, vadinasi taip suprantu kad neateina iki apache.

Dar galvoju kad gal dėl googlebot dažno skanavimo gali linux firewallas blokuoti? iptables įrašus žiurėjau, bet gal būna kažkokie laikini automatiniai blokavimai?

Duokit kasnors dar kokių patarimų.

moxfelv

Jei yra ratelimit taisyklių tai gali blokuoti.

Parodyk

iptables -L

azuolas

> iptables -L
Chain INPUT (policy ACCEPT)
target prot opt source destination
fail2ban-SSH tcp -- anywhere anywhere tcp dpt:ssh
fail2ban-dovecot-pop3imap tcp -- anywhere anywhere multiport dports pop3,pop3s,imap,imaps
ACCEPT tcp -- anywhere anywhere tcp dpts:11199:11209
ACCEPT icmp -- anywhere anywhere limit: avg 100/sec burst 500
DROP icmp -- anywhere anywhere
ACCEPT udp -- anywhere anywhere limit: avg 100/sec burst 500
DROP udp -- anywhere anywhere
DROP all -- anywhere anywhere #conn/32 > 128
DROP all -- anywhere anywhere #conn/8 > 512

Chain FORWARD (policy DROP)
target prot opt source destination

Chain OUTPUT (policy ACCEPT)
target prot opt source destination

Chain fail2ban-SSH (1 references)
target prot opt source destination
REJECT all -- 115.239.228.11 anywhere reject-with icmp-port-unreachable
REJECT all -- 103.41.124.36 anywhere reject-with icmp-port-unreachable
REJECT all -- 103.41.124.104 anywhere reject-with icmp-port-unreachable
REJECT all -- 115.239.228.7 anywhere reject-with icmp-port-unreachable
REJECT all -- 115.230.126.151 anywhere reject-with icmp-port-unreachable
RETURN all -- anywhere anywhere

Chain fail2ban-dovecot-pop3imap (1 references)
target prot opt source destination
RETURN all -- anywhere anywhere

moxfelv

Nesu iptables specialistas, bet manau jog būtent šios taisyklės ir DROP'ina susijungimus kurie viršija limitus.

ACCEPT icmp -- anywhere anywhere limit: avg 100/sec burst 500
ACCEPT udp -- anywhere anywhere limit: avg 100/sec burst 500
DROP all -- anywhere anywhere #conn/32 > 128
DROP all -- anywhere anywhere #conn/8 > 512

Ką siūlyčiau padaryti, užsiregistruoti google webmastertools savo puslapį, ten galėsi nurodyti kiek užklausų galima daryt per sekundę.

Na o jei būtina daug susijungimų, padidinti limitus.

azuolas

nenoriu riboti boto, tegu eina laisvai, tuo labiau kad yra resursu.
Beje jo dažnis pagal logus žiūrint nėra labai didelis, kas kelias sekundes maždaug.

Gal galetum paaiškinti ką jos reiškia ir kaip reiktu pakeisti?

azuolas

Išsprendžiau problema, tai pasidalinsiu gal kam pravers.

Priežastis buvo apache nustatymas KeepAliveTimeout. Pagal nutylejimą visuose dedikuoti serveriuose kažkodėl pastatyta 1 sec, kai default yra 15.

Botas apytiksliai ir skanuoja kas 1 sec, dėl to dalis jo bandymų likdavo nutraukti. Pastačius 5 sec viskas susitvarkė.

IV_RomanL

azuolas parašė: »

<...>Pagal nutylejimą visuose dedikuoti serveriuose kažkodėl pastatyta 1 sec, kai default yra 15.

Sveiki,

patikslinimas, tai yra konkrečios tarnybos (Apache) nustatymas kuriam serveris neturi įtakos. T.y. ši tarnyba yra įdiegiama ir joje esantys konfigūraciniai failai nėra mūsų pakeisti. Daugiau informacijos:

http://httpd.apache.org/docs/2.2/mod/core.html#keepalivetimeout

arba

http://httpd.apache.org/docs/current/mod/core.html#keepalivetimeout

Dėkojame, jog pasidalinote sprendimu.

azuolas

Roman, na man užsisakius naują serveri jau buvo 1 pastatyta, tai gal tada nuo apache versijos priklauso tas nustatymas. Bet padidinti jį tikrai verta.

Dėkoju Roman ir kitiems forumiečiams už pagalbą.