Ralentissement Regattagame

[pjallade]

Bonjour à tous,
Depuis quelque semaines j'ai un très gros ralentissement de l'application Regattagame.
45 secondes pour faire une programmation.
Mon ordi est neuf. J'ai désactivé l'accélération matérielle.
Qu'en pensez-vous
Biz à tous
Philippe ou carambar86

[smiticks42]

Bonjour à tous,
Depuis quelque semaines j'ai un très gros ralentissement de l'application Regattagame.
45 secondes pour faire une programmation.
Mon ordi est neuf. J'ai désactivé l'accélération matérielle.
Qu'en pensez-vous
Biz à tous
Philippe ou carambar86

Bonsoir Philippe, effectivement cela fait deux semaines que nous rencontrons des problèmes de ralentissement entre 18h30 et 19h30, nos deux techniciens Gégé et Blaise sont sur le coup depuis 15 jours donc et je ne sais pas s'il leur reste des cheveux tant le problème semble ardu.
En attendant une résolution du problème nous prenons tous notre mal en patience.
Encore désolé pour la gène que cela cause à l'ensemble des joueurs.

[blzblz]

Bonjour;

Oui, c'est vraiment problématique le soir à partir de 18h40 environ; ça revient plus ou moins normal après 19h00 / 19h15 selon les jours.

Il ne semble pas avoir de problème de charge du serveur. Celle-ci est indiquée en haut à droite de l'interface et ne dépasse que très rarement 2, alors que comme le serveur à 4 coeurs double threads, il n'est pas en surcharge tant que la charge ne dépasse pas 8.

Il y a un problème de calcul d'itération sur certaines courses. En tant normal, selon les courses et le nombre de joueurs, le calcul d'itération ne dépasse pas 10 ou 20 secondes, mais actuellement, en fin de journée, le calcul d'itération de certaines courses prend parfois plusieurs centaines de secondes

Il ne semble pas avoir non plus de processus zombie qui tourne, ni de requêtes bizarres apparemment.

On cherche donc ce qui fait que le calcul d'itération prenne autant de temps en fin de journée, on va essayer de mettre en place quelques traceurs pour essayer de comprendre ce qu'il se passe.

Nous sommes sincèrement désolés; en espérant résoudre ce problème prochainement.

[blzblz]

Un traceur détaillé vient d'être mis en place sur le calcul d'itération de la Sunday Race, uniquement sur cette course, en espérant que le calcul de cette course "rame" ce soir, ainsi cela nous éclairera peut-être de où ça pèche.

Si le calcul d'itération de cette course ne veut pas "ramer", on placera ce traceur sur le calcul d'itération du Tour de Mediterranée, vu que c'est ce calcul qui 'rame" le plus ces jours-ci.

[limelight]

Un traceur détaillé vient d'être mis en place sur le calcul d'itération de la Sunday Race, uniquement sur cette course, en espérant que le calcul de cette course "rame" ce soir, ainsi cela nous éclairera peut-être de où ça pèche.

Si le calcul d'itération de cette course ne veut pas "ramer", on placera ce traceur sur le calcul d'itération du Tour de Mediterranée, vu que c'est ce calcul qui 'rame" le plus ces jours-ci.

Sans savoir comment le programme est organisé, mais si le process est organisé par courses, est-ce que la valeur "nice" du process est la même que celle des autres courses? just a thought that popped up in my head. Or a problem with swap space?

[blzblz]

Merci de proposer des pistes de recherche, John.

Il n'y a pas de problème de swap, en tout cas ce matin, mais je crois que j'ai vérifié aussi le soir quand ça plante. Voilà le résultat de ce matin:

$ free total used ... 4098460 $

Donc environ 4 GB de libre, il y a de l'air...

Pour le nice ça sera vérifié ce soir, mais rien n'a été changé récemment, donc il n'y a pas de raison...

Pas de problème d'espace disque non plus, il y a plusieurs dizaines de GB libres...

Cette nuit en fouillant les logs du serveur web, j'ai constaté qu'il y avait de multiples validations de login sur le jeu, parfois très rapprochées dans le temps (à quelques secondes d'intervalle) provenant de mêmes IP mais pas avec le même compte regattagame.
Pas uniquement en fin de journée. Ca n'est peut-être pas lié, mais c'est assez bizarre.

En fin de journée quand ça ralentit, il y a aussi des requêtes pratiquement identiques correspondant au rafraîchissement de la carte, provenant de mêmes adresse IP. Je ne m'explique pas comment on peut cliquer 5 fois sur le bouton 'Rafraichissement" dans la même seconde. Mais est-ce la cause ou la conséquence du problème ?

L'enquête continue. Il y a environ 150 MB de fichier de log du serveur web apache par jour en ce moment, Pas évident de trouver ce qui cloche dedans...

[limelight]

Cette nuit en fouillant les logs du serveur web, j'ai constaté qu'il y avait de multiples validations de login sur le jeu, parfois très rapprochées dans le temps (à quelques secondes d'intervalle) provenant de mêmes IP mais pas avec le même compte regattagame.
Pas uniquement en fin de journée. Ca n'est peut-être pas lié, mais c'est assez bizarre.

Oui, c'est bizarre. C'est une seule adresse IP ou plusieurs? Et ce sont des comptes réels ou fictifs?

En fin de journée quand ça ralentit, il y a aussi des requêtes pratiquement identiques correspondant au rafraîchissement de la carte, provenant de mêmes adresse IP. Je ne m'explique pas comment on peut cliquer 5 fois sur le bouton 'Rafraichissement" dans la même seconde. Mais est-ce la cause ou la conséquence du problème ?

L'enquête continue. Il y a environ 150 MB de fichier de log du serveur web apache par jour en ce moment, Pas évident de trouver ce qui cloche dedans...

Ça c'est probablement une conséquence et j'en suis probablement coupable, pas avec le refresh, mais avec la programmation quand je ne suis pas sûr si la dernière valeur a été prise en compte ou si je demande une nouvelle programmation et que rien n'arrive.

mon adresse IP = 1.2.3.4

[zedstar]

Merci d'avoir ouvert ce sujet, au delà des désagréments occasionnés, on est curieux d'en connaitre la cause et la fin.

Bon courage et bons cheveux aux inspecteurs blzzz et gégé

[blzblz]

Merci John pour les retours. Pour info, les validations d'authentification multiples et très rapprochées proviennent de plusieurs IP différentes, mais avec des comptes réels, la localisation des IP semble correspondre avec les comptes concernés. C'est curieux mais le problème ne vient sans doute pas de là.
( Je me suis permis d'éditer ton adresse IP personnelle, c'est sans doute pas une bonne idée de la livrer au monde )

Il y a des tentatives d'intrusions régulières. Rien de plus normal sur un serveur internet. Il faudrait sans doute blinder toujours plus la sécurité, mais rien n'a été trouvé pour l'instant qui permettrait d'affirmer que le serveur est compromis.

En raison de la relative stabilité électrique de notre hébergeur depuis un moment (merci encore et toujours à eux), le serveur Nestor tourne en continu depuis 508 jours. Le problème vient peut-être de là: le serveur web et celui de base de données ont peut-être tendance à occuper de plus en plus de mémoire sans la libérer complètement régulièrement. De plus certaines requêtes de la base de données tournaient depuis des centaines d'heures mais il n'a pas été possible d'identifier lesquelles.

Il a été décidé d'arrêter le serveur web et le serveur de base de données à 04h00 cette nuit, et de les redémarrer 3 minutes plus tard. Cela a permis de récupérer environ 3 GB de mémoire libre (de moins de 1 GB disponible à 4 GB maintenant). Par la même occasion, la mémoire swap utilisée est descendu de 1 GB à 10 MB, ce qui ne peut qu'améliorer les choses.
La mémoire cache utilisée est passée de 12 GB à 10 GB par la même occasion. Ce serait mieux qu'elle baisse vraiment plus, mais cela nécessite sans doute d'arrêter complètement le serveur Nestor et de le redémarrer, ce qui est loin d'être innocent si on ne peux pas venir intervenir sur place en cas de problème au redémarrage, et comme il y a des courses en cours et aucune possibilité de venir rapidement chez notre hébergeur actuellement, cela est remis à l'année prochaine.
Il y avait également en projet de changer les disques de Nestor cette année pour repartir sur un système neuf et plus à jour, mais en raison de déplacements pro, cela n'a pas été possible, c'est remis à l'année prochaine.

En espérant que cette intervention permettra de revenir à un fonctionnement normal et fluide, à vérifier ce matin et surtout ce soir.
Encore merci pour votre confiance, et toutes nos excuses pour la lenteur de la réaction.

[limelight]

Merci John pour les retours. Pour info, les validations d'authentification multiples et très rapprochées proviennent de plusieurs IP différentes, mais avec des comptes réels, la localisation des IP semble correspondre avec les comptes concernés. C'est curieux mais le problème ne vient sans doute pas de là.
( Je me suis permis d'éditer ton adresse IP personnelle, c'est sans doute pas une bonne idée de la livrer au monde )

Merci mais ça ne m'inquiétait pas trop, le firewall n'est ouvert qu'à deux adresses IP spécifique et seulement pour le protocol ssh.

Il y a des tentatives d'intrusions régulières. Rien de plus normal sur un serveur internet. Il faudrait sans doute blinder toujours plus la sécurité, mais rien n'a été trouvé pour l'instant qui permettrait d'affirmer que le serveur est compromis.

En raison de la relative stabilité électrique de notre hébergeur depuis un moment (merci encore et toujours à eux), le serveur Nestor tourne en continu depuis 508 jours. Le problème vient peut-être de là: le serveur web et celui de base de données ont peut-être tendance à occuper de plus en plus de mémoire sans la libérer complètement régulièrement. De plus certaines requêtes de la base de données tournaient depuis des centaines d'heures mais il n'a pas été possible d'identifier lesquelles.

Il a été décidé d'arrêter le serveur web et le serveur de base de données à 04h00 cette nuit, et de les redémarrer 3 minutes plus tard. Cela a permis de récupérer environ 3 GB de mémoire libre (de moins de 1 GB disponible à 4 GB maintenant). Par la même occasion, la mémoire swap utilisée est descendu de 1 GB à 10 MB, ce qui ne peut qu'améliorer les choses.
La mémoire cache utilisée est passée de 12 GB à 10 GB par la même occasion. Ce serait mieux qu'elle baisse vraiment plus, mais cela nécessite sans doute d'arrêter complètement le serveur Nestor et de le redémarrer, ce qui est loin d'être innocent si on ne peux pas venir intervenir sur place en cas de problème au redémarrage, et comme il y a des courses en cours et aucune possibilité de venir rapidement chez notre hébergeur actuellement, cela est remis à l'année prochaine.
Il y avait également en projet de changer les disques de Nestor cette année pour repartir sur un système neuf et plus à jour, mais en raison de déplacements pro, cela n'a pas été possible, c'est remis à l'année prochaine.

En espérant que cette intervention permettra de revenir à un fonctionnement normal et fluide, à vérifier ce matin et surtout ce soir.
Encore merci pour votre confiance, et toutes nos excuses pour la lenteur de la réaction.

Oui, une petite fuite de mémoire. Ça me rappelle aussi un problème qui m'avait ennuyé il y a quelques années. Un gros ralentissement, finalement j'avais découvert que c'était une fuite d'inodes, pas de mémoire. df -ih avait clairement identifié le problème et la seule solution que j'ai trouvé a été de changer de distro..

Une suggestion, peut-être utiliser les changements d'heure (puisque ma suggestion de marcher à l'heure UTC n'est pas suivie ) pour arrêter et relncer les serveurs.

John