Boulot
Voilà, c'est cool, entre Sentry, Netdata et Cabot, l'infra de prod est monitorée à fond, j'ai 30000 métriques, je suis notifiée dès qu'n service est down et je peux voir tous les problèmes de perfs et l'impact des solutions en live avec de jolis graphes colorés.
Mais bon…
Du coup…
J'ai plus du tout envie de coder, juste de rester assise devant les graphes et voir que tout tourne bien xD
Boulot
C'est assez incroyable comment ça gamifie l'administration système ce genre de trucs.
Par exemple sur ce graphe, avant le pic, c'est le nombre de read en DB qui ne passent pas sur un index (lent, pas bien !). Environ 11k opés par seconde.
Le pic, c'est quand je triffouille les index sur MySQL.
Après, c'est quand j'ai mis en place les bons index. On descend à moins de 2000 opés.
J'ai l'impression de jouer à un jeu et de gagner des points ou jsp.
Boulot
Bon après, comme souvent avec la gamification c'est à double tranchant. Notamment ça peut générer des comportements addictifs.
Dans le cas présent par exemple, je risque de passer du temps à rechercher des soucis et optimiser des trucs alors qu'il y en a pas besoin objectivement.
Boulot
@agate Ah perso je déteste devoir jouer avec les graphes du monitoring, j'ai l'impression d'y passer un temps fou pour pas grand chose :/
Boulot
@HgO je pense que ça dépend vraiment du contexte.
En l'occurrence, on a constaté des problèmes de perfs assez important hier suite à une mise en prod, sur notre API la plus appelée (environ 1 millions d'appels par jour).
Et du coup d'avoir ces infos là dispo ça nous a permis de voir que MySQL était surcollicité suite à une modif dans le code, et d'optimiser le code et la co fog MySQL en conséquence.
Boulot
@HgO mais ouais comme avec tous les trucs d'analytique /monitoring c'est super chronophage et preneur d'attention :x
re: Boulot
@agate Tu peux faire comme les chats : créer des problèmes exprès :3
re: Boulot
@HgO j'ai des crontab pour ça en prod, pour justifier mon salaire :D
re: Boulot
@agate Ah toi aussi tu fais des crontabs qui se déclenchent le week-end pour avoir du boulot le lundi ? 😁
re: Boulot
0 * * * * kill -9 `shuf -i 1-100000 -n 1`
ça me garantit suffisamment d'instabilité de la prod, donc suffisamment de stabilité d'emploi :p
re: Boulot
@agate Ça me semble bien, mais oublie pas le sleep $((RANDOM % 7200)) avant la commande, pour réduire les soupçons 
re: Boulot
@HgO ah oui bien vu !
Boulot
Idem sur ce graphe. InnoDB lit 4MB de données par seconde sur le disque. Pas terrible les accès au disque, c'est lent.
J'ai joué avec innodb_buffer_pool_size (réglage mysql), et pouf, pour le prix d'un peu de mémoire, MySQL garde plein de données et d'index en mémoire et peut répondre à tout un tas de requêtes sans même aller sur le disque.
Le graphe tombe complètement à plat après mon réglage, comme si j'avais vaincu un boss.