Cette version du forum n'est désormais accessible que pour lire les passionants échanges et partage de techniques qui ont déjà été rédigées ici.
Pour participer aux échanges interscouts, merci d'utiliser
| Aller à Page Précédente 1|2|3 Page suivante |
| Auteur | Serveur surchargé |
| trident Membre confirmé
Nous a rejoints le : 28 Fév 2009 Messages : 1 494 Réside à : Montréal, Québec |
Citation:Parano? Rhoo! 
Cette modif est très bien, car elle reflétera le véritable achalandage du site par des vrai humains 
L'avantage de bloquer Wysistat, Statcounter, Googleanalytic et analytics live, en plus de garder un "certain anonymat", c'est que ça accélère le chargement de la page, car à l'occasion, la requête DNS peut ramer. Vois-tu une grande différence entre ces 4 services de stats? Un seul ne serait-il pas amplement suffisant?  18      |
| Webmestre Administrateur
Nous a rejoints le : 25 Oct 2004 Messages : 1 261 |
Euh non, je ne bloque pas Wysistat Statcounter and Co, eux fonctionnent justement très bien, en en comptant que les utilisateurs ayant du java-script activé (donc pas les robot) et ça ne passe pas par nos serveurs.
En revanche ça passe par votre navigateur et ça peut rallentir d'un millième de seconde l'affichage de la page, s'il y a un problème. (vu que c'est en pied de page, si la requete DNS tarde, ça n'empêche pas l'afficga de la page, et pour Google, ils ont inventé un système asynchrone qui fait que même si le DNS est mort, la page chargée s'en moque). Pourquoi garder les 4 ? Euh, clairement il ne devrait y en avoir que 2 : Statcounter et GA (depuis que je n'ai pus accès à Wysistat et Analytics Live je ne sais pas ce que c'est -- Ah oui, c'étaient des test). Je vais nettoyer ça... 19 |
| Webmestre Administrateur
Nous a rejoints le : 25 Oct 2004 Messages : 1 261 |
A priori les modifs faites ont été suffisantes (d'autres apples à la base de données ont été optimisés) et nous sommes revenus sur notre serveur normal. 20 |
| Serviteur44 Membre actif
Nous a rejoints le : 01 Août 2012 Messages : 168 Réside à : Sur le chemin |
Bonjour,
Merci pour votre site. Je ne reçois pas de mail m'annonçant qu'une réponse à été donnée à mes messages, j'ai été vérifier dans "fuseau que vous surveillez" et c'est inscrit : "aucun". Je ne comprends pas comment surveiller un fuseau. 
Est-ce lié à la surcharge du serveur décrite ici ? Merci d'avance. 21  |
| Cyrano Modérateur
Nous a rejoints le : 17 Oct 2005 Messages : 2 002 Réside à : Bergerac |
Bonjour,
il est normal de ne pas recevoir de mail si tu ne suis pas de fuseau …  Pour suivre un fuseau, il faut cliquer sur le lien «Suivre ce fuseau», présent en haut à droite de la liste des messages. 22 |
| Serviteur44 Membre actif
Nous a rejoints le : 01 Août 2012 Messages : 168 Réside à : Sur le chemin |
Citation: Merci ! Je viens de voir où il fallait cliquer pour surveiller un fuseau et je voulais dire que ce n'était plus la peine de répondre à mon mail précédent, mais j'ai été devancé ^^ 23 |
| Webmestre Administrateur
Nous a rejoints le : 25 Oct 2004 Messages : 1 261 |
Salut à tous,
vous avez remarqué que le forum était fermé ce jour. Mon hébergeur a voulu me faire réagir, il menace de fermer le site internet si je ne trouve pas une solution au problème suivant. Le forum repose sur une base de donnée de 1,5 millions de lignes (max par table), et en hébergement standard (mutualisé), aucun serveur ne peut consommer les ressources nécessaires à lire ces 1,5 millions de lignes toutes les 3 minutes (à chaque fois que quelqu'un se connecte. C'est bien, cela veut dire que le forum est un succès, dont il est victime. L'hébergeur menace aujourd'hui de fermer le site (ce qu'il a fait quelques heures pour me faire peur) si je ne supprime pas les bases (ou ne prend pas un compte dédié). Il m'a même déjà mis en résiliation parce que je ne répondais pas à ses mails (trop occupé), mais j'ai pu négocier l'abandon de cette résiliation forcée en montrant ma bonne volonté (en plus c'est un ancien scout alors il tolère). MAIS, il va bien falloir trouver une solution. les solutions sont les suivantes : • créer un nouveau forum et fermer l'actuel (mais le nouveau n'aura aucune fonctionnalité propre à ce forum)  je ne le souhaite pas, et on perd toutes les ressources propres au forum actuel
• supprimer un bon paquet de sujets de ce forum (un très gros paquet) • optimiser les requêtes SQL : à ce stade, l'optimisation relève du miracle : trouver la formule magique qui permet de demander à SQL de n'interroger qu'un nombre limité de ligne • acheter un serveur dédié à 1000 € / an. 24 |
| Webmestre Administrateur
Nous a rejoints le : 25 Oct 2004 Messages : 1 261 |
Pour les doués en programmation, j'aimerais bien trouver la formule magique qui permet de limiter le nombre de requête SQL. Si quelqu'un la connait...
Voici des exemple de rapport de requetes trop longues (>5 secondes) Citation: 25 |
| laricio Membre confirmé
Nous a rejoints le : 16 Déc 2008 Messages : 1 445 |
Bonsoir WM, tu pourrais supprimer tous les sujets délires et insouciances, ça ne nuirait pas a la qualité du Forum, tout au contraire! 26 |
| Old GIlwellian Membre honoré
Nous a rejoints le : 09 Juin 2004 Messages : 10 027 Réside à : Paris |
Mais à la fréquentation si ! 27 |
| Akela NDE Akela
Nous a rejoints le : 01 Avr 2005 Messages : 4 922 Réside à : Dijon |
Laricio, je pense que ça serait complètement contre-productif.
L'heure est au web social et aux interactions entre utilisateurs, et c'est ce que permet la section délires & insouciances. C'est grâce à elle que nous pouvons attirer et conserver des jeunes (i.e. des scouts en activité) sur le forum, et leur proposer le service que constituent les autres sections. Sans scouts actifs pour y poser des questions ou y chercher des réponses, le forum ne sert à rien. Et sans section délires et insouciances, il n'y aurait pas de scouts actifs. Donc la section délires et insouciances est vitale pour le forum. Webmestre, dans tes requêtes, le LIMIT sert déjà à limiter le nombre d'enregistrements examinés. Le problème est le nombre de requêtes par secondes, je pense, pas la taille des résultats de requête. Je me demande si le forum n'envoie pas énormément de requêtes pour un résultat qu'on pourrait obtenir en moins de requêtes, mais il faudrait que je me replonge dans le code pour voir ce qu'il en est. Et je suis beaucoup moins calé aujourd'hui qu'il y a 2 ou 3 ans, ce qui n'était déjà pas la panacée donc je ne te raconte pas  28 |
| Cyrano Modérateur
Nous a rejoints le : 17 Oct 2005 Messages : 2 002 Réside à : Bergerac |
Je pense aussi qu'on touche aux limites de ce qu'il est possible de faire en hébergement bon marché.
Aujourd'hui, Webmestre paye de sa poche le coût de l'hébergement du forum. Comme il ne s'appelle pas Crésus, on est limités à des solutions adaptées à des petits sites, et pas vraiment à un gros forum comme le nôtre. Avec plus de budget, nous pourrions disposer d'une infrastructure adaptée à la taille du forum. Donc, je pense qu'une question importante à se poser est : les forumeurs sont-ils prêts à payer pour continuer à utiliser le forum, et si oui combien ? 29 |
| laricio Membre confirmé
Nous a rejoints le : 16 Déc 2008 Messages : 1 445 |
Akela, si j'ai bien compris, il va falloir faire un choix. Tout choix est douloureux. Et si j'ai bien compris, le choix est: trouver 1000 euros/an ou supprimer des sujets.
Trouver 1000 euros/ an, je suis septique, les parleurs se révélant rarement les payeurs. À la rigueur ça marchera un an, mais difficile dans la durée. Supprimer les délires anciens, lesquels ne constituent pas vraiment une ressource scoute, ne veut pas dire empêcher les nouveaux délires. 30 |
| Gribouille Bouille de Grib'
Nous a rejoints le : 23 Sept 2009 Messages : 3 081 Réside à : Isère |
Il n'y a pas moyen de "stocker" les vieux délires (et autres sujets plus tellement utiles) ailleurs ?
Enfin, je dis ça comme ça, je n'y connais pas grand-chose, désolée... 31 |
| Akela NDE Akela
Nous a rejoints le : 01 Avr 2005 Messages : 4 922 Réside à : Dijon |
Laricio, ça n'est pas si simple que ça.
Le premier problème, celui qui a motivé l'interruption temporaire et volontaire de service dont nous avons été victimes aujourd'hui, c'est qu'en utilisation normale, le forum génère trop de requêtes MySQL pour notre prestataire d'hébergement. Le deuxième problème est que, du fait de la taille de la base de données utilisée pour stocker l'ensemble des messages postés sur le forum, il n'est pas facile d'envisager de déménager puisque les hébergements bon marché (Dits «mutualisés», puisque plusieurs sites internet différent sont hébergés sur un seul ordinateur) n'acceptent pas de créer de nouvelles bases de cette taille. La solution simple serait effectivement de déménager vers un serveur dédié, mais, sans aller jusqu'à 1000 €/an, c'est une solution qui sera plus coûteuse que l'hébergement actuel, et que Webmestre ne pourra supporter seul. D'où la question (qui avait déjà été posée jadis) de demander une participation aux membres, par exemple sous forme de dons. Gribouille : c'est théoriquement possible, mais ça demanderait un important travail, que Webmestre n'a pas le temps de faire actuellement (et sans doute pas tellement les autres modos non plus). 32 |
| Corsaire Malouin
Nous a rejoints le : 22 Oct 2009 Messages : 1 643 Réside à : Saint-Malo |
j'ai pensé à sa l'autre jour, et je me suis étonné que ça ne soit pas déjà fait : un bon nombre de fuseaux datent de 2004, et non pas eu de réponse depuis. je pense qu'un nettoyage sérieux peut ce faire, en effet dans la rubrique "délires et insouciance" notamment, non pas que par l'intérêt comme le propose Akéla mais aussi par date de dernier poste, voir de dernière lecture. par exemple tout fuseau non-lu depuis un an ou sans réponse depuis 1,5 ans ou 2, et sans point technique pourrait être supprimé.
pour répondre à Cyrano, en raison de mes très maigres moyens, je suis personnellement prêt à payer 10€ sans problème, 15 si tu insiste gentiment. après je considère que c'est au dessus de mes moyens maigres d'étudiants. si j'avais un sou à moi de revenu, j'irais sans problème jusqu'à 20. une solution peut être un simple appel au don, (comme wikipedia il y a pas très longtemps) mais ce n'est pas une ressource fiable. étant donné la population du forum, je crois que tu peux espérer un taux de retours assez intéressant. (donnée objective  )
Je vais de ce pas montrer ta requête à un ami matheu, mais si tu peux m'envoyer en MP d'autres requêtes longues ça me donnera à réfléchir... Je réitère ma question d'un fusal précédent : à quoi correspond la commande "left join"? 33 |
| AndreRaider Membre confirmé
Nous a rejoints le : 27 Janv 2009 Messages : 3 813 Réside à : Clermont Ferrand |
Le principe n'est pas d'assurer une solution simplement à 1 an, mais un engagement qui permet de voir arriver au moins pour 2 ans, non ?
On ouvre un fuseau pour voir ceux qui seraient prêts à être donateur. ou un MP a envoyer vers un destinataire (cela semble être plus raisonnable) Sur une base de 1/2/3/... unités (ex: unité = x€ à définir) Cette phase sert à connaitre le nombre de donateurs potentiels ... On reboucle sur un fuseau qui donne l'état des dons virtuels reçus. On voit jusqu'où on peut aller. On envoie les chéques ... et allright Qu'en pensez vous ? 34 |
| Webmestre Administrateur
Nous a rejoints le : 25 Oct 2004 Messages : 1 261 |
Citation:Alors c'est justement ce que j'ai cru un temps, mais en fait non. Le LIMIT sert à limiter le nombre de résultat rendu par SQL. Mais il analyse quand même 1 million de ligne avant de ne rendre que les 10 premiers résultats. Moi j'aimerais bien qu'il n'examine que 100 000 lignes maxi (si je trie les colonnes intelligemment pour chaque requête, ça doit être jouable de ne pas tout examiner) 35 |
| Corsaire Malouin
Nous a rejoints le : 22 Oct 2009 Messages : 1 643 Réside à : Saint-Malo |
autre idée pour opérer au nettoyage : les problèmes résolus qui datent de 2004 voir même de 2012. ça ne fait sans doute pas un poids énorme mais c'est déjà ça de pris.
dans les petites annonces, les évènements passés dont on ne parle plus. et d'une manière général tout fuseau avec échéance qui n'a pas tourné au délire, voire même ceux-là. [spoiler:Akela, je suis contre la suppression d'un thème entier, surtout que celui que tu proposes est presque le seul que je consulte  ] 36 |
| Corsaire Malouin
Nous a rejoints le : 22 Oct 2009 Messages : 1 643 Réside à : Saint-Malo |
dites... est-ce que l'usage de la "version rapide" du forum allège la demande du forum? en tout cas (HS) j'ai eu l'erreur 404 quand j'ai voulu corriger mon précédent message après avoir changé de version. et la version rapide me parraît plus longie à charger mais c'est peut-être moi 37 |
| Gil des Lavras Brésilienne
Nous a rejoints le : 02 Janv 2012 Messages : 917 Réside à : Paris |
Et (moi non plus je n'y connais rien mais je propose... ) on ne pourrait pas faire deux sous-forums, dont le plan général (comme la page d'accueil actuelle) renverrait en fait à deux adresses, deux hébergeurs différents: un pour un sous-forum "scoutisme" et un pour un sous-forum "autres" ? 38 |
| trident Membre confirmé
Nous a rejoints le : 28 Fév 2009 Messages : 1 494 Réside à : Montréal, Québec |
Zèbre, la localisation du serveur dédié est-elle un critère?
Qu'est-ce que tu penses qu'il faudrait comme machine? Sais-tu quelle est la consommation de la bande passante mensuellement? On a combien de temps pour se décider? 39 |
| Suricate M. Herpestinae
Nous a rejoints le : 06 Nov 2007 Messages : 1 748 Réside à : Désert sud Africain |
1000€/an...
Ça fait pour 20 forumeurs 50€/an... soit environ 4€/mois. Faudrait-il qu'il y ait 20 forumeurs qui l'acceptent. Moi je suis OK. Mais à mon avis, la meilleure solution serait de supprimer des sujets tels que : - ceux qui ont plus de 2 ans - ceux qui sont plus récents mais qui ont moins de 10 messages. A mon avis, çà fera déjà un peu de vide... N'y a t'il pas moyen d'alléger le site en modifiant le système des albums photos ou ça n'a rien à voir avec le forum...? En tout cas, bonne chance messieurs les Webmaster. - Posté depuis mon mobile - 40 |
| Grizzly_90 Ursus arctos horribilis
Nous a rejoints le : 30 Nov 2008 Messages : 4 850 Réside à : Natif du Béarn, logé à Belfort ! |
Question de béotien, mais...
Est-il possible de "découper" le forum sur plusieurs serveurs, ce qui limiterait le nombre de lignes à scruter pour chacun ? 41 |
| mendu1 Membre honoré
Nous a rejoints le : 22 Janv 2007 Messages : 6 678 Réside à : ar vro vigoudenn |
Méfiez vous des réformes, parce que d'autres forum , ont aussi réformé , ça été la cata !
Sans doute faudra t il élaguer, en commençant par le plus simple . 42 |
| Akela NDE Akela
Nous a rejoints le : 01 Avr 2005 Messages : 4 922 Réside à : Dijon |
Sur les diverses suggestions de diviser le forum en deux bases de données ou sous-forums : c'est de l'informatique, donc comme on dit dans le métier, «tout est possible, ce n'est qu'une question de moyens !» 
Si ça peut être théoriquement envisageable à moyen ou long terme, ça ne peut pas l'être à court terme ; et surtout, ça demanderait un gros travail. En fait la base de données est divisée en tables, qui sont reliées entre elles : par exemple, la table «fuseaux», la table «messages», la table «utilisateurs», etc. Pour afficher un fuseau, on va aller chercher dans la table «messages» les messages qui correspondent au fuseau, ce qui va appeler des infos à aller chercher, par exemple, dans la table «utilisateurs». Si les deux tables ne sont pas sur le même serveur, ça complique un poil les choses ... Mais c'est sur que ça reste théoriquement possible. Le système d'albums photos ne prend pas grand'chose en taille de base de données. La suppression de messages/sujets permettrait de réduire la taille de la base, mais : 1) ça n'est qu'une partie de ce qui pose problème ; l'autre partie, et la principale, c'est la taille et la quantité de requêtes SQL ; 2) là encore, il faut du monde pour l'effectuer, explorer le forum pour trouver les messages ou fuseaux qu'on peut supprimer, et les effacer. Ar corsaire : normalement oui, l'utilisation de la version rapide allège la charge. Trident : pour ce que je sais, je ne pense pas que la localisation du serveur soit importante, à partir du moment où il y a une bonne bande passante disponible. Niveau serveur, je pense qu'un modèle assez basique devrait suffire, il n'y a qu'une appli php/MySQL à mettre dessus. Pour le délai, je pense que le plus tôt on trouvera une solution, le mieux ça sera ... 43 |
| Vieux Singe Grand membre
Nous a rejoints le : 28 Janv 2009 Messages : 546 |
Pour parer au plus pressé, serait-il envisageable de s'inspirer fortement de la version mobile du forum? Si la date de rejointe du forum, l'univers, les badges, le lieu de résidence, le nombre de message de l'auteur de chaque message génèrent chaque fois une requête SQL séparée, il y a peut être moyen de faire sans (d'autant plus que l'information peut être obtenue en cliquant sur profil). Il ne s'agirait "que" de supprimer ou de mettre en commenter du code; c'est certes du boulot mais c'est moins pire que de développer du nouveau code.
Cela pourrait permettre de gagner du temps avant de trouver une solution plus pérenne. PS: le lien vers "Page sans note (plus rapide)" renvoie un message d'erreur. 44 |
| trident Membre confirmé
Nous a rejoints le : 28 Fév 2009 Messages : 1 494 Réside à : Montréal, Québec |
Je posais toutes ces questions, car j'ai un ami scout qui possède l'infrastructure. Resterait à se procurer une bécane et à savoir combien ça coûterait de l'installer dans son rack.
Pour ce faire, la consommation de bande passante est vitale. 45 |
| Webmestre Administrateur
Nous a rejoints le : 25 Oct 2004 Messages : 1 261 |
Citation:Ca ce n'est pas idiot du tout, je n'y avais pas pensé. De manière générale même, faire une base complètement différente par rubrique... Ca demande de reprogrammer pas mal de chose, mais c'est encore le moins pénible. « Zèbre, la localisation du serveur dédié est-elle un critère? » Salut Trident, non le problème n'est pas lié à la bande passante, sa localisation ne change rien. C'est juste le serveur lui-même qui bosse dur pour lire toutes les lignes de la table. Le problème est en local. (sinon j'ai une bande passante assez chargée, ton copain trident pleurerait en voyant son serveur lire 1,5 millions de lignes croisées toutes les 3 minutes je pense.) « N'y a t'il pas moyen d'alléger le site en modifiant le système des albums photos » Rien à voir avec le problème, De même que le site version rapide (ou verison mobile, qui sont inspiré l'un de l'autre). C'est au niveau des scripts que c'est plus rapide, et il y a quelques requêtes croisées en moins, mais c'est 5% du temps de traitement je pense. « Ar corsaire : normalement oui, l'utilisation de la version rapide allège la charge. » non, désolé 
La solution de Gil des Lavras me semble d'un seul coup la meilleure (sinon il y en aune atre hyper simple à laquelle je ne pensais pas : vous arrêtez tous de venir lire le forum ! ) 46 |
| Aller à Page précédente 1|2|3 Page suivante | ||
 |
 |
 Signaler
|
   | technique |
   | bonne humeur |
Ecussons
Posté le: 07-07-2012 à 00:18
1 
