Cette version du forum n'est désormais accessible que pour lire les passionants échanges et partage de techniques qui ont déjà été rédigées ici.
Pour participer aux échanges interscouts, merci d'utiliser
| Aller à Page Précédente 1|2|3 Page suivante |
| Auteur | Serveur surchargé |
| Webmestre Administrateur
Nous a rejoints le : 25 Oct 2004 Messages : 1 261 |
Pour les doués en programmation, j'aimerais bien trouver la formule magique qui permet de limiter le nombre de requête SQL. Si quelqu'un la connait...
Voici des exemple de rapport de requetes trop longues (>5 secondes) Citation:  25     |
| laricio Membre confirmé
Nous a rejoints le : 16 Déc 2008 Messages : 1 445 |
Bonsoir WM, tu pourrais supprimer tous les sujets délires et insouciances, ça ne nuirait pas a la qualité du Forum, tout au contraire! 26 |
| Old GIlwellian Membre honoré
Nous a rejoints le : 09 Juin 2004 Messages : 10 027 Réside à : Paris |
Mais à la fréquentation si ! 27  |
| Akela NDE Akela
Nous a rejoints le : 01 Avr 2005 Messages : 4 922 Réside à : Dijon |
Laricio, je pense que ça serait complètement contre-productif.
L'heure est au web social et aux interactions entre utilisateurs, et c'est ce que permet la section délires & insouciances. C'est grâce à elle que nous pouvons attirer et conserver des jeunes (i.e. des scouts en activité) sur le forum, et leur proposer le service que constituent les autres sections. Sans scouts actifs pour y poser des questions ou y chercher des réponses, le forum ne sert à rien. Et sans section délires et insouciances, il n'y aurait pas de scouts actifs. Donc la section délires et insouciances est vitale pour le forum. Webmestre, dans tes requêtes, le LIMIT sert déjà à limiter le nombre d'enregistrements examinés. Le problème est le nombre de requêtes par secondes, je pense, pas la taille des résultats de requête. Je me demande si le forum n'envoie pas énormément de requêtes pour un résultat qu'on pourrait obtenir en moins de requêtes, mais il faudrait que je me replonge dans le code pour voir ce qu'il en est. Et je suis beaucoup moins calé aujourd'hui qu'il y a 2 ou 3 ans, ce qui n'était déjà pas la panacée donc je ne te raconte pas  28 |
| Cyrano Modérateur
Nous a rejoints le : 17 Oct 2005 Messages : 2 002 Réside à : Bergerac |
Je pense aussi qu'on touche aux limites de ce qu'il est possible de faire en hébergement bon marché.
Aujourd'hui, Webmestre paye de sa poche le coût de l'hébergement du forum. Comme il ne s'appelle pas Crésus, on est limités à des solutions adaptées à des petits sites, et pas vraiment à un gros forum comme le nôtre. Avec plus de budget, nous pourrions disposer d'une infrastructure adaptée à la taille du forum. Donc, je pense qu'une question importante à se poser est : les forumeurs sont-ils prêts à payer pour continuer à utiliser le forum, et si oui combien ? 29 |
| laricio Membre confirmé
Nous a rejoints le : 16 Déc 2008 Messages : 1 445 |
Akela, si j'ai bien compris, il va falloir faire un choix. Tout choix est douloureux. Et si j'ai bien compris, le choix est: trouver 1000 euros/an ou supprimer des sujets.
Trouver 1000 euros/ an, je suis septique, les parleurs se révélant rarement les payeurs. À la rigueur ça marchera un an, mais difficile dans la durée. Supprimer les délires anciens, lesquels ne constituent pas vraiment une ressource scoute, ne veut pas dire empêcher les nouveaux délires. 30 |
| Gribouille Bouille de Grib'
Nous a rejoints le : 23 Sept 2009 Messages : 3 081 Réside à : Isère |
Il n'y a pas moyen de "stocker" les vieux délires (et autres sujets plus tellement utiles) ailleurs ?
Enfin, je dis ça comme ça, je n'y connais pas grand-chose, désolée... 31 |
| Akela NDE Akela
Nous a rejoints le : 01 Avr 2005 Messages : 4 922 Réside à : Dijon |
Laricio, ça n'est pas si simple que ça.
Le premier problème, celui qui a motivé l'interruption temporaire et volontaire de service dont nous avons été victimes aujourd'hui, c'est qu'en utilisation normale, le forum génère trop de requêtes MySQL pour notre prestataire d'hébergement. Le deuxième problème est que, du fait de la taille de la base de données utilisée pour stocker l'ensemble des messages postés sur le forum, il n'est pas facile d'envisager de déménager puisque les hébergements bon marché (Dits «mutualisés», puisque plusieurs sites internet différent sont hébergés sur un seul ordinateur) n'acceptent pas de créer de nouvelles bases de cette taille. La solution simple serait effectivement de déménager vers un serveur dédié, mais, sans aller jusqu'à 1000 €/an, c'est une solution qui sera plus coûteuse que l'hébergement actuel, et que Webmestre ne pourra supporter seul. D'où la question (qui avait déjà été posée jadis) de demander une participation aux membres, par exemple sous forme de dons. Gribouille : c'est théoriquement possible, mais ça demanderait un important travail, que Webmestre n'a pas le temps de faire actuellement (et sans doute pas tellement les autres modos non plus). 32 |
| Corsaire Malouin
Nous a rejoints le : 22 Oct 2009 Messages : 1 643 Réside à : Saint-Malo |
j'ai pensé à sa l'autre jour, et je me suis étonné que ça ne soit pas déjà fait : un bon nombre de fuseaux datent de 2004, et non pas eu de réponse depuis. je pense qu'un nettoyage sérieux peut ce faire, en effet dans la rubrique "délires et insouciance" notamment, non pas que par l'intérêt comme le propose Akéla mais aussi par date de dernier poste, voir de dernière lecture. par exemple tout fuseau non-lu depuis un an ou sans réponse depuis 1,5 ans ou 2, et sans point technique pourrait être supprimé.
pour répondre à Cyrano, en raison de mes très maigres moyens, je suis personnellement prêt à payer 10€ sans problème, 15 si tu insiste gentiment. après je considère que c'est au dessus de mes moyens maigres d'étudiants. si j'avais un sou à moi de revenu, j'irais sans problème jusqu'à 20. une solution peut être un simple appel au don, (comme wikipedia il y a pas très longtemps) mais ce n'est pas une ressource fiable. étant donné la population du forum, je crois que tu peux espérer un taux de retours assez intéressant. (donnée objective  )
Je vais de ce pas montrer ta requête à un ami matheu, mais si tu peux m'envoyer en MP d'autres requêtes longues ça me donnera à réfléchir... Je réitère ma question d'un fusal précédent : à quoi correspond la commande "left join"? 33 |
| AndreRaider Membre confirmé
Nous a rejoints le : 27 Janv 2009 Messages : 3 813 Réside à : Clermont Ferrand |
Le principe n'est pas d'assurer une solution simplement à 1 an, mais un engagement qui permet de voir arriver au moins pour 2 ans, non ?
On ouvre un fuseau pour voir ceux qui seraient prêts à être donateur. ou un MP a envoyer vers un destinataire (cela semble être plus raisonnable) Sur une base de 1/2/3/... unités (ex: unité = x€ à définir) Cette phase sert à connaitre le nombre de donateurs potentiels ... On reboucle sur un fuseau qui donne l'état des dons virtuels reçus. On voit jusqu'où on peut aller. On envoie les chéques ... et allright Qu'en pensez vous ? 34 |
| Webmestre Administrateur
Nous a rejoints le : 25 Oct 2004 Messages : 1 261 |
Citation:Alors c'est justement ce que j'ai cru un temps, mais en fait non. Le LIMIT sert à limiter le nombre de résultat rendu par SQL. Mais il analyse quand même 1 million de ligne avant de ne rendre que les 10 premiers résultats. Moi j'aimerais bien qu'il n'examine que 100 000 lignes maxi (si je trie les colonnes intelligemment pour chaque requête, ça doit être jouable de ne pas tout examiner) 35 |
| Corsaire Malouin
Nous a rejoints le : 22 Oct 2009 Messages : 1 643 Réside à : Saint-Malo |
autre idée pour opérer au nettoyage : les problèmes résolus qui datent de 2004 voir même de 2012. ça ne fait sans doute pas un poids énorme mais c'est déjà ça de pris.
dans les petites annonces, les évènements passés dont on ne parle plus. et d'une manière général tout fuseau avec échéance qui n'a pas tourné au délire, voire même ceux-là. [spoiler:Akela, je suis contre la suppression d'un thème entier, surtout que celui que tu proposes est presque le seul que je consulte   ] 36 |
| Corsaire Malouin
Nous a rejoints le : 22 Oct 2009 Messages : 1 643 Réside à : Saint-Malo |
dites... est-ce que l'usage de la "version rapide" du forum allège la demande du forum? en tout cas (HS) j'ai eu l'erreur 404 quand j'ai voulu corriger mon précédent message après avoir changé de version. et la version rapide me parraît plus longie à charger mais c'est peut-être moi 37 |
| Gil des Lavras Brésilienne
Nous a rejoints le : 02 Janv 2012 Messages : 917 Réside à : Paris |
Et (moi non plus je n'y connais rien mais je propose... ) on ne pourrait pas faire deux sous-forums, dont le plan général (comme la page d'accueil actuelle) renverrait en fait à deux adresses, deux hébergeurs différents: un pour un sous-forum "scoutisme" et un pour un sous-forum "autres" ? 38 |
| trident Membre confirmé
Nous a rejoints le : 28 Fév 2009 Messages : 1 494 Réside à : Montréal, Québec |
Zèbre, la localisation du serveur dédié est-elle un critère?
Qu'est-ce que tu penses qu'il faudrait comme machine? Sais-tu quelle est la consommation de la bande passante mensuellement? On a combien de temps pour se décider? 39 |
| Suricate M. Herpestinae
Nous a rejoints le : 06 Nov 2007 Messages : 1 748 Réside à : Désert sud Africain |
1000€/an...
Ça fait pour 20 forumeurs 50€/an... soit environ 4€/mois. Faudrait-il qu'il y ait 20 forumeurs qui l'acceptent. Moi je suis OK. Mais à mon avis, la meilleure solution serait de supprimer des sujets tels que : - ceux qui ont plus de 2 ans - ceux qui sont plus récents mais qui ont moins de 10 messages. A mon avis, çà fera déjà un peu de vide... N'y a t'il pas moyen d'alléger le site en modifiant le système des albums photos ou ça n'a rien à voir avec le forum...? En tout cas, bonne chance messieurs les Webmaster. - Posté depuis mon mobile - 40 |
| Grizzly_90 Ursus arctos horribilis
Nous a rejoints le : 30 Nov 2008 Messages : 4 850 Réside à : Natif du Béarn, logé à Belfort ! |
Question de béotien, mais...
Est-il possible de "découper" le forum sur plusieurs serveurs, ce qui limiterait le nombre de lignes à scruter pour chacun ? 41 |
| mendu1 Membre honoré
Nous a rejoints le : 22 Janv 2007 Messages : 6 678 Réside à : ar vro vigoudenn |
Méfiez vous des réformes, parce que d'autres forum , ont aussi réformé , ça été la cata !
Sans doute faudra t il élaguer, en commençant par le plus simple . 42 |
| Akela NDE Akela
Nous a rejoints le : 01 Avr 2005 Messages : 4 922 Réside à : Dijon |
Sur les diverses suggestions de diviser le forum en deux bases de données ou sous-forums : c'est de l'informatique, donc comme on dit dans le métier, «tout est possible, ce n'est qu'une question de moyens !» 
Si ça peut être théoriquement envisageable à moyen ou long terme, ça ne peut pas l'être à court terme ; et surtout, ça demanderait un gros travail. En fait la base de données est divisée en tables, qui sont reliées entre elles : par exemple, la table «fuseaux», la table «messages», la table «utilisateurs», etc. Pour afficher un fuseau, on va aller chercher dans la table «messages» les messages qui correspondent au fuseau, ce qui va appeler des infos à aller chercher, par exemple, dans la table «utilisateurs». Si les deux tables ne sont pas sur le même serveur, ça complique un poil les choses ... Mais c'est sur que ça reste théoriquement possible. Le système d'albums photos ne prend pas grand'chose en taille de base de données. La suppression de messages/sujets permettrait de réduire la taille de la base, mais : 1) ça n'est qu'une partie de ce qui pose problème ; l'autre partie, et la principale, c'est la taille et la quantité de requêtes SQL ; 2) là encore, il faut du monde pour l'effectuer, explorer le forum pour trouver les messages ou fuseaux qu'on peut supprimer, et les effacer. Ar corsaire : normalement oui, l'utilisation de la version rapide allège la charge. Trident : pour ce que je sais, je ne pense pas que la localisation du serveur soit importante, à partir du moment où il y a une bonne bande passante disponible. Niveau serveur, je pense qu'un modèle assez basique devrait suffire, il n'y a qu'une appli php/MySQL à mettre dessus. Pour le délai, je pense que le plus tôt on trouvera une solution, le mieux ça sera ... 43 |
| Vieux Singe Grand membre
Nous a rejoints le : 28 Janv 2009 Messages : 546 |
Pour parer au plus pressé, serait-il envisageable de s'inspirer fortement de la version mobile du forum? Si la date de rejointe du forum, l'univers, les badges, le lieu de résidence, le nombre de message de l'auteur de chaque message génèrent chaque fois une requête SQL séparée, il y a peut être moyen de faire sans (d'autant plus que l'information peut être obtenue en cliquant sur profil). Il ne s'agirait "que" de supprimer ou de mettre en commenter du code; c'est certes du boulot mais c'est moins pire que de développer du nouveau code.
Cela pourrait permettre de gagner du temps avant de trouver une solution plus pérenne. PS: le lien vers "Page sans note (plus rapide)" renvoie un message d'erreur. 44 |
| trident Membre confirmé
Nous a rejoints le : 28 Fév 2009 Messages : 1 494 Réside à : Montréal, Québec |
Je posais toutes ces questions, car j'ai un ami scout qui possède l'infrastructure. Resterait à se procurer une bécane et à savoir combien ça coûterait de l'installer dans son rack.
Pour ce faire, la consommation de bande passante est vitale. 45 |
| Webmestre Administrateur
Nous a rejoints le : 25 Oct 2004 Messages : 1 261 |
Citation:Ca ce n'est pas idiot du tout, je n'y avais pas pensé. De manière générale même, faire une base complètement différente par rubrique... Ca demande de reprogrammer pas mal de chose, mais c'est encore le moins pénible. « Zèbre, la localisation du serveur dédié est-elle un critère? » Salut Trident, non le problème n'est pas lié à la bande passante, sa localisation ne change rien. C'est juste le serveur lui-même qui bosse dur pour lire toutes les lignes de la table. Le problème est en local. (sinon j'ai une bande passante assez chargée, ton copain trident pleurerait en voyant son serveur lire 1,5 millions de lignes croisées toutes les 3 minutes je pense.) « N'y a t'il pas moyen d'alléger le site en modifiant le système des albums photos » Rien à voir avec le problème, De même que le site version rapide (ou verison mobile, qui sont inspiré l'un de l'autre). C'est au niveau des scripts que c'est plus rapide, et il y a quelques requêtes croisées en moins, mais c'est 5% du temps de traitement je pense. « Ar corsaire : normalement oui, l'utilisation de la version rapide allège la charge. »  non, désolé 
La solution de Gil des Lavras me semble d'un seul coup la meilleure (sinon il y en aune atre hyper simple à laquelle je ne pensais pas : vous arrêtez tous de venir lire le forum ! ) 46 |
| Corsaire Malouin
Nous a rejoints le : 22 Oct 2009 Messages : 1 643 Réside à : Saint-Malo |
[spoiler:bon j'ai peut-être pas aidé en créant un fuseau encore plus inutile que les autres... "imperfections légères"... je fait de l'anti-jeu là non? et vite]
Citation: c'est une solution oui...  47 |
| Akela NDE Akela
Nous a rejoints le : 01 Avr 2005 Messages : 4 922 Réside à : Dijon |
Citation:Si
Y'a pas d'ajax dans la version rapide, et l'ajax génère pas mal de requêtes ; il suffit d'un simple survol souris pour envoyer une requête qui, sinon, nécessiterait un clic pour être envoyée … De mémoire, on s'affranchit aussi de toutes les requêtes tops et points. De toutes façons, à moins d'une réécriture à partir de zéro des scripts du forum, je pense qu'on ne pourra jamais gagner tellement plus que 5 ou 10% de temps de traitement. 48 |
| trident Membre confirmé
Nous a rejoints le : 28 Fév 2009 Messages : 1 494 Réside à : Montréal, Québec |
Tu as besoin de combien d'espace disque?
C'est quoi la bande passante mensuelle? 49 |
| trident Membre confirmé
Nous a rejoints le : 28 Fév 2009 Messages : 1 494 Réside à : Montréal, Québec |
Je crois fortement que le compromis d'une machine virtuelle serait à envisager.
Par exemple, on pourrait s'en sortir pour moins de 100€ par an pour : 4 cpu 2 Go de RAM 35 Go d'espace disque 4 To de bande passante mensuelle. Le tout en Europe. 50 |
| Webmestre Administrateur
Nous a rejoints le : 25 Oct 2004 Messages : 1 261 |
Je ne suis pas compétent en machine serveur. Akela peut t'envoyer les stats d'usage (que je lui ai envoyées), mais je ne sais pas ce que consomme en ressource la lecture des BDD.
Mais il y a sûrement des moyens moins onéreux d'avoir un serveur dédié (machine virtuelle, je ne sais pas trop). mais est-ce que j'aurais le contrôle dessus via interface web et garantie de pérennité ? Akela : oui, il y a un peu moins de requêtes, mais sur des éléments pas si lourds que ça : les points et trésor se lisent dans la base utilisateur, qui ne compte que quelques milliers de ligne, et les requetes top, ça n'alourdit pas tellement ue fois qu'on lit une ligne d'aller chercher 10 ou 12 objets dans la ligne lue. L'allègement est vraiment au niveau PHP (beaucoup moins de boucles pour traiter au bon endroit les infos récoltées) 51 |
| trident Membre confirmé
Nous a rejoints le : 28 Fév 2009 Messages : 1 494 Réside à : Montréal, Québec |
Oui, tu aurais le contrôle sur la machine à 100%.
Par exemple, cet hébergeur italien dont mon ami se sert : https://www.prometeus.net/billing/cart.php?gid=7 52 |
| Gil des Lavras Brésilienne
Nous a rejoints le : 02 Janv 2012 Messages : 917 Réside à : Paris |
[spoiler:"La solution de Gil des Lavras me semble d'un seul coup la meilleure"
...j'en reste comme deux ronds de flans d'avoir donné une idée intelligente qui aie rapport à l'informatique  !!!
] 53 |
| Akela NDE Akela
Nous a rejoints le : 01 Avr 2005 Messages : 4 922 Réside à : Dijon |
Il a l'air compétitif, cet hébergeur Italien, même si ça manque peut-être un peu d'infos sur ce qu'il propose (genre 1 core de CPU, oui, mais quel type ? Pas pareil si c'est de l'Atom ou du Xeon ...).
Niveau prix, par exemple, son VZ9 avec 4 cores de CPU, 2 Mo de RAM, 35 Go de disque et 4 To de bande passante est à 80 € + 21% de TVA italienne = 97 € TTC par an. Quand on voit que chez Gandi (le pro -et pionnier- de l'hébergement virtualisé en France) il faut compter 800 € TTC annuels pour le même niveau théorique de prestation, ça fait quand même sympa
En revanche, en fonction du besoin, c'est à comparer avec l'offre de VPS simplifiée du même Gandi (clic), qui commence à 4 € HT/mois, c'est à dire sensiblement les mêmes prix que chez Prometeus, avec en revanche peut-être moins de soucis vu que l'administration du serveur est gérée par le prestataire (le client a son instance apache à lui sur une grosse infra virtualisée). En revanche, c'est plus compétitif que chez OVH (reclic pour leurs VPS), notamment niveau bande passante ; sachant que les mêmes font aussi du serveur dédié assez compétitif (rereclic) qui est quand même battu par Prometeus. Enfin bref, dans tous les cas, on cause un peu sur du vent si on n'a pas des statistiques précises de bande passante consommée, éventuellement de charge CPU et RAM, et de nombre de VU. Parce que moi, tout ce que j'ai eu, ce sont des graphes sur la quantité de requêtes SQL ( Trident, checke tes mails).
Zèbre, si tu ne peux pas y accéder depuis ton panneau d'administration, il faudrait que tu demandes à Infomaniak ce que tu consommes. 54 |
| Aller à Page précédente 1|2|3 Page suivante | ||
 |
 |
 Signaler
|
   | technique |
   | bonne humeur |
Ecussons
Posté le: 18-02-2013 à 18:07
1 
