Jeudi 28 Mars 2024
13:12
[S'inscrire]  [Mon Profil]  [Messages privés
[Liste des Membres] [FAQ] [ Connexion ]

Recherche avancée
 
Ecussons
Autocollants
Polos
Retour au site
Retour au forum

Cette version du forum n'est désormais accessible que pour lire les passionants échanges et partage de techniques qui ont déjà été rédigées ici.

Pour participer aux échanges interscouts, merci d'utiliser
le nouveau forum

 

          
Auteur
Serveur surchargé
  Cliquez pour charger les messages précédents [...]
Grizzly_90
Ursus arctos horribilis
 



  
TECHNIQUE: 29 points
BONNE HUMEUR: 47 points
Rivière : Naute
Nous a rejoints le : 30 Nov 2008
Messages : 4 850

Réside à : Natif du Béarn, logé à Belfort !
Patientez...

Question de béotien, mais...

Est-il possible de "découper" le forum sur plusieurs serveurs, ce qui limiterait le nombre de lignes à scruter pour chacun ?
41
Infos sur le membre et actions possibles
  Je suis FSE  Profil de Grizzly_90  Message privé      Répondre en citant
mendu1
Membre honoré
 



  
TECHNIQUE: 12 points
BONNE HUMEUR: 74 points
Forêt : Campeur
Nous a rejoints le : 22 Janv 2007
Messages : 6 678

Réside à : ar vro vigoudenn
Patientez...

Méfiez vous des réformes, parce que d'autres forum , ont aussi réformé , ça été la cata !
Sans doute faudra t il élaguer, en commençant par le plus simple .
42
Infos sur le membre et actions possibles
  Je suis SDF avant la révolution cutt  Profil de mendu1  Voir le site web de mendu1  Message privé      Répondre en citant
Akela NDE
Akela

Nous a rejoints le : 01 Avr 2005
Messages : 4 922

Réside à : Dijon
Patientez...

Sur les diverses suggestions de diviser le forum en deux bases de données ou sous-forums : c'est de l'informatique, donc comme on dit dans le métier, «tout est possible, ce n'est qu'une question de moyens !» belebleb
Si ça peut être théoriquement envisageable à moyen ou long terme, ça ne peut pas l'être à court terme ; et surtout, ça demanderait un gros travail.
En fait la base de données est divisée en tables, qui sont reliées entre elles : par exemple, la table «fuseaux», la table «messages», la table «utilisateurs», etc. Pour afficher un fuseau, on va aller chercher dans la table «messages» les messages qui correspondent au fuseau, ce qui va appeler des infos à aller chercher, par exemple, dans la table «utilisateurs». Si les deux tables ne sont pas sur le même serveur, ça complique un poil les choses ... Mais c'est sur que ça reste théoriquement possible.

Le système d'albums photos ne prend pas grand'chose en taille de base de données.

La suppression de messages/sujets permettrait de réduire la taille de la base, mais :
1) ça n'est qu'une partie de ce qui pose problème ; l'autre partie, et la principale, c'est la taille et la quantité de requêtes SQL ;
2) là encore, il faut du monde pour l'effectuer, explorer le forum pour trouver les messages ou fuseaux qu'on peut supprimer, et les effacer.

Ar corsaire : normalement oui, l'utilisation de la version rapide allège la charge.

Trident : pour ce que je sais, je ne pense pas que la localisation du serveur soit importante, à partir du moment où il y a une bonne bande passante disponible. Niveau serveur, je pense qu'un modèle assez basique devrait suffire, il n'y a qu'une appli php/MySQL à mettre dessus. Pour le délai, je pense que le plus tôt on trouvera une solution, le mieux ça sera ...
43
Infos sur le membre et actions possibles
  Je suis ma route en solitaire.  Profil de Akela NDE  Message privé      Répondre en citant
Vieux Singe
Grand membre
  
TECHNIQUE: 48 points
BONNE HUMEUR: 22 points
Cité : Serviteur
Nous a rejoints le : 28 Janv 2009
Messages : 546
Patientez...

Pour parer au plus pressé, serait-il envisageable de s'inspirer fortement de la version mobile du forum? Si la date de rejointe du forum, l'univers, les badges, le lieu de résidence, le nombre de message de l'auteur de chaque message génèrent chaque fois une requête SQL séparée, il y a peut être moyen de faire sans (d'autant plus que l'information peut être obtenue en cliquant sur profil). Il ne s'agirait "que" de supprimer ou de mettre en commenter du code; c'est certes du boulot mais c'est moins pire que de développer du nouveau code.

Cela pourrait permettre de gagner du temps avant de trouver une solution plus pérenne.

PS: le lien vers "Page sans note (plus rapide)" renvoie un message d'erreur.

44
Infos sur le membre et actions possibles
  Je suis GSE  Profil de Vieux Singe  Message privé      Répondre en citant
trident
Membre confirmé

Nous a rejoints le : 28 Fév 2009
Messages : 1 494

Réside à : Montréal, Québec
Patientez...

Je posais toutes ces questions, car j'ai un ami scout qui possède l'infrastructure. Resterait à se procurer une bécane et à savoir combien ça coûterait de l'installer dans son rack.

Pour ce faire, la consommation de bande passante est vitale.
45
Infos sur le membre et actions possibles
  Je suis ex-ASC, ex-FSE  Profil de trident  Message privé      Répondre en citant
Webmestre
Administrateur

Nous a rejoints le : 25 Oct 2004
Messages : 1 261
Patientez...

Citation:
Le 2013-02-18 20:40:00, Gil des Lavras a écrit :

Et (moi non plus je n'y connais rien mais je propose... ) on ne pourrait pas faire deux sous-forums, dont le plan général (comme la page d'accueil actuelle) renverrait en fait à deux adresses, deux hébergeurs différents: un pour un sous-forum "scoutisme" et un pour un sous-forum "autres" ?
Ca ce n'est pas idiot du tout, je n'y avais pas pensé.
De manière générale même, faire une base complètement différente par rubrique...
Ca demande de reprogrammer pas mal de chose, mais c'est encore le moins pénible.

« Zèbre, la localisation du serveur dédié est-elle un critère? »
Salut Trident, non le problème n'est pas lié à la bande passante, sa localisation ne change rien. C'est juste le serveur lui-même qui bosse dur pour lire toutes les lignes de la table. Le problème est en local.
(sinon j'ai une bande passante assez chargée, ton copain trident pleurerait en voyant son serveur lire 1,5 millions de lignes croisées toutes les 3 minutes je pense.)

« N'y a t'il pas moyen d'alléger le site en modifiant le système des albums photos »
Rien à voir avec le problème,
De même que le site version rapide (ou verison mobile, qui sont inspiré l'un de l'autre). C'est au niveau des scripts que c'est plus rapide, et il y a quelques requêtes croisées en moins, mais c'est 5% du temps de traitement je pense.
« Ar corsaire : normalement oui, l'utilisation de la version rapide allège la charge. » non, désolé hi hi

La solution de Gil des Lavras me semble d'un seul coup la meilleure
(sinon il y en aune atre hyper simple à laquelle je ne pensais pas : vous arrêtez tous de venir lire le forum ! belebleb)
46
Infos sur le membre et actions possibles
  Profil de Webmestre  Message privé      Répondre en citant
Corsaire
Malouin
  
TECHNIQUE: 22 points
BONNE HUMEUR: 35 points
Mer : Vigie - Timonier
Nous a rejoints le : 22 Oct 2009
Messages : 1 643

Réside à : Saint-Malo
Patientez...

Merci

[spoiler:bon j'ai peut-être pas aidé en créant un fuseau encore plus inutile que les autres... "imperfections légères"... je fait de l'anti-jeu là non? belebleb Je sors et vite]

Citation:
sinon il y en une autre hyper simple à laquelle je ne pensais pas : vous arrêtez tous de venir lire le forum !

c'est une solution oui... Je n'y suis pour rien
47
Infos sur le membre et actions possibles
  Je suis FSE, Ex-SUF  Profil de Corsaire  Message privé      Répondre en citant
Akela NDE
Akela

Nous a rejoints le : 01 Avr 2005
Messages : 4 922

Réside à : Dijon
Patientez...

Citation:
Le 2013-02-19 17:57:00, Webmestre a écrit :

« Ar corsaire : normalement oui, l'utilisation de la version rapide allège la charge. » non, désolé hi hi
Si hé hé !
Y'a pas d'ajax dans la version rapide, et l'ajax génère pas mal de requêtes ; il suffit d'un simple survol souris pour envoyer une requête qui, sinon, nécessiterait un clic pour être envoyée …
De mémoire, on s'affranchit aussi de toutes les requêtes tops et points.

De toutes façons, à moins d'une réécriture à partir de zéro des scripts du forum, je pense qu'on ne pourra jamais gagner tellement plus que 5 ou 10% de temps de traitement.
48
Infos sur le membre et actions possibles
  Je suis ma route en solitaire.  Profil de Akela NDE  Message privé      Répondre en citant
trident
Membre confirmé

Nous a rejoints le : 28 Fév 2009
Messages : 1 494

Réside à : Montréal, Québec
1
Patientez...

Tu as besoin de combien d'espace disque?

C'est quoi la bande passante mensuelle?
49
Infos sur le membre et actions possibles
  Je suis ex-ASC, ex-FSE  Profil de trident  Message privé      Répondre en citant
trident
Membre confirmé

Nous a rejoints le : 28 Fév 2009
Messages : 1 494

Réside à : Montréal, Québec
Patientez...

Je crois fortement que le compromis d'une machine virtuelle serait à envisager.

Par exemple, on pourrait s'en sortir pour moins de 100€ par an pour :

4 cpu
2 Go de RAM
35 Go d'espace disque
4 To de bande passante mensuelle.

Le tout en Europe.
50
Infos sur le membre et actions possibles
  Je suis ex-ASC, ex-FSE  Profil de trident  Message privé      Répondre en citant
Webmestre
Administrateur

Nous a rejoints le : 25 Oct 2004
Messages : 1 261
Patientez...

Je ne suis pas compétent en machine serveur. Akela peut t'envoyer les stats d'usage (que je lui ai envoyées), mais je ne sais pas ce que consomme en ressource la lecture des BDD.
Mais il y a sûrement des moyens moins onéreux d'avoir un serveur dédié (machine virtuelle, je ne sais pas trop).

mais est-ce que j'aurais le contrôle dessus via interface web et garantie de pérennité ?

Akela : oui, il y a un peu moins de requêtes, mais sur des éléments pas si lourds que ça : les points et trésor se lisent dans la base utilisateur, qui ne compte que quelques milliers de ligne, et les requetes top, ça n'alourdit pas tellement ue fois qu'on lit une ligne d'aller chercher 10 ou 12 objets dans la ligne lue.
L'allègement est vraiment au niveau PHP (beaucoup moins de boucles pour traiter au bon endroit les infos récoltées)
51
Infos sur le membre et actions possibles
  Profil de Webmestre  Message privé      Répondre en citant
trident
Membre confirmé

Nous a rejoints le : 28 Fév 2009
Messages : 1 494

Réside à : Montréal, Québec
Patientez...

Oui, tu aurais le contrôle sur la machine à 100%.

Par exemple, cet hébergeur italien dont mon ami se sert :

https://www.prometeus.net/billing/cart.php?gid=7
52
Infos sur le membre et actions possibles
  Je suis ex-ASC, ex-FSE  Profil de trident  Message privé      Répondre en citant
Gil des Lavras
Brésilienne
  
TECHNIQUE: 22 points
BONNE HUMEUR: 50 points
Scène : Maître de Cérémonie
Nous a rejoints le : 02 Janv 2012
Messages : 917

Réside à : Paris
1
Patientez...

[spoiler:"La solution de Gil des Lavras me semble d'un seul coup la meilleure"
...j'en reste comme deux ronds de flans d'avoir donné une idée intelligente qui aie rapport à l'informatique Surpris Mort de Rire!!!
]
53
Infos sur le membre et actions possibles
  Profil de Gil des Lavras  Voir le site web de Gil des Lavras  Message privé      Répondre en citant
Akela NDE
Akela

Nous a rejoints le : 01 Avr 2005
Messages : 4 922

Réside à : Dijon
Patientez...

Il a l'air compétitif, cet hébergeur Italien, même si ça manque peut-être un peu d'infos sur ce qu'il propose (genre 1 core de CPU, oui, mais quel type ? Pas pareil si c'est de l'Atom ou du Xeon ...).
Niveau prix, par exemple, son VZ9 avec 4 cores de CPU, 2 Mo de RAM, 35 Go de disque et 4 To de bande passante est à 80 € + 21% de TVA italienne = 97 € TTC par an.
Quand on voit que chez Gandi (le pro -et pionnier- de l'hébergement virtualisé en France) il faut compter 800 € TTC annuels pour le même niveau théorique de prestation, ça fait quand même sympa belebleb
En revanche, en fonction du besoin, c'est à comparer avec l'offre de VPS simplifiée du même Gandi (clic), qui commence à 4 € HT/mois, c'est à dire sensiblement les mêmes prix que chez Prometeus, avec en revanche peut-être moins de soucis vu que l'administration du serveur est gérée par le prestataire (le client a son instance apache à lui sur une grosse infra virtualisée).
En revanche, c'est plus compétitif que chez OVH (reclic pour leurs VPS), notamment niveau bande passante ; sachant que les mêmes font aussi du serveur dédié assez compétitif (rereclic) qui est quand même battu par Prometeus.

Enfin bref, dans tous les cas, on cause un peu sur du vent si on n'a pas des statistiques précises de bande passante consommée, éventuellement de charge CPU et RAM, et de nombre de VU. Parce que moi, tout ce que j'ai eu, ce sont des graphes sur la quantité de requêtes SQL ( Trident, checke tes mails).
Zèbre, si tu ne peux pas y accéder depuis ton panneau d'administration, il faudrait que tu demandes à Infomaniak ce que tu consommes.
54
Infos sur le membre et actions possibles
  Je suis ma route en solitaire.  Profil de Akela NDE  Message privé      Répondre en citant
Webmestre
Administrateur

Nous a rejoints le : 25 Oct 2004
Messages : 1 261
Patientez...

J'y ai sûrement accès quelque part, mais j'ai pas trop le temps de chercher. Je regarderai.
55
Infos sur le membre et actions possibles
  Profil de Webmestre  Message privé      Répondre en citant
trident
Membre confirmé

Nous a rejoints le : 28 Fév 2009
Messages : 1 494

Réside à : Montréal, Québec
1
Patientez...

Ne serait-ce pas l'occasion également de se questionner sur la pérennité du forum, surtout si l'on veut que la bête survive à son créateur? Clin d'oeil
56
Infos sur le membre et actions possibles
  Je suis ex-ASC, ex-FSE  Profil de trident  Message privé      Répondre en citant
Webmestre
Administrateur

Nous a rejoints le : 25 Oct 2004
Messages : 1 261
Patientez...

Aujourd'hui je vais essayer de résoudre le problème du forum en mettant en place la soution de Gil des Lavras.
Attendez-vous à des perturbations.
57
Infos sur le membre et actions possibles
  Profil de Webmestre  Message privé      Répondre en citant
trident
Membre confirmé

Nous a rejoints le : 28 Fév 2009
Messages : 1 494

Réside à : Montréal, Québec
Patientez...

Qu'est-ce que tu dirais si des gens sont prêts à bosser pour faire passer le forum à phpBB 3 ?
58
Infos sur le membre et actions possibles
  Je suis ex-ASC, ex-FSE  Profil de trident  Message privé      Répondre en citant
Webmestre
Administrateur

Nous a rejoints le : 25 Oct 2004
Messages : 1 261
Patientez...

1/ Ca ne résoudrait pas fondamentalement le problème
2/ ca créerait plein de problème par la perte de nombreuses fonctionnalités propres à ce forum.

Les nouveaux script php n'empêchent pas que lire des tables de 500 000 lignes cela prend trop de temps. Mieux vaut scinder ces tables en 20 tables de 25 000 lignes (sachant que chacun des 20 forums doit en faire gérer 3 tables).
De plus, le problème semble venir surtout du moteur de recherche du forum, qui épuise la lecture des bases.
Il faudra probablement que je le bride pour qu'il ne puisse chercher que dans certains forum et non dans tous d'un coup.

J'en profite actuellement pour réécrire la syntaxe des appels SQL qui a changé avec PHP 5.
59
Infos sur le membre et actions possibles
  Profil de Webmestre  Message privé      Répondre en citant
trident
Membre confirmé

Nous a rejoints le : 28 Fév 2009
Messages : 1 494

Réside à : Montréal, Québec
Patientez...

Pourquoi alors ne pas installer Google sur le forum?
60
Infos sur le membre et actions possibles
  Je suis ex-ASC, ex-FSE  Profil de trident  Message privé      Répondre en citant
Webmestre
Administrateur

Nous a rejoints le : 25 Oct 2004
Messages : 1 261
Patientez...

Pour remplacer le moteur de recherche ?
Faisable, mais super moche et peu pratique.
Je préfère limiter les recherches.
61
Infos sur le membre et actions possibles
  Profil de Webmestre  Message privé      Répondre en citant
Webmestre
Administrateur

Nous a rejoints le : 25 Oct 2004
Messages : 1 261
Patientez...

Bon je suis étonné,
a priori, en supprimant la page de recherche et en rafistolant la requête des 10 derniers messages postés, j'aurais résolu le problème.

Cela demande quelques heures pour confirmer, mais cela m'étonne au plus haut point.
Je ne comprend toujours pas quel est le script qui allait solliciter le moteur de recherche si souvent, sans aucun argument de recherche...
Google s'y balladait pas mal, mais j'aivais beau lui interdire l'accès via le fichier robots.txt, il s'y baladait quand même...
62
Infos sur le membre et actions possibles
  Profil de Webmestre  Message privé      Répondre en citant
Corsaire
Malouin
  
TECHNIQUE: 22 points
BONNE HUMEUR: 35 points
Mer : Vigie - Timonier
Nous a rejoints le : 22 Oct 2009
Messages : 1 643

Réside à : Saint-Malo
Patientez...

et même pas de grand nettoyage??? la classe ! Bravo
63
Infos sur le membre et actions possibles
  Je suis FSE, Ex-SUF  Profil de Corsaire  Message privé      Répondre en citant
Webmestre
Administrateur

Nous a rejoints le : 25 Oct 2004
Messages : 1 261
Patientez...

Voilà,

je viens de changer tous les scripts.
Merci de me prévenir des bugs éventuels.

Les requêtes sont modernisées,
Les sous-forums sont séparés dans 20 tables différentes, mais comme le problème semblait surtout venir du moteur de recherche, je continue à travailler en double sur l'ancien système (qui est quand même plus puissant).
Donc les nouveaux messages sont à la fois écrit dans la table ancienne géante et dans une petite table à part dédiée au sous-forum.

Il se peut qu'il y ait des bugs dans les coins liés à la nouvelle syntaxe, et d'autres liés à la lecture sur les petites tables (pour le moment j'écris en double, mais je ne lis que les petites tables séparées, on pourra revenir à la table géante en cas de problème)
64
Infos sur le membre et actions possibles
  Profil de Webmestre  Message privé      Répondre en citant
Webmestre
Administrateur

Nous a rejoints le : 25 Oct 2004
Messages : 1 261
Patientez...

Bon en fait je ne peux pas fonctionner avec 20 forums séparés,
cela rend l'administration impossible, le déplacement de messages me semble sinon impossible en tout cas nécessiter un boulot encore plus monstrueux, de même que tout un pan des admins des messages.

J'en reste donc à une nouvelle syntaxe et une désactivation du moteur de recherche en attendant de le limiter.

D'après les SlowLogs de ce WE, il n'y a plus aucun problème.
Si seulement je pouvais comprendre d'où viennent les requêtes qui sollicitent le moteur de recherche sans argument de recherche.
65
Infos sur le membre et actions possibles
  Profil de Webmestre  Message privé      Répondre en citant
Gil des Lavras
Brésilienne
  
TECHNIQUE: 22 points
BONNE HUMEUR: 50 points
Scène : Maître de Cérémonie
Nous a rejoints le : 02 Janv 2012
Messages : 917

Réside à : Paris
Patientez...

Je ne sais pas si c'est le bon fuseau pour signaler ça (je m'excuse si c'est effectivement le mauvais Grand sourire ) mais
- quand on veut simplement "répondre" à un post (et non pas "répondre normalement"), le post n'est pas enregistré apparemment.
- quand on veut modifier ses messages au-delà d'une heure, ça ne marche pas et ça marque même: "fatal error" Warf warf ! !!!
Bon en fait, ça marque plus que ça:
Citation:
Warning: Missing argument 2 for get_userdata_from_id(), called in /home/www/70ef9ac014a338c19a98799069cd51b3/web/forum/modifpost.php on line 264 and defined in /home/www/70ef9ac014a338c19a98799069cd51b3/web/forum/functions.php on line 419

Fatal error: Call to a member function query() on a non-object in /home/www/70ef9ac014a338c19a98799069cd51b3/web/forum/functions.php on line 422

Merci!
66
Infos sur le membre et actions possibles
  Profil de Gil des Lavras  Voir le site web de Gil des Lavras  Message privé      Répondre en citant
Webmestre
Administrateur

Nous a rejoints le : 25 Oct 2004
Messages : 1 261
Patientez...

Pour moi tout fonctionne.

Attention à bien utiliser la version normale du forum. La "fast" et la "mobile" n'ont pas encore été modifiés.

[ Ce message a été modifié par Webmestre le 04-03-2013 à 00:18 ]
67
Infos sur le membre et actions possibles
  Profil de Webmestre  Message privé      Répondre en citant
Corsaire
Malouin
  
TECHNIQUE: 22 points
BONNE HUMEUR: 35 points
Mer : Vigie - Timonier
Nous a rejoints le : 22 Oct 2009
Messages : 1 643

Réside à : Saint-Malo
Patientez...

what about the "fast"??? on trouve ça où? c'est laquelle la "lente" ?
68
Infos sur le membre et actions possibles
  Je suis FSE, Ex-SUF  Profil de Corsaire  Message privé      Répondre en citant
Miss Pomme
Petite pomme

Nous a rejoints le : 12 Mai 2005
Messages : 4 661

Réside à : ...je ne suis pas parisienne...
Patientez...

Quand on est sur la page d'accueil, les plumes des sous-forum ne se mettent pas en rouge, même quand il y a des nouveaux messages non lus. Euuuh...
69
Infos sur le membre et actions possibles
  Je suis FSE  Profil de Miss Pomme  Message privé      Répondre en citant
Corsaire
Malouin
  
TECHNIQUE: 22 points
BONNE HUMEUR: 35 points
Mer : Vigie - Timonier
Nous a rejoints le : 22 Oct 2009
Messages : 1 643

Réside à : Saint-Malo
Patientez...

j'approuve. du moins j'approuvais il y a dix minutes là j'ai une plume rouge
mais si je rentre dans "interscoutisme" par exemple là je vais avoir des plumes alors que j'en avais pas sur la page d'accueil.
70
Infos sur le membre et actions possibles
  Je suis FSE, Ex-SUF  Profil de Corsaire  Message privé      Répondre en citant
Aller à Page précédente 1|2|3 Page suivante
Signaler
Patientez...
>>Le fuseau a été fermé par un modérateur

 

  technique
  bonne humeur
RSS 

 

 

Semper Parati Scoutopedia, l'encyclopédie scoute

© Fraternite.net | contact
webmestre@fraternite.net