Auto-hébergement – Blog d'un développeur neurasthénique http://blog.developpeur-neurasthenique.fr Blog d'un développeur neurasthénique Sat, 18 Oct 2014 17:57:22 +0000 fr-FR hourly 1 https://wordpress.org/?v=4.7.2 Auto-hébergement : agrégation (bonding) de 2 lignes ADSL avec OpenVPN (1/2) http://blog.developpeur-neurasthenique.fr/auto-hebergement-agregation-bonding-de-2-lignes-adsl-avec-openvpn-1-2.html http://blog.developpeur-neurasthenique.fr/auto-hebergement-agregation-bonding-de-2-lignes-adsl-avec-openvpn-1-2.html#comments Thu, 08 May 2014 03:49:49 +0000 http://blog.developpeur-neurasthenique.fr/?p=1710 Ou comment doubler efficacement sa capacité de nuisance d’upload/download afin de conquérir le monde (youpi !).

On t’as reconnu Fantomas ! Ha non, mince, celle là je l’ai déjà faite…

Bon, déjà, je vous le dis tout de suite : l’image ci-dessous n’est pas un fake, même si l’upload peut vous sembler totalement « délirant » au premier abord (voir les explications plus bas).

bonding-adsl-openvpn

Ce test a été réalisé (si vous en voulez d’autres, bande de sceptiques que vous êtes, y’a pas de souci) avec deux lignes ADSL free.fr (mais sans aucune Freebox, na !) agrégées ensemble avec le module « bonding » du noyau Linux, le tout piloté par OpenVPN et quelques règles iptables/iproute2 pas piquées des hannetons.

Le trafic sortant était ensuite routé vers un petit VPS (à pas cher) puis vers un autre VPN (AirVPN, un service génial, plus tard un billet sur ce sujet), ce qui nous a donné cette adresse IP de sortie en… tadaaa… Hollande ! (La sent tu, tralalalalèèèère…)*

*L’ensemble de la rédaction ainsi que toute l’équipe de modération se désolidarise totalement de cette blague lamentable et présentent ses plus plates excuses à tous les VPN amis implantés dans des pays qui sentent gravement le fromage et qui se seraient sentis (sic !) agressés par ce jeu de mot des plus foireux. (Et, s’il vous plait, déconnez pas dans les commentaires, j’ai vraiment pas envie d’avoir le soldat Ryan Valls sur le dos.)

Bref, pour faire simple, l’agrégation de liens ADSL avec OpenVPN, ça marche (et si vous aimez le fromage qui pue pas que des pieds, faites donc un saut en Hollande, ou pas, c’est vous qui voyez).

Mais, comme toujours et avant de se lancer dans l’aventure, il y a quelques petits détails importants à prendre en compte et c’est ce que nous allons voir dans la suite de ce billet.

Un des premiers points importants concernant le bonding avec OpenVPN, bien au delà du débit (et là, « chérie », tu le sens mon gros upload…), c’est que votre FAI (que vous détestez car c’est un collabo, le genre à « vendre du beurre aux allemands » ) ne saura plus tout ce que vous branlez avec vos deux lignes ADSL : normal, une bonne partie du trafic (ou même tout le trafic si vous êtes complètement parano) ne transitera plus en clair.

Donc, gardez bien à l’esprit que vous aurez l’air, à vous tout seul, d’un « Usual suspects » en puissance et pour cause : que du trafic chiffré distribué sur deux lignes ADSL, c’est pas madame Michu au fin fond du Cantal (l’autre pays du fromage…) qui va s’amuser à ça.

Et si, en plus, vous vous amusez à envoyer des mails graveleux avec Thunderbird et PGP, alors là c’est le pompon…

Hé, Ho ! J’suis pas Crésus, ça coûte un bras deux lignes ADSL !

(Totalement) faux.

Si vous vous démerdez un peu, deux lignes ADSL, pour un particulier et en dégroupage total, ça ne coûte pas plus de 40 € TTC / mois (qui veut voir mes anciennes factures ?).

Le plus cher, dans l’histoire, ce sont les frais d’installation de France Télécom pour tirer/ouvrir/activer une seconde ligne (55 €) et, éventuellement, l’achat d’un « vrai » modem/routeur supplémentaire si, comme bibi, vous ne pouvez pas saquer (restons poli) les affreuses « machinbox » (toutes plus moisies les unes que les autres) fournies par les opérateurs.

Mmmmh… Ami auto-hébergé, tu sembles dubitatif, je peux le voir au fond de ton kernel (que tu mets à jour, hein !?).

Bon, ok, soyons précis : la TV via ADSL qui pixelise (ou non), je m’en contrefous comme de l’achat de mon dernier pull (pas plus de 15 € sinon c’est de l’arnaque : un enfant chinois ou indien surexploité sans vergogne 16 heures par jour ne vaut pas plus).

Bref, le tiers-monde se meurt mais souriez en attendant, bande de privilégiés que vous êtes, scrutez tranquillement les offres ADSL « nues » en promo : ce que vous voulez, c’est du « Vrai Nain Ternet™ » et pas l’ensemble de la merde télévisuelle déversée chaque jour sur le PAF.

Je vous le redis encore une fois : avec les « promos » permanentes, deux lignes ADSL (avec IP fixe ou non) chez de gros opérateurs, ça ne vaut pas plus de 40 € / mois.

Toujours pour info, FDN (mais si, vous savez, les trois « guignols » dans un garage qui n’ont strictement aucune légitimité dans le secteur…) estime que la bande passante d’un abonné ADSL coûte 3 € / mois.

Certes, les FAI ont d’autres coûts lié à l’infrastructure, au renouvellement des routeurs hors de prix, au personnel, aux boutiques, à la hotline. Encore que, sur ce dernier point, j’ai un léger doute.

Mais, surtout, ce sont les investissements massifs (et éhontés) dans des saloperies de boitiers certifiés « DPI Inside » qui, à mon avis, plombent leurs bilans (sans parler des dividendes illégitimes mais ça, c’est encore une autre histoire, éhontée elle aussi).

Tout ça pour dire que, je sais pas pour vous, mais perso je m’en contrefous car leurs technos liberticides pour faire du profilage marketing à tout-va, ils peuvent se la… Bref… En tous cas, bien profond (et, si possible, avec du gravier, du goudron et des plumes).

Lire la suite…

]]>
http://blog.developpeur-neurasthenique.fr/auto-hebergement-agregation-bonding-de-2-lignes-adsl-avec-openvpn-1-2.html/feed 76
Vie Privée : Psilo, un VPN même qu’il est (vachement) bien http://blog.developpeur-neurasthenique.fr/vie-privee-psilo-un-vpn-meme-qu-il-est-vachement-bien.html http://blog.developpeur-neurasthenique.fr/vie-privee-psilo-un-vpn-meme-qu-il-est-vachement-bien.html#comments Tue, 19 Nov 2013 23:00:42 +0000 http://blog.developpeur-neurasthenique.fr/?p=1642 N’ayant strictement rien branlé publié depuis plus de six mois, il était grand temps de remettre les pendules à l’heure.

Edit 29/01/2014 : Psilo a décidé de fermer ses portes : Fermeture annoncée de Psilo. Bref, je suis dégouté…

Espèce de Vendu… Ça pue le billet sponsorisé, on t’as reconnu Fantomas !

Alors, déjà, bande de libristes extrémistes assoiffés de liberté, soyons (très) clair à ce sujet, ce billet n’est pas :

  1. acheté par une marque (Non, « Môssieur », je ne mange pas de ce pain là !)
  2. le fruit d’un partenariat éhonté (Dégage ! Mon frigo est plein, j’ai même des cornets vanille-chocolat…)
  3. le résultat d’un quelconque copinage (Et là ? Tu la sens ma grosse Vade-Retro-commission ?)

Nan, même pas : il s’agit juste du fruit d’une utilisation perso (12 mois quand même) et un compte-rendu s’imposait.

Dans 90% des cas, dès que l’on parle de VPN (simple, léger, fiable), il est question d’OpenVPN.

Les adorateurs d’IPSEC ou de PPTP iront se faire cuire un oeuf : le premier est une usine à gaz, le second totalement has-been.

Du coup, je me suis longuement plongé dans la doc d’OpenVPN, leur forum et, franchement, je vous parie un paquet de fraises Tagada que ça va défriser votre « Môman ». (En supposant qu’elle soit connectée : j’ai essayé avec la mienne, ce fut un désastre total mais passons…)

Bref, un VPN c’est bon pour votre réseau local : mangez-en matin, midi et soir (avec plein de morceaux d’IP à l’étranger).

N’importe quoi ! Moi, j’ai une totale confiance envers mon FAI/PRISM/la NSA

Je n’en doute pas, mais alors pas du tout. (Cette remarque était bien sûr ironique, bande de gros naïfs -> restons poli)

NSA Cloud Backup – Stockage gratuit et automatique de vos données privées !

Étant donné que la majorité de vos données/échanges/mails sont sauvegardés via une « application » tierce, il serait temps que vous souleviez deux points relatifs au stockage de votre vie privée :

  1. Quel est l’URL (et le password) pour accéder aux backups ?
  2. Comment puis-je restaurer mes données via FTP/Rsync ?
  3. Quel est le délai de rétention ?

Bon, ok c’est lourd, j’arrête ici les bêtises (mais en sont-elles vraiment ?).

Quant aux sombres crétins bisounours qui pensent encore que leur FAI (préféré) n’a pas cédé aux sirènes du Deep Packet Inspection, on ne peut plus rien faire pour eux  (toutes mes condoléances aux familles : ce fut un homme brave, mais un peu « ingénu » quand même…).

Bref, depuis un an, j’utilise un VPN, en l’occurrence celui fournit par Psilo, avec changement automatique de pays toutes les 4 heures, histoire de préserver le peu de vie privée qu’il me reste.

Et vous ? A part fouetter sauver des chatons sur Youtube, vous faites quoi ?

Lire la suite…

]]>
http://blog.developpeur-neurasthenique.fr/vie-privee-psilo-un-vpn-meme-qu-il-est-vachement-bien.html/feed 7
Auto-hébergement : un an après, petit bilan avant le début des hostilités http://blog.developpeur-neurasthenique.fr/auto-hebergement-un-an-apres-petit-bilan-avant-le-debut-des-hostilites.html http://blog.developpeur-neurasthenique.fr/auto-hebergement-un-an-apres-petit-bilan-avant-le-debut-des-hostilites.html#comments Mon, 15 Oct 2012 19:34:21 +0000 http://blog.developpeur-neurasthenique.fr/?p=1417 « L’auto-hébergement c’est nul, ça fait rien qu’à faire des internautes libres. » (Pascal N., farouche opposant à toute forme d’émancipation)

Mouarf ! Reviens nous voir quand ça fera dix ans, là on causera…

Allez, soyez indulgent : un gâteau avec une seule bougie, c’est tout aussi émoustillant qu’un premier baiser raté. (Et pourtant, je vous jure qu’elle était belle !)

Et puis, vu que l’auto-hébergement c’est rigolo comme tout, s’arrêter en si bon chemin serait bien stupide. Donc, l’année prochaine, vous aurez sûrement droit au même billet insipide.

Nan mais qu’est-ce qu’il vient la ramener avec son CPU à 0.2 GHz, hein ?

En un an le matériel n’a pas beaucoup évolué : c’est une configuration mini-ITX à base d’Atom (D525 – 1.8 GHz) qui fait très bien l’affaire.

Récemment il y a eu l’ajout d’un disque SSD (pour les IOPS), 2 GO de RAM supplémentaire (pour Proxmox), un nouveau routeur (flashé dans la journée avec DD-WRT) et des bricoles comme un switch Gigabit (marre de se trainer à 100 Mbit/s), des câbles réseau (CAT 6 SFTP), quelques nappes SATA ou encore une bombe de gaz dépoussiérante.

A priori trois fois rien mais, mis bout à bout plus les frais de port à chaque commande, ça fini par sévèrement douiller quand même (c’est surtout le SSD et le routeur qui plombent salement la note).

D’après les factures, au niveau matériel, l’auto-hébergement m’aurait déjà coûté environ 500 €. (J’en vois certains qui s’étranglent, ne bougez pas, je vous apporte une corde…)

Donc à la question, est-ce que l’auto-hébergement est rentable, la réponse est plutôt mitigée : à configuration égale, la location d’un serveur dédié Atom coûte dans les 18 € par mois. Si je sors ma super calculette à trois boutons, cela signifie qu’il me faudra environ 2 ans et demi pour tout amortir (électricité incluse).

Bon, ceci étant, c’est une belle config et j’en suis vraiment très content : ça consomme trois fois rien (~20 W), la nuisance sonore est quasi nulle (deux ventilos « ultra-low-speed » en extraction) et visuellement, le boitier n’est pas si moche que ça.

Deux reproches cependant : le CPU est un poil « faiblard » (rien de dramatique, suffit d’optimiser) et surtout, les instructions VT ne sont pas supportées. (Gloups…)

Lire la suite…

]]>
http://blog.developpeur-neurasthenique.fr/auto-hebergement-un-an-apres-petit-bilan-avant-le-debut-des-hostilites.html/feed 27
Auto-hébergement : DNS secondaire via Poweradmin, qui n’en veut ? http://blog.developpeur-neurasthenique.fr/auto-hebergement-dns-secondaire-pilote-via-poweradmin-qui-nen-veut.html http://blog.developpeur-neurasthenique.fr/auto-hebergement-dns-secondaire-pilote-via-poweradmin-qui-nen-veut.html#comments Sat, 14 Jul 2012 13:34:34 +0000 http://blog.developpeur-neurasthenique.fr/?p=1373 Nobox : ok, ADSL : ok, QOS : ok, Serveur DNS : ok, Partage : pas ok

Avoir une nobox qui turbine c’est bien, partager ses ressources c’est mieux.

Je lance donc un appel aux auto-hébergés qui n’en veulent : si vous avez besoin d’un NS secondaire, viendez !

Description de la « bête »

Tout est là : composants pour une nobox libre et acentrée

Entre-temps, je lui ai rajouté de la mémoire : 4 Go de RAM pour être tranquille.

Et si elle est sage, elle aura peut-être droit à un SSD (j’hésite cependant, les prix sont encore délirants).

Description de la « liaison »

Avant… Oui, avant, j’étais chez Orange : pourquoi je quitte Orange et son IP dynamique

Mais, comme dirait certains, « J’ai changé ». (#EPIC FAIL)

Et depuis, c’est que du bonheur : IP fixe, port 25 « libéré », débit stable, tarif divisé par 2.

Description de la « QOS »

Le ping est prioritaire. Ben vi, ça rend les gens heureux, les cheveux soyeux et le kiki tout dur.

Juste après vient le service DNS : ce sont de petites requêtes alors autant les privilégier (et shunter le trafic restant s’il le faut).

En résumé, je peux télécharger comme un goret (des vidéos de chatons) et seeder en P2P comme un porc (du contenu sous licence CC), le trafic DNS est, et sera toujours, prioritaire, donc forcément stable.

Je n’ai pas terminé ma série de billets sur la QOS mais, tests à l’appui, ça marche. 😉

Lire la suite…

]]>
http://blog.developpeur-neurasthenique.fr/auto-hebergement-dns-secondaire-pilote-via-poweradmin-qui-nen-veut.html/feed 10
Proxmox 2/3 : outil de sauvegarde incrémentale pour containers OpenVZ http://blog.developpeur-neurasthenique.fr/proxmox-2-3-outil-de-sauvegarde-incrementale-pour-containers-openvz.html http://blog.developpeur-neurasthenique.fr/proxmox-2-3-outil-de-sauvegarde-incrementale-pour-containers-openvz.html#comments Thu, 12 Jul 2012 18:03:04 +0000 http://blog.developpeur-neurasthenique.fr/?p=1309 EDIT 1 : Après plusieurs mois de gestation le projet est désormais disponible ici :

La doc est sera bientôt disponible, ainsi qu’un forum pour les retours d’expérience.

EDIT 2 : Openvz-diff-backups fonctionne avec Debian 6/7 + OpenVZ et/ou Proxmox 2 & 3.

EDIT 3 : L’outil de backup ayant énormément évolué (euphémisme), ce billet est complètement « outdated ».

« Boarf… Un bon gros tar.gz de 137 Go, ça n’a jamais tué personne… » (Patrice B., réfractaire aux backups journaliers)

Avant, j’utilisais vzdump et mes cheveux backups étaient gras

Faire des sauvegardes c’est bien, les répliquer sur un serveur distant c’est mieux.

Sauf que, si vous vous amusez chaque jour à transférer les archives générés par vzdump, à mon avis ça va mal se mettre au niveau de la bande passante (sans parler de l’espace disque nécessaire pour conserver un historique décent).

Pour l’instant ma nobox ne contient que 50 Go de données (libres, toussa…) mais vu l’upload tout moisi que l’on a derrière une misérable ligne ADSL et le fait que je voulais quand même disposer d’une sauvegarde distante et journalière, fallait bien trouver autre chose que le transfert des tar.gz classiques.

Maintenant, j’utilise rsync et mon delta est resplendissant

Bon, ok, même si dans la pratique cette affirmation est globalement vraie (si, si…), il y a certains cas « particuliers » où cela ne se passe pas aussi bien. (Ben tiens ! On s’en serait pas douté…)

A chaque appel du script de sauvegarde, celui-ci va faire sa tambouille puis, afin de créer un historique, stocker dans un nouveau répertoire les différences par rapport à l’ancien backup.

L’archivage se fait à l’aide de liens hard en utilisant la directive « –link-dest » de rsync. Le principal avantage de cette méthode, contrairement à « cp -al », est que les changements de propriétaires ou de permissions sont pris en en compte sans impacter rétroactivement les anciennes sauvegardes.

Donc, en français dans le texte, cela signifie que, dès qu’une modification est détectée sur un fichier (taille, données, permissions, etc), rsync ne va pas créer un hard link lors de l’archivage mais tout simplement copier intégralement le fichier modifié.

Étant donné qu’il s’agit du comportement attendu et souhaité, jusqu’ici tout va bien.

Lire la suite…

]]>
http://blog.developpeur-neurasthenique.fr/proxmox-2-3-outil-de-sauvegarde-incrementale-pour-containers-openvz.html/feed 8
Proxmox 2 : compilation d’un kernel OpenVZ à partir des sources http://blog.developpeur-neurasthenique.fr/proxmox-2-compilation-dun-kernel-openvz-a-partir-des-sources.html http://blog.developpeur-neurasthenique.fr/proxmox-2-compilation-dun-kernel-openvz-a-partir-des-sources.html#comments Wed, 04 Jul 2012 19:38:37 +0000 http://blog.developpeur-neurasthenique.fr/?p=1290 Comme dirait Luke : même pas mal ! (d’abord…)

A part occuper (un peu) les geeks et frimer (bêtement) sur IRC, ça sert à quoi ?

Si comme bibi vous avez soumis un bug auprès des développeurs d’OpenVZ, la première chose qu’ils vont vous demander c’est, justement, de reproduire ledit bug avec un kernel OpenVZ « stock ». Donc là, forcément, pas moyen, va falloir s’y coller.

Sinon, et c’est ce qui m’intéressait le plus, en ayant accès aux sources il devient alors possible de modifier certains modules du noyau car, croyez le ou non, certains paramètres utiles sont hardcoded. Non seulement c’est mal mais en plus ça ennuie tout le monde.

Bref, je voulais juste augmenter la taille de la file d’attente du scheduler SFQ (Stochastic Fair Queue) mais pour cela, il est nécessaire de modifier directement les valeurs dans le code source.

Étape 1/10 : récupérer le « Source RPM » qui va bien même qu’il y a tout dedans

Pour cela, direction l’espace de download d’OpenVZ : http://download.openvz.org/kernel/

La branche stable actuelle est la « rhel6-2.6.32 » donc z’allions fouiller à l’intérieur et nous poser sagement dans le répertoire « current ». Là, parmi les différents RPM, il y en a un qui contient le mot « src » (flash, flash…) et il est facile à trouver vu que c’est le plus gros.

Ensuite, tant qu’on y est, nous allons récupérer la config du noyau adéquate dans le sous répertoire « configs ». Deux choix possibles en fonction de votre processeur,  32 ou 64 bits.

Mais, j’aperçois quelques feignasses dans le fond, alors voici le lien direct : lien-magique-toujours-à-jour-vers-le-dernier-noyau-openvz

Bon, ok, elle est nulle mais comme le lien change à chaque mise à jour, il est plus sûr de chercher le bon fichier soi-même.

Lire la suite…

]]>
http://blog.developpeur-neurasthenique.fr/proxmox-2-compilation-dun-kernel-openvz-a-partir-des-sources.html/feed 8
Auto-hébergement : configurer un cluster Proxmox 2 sans multicast http://blog.developpeur-neurasthenique.fr/auto-hebergement-configurer-un-cluster-proxmox-2-sans-multicast.html http://blog.developpeur-neurasthenique.fr/auto-hebergement-configurer-un-cluster-proxmox-2-sans-multicast.html#comments Sat, 17 Mar 2012 19:34:59 +0000 http://blog.developpeur-neurasthenique.fr/?p=927 Ou comment interconnecter, via Internet et en Unicast, plusieurs noeuds Proxmox installés sur des réseaux distincts.

MAJ 30 mars 2012 : la version stable de Proxmox VE 2 est disponible et le billet est à jour. 🙂

Charlatan ! Le wiki de Proxmox 2 est formel : pas de multicast, pas de cluster

Oui mais non. (D’abord…)

Non seulement ça marche mais en plus, chose appréciable, la solution est plutôt élégante : suffit de faire tourner les noeuds Proxmox sur un réseau virtuel (supportant le Multicast) et d’interconnecter l’ensemble avec OpenVPN (en Unicast).

Bon, là, à priori et si vous êtes normalement constitués, z’avez les yeux qui brillent et la langue qui pendouille, sans parler du filet de bave qui coule le long de votre barbe encore tâchée par la pizza de la veille. (Ok, alors le cliché, ça c’est fait…)

Mais, halte camarades, rendons d’abord à César ce qui lui appartient car en fait (et sauf erreur), c’est « ned Productions Ltd » qui a dégainé le premier avec un tutorial (en Anglais) fort sympathique sur le sujet :

Configuring a Proxmox VE 2.x cluster running over an OpenVPN intranet

Ce que je vous propose ici n’est autre qu’une « traduction » libre, en français dans le texte, des différentes étapes à suivre avec en prime une petite touche de personnalisation car nous allons procéder d’une manière un peu différente.

En résumé, si après avoir lu ce billet vous n’y arriviez pas, franchement, je n’ai plus qu’à me pendre.

Retour en arrière : monter un cluster avec Proxmox 2, ça sert à quoi ?

A frimer dans la cour de récré…

D’abord, essayez d’oublier le discours marketing environnant et totalement merdique qui tente de vous vendre le « cloud » à toutes les sauces : l’intérêt majeur pour les hébergeurs est de rationaliser leurs coûts (donc plus de marge) tout en vendant un produit trois fois plus cher que sa valeur intrinsèque (donc encore plus de marge).

Proxmox, c’est d’abord un système de virtualisation (Open Source) qui permet de faire tourner plusieurs serveurs virtuels sur une même machine. Rien que ça, c’est déjà fort sympathique. (Si, si…)

Il y a deux modes de virtualisation possibles : Full Virtualization (KVM) et Container Virtualization (OpenVZ).

  • KVM : possibilité de faire tourner différents OS (Windows et Linux par ex mais nécessite un CPU avec instructions « VT »)
  • OpenVZ : uniquement des distributions utilisant un noyau Linux commun (celui de l’hôte, meilleures perfs)

Ensuite, vient le clustering qui permet de regrouper plusieurs serveurs Proxmox (les noeuds) au sein d’une même entité (le cluster).

Donc, supposons : vous avez chez vous un serveur Linux (normal pour un auto-hébergé) mais également un second serveur (lui aussi sous Linux) à votre disposition chez vos parents/amis/connaissances/autres auto-hébergés. (Rayez la mention inutile)

Avec un cluster, il est possible de déplacer une machine virtuelle d’un noeud à l’autre en un clic afin, par exemple, d’équilibrer la charge entre les serveurs. Il est également possible de faire des sauvegardes complètes (toujours en un clic) des machines virtuelles, synchroniser ces sauvegardes avec Rsync et, le jour ou un des deux noeud meurt (liaison ADSL coupée, panne EDF, météorite, attaque extraterrestre, etc), suffira juste de restaurer les machines virtuelles sur le noeud encore en vie, modifier les DNS et basta : les services repartiront comme si de rien n’était.

Bref, si avec tout ça vous n’êtes toujours pas convaincu que Proxmox « ça rox du poney » et bien retournez donc cliquer sous Windows. (Non mais c’te blague… Ces djeunz, ils ne respectent plus rien ! Et comme disait pépé : « de mon temps, on se contentait d’une orange à Noël… »)

Lire la suite…

]]>
http://blog.developpeur-neurasthenique.fr/auto-hebergement-configurer-un-cluster-proxmox-2-sans-multicast.html/feed 77
Auto-hébergement : IOwait m’a tuer 1/2 (vmstat, mpstat, atop, pidstat) http://blog.developpeur-neurasthenique.fr/auto-hebergement-iowait-ma-tuer-1-2-vmstat-mpstat-atop-pidstat.html http://blog.developpeur-neurasthenique.fr/auto-hebergement-iowait-ma-tuer-1-2-vmstat-mpstat-atop-pidstat.html#comments Wed, 29 Feb 2012 18:53:54 +0000 http://blog.developpeur-neurasthenique.fr/?p=762 « Rien à péter, je suis passé au SSD… » (Bernard M., passionné par la fuite en avant)

IOwait : le mal aimé

« IOwait correspond au temps d’attente du système pour l’écriture ou la lecture de données. Un IOwait de 10 % signifie que 10 % de l’activité du CPU n’est pas destinée à faire des calculs mais à attendre l’exécution d’une opération de lecture/écriture. » (Wikipedia)

Pour afficher le pourcentage d’IOwait, c’est « vmstat » qui s’y colle :

# vmstat 1

procs  -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
r  b   swpd   free   buff   cache   si   so    bi    bo   in   cs  us sy id wa
1  0   7680  32200 353264 3111032    0    0 17173 19114  752  536   0  3 72 25
0  1   7680  31124 353376 3114680    0    0 12722 12798  799  569   0  3 75 22
0  1   7680  32916 353396 3114088    0    0  4592  4689  940  552   0  2 76 22
0  1   7680  33208 353432 3117292    0    0 20621 20533  739  592   0  4 77 19
1  1   7680  32096 353448 3119244    0    0 18426 18563  771  592   0  4 77 20

La colonne qui nous intéresse est la dernière, celle qui se nomme « wa ». Plus cette valeur (en pourcentage) est élevée, plus le processeur se tourne les pouces parce que les disques durs sont littéralement à la bourre et n’arrivent pas à suivre la cadence.

Notez que, jusqu’ici tout va bien : « seulement » 20% d’IOwait (mais attendez un peu la suite).

IOwait le retour : petite tentative de démystification

La plupart du temps, quand on cherche rapidement des infos sur le sujet, on tombe surtout sur des personnes plus stressées les unes que les autres : « IOwait à 100%, suis-je maudis ? », « Trop d’IOwait, mon serveur rame à mort. » ou encore « J’ai un load average de fou à cause des IOwait, que faire ? ».

Ceci étant, pas de panique car pour réduire les IOwait, il suffit d’appliquer une des solutions suivantes :

  • diminuer le nombre d’accès disque (Super, t’en as d’autres comme ça ?)
  • augmenter la charge du processeur (Gné ? Keskidi ?)
  • opter pour un processeur poussif (Chérie, fais gaffe, ce type est complètement con…)

Et pourtant, je vous assure que ça marche : installez cpuburn sur un serveur saturé au niveau des IO, lancez autant de burns que le processeur a de coeurs et admirez le résultat.

Félicitations, les IOwait sont maintenant à 0%, n’hésitez pas à demander une augmentation à votre boss…
(Cependant, si le CPU crame à cause de vos conneries, ça va être une autre paire de manche)

J’en vois certains qui froncent les sourcils et c’est bien normal : le nombre d’accès disques n’a pas baissé d’un pouce (et le processeur est à bloc), alors c’est quoi l’embrouille ?

Lire la suite…

]]>
http://blog.developpeur-neurasthenique.fr/auto-hebergement-iowait-ma-tuer-1-2-vmstat-mpstat-atop-pidstat.html/feed 12
Auto-hébergement : ma ligne ADSL est morte, que faire ? http://blog.developpeur-neurasthenique.fr/auto-hebergement-ma-ligne-adsl-est-morte-que-faire.html http://blog.developpeur-neurasthenique.fr/auto-hebergement-ma-ligne-adsl-est-morte-que-faire.html#comments Fri, 17 Feb 2012 21:05:09 +0000 http://blog.developpeur-neurasthenique.fr/?p=697 Bien fait ! Fallait y réfléchir avant…

Note à moi-même : configurer d’urgence un MX secondaire, planifier un hébergement de secours, acheter un second modem/routeur (on sait jamais…) et ne pas oublier d’ajouter le café ainsi que le sucre à la liste des courses.

Bref, mardi dernier dans la matinée, je sirotais tranquillement mon déca-cappuccino-triplement-recaféiné et paf : plus de débit, plus de ping, plus de connexion, plus rien.

Comprenez-moi bien : trois visiteurs déboulent chaque jour sur ce blog et, de ce fait, une interruption de service n’est pas envisageable. Bah vi, ce serait une perte grave pour l’humanité toute entière car Internet serait diminué.1

Gestion de crise dans la panique : comment gruger « Elle-Sait-Faire »

Dans l’immédiat, le problème n’est pas de savoir pourquoi la ligne ADSL a sautée mais de rétablir la connectivité au plus vite.

J’ai smartphone, OK. C’est un Android, OK. On peut faire du tethering, OK. SFR interdit formellement cette pratique dans ses CGV si on n’a pas souscrit cette option au prix fort, OK.

Heu… Ah non, zut ! Bon, faut voir. Non, en fait, et après avoir mûrement réfléchi 3 secondes : rien à foutre.

Lire la suite…

]]>
http://blog.developpeur-neurasthenique.fr/auto-hebergement-ma-ligne-adsl-est-morte-que-faire.html/feed 6
Auto-hébergement et QOS 2/7 : centraliser et NATer les flux sortants http://blog.developpeur-neurasthenique.fr/auto-hebergement-et-qos-2-7-centraliser-et-nater-les-flux-sortants.html http://blog.developpeur-neurasthenique.fr/auto-hebergement-et-qos-2-7-centraliser-et-nater-les-flux-sortants.html#comments Fri, 18 Nov 2011 18:15:40 +0000 http://blog.developpeur-neurasthenique.fr/?p=520 Suite de l’épisode précédent : Auto-hébergement et QOS 1/7 : comment télécharger comme un goret.

« un routeur qui commute des paquets, c’est bête à manger du foin »1

Aujourd’hui on va piquer à la Chine ce qui a fait sa fierté nationale, à savoir « Chinternet » . Parce que bon c’est vrai quoi, nous aussi on a le droit d’avoir un accès Internet bridé, filtré et censuré.

Afin d’atteindre cet objectif, il est nécessaire que tout le trafic réseau (entrant et sortant) passe par la nobox. Je ne vous fais pas un dessin, on va donc instaurer un point unique de centralisation avec tous les effets de bord que cela comporte.

Bref, pour devenir un dictateur en puissance, z’avions deux solutions : remplacer la machinbox par n’importe quel Linux de base (mais ça va se voir) ou gentiment proposer à notre entourage « d’optimiser » leurs paramètres de connexion.

Comme la naïveté l’emporte toujours, il y a fort à parier qu’ils ne remarqueront pas le tout petit changement insignifiant qui consiste à modifier l’adresse IP de leur passerelle par défaut. Après ça, souriez, c’est du billard.

Depuis que ma nobox intercepte les connexions, c’est du fun à tous les étages

On peut modifier la passerelle par défaut de chaque équipement de deux façons : soit à la main (en se cognant le paramétrage sur chaque appareil), soit d’une manière beaucoup plus fourbe en installant un serveur DHCP sur la nobox. (N’oubliez pas ensuite de désactiver le DHCP de la machinbox car sinon ça va être la foire d’empoigne et au final, vous allez vous faire gauler)

La seconde méthode est de loin la plus élégante car la configuration est centralisée, vos « sujets » n’y verront que du feu et on peut assigner des IP fixes tout en réservant un pool d’adresses pour les nouveaux équipements qui voudraient se joindre à la fête.

Et si les « dissidents » au sein de votre joyeux foyer ne jurent que par le WiFi, même pas peur, ça marche aussi. (Pas besoin de configurer un Access Point sur la Nobox)

Lire la suite…

]]>
http://blog.developpeur-neurasthenique.fr/auto-hebergement-et-qos-2-7-centraliser-et-nater-les-flux-sortants.html/feed 6
Auto-hébergement : impact de DynDNS, latence et temps de résolution http://blog.developpeur-neurasthenique.fr/auto-hebergement-impact-de-dyndns-latence-et-temps-de-resolution.html http://blog.developpeur-neurasthenique.fr/auto-hebergement-impact-de-dyndns-latence-et-temps-de-resolution.html#comments Tue, 01 Nov 2011 16:53:56 +0000 http://blog.developpeur-neurasthenique.fr/?p=272 Bof, aucun souci, mon site est optimisé à mort (donc il est forcément rapide)

Nan… (Mais ça, vous le saviez déjà.)

Même si ab ou Siege indiquent fièrement que votre serveur web est capable de débiter 78 pages par seconde1, vos visiteurs ne seront pas forcément servis aussi rapidement, loin de là.

Pour toute question relative à l’optimisation (poussée) de votre site/blog/forum/autre, vous devriez trouver votre bonheur sur le blog « Performance web » : c’est une véritable mine d’or, les conseils sont avisés et, même si certaines techniques peuvent être parfois ardues à mettre en place, cela en vaut la peine.

Mais là n’est pas le sujet : aujourd’hui on va causer requêtes DNS et de leurs impacts sur les nouveaux visiteurs, ceux qui arrivent sur votre site avec un cache DNS vide.

M’en fous : tous les navigateurs récents préchargent les noms de domaines

Bien tenté mais cela ne marche pas à tous les coups :

  • Si vos visiteurs bookmarkent votre site, le « DNS prefetching » ne fonctionne pas
  • Même punition si vous utilisez un sous-domaine distinct pour héberger vos images/vidéos/etc
  • Vous avez un compte gratuit chez DynDNS mais pas de bol, le TTL est de 60 secondes

Bon, là, normalement, vous m’avez vu venir avec mes gros sabots : DynDNS fournit un service de DNS dynamique fort utile (et qui fonctionne en plus) mais malheureusement et toutes les 60 secondes, vos visiteurs vont devoir se cogner le temps nécessaire à la résolution de votre nom de domaine2

Lire la suite…

]]>
http://blog.developpeur-neurasthenique.fr/auto-hebergement-impact-de-dyndns-latence-et-temps-de-resolution.html/feed 4
Auto-hébergement et QOS 1/7 : comment télécharger comme un goret http://blog.developpeur-neurasthenique.fr/auto-hebergement-et-qos-1-7-comment-telecharger-comme-un-goret.html http://blog.developpeur-neurasthenique.fr/auto-hebergement-et-qos-1-7-comment-telecharger-comme-un-goret.html#comments Fri, 21 Oct 2011 18:53:43 +0000 http://blog.developpeur-neurasthenique.fr/?p=301 (Et ainsi devenir la bête noire de votre FAI, mais c’est vous qui voyez)

Marre des débits qui s’effondrent au moindre upload ?

Alors toi aussi, rejoins le club très fermé des « ACKers1 » fous : tu pourras télécharger à bloc la dernière version de Debian (bien) tout en transférant tes photos de vacances sur Facebook (pas bien).

Si vous êtes auto-hébergé, prenez garde : le script qui suit permet simplement de ne pas être ralenti pendant vos pérégrinations sur le net. (Par contre vos visiteurs, eux, ils vont s’en prendre plein les dents)

Pour ceux qui souhaiteraient plutôt s’orienter vers du traffic shaping équitable afin d’assurer une qualité de service optimale pour leur blog/forum/site, pas de panique, cette problématique sera abordée dans la quatrième partie (pas encore écrite, loin de là d’ailleurs) : « Auto-hébergement et QOS 4/7 : exemple concret de traffic shaping »

Bon, alors, ça vient ce script miracle ?

Déjà, y’a rien de miraculeux et ensuite, suffit juste d’avoir un Linux sous la main. (Pour les geeks à poils durs qui préfèrent BSD, regardez du côté de Packet Filter pour arriver à vos fins)

Ensuite, pour que cela puisse fonctionner correctement, il faut que le traffic shaping soit appliqué sur l’interface réseau qui gère l’envoi des flux vers Internet. (Inutile d’avoir deux cartes réseau pour séparer le trafic)

En résumé, vous devez configurer vos équipements afin que Linux devienne l’unique passerelle (gateway) de votre réseau local : c’est lui qui va se charger de NATer (j’en vois déjà certains bondir mais tant pis, j’assume) l’ensemble du trafic provenant de vos PC/Macs/Smartphones/etc avant d’envoyer la purée vers votre machin-box.

Si vous n’avez strictement rien compris au paragraphe précédant, je vous invite à lire tranquillement à la seconde partie (quand elle sera terminée) : « Auto-hébergement et QOS 2/7 : centraliser et NATer les flux sortants« .

Les possesseurs d’un routeur WRT54GL vont être ravis car il semblerait bien que l’on puisse gérer directement la QOS avec un firmware adapté : SpeedMod with tc atm QoS patch for ADSL. (Je vais me pencher sur le sujet dès que possible)

Lire la suite…

]]>
http://blog.developpeur-neurasthenique.fr/auto-hebergement-et-qos-1-7-comment-telecharger-comme-un-goret.html/feed 4
Auto-hébergement : pourquoi je quitte Orange et son IP dynamique http://blog.developpeur-neurasthenique.fr/auto-hebergement-pourquoi-je-quitte-orange-et-son-ip-dynamique.html http://blog.developpeur-neurasthenique.fr/auto-hebergement-pourquoi-je-quitte-orange-et-son-ip-dynamique.html#comments Fri, 14 Oct 2011 21:11:13 +0000 http://blog.developpeur-neurasthenique.fr/?p=172 Mais « Môssieur », elle marche très bien votre connexion ADSL !

Non, pas d’accord :

Houlà… Et les bons côtés, c’est quoi ?

  • La mise en place est simple et rapide1 (7 jours entre la commande par téléphone et la première connexion)
  • ça marche2 : la connexion est stable, la TV ne pixelise pas, la qualité de la VOIP est bonne
  • Quand je téléphone à la hotline (3 fois en 18 mois), j’ai l’impression de voyager dans des pays lointains et ensoleillés.
    (Bon, ok, ça semble méchant mais contrairement aux apparences, j’ai un profond respect pour les téléopérateurs/trices qui en prennent plein la gueule toute la journée pour pas un rond3)

Heu… Concrètement, peut-on s’auto-héberger avec un FAI de seconde zone ?

Oui car contrairement à Numericable (Auto-hébergement et CGV des FAI), les CGV d’Orange n’interdisent pas cette pratique.

Ceci étant, vous allez devoir faire des compromis. Bah oui, vous avez choisi d’adopter (malgré vous, cela s’entend) le slogan « Il y a Internet… et Internet par Orange » alors maintenant faut faire avec.

Lire la suite…

]]>
http://blog.developpeur-neurasthenique.fr/auto-hebergement-pourquoi-je-quitte-orange-et-son-ip-dynamique.html/feed 13
Auto-hébergement : composants pour une nobox libre et acentrée http://blog.developpeur-neurasthenique.fr/auto-hebergement-composants-pour-une-nobox-libre-et-acentree.html http://blog.developpeur-neurasthenique.fr/auto-hebergement-composants-pour-une-nobox-libre-et-acentree.html#comments Thu, 06 Oct 2011 20:06:09 +0000 http://blog.developpeur-neurasthenique.fr/?p=10 Une nobox « de luxe » coûte 240 € et consomme 3,5€ d’électricité par mois

Il semblerait que le chat n'ait pas aimé le flash...

Objection 1 : c’est trop cher

Dites, votre PC dernier cri, vous l’avez payé combien ?

Objection 2 : ça consomme trop

Heu… Il vous coûte combien votre forfait mobile avec accès Internet (de merde) bridé et filtré ?

Objection 3 : ça rejette trop de CO2

Comparez avec votre voiture, là vous allez avoir peur…

Oui mais non : c’est pas une nobox ton truc, c’est un mini-serveur

Exact.

Pour des raisons de confort/souplesse/flexibilité, je voulais un « vrai » serveur tournant sous Linux.

Une « box » que je puisse configurer librement sans me soucier des limitations de mémoire ou d’espace disque. Par contre, basse consommation oblige, je me suis tout de même tourné vers un CPU à base de refroidissement passif.

A titre indicatif, ce mini-serveur est légèrement plus puissant qu’un Digi Small loué 29 € / mois (configuration à peu près identique si on rajoute des options plus 60 € de frais d’install) et encore plus véloce qu’un Kimsufi 2G à 18 €/mois.

Faites vos calculs…

Lire la suite…

]]>
http://blog.developpeur-neurasthenique.fr/auto-hebergement-composants-pour-une-nobox-libre-et-acentree.html/feed 16