Calendrier

« juin 2007
lunmarmerjeuvensamdim
123
45678910
11121314151617
18192021222324
252627282930

l'actualité du web, des technologies et aussi quelques bons tutoriaux ;-)

Newsleecher : les binaires version luxe

Comme nous l'évoquions dans cet article, Usenet sert de banque à des dizaines de milliers d'archives, qui vont des films (en divx ou DVD complets) aux logiciels en passant par les jeux pour toutes les consoles du marché.

Mais il est vrai qu'Usenet conserve une part de geekitude qui peut effrayer l'utilisateur d'emule moyen, heureux de son sort (surtout si il a une high id). Entre les archives saucissonées, les fichiers de parité et les millions d'en-têtes à télécharger, il y a de quoi en décourager plus d'un.

Heureusement, Newsleecher a été inventé pour simplifier le processus, notamment à travers sa fonction supersearch, véritable google des binaires. Associé à un compte chez giganews, c'est un véritable jeu d'enfant de télécharger des fichiers sur usenet. Par contre, pour ceux qui sont déjà en train de le chercher sur emule, mauvaise nouvelle : pour bénéficier de supersearch, vous serez obligés d'acquérir le logiciel. Mais à 25€, vu les services rendus, c'est une affaire.

Pour vous le procurer, rendez vous sur le site de newsleecher et achetez une licence pour un an avec supersearch (29,95$ - soit 25€ environ). Vous pourrez alors télécharger le dernière version et la débloquer avec votre clé reçue par mail. D'autres alternatives existent, mais aucune n'arrive à la cheville de newsleecher en terme d'ergonomie et de rapport/qualité prix.

Une fois le logiciel installé, cliquez sur "Options" pour procéder à quelques réglages de base.

Newsleecher - Préférences

Dans la rubrique "Downloads", indiquez le dossier où vous voulez sauvegarder les fichiers téléchargés. Dans la mesure du possible, indiquez un autre disque que votre disque système. Sinon, vous serez très ralenti pendant les opération de vérification de parité et de décompression. Ne touchez pas aux autres réglages, sauf si vous en ressentez la nécessité.

Comme nous n'allons pas utiliser Newsleecher "à l'ancienne" et que nous n'allons même pas télécharger la moindre en-tête, c'est le seul point à régler dans les options. Simple, non ?

Passons à la configuration du compte de votre serveur news.

Newsleecher - Réglages Serveur

Nous avons pris dans cet exemple un compte sur giganews qui, bien entendu, nécessite un login et mot de passe. L'abonnement giganews permet d'ouvrir jusqu'à 10 connections. Si vous vous contentez du serveur de news (gratuit) de votre provider, renseignez vous sur le nombre de connections que vous pouvez ouvrir (jusqu'à 4 chez Free par exemple). Dans ce cas, vous n'aurez pas à fournir d'identifiants, puisque vous vous connectez depuis le réseau de votre FAI. Attention, en cas de non respect des règles de votre provider, vous pouvez vous faire blacklister de leurs serveurs de newsgroups.

Une fois le serveur réglé, passons directement à la vraie valeur ajoutée de newsleecher : supersearch.

Newsleecher - Supersearch

Cette fonction magique vous permet de chercher un fichier exactement comme vous le feriez sur emule. Il suffit de taper le nom de fichier dans "Search for" et de valider. Instantanément, la liste de tous les fichiers concernés apparait. Si vous êtes totalement débutant, sachez qu'une archive est scindée en dizaines de morceaux (r00, r01, etc), ce qui explique ces longues listes répétitives. Vous pouvez souvent trouver un fichier nfo associé à l'archive qui vous donnera des indications sur son contenu, ou bien vous aider de sites comme binnews, qui vous donnent les noms de fichier à chercher.

Le menu déroulant "Max days" concerne la date limite des fichiers que vous êtes prêt à télécharger. 45 jours est le meilleur réglage, qui correspond à la durée de vie moyenne des archives sur usenet.

Autre petit truc bon à savoir pour les films : des segments d'archives de 15 Mo indiquent un CD (divx généralement), 50 Mo un DVD5, et 100 Mo un DVD9 (double couche).

Une fois l'archive de vos rêves reperée, faites un clic-droit sur l'un des fichiers (n'importe lequel).

Newsleecher - Sélection automatique

Choisissez "Smart select". Tous les fichiers nécessaires sont automatiquement sélectionnés. Magique ! Vérifiez qu'il n'y a pas de ligne rouge. Cela signifie qu'un fichier est incomplet. Si c'est le cas, vous pouvez tenter le coup s'il y a également des fichiers de parité (.PAR). Ils sont destinés à la réparation des archives incomplètes avec un utilitaire gratuit comme QuickPar.

Pour lancer le téléchargement, faites Ctrl+D. Cliquez sur connect, si ce n'est déjà fait. Le téléchargement commence.

Newsleecher - Download en cours

Il ne vous reste plus qu'à attendre la fin du téléchargement. En attendant voici deux belles images pour patienter...

Newsleecher - Vitesse

Newsleecher à fond avec giganews et une freebox...

Newsleecher - Bots

Les 10 bots en action...

Voilà, votre fichier est arrivé. Reste à en vérifier l'intégrité avec Quickpar (qui fera l'objet d'un prochain tutorial) et à le décompresser avec Winrar.

Update : Newsleecher gère désormais lui-même la vérification et la décompression, comme expliqué dans ce billet.

Note : bien entendu, vous ne devez télécharger que des archives sur lesquelles vous possédez les droits, en ayant acheté le produit original.

Voir aussi :
- Tutorial Giganews
- Tutorial QuickPar

Comment ça marche : la haute disponibilité web

Pour gérer des milliers ou des millions d'utilisateurs, un site web se doit de mettre en place un certain nombre de technologies afin que les visites des utilisateurs soient garanties et agréables. En termes techniques, on parle de redondance et de répartition de charge (load balancing en anglais). L'association de ces deux paramètres permet d'atteindre ce qu'on appelle la haute disponibilité : en gros un service qui ne peut pas tomber en panne et qui peut facilement monter en charge.

Vous vous en doutez, aucun serveur n'est assez puissant pour gérer un gros site web, et, de toute façon, il pourrait tomber en panne.

Alors, comment font les éditeurs de sites web ?

Pour obtenir la redondance, les serveurs sont répliqués, c'est à dire qu'il coexiste plusieurs serveurs, au contenu identique. Ainsi, en cas de panne d'une machine, les autres assument la charge supplémentaire le temps de la réparation

Pour ce qui est de la charge, le principe est simple : le load balancer (qui peut être un serveur ou un dispositif hardware dédié) envoie toute requête entrante au serveur le plus disponible. Si tous les serveurs saturent, la solution est simple : on ajoute une machine.

Il y a des dizaines de configurations possibles, mais nous allons prendre un exemple assez commun, qui démontre bien la mise en oeuvre de ces principes à tous les niveaux de l'architecture d'un service web haute disponibilité sous linux.


Architecture web haute disponibilité

Premier niveau : l'arrivée des requêtes sur la tête de plateforme

Quand votre requête ("je veux telle page web") arrive sur l'architecture, elle passe d'abord par un firewall. Ce dernier vérifie qu'elle est bien autorisée par l'architecture. En gros, c'est la même chose que votre pare-feu Windows. Sous Linux, le programme chargé de ce travail se nomme IP Tables (anciennement IP Chains).

Ensuite, si la requête est autorisée, elle est passée au load balancer (LVS soit Linux Virtual Server) qui décide quel serveur va répondre (en principe le moins chargé, mais de nombreux réglages sont possibles). Le load balancer envoie la requête au serveur web. A votre niveau c'est transparent : vous n'avez aucun moyen de connaître la machine qui va vous répondre.

A ce niveau, les deux serveurs sont redondés : ils ont un clone qui attend sagement, prêt à prendre le relais. Chaque serveur est relié à son clone via un petit logiciel (Heartbeat) qui pingue régulièrement le serveur en ligne pour s'assurer de sa disponibilité. A la moindre défaillance, le clone prend le relais et emet une alerte à l'administrateur pour intervention.

Deuxième niveau : le traitement des requêtes sur les serveurs frontaux

Votre requête arrive finalement sur le serveur web (appellé "frontal", car c'est lui qui renvoie la page directement sur le web). Le serveur web (Apache en général sous Linux) exécute votre demande : il exécute le code php, interroge la base de donnée, insère les variables dans la mise en page HTML et vous renvoie le tout sous la forme d'une page statique.

D'ailleurs, la plupart des serveurs vous renvoient effectivement une page statique précalculée par un système de cache : les pages les plus fréquemment demandées sont stockées "en dur" (en html) et ne sont recalculées que périodiquement, soulageant ainsi le processeur des serveurs web et évitant l'accès à la base de donnée. Le recalcul de la page peut intervenir soit après un certain délai, soit après un certain nombre d'affichages. C'est notamment le cas pour les pages dont le contenu change peu fréquemment : pages de catalogue par exemple.

Dans notre exemple, ce sont également les serveurs frontaux qui vous renvoie les images associées à la page, mais le plus souvent celles-ci font l'objet d'un stockage séparé et partagé entre les frontaux. Ce stockage est effectué sur des périphériques dédiés (SAN) aux disques durs ultra-redondants (RAID 5). Il est également courant de faire appel à un CDN (Content Delivery Network). Ces réseaux (comme Akamai) disposent de milliers de serveurs répartis sur l'ensemble de la planète. En répartissant votre contenu statique (images, médias, html) sur leur réseaux, ils permettent de délivrer l'information au plus près de l'internaute, améliorant grandement les performances des sites à audience mondiale.

Troisième niveau : la base de données

La base de données pose un problème un peu différent. Il est très difficile de gérer des écritures et lectures sur plusieurs serveurs (sauf technologies de clustering, mais restons dans une architecture simple). En effet, une base de donnée qui doit se mettre à jour simultanément sur plusieurs serveurs pose des problèmes techniques hors du spectre de cet article. Mais comme la plupart des sites web ont un rapport lecture/écriture de l'ordre de 90/10, voire 95/5, une solution alternative très simple existe : l'architecture maître-esclave (aussi appellée replication).

Le principe est simple : un seul serveur (le maître) assure les opérations d'écriture (commandes SQL INSERT, UPDATE et DELETE), tandis que les esclaves assurent uniquement les opérations de lecture (commande SQL SELECT). La synchronisation entre le maître et les esclaves est quasi instantanée. Il est donc possible d'obtenir une information ancienne (avant la mise à jour par le maître) mais ce risque concerne un nombre très minime de requêtes et reste acceptable dans la plupart des cas.

La replication apporte également l'avantage de la redondance : en cas de défaillance du maître, il suffit d'activer les opérations d'écriture sur un esclave pour disposer d'un nouveau maître.

Bien d'autres dispositifs de sécurité existent au niveau hardware des serveurs eux-mêmes (double alimentation, redondance des disques en RAID, double cartes réseau...) et bien entendu du datacenter (sécurité incendie, alimentation electrique ondulée, générateurs de secours, connexions multi-opérateurs).

L'ensemble des ces dispositifs crée la haute-disponibilité, garante d'un accès permanent à vos sites web favoris.

SD4 sucks : et vos lecteurs virtuels deviennent réels...

Certaines protections de CD vous empêchent de créer un backup et de jouer via un lecteur virtuel. Parmis ces protections on trouve notament Lame ou Safedisc.

Pour passer outre cette protection, une petite application crée par Joseph Cox, l'auteur d'AR Speedup, permet de masquer les lecteurs virtuels créés avec Daemon Tools ou Alcohol.

Pour l'utiliser, téléchargez SD4 Sucks (clin d'oeil à Safedisc v4) puis exécutez le fichier après avoir décompressé l'archive.

Puis cliquez sur l'icône du programme. Une fenêtre apparait :



Après il vous suffit de cliquer sur "Hide virtual drives" avant de lancer votre backup. Un clic sur le même bouton vous permet de revenir à la normale.

Note amusante : lisez le commentaire du développeur. Manifestement, il a créé ce programme sur un coup de tête suite à un énervement nocturne sur un backup récalcitrant. Le readme vaut également son pesant de cacahouètes.

Comme toujours avec Joseph Cox, pas de setup a effectuer, il suffit de jeter le dossier pour supprimer le programme....

Acrobat aussi rapide que notepad ?

Si vous êtes un gros utilisateurs de fichiers PDF, vous n'avez pas manqué de remarquer que le lancement d'Acrobat Reader est particulièrement pénible, jusqu'à 20 secondes pour charger le programme (et ne parlons pas de l'application en version complète).

Ce délai pénible est valable également quand vous exécutez Acrobat en tant que plugin de votre browser favori.

Mais pourquoi est-ce si long ?

En fait, comme toute application Adobe qui se respecte, Acrobat charge au démarrage une volée de plugins qui permettent des dizaines de possibilités liées au format PDF. Oui mais voilà : vous vous voulez juste lire un PDF. Cette foison de possibilités qui se justifie avec Photoshop ou Illustrator n'est pas franchement utile dans Acrobat.

Mais si vous voulez customiser votre Acrobat vous même, bon courage !

Heureusement, un petit programme très malin a été conçu pour vous simplifier cette tâche : AR Speedup.

Il suffit de le lancer après avoir décompacté l'archive (il n'y a même pas de Setup a effectuer), et de suivre les choix proposés.



Un fois ces modifications effectuées, vous démarrerez votre Acrobat (Reader ou Full) entre 4 et 6 secondes. Voilà un tweak qui change la vie...

Un regret ? Besoin d'un plugin ? Pas de problème, AR Speedup vous permet de revenir à la configuration initiale ou de customiser les plugins disponibles.

Bref, un petit utilitaire très malin que tout internaute averti se doit d'avoir dans sa boîte à gants...


Windows XP : naviguer plus vite sur le web

Qiand vous vous connectez à un site web, votre système envoie et reçois des informations avant même de commencer à télécharger les éléments visuels de la page. Ces échanges ont trait à la résolution du nom de domaine en adresse IP effectivement utilisable. Cette information liée au DNS n'intervient que lors de votre première connexion et est stockée dans un cache (le cache DNS) afin que vous n'ayez pas à refaire cette opération à chaque fois que vous vous connectez à votre site favori.

Le cache DNS de windows est efficace, mais vous pouvez améliorer encore ses performances en l'augmentant un petit peu. Vous pouvez le faire très simplement à l'aide des entrées du registre ci-dessous :

Windows Registry Editor Version 5.00
[HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\Dnscache\Parameters]
"CacheHashTableBucketSize"=dword:00000001
"CacheHashTableSize"=dword:00000180
"MaxCacheEntryTtlLimit"=dword:0000fa00
"MaxSOACacheEntryTtlLimit"=dword:0000012d

Pour appliquer ces modifications, créez un nouveau fichier texte avec le bloc-notes et enregistrez le sous cachedns.reg (par exemple, seule l'extension .reg est importante). Copiez dedans le code ci-dessus puis sauvez le fichier. Il vous suffit alors de faire un clic-droit sur le fichier puis de sélectionner "Fusionner".

Macs Intel : ils arrivent !

C'est hier lors de la Mac World Expo de san Francisco que Steve Jobs a annoncé et présenté les premiers mac à processeurs Intel.

A tout seigneur, tout honneur, c'est l'iMac qui ouvre la danse, avec un processeur double cœur, l’Intel Core Duo (Yonah) cadencé à 2 GHz, avec 2 Mo de cache de niveau 2 sur chaque cœur. Il est annoncé 2 à 3 fois plus rapide qu'un iMac G5. Par contre, le design et les caratéristiques (iSight intégrée notamment) restent identiques. Les prix et les surfaces d'écrans restent inchangés.



L'autre révélation, sûrement la plus attendue, fut celle du successeur du Powerbook G4, le MacBook Pro. Il adopte un processeur Intel Duo Core 1,67 GHz ou 1,83 GHz. Il serait ainsi quatre à cinq fois plus rapide que son prédécesseur ! Mais il faut dire que le G4 était plus que vieillissant, l'inadéquation de la puce G5 aux portables ayant été l'un des arguments majeur du switch vers Intel. Concernant le look, malgrès un léger reliftage, il s'agit toujours d'un bon vieux Powerbook, avec toutefois une iSight intégrée. Pour l'obtenir, il va falloir faire preuve d’un peu de patience : le MacBook Pro ne sera disponible que le mois prochain. En espérant qu’Apple tienne ses délais. Les prix sont de 2 149 € ou de 2 699 € selon le modèle.



Comme à son habitude, la marque à la pomme joue habilement de son sens marketing, en arrivant à proposer des produits "plus puissants" pour un prix identique. Dans l'esprit de beaucoup cependant, le passage à la norme Intel aurait plutôt dû jouer en faveur de prix plus abordables. Mais Apple sait très bien que l'attente suscitée par ces nouveaux modèles lui permet d'avoir le beurre... et l'argent du beurre !

Concernant le lourd dossier du portage des applications vers cette nouvelle plateforme, les nouvelles sont plutôt rassurantes. Le système est prêt, les iApps aussi : iLife ’06 et iWork ’06 tournent aussi bien sur un iMac G5 qu’un iMac Intel : elles sont universelles. Quark fournit d’ores et déjà une bêta de son Xpress codée en universal binaries. Les applications Pro d’Apple, Final Cut Pro, Aperture, par exemple, seront prêtes en mars. Quant aux autres applications, l’Office de Microsoft, le Photoshop d’Adobe, par exemple, Steve Jobs s’est voulu rassurant : en attendant les prochaines versions, elles tourneront sans problème grâce à Rosetta. Mais de toute façon, les machines présentées n'ont pas vocation à être utilisée en production professionnelle.