Usenet 4 dummies

Door Cruz op vrijdag 22 mei 2009 12:07 - Reacties (23)
Categorie: URD, Views: 9.391

Na het plaatsen van de eerste blogpost ontdekte ik al meteen een bugje die ervoor zorgde dat de lettergrootte van reacties niet in te stellen is via CSS beheer. Crisp heeft het inmiddels gefixt dus \o/ het ziet er weer wat beter uit nu. Blijkbaar ben ik de eerste die de reactie lettergrootte heb gewijzigd :D

Maar genoeg over de vorige post, nu is het tijd voor... Usenet voor dummies!
Introductie
Usenet is een internetdienst waarmee gebruikers elkaar berichten kunnen sturen, een soort kruising tussen email en een forum. Dat was in ieder geval de oorspronkelijke opzet ;)

Om het overzichtelijk te houden is er een onderverdeling gemaakt. Zoals je bij tweakers.net een forum hebt voor hardware zaken en een forum voor software zaken heb je bij usenet zogenaamde 'nieuwsgroepen'. Een aantal voorbeelden hiervan:
  • misc.sci.chem
  • comp.lang.c
  • alt.binaries.pictures.wallpaper
Hiervoor geldt dat alle nieuwsgroepen die met 'alt.' beginnen, over het algemeen niet worden gemodereerd door iemand die bepaalt wat wel en niet gepost mag worden.

Omdat het een supercomputer en een enorme internetverbinding vereist als alle eindgebruikers op 1 systeem hun berichten plaatsen, maakt het usenet gebruik van een heleboel servers. Deze worden nieuwsservers genoemd.
Om te illustreren hoe dat werkt heb ik een tekeningetje gemaakt:

http://www.urdland.com/images/usenet.png

Hierbij zijn er 4 nieuwsservers (1,2,3,4) en de rode blokjes zijn eindgebruikers die via een usenet client berichten plaatsen in bijvoorbeeld comp.lang.c.
  • Een gebruiker die op server 3 is aangesloten stuurt een bericht naar comp.lang.c
  • Server 3 stuurt dit bericht door naar servers 1 en 4, die het allebei doorsturen naar server 2
  • Een gebruiker die op server 4 is aangesloten vraagt de nieuwe berichten van comp.lang.c op
  • Server 4 stuurt het zojuist geplaatste bericht naar de eindgebruiker
De berichten (voor usenet wordt de benaming "artikelen" gebruikt) worden zo dus voor iedereen beschikbaar gemaakt. Feitelijk is het een variant op email waarbij je het niet naar een eindgebruiker stuurt maar naar een centrale database waar iedereen toegang toe heeft. Als gebruiker heb je een usenet-client en daarin abonneer je jezelf op een aantal nieuwsgroepen die je interessant vindt. Vervolgens haalt jouw client de artikelen op van de nieuwsserver waar je toegang tot hebt.

In eerste instantie vraagt de client alleen de headers van de berichten op, dus de naam van de persoon die het heeft gepost, het onderwerp etc. De inhoud van de berichten wordt pas gedownload als je dat handmatig bevestigd, dit om verspilling van bandbreedte te voorkomen.
Retentie
Omdat een usenet-server maar een beperkte capaciteit heeft, worden oude artikelen na verloop van tijd weggegooid. De tijd waarover artikelen beschikbaar zijn voor eindgebruikers wordt de retentietijd genoemd. Met een langere retentietijd, of ook wel gezegd met een grotere retentie, is er meer informatie beschikbaar.
Binaire data
Usenet was dus bedoeld om tekstberichten uit te wisselen. Maar het zou natuurlijk ook handig zijn als je soms een (binair) bestand kan versturen, bijvoorbeeld een C-programma in plaats van alleen broncode. Usenet ondersteunt echter alleen 7-bit US ASCII karakters (dus alleen normale leestekens). Om dit toch mogelijk te maken hebben mensen wat trucs bedacht. Door de binaire data om te zetten in leesbare tekst, en er een soort label voor te zetten, kan toch binaire data geplaatst worden. Hiervoor zijn verschillende functies geschikt, zoals UUencoding, Base64 encoding en yENC, waarvan de laatste het meest efficient is.

Een ander probleem is dat een deel van de usenet servers een limiet aan de grootte van een artikel hanteren: naast het omzetten van binaire data naar tekst moet die tekst ook worden opgesplitst in meerdere artikelen. Dit is weergegeven in onderstaand plaatje.

Je begint met binaire data, dat wordt omgezet in leesbare tekst, en opgesplitst in stukken die in 1 artikel passen.

http://www.urdland.com/images/usenet2.png

De ontvanger van die artikelen volgt het omgekeerde proces om tot de oorspronkelijke data te komen.
Robuustheid
Helaas komt het wel eens voor dat bepaalde artikelen verdwijnen bij het synchroniseren tussen verschillende usenet-servers. Als het niet al te veel moeite is kan de originele poster een zogenaamde 'repost' doen waarbij hij hetzelfde bestand nogmaals plaatst. Maar voor grote bestanden is dat natuurlijk niet praktisch. Daarom wordt er gebruik gemaakt van Par2 (Par1 werd oorspronkelijk gebruikt maar is vervangen door het veel beter werkende Par2).

Dit is een algoritme dat informatie over de te versturen data in een aantal par2-bestanden plaatst. Als nu enkele artikelen zijn weggevallen kunnen de par2-bestanden worden gebruikt om de verloren informatie terug te halen.
Bestanden downloaden
Stel, iemand heeft 1G aan data geplaatst in een nieuwsgroep. Die data bestaat uit 100 bestanden, 90 rar-bestanden van 10MB plus 10 Par2 bestanden van 10MB. Deze staan verspreid over zo'n 4000 artikelen, maar gelukkig brengen de meeste usenet-clients dit weer terug tot 100 berichten. Elk bericht heeft een onderwerp dat bestaat uit de bestandsnaam van de artikelen die erin zijn samengevat.

Handmatig downloaden van die 100 berichten is een kwestie van selecteren en op downloaden klikken. Maar stel dat je een bestand wil hebben waarvan je weet dat het in een nieuwsgroep staat waar je niet op geabonneerd bent, en die zo groot is dat alleen het downloaden van de headers al een halve dag gaat duren. Dan zou het handig zijn als je precies wist welke artikelen je van de nieuwsserver op moet vragen.

Om dat probleem te tackelen is het .nzb bestandsformaat opgezet. In een NZB bestand staat een verzameling van artikel-identifiers die vervolgens direct vanaf de nieuwsserver gedownload kunnen worden.

Het is dan niet nodig om je te abonneren op een nieuwsgroep, en alle headers op te halen maar gewoon 'klik' en 'download'. Deze NZB bestanden zijn daarom erg populair. Je kan het vergelijken met een .torrent bestand: er staan verwijzingen in waar informatie te verkrijgen is.
Usenet-clients
Er zijn een boel verschillende usenet-clients, de belangrijkste verschillen zijn:
  • Het besturingssysteem waarvoor ze geschikt zijn
  • Ondersteuning voor tekstberichten
  • Ondersteuning voor binaire bestanden
  • Automatisch uitpakken/repareren van binaire bestanden
  • Command-line, Grafische client en/of via een webinterface
URD, waaraan ik dus knutsel, is voor linux, werkt via een webinterface en kan alles met binaire bestanden :)

PS: Mocht er iets niet kloppen, lemme know en ik fix het!

Volgende: Apache Speedup 05-'09 Apache Speedup
Volgende: My First Blogpost 05-'09 My First Blogpost

Reacties


Door Tweakers user himlims_, vrijdag 22 mei 2009 12:43

mooi iduidelijk schrijven, en goeie promo voor je client tool.

Door Tweakers user BennyU, vrijdag 22 mei 2009 12:55

Hartstikke goeie blogpost man! En dat voor een 2e keer ;)
Ik ben me al een tijdje aan het oriŽnteren op Usenet ... om te kijken of ik er persoonlijk echt veel beter van wordt dan met torrents. Dit artikel heeft mijn kennis daarbij aangevuld op sommige punten. Voorlopig ben ik nog niet voornemens om 7 euro per maand (betaalde newsserver met langere retentie) te gaan betalen voor wat sneller te kunnen downloaden. Maar misschien dat dit in de toekomst ook wel voor mij lonend is. Mijn twijfels komen vooral aangezien ik bij UPC zit, en die punt 1) geen relaxte BIN-server hebben 2) op news.upc.nl is het huilen met de pet op, virussen zijn zo'n beetje de enige binairies die je via hun binnen haalt en het derde punt werd vandaag nog eens bevestigd door DIT artikel waarin duidelijk wordt dat UPC geen prioriteit geeft aan Usenet.

Door Tweakers user ronaldlokers, vrijdag 22 mei 2009 13:16

Hoe vergelijkt URD zich met SABnzbd+ qua functionaliteit?

Door Dennis, vrijdag 22 mei 2009 13:25

Ja zou ik ook graag willen weten, ziet er wel netjes uit :)

Door Tweakers user 4ourty2, vrijdag 22 mei 2009 13:27

Interessant. Wat ik helaas niet kan vinden op de site. Kan hij rss feeds lezen. voorbeeld feed
Indien dat mogelijk is wil ik er naar kijken als vervanger van SAB.

Door Tweakers user Cruz, vrijdag 22 mei 2009 13:42

quote: ronaldlokers
Hoe vergelijkt URD zich met SABnzbd+ qua functionaliteit?
1) URD is alleen voor linux/freebsd geschikt, niet voor Windows, Mac is nog niet supported

2) URD legt de nadruk op zelf indexeren van nieuwsgroepen, en van daaruit bestanden aanbieden aan de gebruiker. Sabnzbd+ indexeert zelf niet en dan ben je afhankelijk van andere websites zoals newzbin.

Dat zijn de 2 belangrijkste verschillen. Daarnaast is URD in PHP geschreven en Sabnzbd in python enzo :)

RSS feeds automatisch importeren is (nog) geen feature maar daar kunnen we natuurlijk wel naar kijken, ziet er niet erg ingewikkeld uit.

[Reactie gewijzigd op vrijdag 22 mei 2009 13:44]


Door Tweakers user lasharor, vrijdag 22 mei 2009 15:12

Netjes,

Als je nou ook nog een vervolg maakt hoe je makkelijk kan downloadne dan is het helemaal af.

Ik blijf namelijk nog bij de torrents todat ik dat hele NZB gedoe eens doorheb. Snap er namelijk niets van.

Door Tweakers user ViperNL, vrijdag 22 mei 2009 15:50

Das mooi, want hoe bekender en makkelijker downloaden van newsgroups wordt, hoe eerder het wordt verboten. :)
Ik snap niet waarom iedereen mensen aan de newsgroups wil hebben, laat ze lekker bij de torrents..

Door Tweakers user Cruz, vrijdag 22 mei 2009 16:02

quote: ViperNL84
Ik snap niet waarom iedereen mensen aan de newsgroups wil hebben, laat ze lekker bij de torrents..
Voorlopig is de algemene uitleg van de auteurswet dat het is toegestaan om voor thuisgebruik muziek en films te downloaden. Uploaden is echter niet toegestaan. Usenet verbieden zal daarom niet snel gebeuren, omdat je daarbij alleen download.

Torrents hebben wel als nadeel dat je upload, en als eindgebruiker ben je daarmee strafbaar.

Dus mensen van torrents naar usenet overhalen is een vorm van misdaadbestrijding :)

[Reactie gewijzigd op vrijdag 22 mei 2009 16:03]


Door Tweakers user SilentSimon, vrijdag 22 mei 2009 16:23

Als je eenmaal usenet gebruikt wil je niet meer anders :) Ik snap mensen dan ook nooit die maar lekker bij Torrents blijven waarbij je maar moet hopen dat het een beetje snel download. Bij usenet download je iig zo snel dat je verbinding toestaat.

Door Tweakers user ViperNL, vrijdag 22 mei 2009 17:09

Voorlopig is de algemene uitleg van de auteurswet dat het is toegestaan om voor thuisgebruik muziek en films te downloaden. Uploaden is echter niet toegestaan. Usenet verbieden zal daarom niet snel gebeuren, omdat je daarbij alleen download.

Torrents hebben wel als nadeel dat je upload, en als eindgebruiker ben je daarmee strafbaar.

Dus mensen van torrents naar usenet overhalen is een vorm van misdaadbestrijding :)
Met p2p dachten ze ook veilig te zijn. En torrents hetzelfde. Ben benieuwd hoe lang het nog duurt tot we terug zijn bij obscure websites/ftp's en IRC..

Door Tweakers user Gojira, vrijdag 22 mei 2009 21:32

Mooie blogpost, erg handig voor de usenet leek. Had je dit een week of twee eerder gepost, dan had ik er nog iets aan gehad. :-) Nu heb ik me al ingelezen op het gebied van usenet en maak ik dankbaar gebruik van nieuwsgroepen. Ik heb nog nooit te maken gehad met zo'n complete, robuuste, stabiele bron voor informatie en binaries! :D

@Lasharor: NZB'tjes zijn niets meer dan op XML gebaseerde bestanden met daarin verwijzingen naar de artikelen die jij binnen moet halen. Elk bericht op usenet heeft een message-ID en grote bestanden worden op Usenet bijna altijd, zo niet altijd, in meerdere artikelen (en vaak in meerdere delen van een .RAR) gesplitst. De NZB verwijst jouw usenet client dus naar al deze artikelen.

Als ik nog niet duidelijk genoeg ben, dan kun je een kijkje nemen op en.wikipedia.org. Daarnaast is Binaries4All een zťťr goede bron van informatie op het gebied van nieuwsgroepen.

@Cruz: Edit. My bad, je hebt gelijk. Het is alleen zo ontzettend scheef dat copyrighted materiaal binnenhalen via Usenet wel legaal is en copyrighted materiaal binnen halen via torrents weer niet, om het simpele feit dat het onmogelijk is om iets op Usenet volledig te verwijderen.

@Escovan: Spijtig dat UPC usenet afknijpt tot een uur of 23:00 's avonds. Maar dat kan helaas ook niet anders als je 120Mbit aan gaat bieden, dit hadden ze eerlijk gezegd aan kunnen zien komen! ;)

[Reactie gewijzigd op zaterdag 23 mei 2009 03:40]


Door Tweakers user Magnetra, vrijdag 22 mei 2009 22:43

Vergeet niet de gratis usenetservers met binares over IPv6 _/-\o_ .

Door Tweakers user marcieking, vrijdag 22 mei 2009 23:36

Stel, iemand heeft een bestand van 1G geplaatst in een nieuwsgroep. Dat bestand is opgesplitst in 100 bestanden, 90 rar-bestanden van 10MB plus 10 Par2 bestanden van 10MB.
Ik denk dat je 100 RAR-bestanden van 10MB bedoelt: 90 RARs van 10 MB geeft 900MB. Dan heb je de 100MB aan Par2-bestanden alleen al nodig om het bestand te reconstrueren als alles compleet is overgekomen.

Door Tweakers user Cruz, vrijdag 22 mei 2009 23:57

Bedankt, heb de tekst herschreven om het duidelijker te maken :)

en @ Mike Post, no offence taken, want ik heb toch wel gelijk ;)

Door Tweakers user YopY, zaterdag 23 mei 2009 01:36

Goeie post, nieuwsgroepen zijn nu een stuk duidelijker voor me. Ik vind zelf torrents nog steeds beter - ik heb geen klachten of problemen met de downloadsnelheid, het is gratis, en je deelt ook met anderen - maar nieuwsgroepen lijken wel het grootste alternatief op dit moment.

Ik vraag me trouwens af - en misschien kun je hier een volgende post aan wijden - waarom nieuwsgroepen niet illegaal zijn. Ik bedoel, het staat op een centrale server, en het is in eerdere rechtspraken al gezegd dat een beheerder en/of eigenaar van een server of forum (wat nieuwsgroepen op zich zijn voor zover ik begrepen heb) verantwoordelijk is voor de inhoud van zijn site.

Ik heb echter nog nooit nieuws gezien over een aanklacht voor - bijvoorbeeld - nieuwsservers. Wel over nieuwsgroepenclients en NZB-sites, maar niet over de nieuwsgroepen zelf. Is dat een maas in de wet of gewoon nooit aangekaart?

Door Tweakers user Gojira, zaterdag 23 mei 2009 03:42

@YopY: Ik vroeg mij dus ook af waarom dat het legaal is, en dacht van te voren dat dat niet zo was. Ik las het volgende artikel op Wikipedia en werd hier een stuk wijzer door: Usenet#Legal_Issues.

Overigens gaat het argument over de downloadsnelheid voor mij niet op. Die van nieuwsgroepen is juist vreselijk stabiel, waarbij je bij torrents afhankelijk bent van het aantal seeders en ratio seeders:leechers. :)

Door Tweakers user BennyU, zaterdag 23 mei 2009 06:47

Nou, ik ben dus vannacht helemaal enthousiast geworden over dat UseNet, heb er nu al zoveel over gelezen dat ik het wel aandurfde. Ik heb mezelf een reader genomen die ondersteuning biedt voor NZB's, automatisch unrarren, weetikveelallemaal: News Rover heet ie, zeer makkelijke reader. Volgende stap was een server natuurlijk, want ik zit zoals gezegd bij UPC en gratis bin-servers die bestaan gewoon nauwelijks en zijn meestal prut. Ik wou ook niet meteen aan een abo zitten dus ik heb voor 1 euro 1 etmaal ingekocht op SMSUseNet met een piek snelheid van 5Mbit maar een dal snelheid van 20Mbit, daar ik maar 16Mbit heb is dit meer dan voldoende. Ik heb vervolgens de reader ingesteld met de gegevens van SMSUsenet en ja, ik kwam er meteen in en het ding begon alle groepen te downloaden. Dat waren er nogal wat. Vervolgens heb ik een half uur lopen prutsen om handmatig iets proberen te vinden, maar dat is gewoon tijdrovend en slecht te doen. Dus ik naar BinSearch gegaan en gezocht op een film die net in de bioscoop draait. In notime gevonden, klik NZB-bestandje van krijgen, automatisch openen met News Rover, plop plop en WHAM hij's nu volcontinu met me maximale snelheid aan het downloaden. Damn wat gaat dat veel rapper als torrent zeg..
Trafficshaping bij UPC? Nou, op dit moment merk ik er niets van. Ik heb niet eens SSL o.i.d gebruikt. Ik haal rustig 1900-2000KB/s die film is zo binnen. Echt WOUW.

Waarom plemp ik deze ervaring in je blog? Misschien dat je inspiratie krijgt om delen van het verhaal in deel 2 van Usenet 4 Dummies op te nemen?
Misschien omdat ik nu even wil duidelijk maken dat iedereen die nog twijfelt: Het is zeker de moeite waard en als je het foefje door hebt is het net zo simpel als torrent in principe.

Whatever, ik ben een gelukkig mens. UseNet FTW ! :)

[Reactie gewijzigd op zaterdag 23 mei 2009 07:49]


Door Tweakers user BreezahBoy, zondag 24 mei 2009 22:35

usenet is helemaal niet bedoeld voor binaire bestanden, dat maken jullie er maar van. usenet is bedoeld voor discussies in tekst. dankzij de binarie bestanden verloedering van usenet heeft het feitelijk geen bestaansrecht meer. opdoeken die handel, weblogs/forums hebben de discussiefunctionaliteit grotendeels overgenomen.

Door Think, dinsdag 26 mei 2009 10:07

@BreezahBoy, ben ik het niet mee eens binaries hebben altijd al een belangrijke plaats ingenomen in nieuwsgroepen. De omkomst van het internet heeft een deel van het bestaanrecht weggenomen niet de binaire bestanden; die zorgen er nu juist voor dat usenet weer een revival krijgt.

Mbt de tool; er zijn een heleboel tools; zowel gratis als betaalde; http://www.eweka.nl, http://www.usenext.nl zijn bv voorbeelden van betaalde servers bij de gratis tools schort het meestal aan de gebruiksvriendelijkheid; ik denk dat de kracht van een dergelijke tool in het feit moet zitten dat echt iedereen ermee overweg moet kunnen.

Nog wat tips voor meer informatie: http://www.binaries4all.nl, http://www.usenet.nl, http://www.disweb.nl

Door spearhead, dinsdag 18 augustus 2009 23:22

@UlyssesNL

Urd (v1.0.0) ondersteund nu ook RSS feeds!

Door andrea, maandag 3 juni 2013 14:13

http://findnzb.net/ - usenet Nzb zoekmachine

Door matt, maandag 3 juni 2013 14:15

http://nzbid.org/ - Newznab indexer Nzb zoeken
http://nzbfriends.com/ - Nzb zoekmachine

Reageren is niet meer mogelijk