Zaloha webu offline

Doporučujeme všem přečíst!
Uživatelský avatar
dracekvo
VIP
Příspěvky: 3607
Registrován: 06.02.2012 18:05

Re: Zaloha webu offline

Příspěvek od dracekvo »

Bych se musel podívat na strukturu databáze phpBB, ale určitě by šlo udělat php scritp, který by automaticky vyplivnul pouze určíté sekce. Ale divil bych se, kdyby už něco takového neexistovalo.
prvak
Příspěvky: 85
Registrován: 17.09.2012 15:16
Pohlaví: muž

Re: Zaloha webu offline

Příspěvek od prvak »

No kedze zatial nik nevymyslel lepsie pustam na dnes znova teleport zaciatok 23:00 koniec asi cca 4 hodiny za spomalenie stranky sa ospravedlnujem

takze to rusim
Naposledy upravil(a) prvak dne 12.12.2012 17:08, celkem upraveno 1 x.
Uživatelský avatar
Karlos
Rozpadlík
Příspěvky: 4681
Registrován: 21.12.2010 19:31
Bydliště: Velká Morava

Re: Zaloha webu offline

Příspěvek od Karlos »

Dohodli jsme se že žádné offline zálohy tvořit nebudeme. Pravidelní návštěvníci si užitečné informace ukládají průběžně a dle svého systému (strukturování).

Důvodem je hlavně nemožnost 100% vyloučení případné chyby, či opomenutí a zpřístupnění vláken která nejsou určena veřejnosti (interní moderátorská, vlákna stran srazů atd.)

Kdo si touží OBČAS stáhnout celé fórum činí tak již nyní ALE zároveň bych chtěl upozornit že pokud se zálohování stane nešvarem s dopadem na dostupnost serveru tak budeme bez milosti banovat.
Uživatelský avatar
dracekvo
VIP
Příspěvky: 3607
Registrován: 06.02.2012 18:05

Re: Zaloha webu offline

Příspěvek od dracekvo »

Tak by alespoň stálo za to udělat vlákno se zálohama.
Když už si teda někdo dá tu práci a stáhne celé forum, tak by to mohl dát k dispozici ostatním. Když to bude dělat každý sám za sebe, tak to server určitě pozná.
Uživatelský avatar
Karlos
Rozpadlík
Příspěvky: 4681
Registrován: 21.12.2010 19:31
Bydliště: Velká Morava

Re: Zaloha webu offline

Příspěvek od Karlos »

Tak prvak to daval na uloz.to... a to vlakno muze byt toto vlakno ;)
Aldurn
Příspěvky: 54
Registrován: 09.12.2012 17:55
Pohlaví: muž
Bydliště: near Brno

Re: Zaloha webu offline

Příspěvek od Aldurn »

Udělal jsem si zálohu webu ze dne 29.5.2013 pro případ, že nebudou funkční tyto stránky.

Velikost po rozbalení je 1,9GB (součástí nejsou obrázky). Stačí to otevřít programem např. winrar a extrahovat. Pak kliknout na index.html.

http://uloz.to/xfRWbi51/rozpad-rar
Uživatelský avatar
Fenring
Příspěvky: 135
Registrován: 14.01.2012 11:33

Re: Zaloha webu offline

Příspěvek od Fenring »

Díky :twisted:
tururu
Příspěvky: 30
Registrován: 05.05.2013 0:37
Bydliště: východ Středních Čech

Re: Zaloha webu offline

Příspěvek od tururu »

Zdravím,
nechystá se někdo opět udělat zálohu?
Uživatelský avatar
Fenring
Příspěvky: 135
Registrován: 14.01.2012 11:33

Re: Zaloha webu offline

Příspěvek od Fenring »

Vzhledem k možnosti výpadku by byla super zase nějaká záloha, nechtěl by se toho někdo ujmout?
Uživatelský avatar
Karlos
Rozpadlík
Příspěvky: 4681
Registrován: 21.12.2010 19:31
Bydliště: Velká Morava

Re: Zaloha webu offline

Příspěvek od Karlos »

Lidé bděte... ehm neblbněte, pořád s těma offline zálohama... víte kolik je to zbytečně přenesených desítek GB ?

Ale Ok domluvme se takto:

Pokud už si někdo udělá offline tak ať to zazipuje a hodí někam na uložto s odkazem do tohoto vlákna. Ostatní nechť si to stáhnou odtamtud. Také ten kdo stahuje nechť laskavě nastaví nějakou rozumnou rychlost stahování... jinak budeme banovat.

Podle mě je však nejlepší tvořit si samostatnou knihovnu/databázi užitečných informací a tyto průběžně doplňovat tak jak na ně člověk naráží... takové to "dnes jsem se zaregistroval na Rozpadu a cítím nutkavou potřebu ho celý okamžitě stáhnout protože již zítra tam být nemusí"... ano nemusí ale věřte mi že v tomhle případě vám to stejně moc nepomůže (aneb informace je potřeba vstřebávat průběžně, kdo si myslí že začne vše studovat až v PA, že na to bude mít čas v časech zlých, či dlouhých zimních večerů, je naivní...)
Uživatelský avatar
sigmark
VIP
Příspěvky: 3349
Registrován: 14.08.2012 20:43

Re: Zaloha webu offline

Příspěvek od sigmark »

posilam si zajimava vlakna do kindla...je to na jedno kliknuti
Jenda
Příspěvky: 288
Registrován: 24.12.2013 9:46
Bydliště: JO70FB
Kontaktovat uživatele:

Re: Zaloha webu offline

Příspěvek od Jenda »

Karlos píše:...
Stahovat fórum jako vygenerované HTML je samozřejmě nesmysl, je to zátěž jak na výpočetní prostředky serveru, tak na linku. My to na jednom webu řešíme tak, že publikujeme dumpy databáze (samozřejmě bez tabulek se soukromými zprávami a údaji uživatelů). Co jsem se koukal, tak něco, co vypadá jako SQL dump Rozpadu z dubna 2013, má za-bzip-ované jenom 24 MB včetně některých zbytečností. Nebyla by toto schůdnější možnost?

Jinak k výpadku tento týden - dělám linuxového admina a rád vám s něčím pomůžu, kdyby bylo potřeba. Můžete mě kontaktovat.
Uživatelský avatar
Karlos
Rozpadlík
Příspěvky: 4681
Registrován: 21.12.2010 19:31
Bydliště: Velká Morava

Re: Zaloha webu offline

Příspěvek od Karlos »

Jenda: díky za nabídku, pokud bude potřeba rád se ozvu...

Co se týče toho dumpu tak se obávám že ten obyčejným uživatelům bude k ničemu, ne každý si s tím poradí. Naopak vzájemně provázané HTML dokumenty jsou použitelné i pro laika (samozřejmě za cenu velké redundance dat).

Ale jak jsem psal výše, osobně nepovažuji veřejné offline zálohy za prioritu... upřednostňujeme průběžné čitatele, lidi kteří sem chodí denně, ti si zajímavé věci vycucávají a archivují průběžně...
GOD
VIP
Příspěvky: 712
Registrován: 09.05.2012 11:18

Re: Zaloha webu offline

Příspěvek od GOD »

Oživil by som záujem o zálohovanie fóra rozumnou cestou.

v prípade realizácie by sa dala spraviť aplikácia na sťahovanie aktualizácii?
Informácia je v časopriestore.
Uživatelský avatar
bacil
Příspěvky: 2913
Registrován: 29.10.2013 15:56

Re: Zaloha webu offline

Příspěvek od bacil »

Záloha je tady, v dohledné době by to mělo udělat celý web.

https://web.archive.org/web/20200225211 ... rozpad.cz/
Levná dezinfekce: viewtopic.php?p=217870#p217870
Ozon 2,5ppm/30min: https://rozpad.cz/viewtopic.php?p=216273#p216273
UVC 60J/m2, peroxid 1 minuta 0,5-6% roušky, 0,5% na všechno
hachimaki
Příspěvky: 53
Registrován: 12.11.2012 20:38

Re: Zaloha webu offline

Příspěvek od hachimaki »

bacile, a jak si to mam prosimte stahnout a prohlizet doma? Google jsem už použil ale nepomohl mi.
Uživatelský avatar
mahroch
Příspěvky: 124
Registrován: 20.12.2012 23:52

Re: Zaloha webu offline

Příspěvek od mahroch »

pridavam se sem se stejnym dotazem ...dik.
Neříkej, že to nejde, raději řekni, že to zatím neumíš.
Uživatelský avatar
bacil
Příspěvky: 2913
Registrován: 29.10.2013 15:56

Re: Zaloha webu offline

Příspěvek od bacil »

To je online záloha na archive.org. Ten to dělá průběžně a zálohuje tak celý internet (skoro, někdy se mu musí říct aby web zálohoval). Dají se tím taky najít různé verze jednoho článku, jak podléhal změnám v čase. Existuje na to plugin do prohlížeče (pozor - berte jen ten od společnosti Internet Archive).

Pokud si chcete zálohovat net sami, je na to asi nejlepší nástroj Offline explorer - chová se jako prohlížeč, takže stáhne i weby, které přes nějaké stahovadla nejdou stáhnout. Taky to ale není stoprocentní, pokud je nějaká logika na webserveru, tak tu samozřejmě neumí okopírovat.
Levná dezinfekce: viewtopic.php?p=217870#p217870
Ozon 2,5ppm/30min: https://rozpad.cz/viewtopic.php?p=216273#p216273
UVC 60J/m2, peroxid 1 minuta 0,5-6% roušky, 0,5% na všechno
dr78
Příspěvky: 294
Registrován: 13.01.2016 19:14
Pohlaví: muž
Bydliště: Středočeský kraj

Re: Zaloha webu offline

Příspěvek od dr78 »

Ahoj Rozpadlíci,

už jsem několikrát uvažoval, že by bylo mít fajn offline kopii dat z rozpad.cz. Nepředpokládám výpadky služby, ale už se stalo, že jsem byl bez připojení a offline verze by se mi hodila. :angel Rozhodl jsem se tedy vytvořit aplikaci, která se o plnou offline verzi postará. Zatím jsem ji řešil jen pro svoji soukromou potřebu, a asi v ní není úplně vše doladěné. Tímto příspěvkem bych se s vámi podělil o výsledný produkt a to výměnou za otestování a případné náměty co vylepšit. Zatím nechci offline verzi příliš šířit, kdo by měl zájem se podílet na testování, nechť se mi ozve přes SZ a pošlu odkazy na stažení .zip archívu offline stránek. Na aplikaci jsem dělal nakonec dva měsíce po večerech. Prioritou bylo udělat návrh co nejšetrnější k online verzi tedy, aby se minimalizoval počet požadavků a množství stažených dat. A taky bych nerad dostal ban na účet... ;) Karlos v pár příspěvcích výše psal, že v zásadě problém se stažením nemá, jen se to musí udělat s rozumem a případně omezit rychlost.Tedy obrázky se stáhují jen jednou, tedy už nikdy více se nemusejí stahovat z online zdroje a u topiců se načítají poslední 3 stránky zpět a pak jen to, co je nové. Níže seznam features:

- stahují se všechny obrázky (tedy i ty z externích zdrojů), některé ty externí už ani nejsou dostupné (např. plno obrázků z Facebooku, apod.) Pokud budu dělat sync pravidelně, bude záruka, že časem offline verze bude mít i obrázky, které v online už nebudou (neřešil jsem copyrighty obrázků, prostě je v archívu i to, co leží na jiných webech).
- opravují se odkazy na některé adresy, co uživatel špatně zadal - např zapomněl před link dát http(s)://
- opravují se odkazy, které po migraci rozpad.cz nebyly funkční (dříve byly příspěvky a obrázky pod http://rozpad.cz/forums/viewtopic... a po migraci adresář /forums/ zmizel.
- vytváří se .zip archív pro celý rozpad.cz (cca 7.5GB) a pak separátně .zip pro každé fórum (nejvíc "Zbraně střelné" mají 2GB, "Off Topic a zábava" 1GB, "Burza - Archiv" 1GB, další mají už jen desítky či stovky MB)
- eleminace všech javascript knihoven
- stahování Avatarů
- inteligetní uložení obrázků (některé stejné obrázky jsou na fóru vícekrát, avšak v offline verzi jen jednou)
- v případě nedostupnosti obrázku nebo špatného odkazu u postu se zařadí na frontu opětovné kontroly (třeba bude někdy zase dostupný)
- použití stejných stylů a vzhledu jako má online verze (jsou však drobné změny jako např. počet zobrazení nemá smysl mít v offline verzi)
- není stránkování pro topic, tedy všechny posty jsou v jednom topicu (u některých topiců to znamená dlouhý load stránky, avšak aplikačně je to tak jednoduší, lépe se dělají linky na citace předchozích postů)
- nerozlišují se typy uživatelů, takže v offline verzi je Administrátor označen stejně jako nováček.
- nestahují se fóra Koš a Klubovny

Možné nedořešené věci:
- možná není dobrý nápad stahovat i nejnovější příspěvky, protože je admini občas smažou, a mne v DB pak zůstanou nebo autor příspěvku je může po pár minutách smazat, a mne v DB taky zůstane. Editace je OK,
protože sync bych dělal 1x týdně, a tam se načte nová verze.
- nejsem si jist, jestli je úplně šťastné řešení nedělat stránkování pro výpis topicu (ikdyž jsem pro to měl důvod)
- má smysl achivovat i detaily o autorovi příspěvku? Beru jen uživatelské jméno a avatara.
- stačí sync dat 1x týdně a export dat 1x měsičně?
- má smysl řešit offline verze pro některá fóra jako např. Bazar?
dr78
Příspěvky: 294
Registrován: 13.01.2016 19:14
Pohlaví: muž
Bydliště: Středočeský kraj

Re: Zaloha webu offline

Příspěvek od dr78 »

Ahoj,
na základě korespondence přes SZ jen doplňuji, že jsem se, ve výše odeslaném postu, možná nejasně vyjádřil. Nejedná o testování samotné aplikace, ale jen už výsledného produktu, tedy vygenerovaných stránek - resp. .zip souboru s vygenerovaným statickým obsahem. Jde mi primárně o to, jestli je ve stránkách vše, co by kdo chtěl od offline verze a jestli někde nechybí odkazy, apod.
Odpovědět