Wayback Machine - Wayback Machine

Wayback Machine
Stylizovaný text říká: „INTERNETOVÝ ARCHIV WAYBACK MACHINE“.  Text je černý, kromě „WAYBACK“, který je červený.
Typ webu
Archiv
Obsluhovaná oblast Celosvětově ( kromě Číny a Bahrajnu )
Majitel Internetový archiv
URL web .archive .org Upravte to na Wikidata
Registrace Volitelný
Spuštěno 12. května 1996 ; Před 25 lety (soukromé) 24. října 2001 ; Před 19 lety (veřejné) ( 1996-05-12 )
 ( 2001-10-24 )
Aktuální stav Aktivní
Napsáno Java , Python

Wayback Machine je digitální archiv na World Wide Web . Byl založen Internetovým archivem , neziskovou knihovnou se sídlem v San Francisku v Kalifornii . Vytvořeno v roce 1996 a spuštěno pro veřejnost v roce 2001, umožňuje uživateli vrátit se „v čase“ a podívat se, jak webové stránky vypadaly v minulosti. Jeho zakladatelé, Brewster Kahle a Bruce Gilliat , vyvinuli stroj Wayback Machine tak, aby poskytoval „univerzální přístup ke všem znalostem“ zachováním archivovaných kopií zaniklých webových stránek.

Od svého vzniku v roce 1996 bylo do archivu přidáno přes 613 miliard stránek. Tato služba také vyvolala polemiku ohledně toho, zda vytváření archivovaných stránek bez svolení vlastníka představuje v určitých jurisdikcích porušení autorských práv .

Dějiny

Wayback Machine začal archivovat webové stránky v mezipaměti 12. května 1996 s cílem zveřejnit službu o pět let později.

Zakladatelé Internetového archivu Brewster Kahle a Bruce Gilliat spustili v říjnu 2001 Wayback Machine v San Francisku v Kalifornii , primárně za účelem řešení problému mizení obsahu webových stránek, kdykoli se změní nebo když je webová stránka vypnuta. Služba umožňuje uživatelům vidět archivované verze webových stránek v čase, které archiv nazývá „trojrozměrný index“. Kahle a Gilliat vytvořili stroj v naději, že archivují celý internet a poskytnou „univerzální přístup ke všem znalostem“. Název „Wayback Machine“ je odkaz na fiktivní zařízení pro cestování časem a překlad, „ Wayback Machine “, které používají postavy Mister Peabody a Sherman v animovaném kresleném filmu Dobrodružství Rockyho a Bullwinkla a přátel . V jednom ze segmentů karikatury „Pravděpodobná historie Peabodyho“ postavy používaly stroj k vydávání svědectví o slavných událostech v historii a jejich účasti na nich.

Od roku 1996 do roku 2001 byly informace uchovávány na digitální kazetě, přičemž Kahle příležitostně umožňovala výzkumníkům a vědcům proniknout do „neohrabané“ databáze . Když archiv v roce 2001 dosáhl pátého výročí, byl odhalen a otevřen pro veřejnost při ceremoniálu na Kalifornské univerzitě v Berkeley . V době, kdy se Wayback Machine spustil, již obsahoval více než 10 miliard archivovaných stránek. Data jsou uložena ve velkém clusteru uzlů Linux Internetového archivu . Příležitostně reviduje a archivuje nové verze webových stránek (viz technické podrobnosti níže). Stránky lze také zachytit ručně zadáním adresy URL webové stránky do vyhledávacího pole za předpokladu, že webová stránka umožňuje zařízení Wayback Machine jej „procházet“ a ukládat data.

30. října 2020 zahájil stroj Wayback Machine ověřování obsahu.

Technické údaje

Software byl vyvinut pro „procházení“ webu a stahování všech veřejně přístupných informačních a datových souborů na webové stránky, hierarchii Gopher , systém vývěsek Netnews (Usenet) a software ke stažení. Informace shromážděné těmito „prohledávači“ nezahrnují všechny informace dostupné na internetu, protože velká část údajů je omezena vydavatelem nebo uložena v databázích, které nejsou přístupné. Aby se překonaly nesrovnalosti na částečně uložených webech, vytvořil Archive-It.org v roce 2005 Internet Archive jako prostředek, který umožňuje institucím a tvůrcům obsahu dobrovolně sbírat a uchovávat sbírky digitálního obsahu a vytvářet digitální archivy.

Procházení je podporováno z různých zdrojů, některé jsou importovány od třetích stran a jiné generovány interně archivem. K procházení přispívají například Sloan Foundation a Alexa , procházení provozované IA jménem NARA a Internet Memory Foundation , zrcadlení Common Crawl . „Celosvětové procházení webu“ běží od roku 2010 a zachycuje globální web.

Frekvence zachycení snímků se u jednotlivých webových stránek liší. Webové stránky v „Celosvětových procházeních webu“ jsou zahrnuty do „seznamu procházení“, přičemž stránky jsou archivovány jednou při procházení. Dokončení procházení může trvat měsíce nebo dokonce roky, v závislosti na velikosti. Například „Široké procházení číslo 13“ začalo 9. ledna 2015 a bylo dokončeno 11. července 2016. V jednom okamžiku však může probíhat více procházení a web může být zařazen do více než jednoho seznamu procházení, četnost procházení webu se tedy velmi liší.

V říjnu 2019 jsou uživatelé omezeni na 5 archivních žádostí a výběrů za minutu.

Skladovací kapacita a růst

Jak se technologie v průběhu let vyvíjela, skladovací kapacita stroje Wayback Machine rostla. V roce 2003, po pouhých dvou letech veřejného přístupu, Wayback Machine rostl rychlostí 12 terabajtů/měsíc. Data jsou uložena na regálových systémech PetaBox na míru navržených pracovníky Internetového archivu. První 100TB rack byl plně funkční v červnu 2004, i když brzy se ukázalo, že budou potřebovat mnohem více úložného prostoru.

Internetový archiv v roce 2009 migroval svou přizpůsobenou architekturu úložiště na Sun Open Storage a je hostitelem nového datového centra v Sun Modular Datacenter v kampusu Sun Microsystems v Kalifornii. V roce 2009 Wayback Machine obsahoval přibližně tři petabajty dat a rostl rychlostí 100 terabajtů každý měsíc.

Nová, vylepšená verze stroje Wayback Machine s aktualizovaným rozhraním a čerstvějším indexem archivovaného obsahu byla v roce 2011 zpřístupněna pro veřejné testování, kde se záběry objevují v rozvržení kalendáře s kruhy, jejichž šířka vizualizuje počet procházení každý den, ale žádné označování duplikátů hvězdičkami nebo stránkou pokročilého vyhledávání. Následně byly přidány funkce jako „Změny“, „Shrnutí“ a grafická mapa stránek.

V březnu téhož roku bylo na fóru Wayback Machine řečeno, že „Beta nového Wayback Machine má úplnější a aktuálnější rejstřík všech procházených materiálů do roku 2010 a bude i nadále pravidelně aktualizována. Řízení klasického stroje Wayback má za rok 2008 jen málo materiálu a žádné další aktualizace indexu se neplánují, protože tento rok bude vyřazen. “ Také v roce 2011 nainstaloval Internet Archive svůj šestý pár stojanů PetaBox, což zvýšilo úložnou kapacitu stroje Wayback Machine o 700 terabajtů.

V lednu 2013 společnost oznámila průlomový milník 240 miliard adres URL.

V říjnu 2013 společnost představila funkci „Uložit stránku“, která umožňuje jakémukoli uživateli internetu archivovat obsah adresy URL a rychle vygeneruje trvalý odkaz na rozdíl od předchozí funkce liveweb .

V prosinci 2014 Wayback Machine obsahoval 435 miliard webových stránek - téměř devět petabajtů dat a rostl přibližně 20 terabajty týdně.

V březnu 2015 se vědci v oblasti zabezpečení dozvěděli o hrozbě, kterou služba neúmyslně hostuje škodlivých binárních souborů z archivovaných webů.

V červenci 2016 Wayback Machine údajně obsahoval kolem 15 petabajtů dat.

V září 2018 Wayback Machine obsahoval více než 25 petabajtů dat.

V prosinci 2020 Wayback Machine obsahoval více než 70 petabajtů dat.

Wayback Machine Growth
Wayback Machine podle roku Archivované stránky (miliardy)
2005
40
2008
85
2012
150
2013
373
2014
400
2015
452
2020
514

Od října 2013 do března 2015 se globální pozice Alexa na webu změnila ze 163 na 208. V březnu 2019 byla pozice na 244.

Zásady vyloučení webových stránek

Wayback Machine historicky respektoval standard pro vyloučení robotů (robots.txt) při určování, zda bude web procházen - nebo zda již byl procházen, zda bude jeho archiv veřejně viditelný. Vlastníci webových stránek měli možnost odhlásit se z Wayback Machine pomocí souboru robots.txt. Aplikovalo to pravidla souboru robots.txt zpětně; pokud web zablokoval internetový archiv, všechny dříve archivované stránky z domény byly také okamžitě znepřístupněny. Internetový archiv navíc uvedl, že „Někdy nás bude kontaktovat vlastník webových stránek přímo a požádá nás, abychom přestali procházet nebo archivovat stránky. Těmto požadavkům vyhovíme.“ Web navíc uvádí: „Internetový archiv nemá zájem na zachování nebo nabízení přístupu k webovým stránkám nebo jiným internetovým dokumentům osob, které nechtějí mít své materiály ve sbírce.“

Dne 17. dubna 2017, zprávy se vynořily z míst, která odešel zaniklý a stal se zaparkované domény , které byly pomocí souboru robots.txt vyloučit se z vyhledávačů, což z nich byl neúmyslně vyloučeny z Wayback Machine. Internetový archiv změnil zásadu tak, aby nyní vyžadovala výslovný požadavek na její odstranění z počítače Wayback.

Zásady archivace v Oaklandu

Zásady retroaktivního vyloučení Waybacku jsou částečně založeny na Doporučeních pro správu žádostí o odstranění a zachování integrity archivu vydaných School of Information Management and Systems na University of California, Berkeley v roce 2002, což dává majiteli webových stránek právo zablokovat přístup k archivům webu . Wayback tyto zásady dodržoval, aby se vyhnul nákladným soudním sporům.

Zásady retroaktivního vyloučení Waybacku se začaly uvolňovat v roce 2017, kdy přestaly ctít soubory robots.txt na webových stránkách americké vlády a armády za procházení i zobrazování webových stránek. V dubnu 2017 Wayback ignoruje soubor robots.txt v širším smyslu, a to nejen pro webové stránky vlády USA.

Využití

Od svého veřejného spuštění v roce 2001 byl Wayback Machine studován vědci jak pro způsoby ukládání a shromažďování dat, tak pro skutečné stránky obsažené v jeho archivu. Od roku 2013 napsali vědci o stroji Wayback Machine asi 350 článků, převážně z oblasti informačních technologií, knihovnictví a sociálních věd. Sociální vědci použili Wayback Machine k analýze toho, jak vývoj webových stránek od poloviny 90. let do současnosti ovlivnil růst společnosti.

Když Wayback Machine archivuje stránku, obvykle obsahuje většinu hypertextových odkazů, přičemž tyto odkazy zůstanou aktivní, i když by stejně snadno mohly být narušeny nestabilitou internetu. Vědci z Indie studovali účinnost schopnosti stroje Wayback Machine ukládat hypertextové odkazy do online odborných publikací a zjistili, že jich zachránilo o něco více než polovinu.

"Novináři používají stroj Wayback Machine k prohlížení mrtvých webových stránek, datovaných zpravodajských zpráv a změn obsahu webových stránek. Jeho obsah byl použit k tomu, aby politici byli zodpovědní a odhalovali lži na bojišti." V roce 2014 archivovaná stránka sociálních médií Igora Girkina , vůdce separatistických rebelů na Ukrajině, ukázala, jak se chlubí tím, že jeho vojáci sestřelili podezřelé ukrajinské vojenské letadlo, než se ukázalo, že letadlo bylo ve skutečnosti civilním letadlem malajských aerolinií ( Malaysia Airlines) Flight 17 ), poté příspěvek smazal a obvinil ukrajinskou armádu ze sestřelení letadla. V roce 2017 pochod za vědu vzešel z diskuse na Redditu, která naznačila, že někdo navštívil Archive.org a zjistil, že všechny odkazy na změnu klimatu byly z webových stránek Bílého domu odstraněny. V reakci na to uživatel uvedl: „Musí se konat pochod vědců o Washingtonu“.

Kromě toho je tento web velmi využíván k ověřování a poskytuje přístup k referencím a vytváření obsahu redaktory Wikipedie .

V září 2020 bylo oznámeno partnerství s Cloudflare za účelem automatické archivace webů obsluhovaných prostřednictvím jeho služby „Vždy online“, což mu také umožní nasměrovat uživatele na jeho kopii webu, pokud se nemůže dostat k původnímu hostiteli.

Omezení

V roce 2014 došlo k šestiměsíční prodlevě mezi procházením webové stránky a jejím zpřístupněním k prohlížení na Wayback Machine. V současné době je doba zpoždění 3 až 10 hodin. Wayback Machine nabízí pouze omezené možnosti vyhledávání. Jeho funkce „Site Search“ umožňuje uživatelům najít web na základě slov popisujících web, nikoli na slovech nacházejících se na webových stránkách samotných.

Wayback Machine nezahrnuje všechny webové stránky, které kdy byly vytvořeny kvůli omezením jeho webového prohledávače. Wayback Machine nemůže zcela archivovat webové stránky, které obsahují interaktivní funkce, jako jsou platformy Flash a formuláře napsané v jazyce JavaScript a progresivní webové aplikace , protože tyto funkce vyžadují interakci s hostitelským webem. To znamená, že od června 2013 Wayback Machine nedokáže při ukládání stránek YouTube zobrazovat komentáře na YouTube, protože podle archivního týmu se komentáře již „nenačítají na samotnou stránku“. Webový prohledávač Wayback Machine má potíže s extrahováním čehokoli, co není kódováno v HTML nebo v jedné z jeho variant, což může často vést k nefunkčním hypertextovým odkazům a chybějícím obrázkům. Z tohoto důvodu nemůže webový prohledávač archivovat „osiřelé stránky“, na které nejsou odkazovány jiné stránky. Prolézací stroj Wayback Machine sleduje pouze předem určený počet hypertextových odkazů na základě předem nastaveného limitu hloubky, takže nemůže archivovat každý hypertextový odkaz na každé stránce.

Počínaje dubnem 2018 administrativní pracovníci archivního týmu Wayback Machine prosazují pravidlo čtvrtletí měsíce tím, že občas odstraní časové intervaly 23 dní nebo 39 dní (3/4 respektive 5/4 měsíce), aby se snížila velikost fronty.

V právním důkazu

Civilní soudní spory

Netbula LLC v. Chordiant Software Inc.

V případě z roku 2009 podal Netbula, LLC v. Chordiant Software Inc. , obžalovaný Chordiant návrh na vynucení Netbula, aby na svém webu zakázal soubor robots.txt , což způsobovalo, že Wayback Machine zpětně odebral přístup k předchozím verzím stránek, které měl archivované ze stránek společnosti Netbula, stránky, o nichž Chordiant věřil, že její případ podpoří.

Netbula se proti návrhu ohradil z toho důvodu, že obžalovaní žádali o změnu webových stránek Netbuly a že měli pro tyto stránky přímo předvolat internetový archiv. Zaměstnanec Internetového archivu podal čestné prohlášení podporující Chordiantův návrh, nicméně uvedl, že nemůže vytvářet webové stránky žádným jiným způsobem „bez značné zátěže, nákladů a narušení provozu“.

Soudce soudce Howard Lloyd v severní části Kalifornie, divize San Jose, odmítl argumenty Netbuly a nařídil jim dočasně zakázat blokování souboru robots.txt, aby mohl Chordiant načíst archivované stránky, které hledali.

Telewizja Polska USA, Inc. v. Echostar Satellite

V případě z října 2004 Telewizja Polska USA, Inc. v. Echostar Satellite , č. 02 C 3293, 65 Fed. R. Evid. Serv. 673 (ND Ill. 15. října 2004) se účastník sporu pokusil použít archivy stroje Wayback jako zdroj přípustných důkazů, možná poprvé. Telewizja Polska je poskytovatelem TVP Polonia a EchoStar provozuje Dish Network . Před soudním řízením EchoStar uvedla, že má v úmyslu nabídnout snímky Wayback Machine jako důkaz o minulém obsahu webových stránek společnosti Telewizja Polska. Telewizja Polska podala návrh v limine, aby potlačila momentky na základě doslechu a neověřeného zdroje, ale soudce soudce Arlander Keys odmítl tvrzení Telewizja Polska o doslechu a popřel pohyb TVP v limine, aby vyloučil důkazy u soudu. U soudu však soudce okresního soudu Ronald Guzman, soudce soudu, zrušil zjištění Magistrate Keys a rozhodl, že jako důkaz není přípustné ani čestné prohlášení zaměstnance internetového archivu, ani příslušné stránky (tj. Webové stránky Telewizja Polska). Soudce Guzman usoudil, že čestné prohlášení zaměstnance obsahovalo jak doslech, tak i neprůkazná podpůrná prohlášení, a údajná webová stránka, výtisky nebyly autentizační.

Patentové právo

Za předpokladu, že jsou splněny některé další požadavky (např. Poskytnutí autoritativního prohlášení archiváře), americký patentový úřad a Evropský patentový úřad přijmou datová razítka z internetového archivu jako důkaz, kdy byla daná webová stránka přístupná veřejnosti. Tato data se používají k určení, zda je webová stránka k dispozici jako předchozí stav, například při zkoumání patentové přihlášky.

Omezení užitečnosti

Archivace webových stránek má technická omezení, a v důsledku toho mohou protistrany v soudních sporech zneužívat výsledky poskytované archivy webových stránek. Tento problém může být zhoršen praxí zasílání screenshotů webových stránek ve stížnostech, odpovědích nebo zprávách svědků, pokud nejsou odhaleny podkladové odkazy, a proto mohou obsahovat chyby. Například archivy, jako je Wayback Machine, nevyplňují formuláře, a proto do svých archivů nezahrnují obsah jiných než RESTful databází elektronického obchodování.

Právní status

V Evropě by mohl být Wayback Machine interpretován jako porušení autorských práv. Pouze tvůrce obsahu může rozhodnout, kde bude jejich obsah publikován nebo duplikován, takže archiv by musel na žádost tvůrce odstranit stránky ze svého systému. Zásady vyloučení stroje Wayback Machine jsou uvedeny v části FAQ na tomto webu.

Právní problémy s archivovaným obsahem

Některé případy byly vzneseny proti Internetovému archivu konkrétně kvůli jeho úsilí o archivaci Wayback Machine.

Scientologie

Na konci roku 2002 Internetový archiv odstranil z Wayback Machine různé weby, které byly kritické vůči scientologii . V chybové zprávě bylo uvedeno, že se jedná o reakci na „žádost vlastníka webu“. Později bylo objasněno, že odstranění požadovali právníci ze scientologické církve a že majitelé stránek nechtěli, aby byl jejich materiál odstraněn.

Healthcare Advocates, Inc.

V roce 2003 Harding Earley Follmer & Frailey bránil klienta před sporem o ochrannou známku pomocí archivního Waybackova stroje. Advokáti byli schopni prokázat, že tvrzení žalobce jsou neplatná, a to na základě obsahu jejich webových stránek z doby před několika lety. Žalobce, obhájci zdravotnictví, poté upravil svou stížnost tak, aby zahrnovala internetový archiv, a obvinila organizaci z porušování autorských práv a také z porušení zákona DMCA a zákona o počítačových podvodech a zneužívání . Obhájci zdravotnictví tvrdili, že vzhledem k tomu, že na svůj web nainstalovali soubor robots.txt , i když po podání původní žaloby měl archiv odstranit všechny předchozí kopie webu žalobce ze stroje Wayback Machine, nicméně některé materiály nadále být veřejně viditelný na Waybacku. Soudní spor byl vyřešen mimosoudně poté, co Wayback problém vyřešil.

Suzanne Shell

Aktivistka Suzanne Shell podala žalobu v prosinci 2005 a požadovala, aby jí Internet Archive zaplatila 100 000 USD za archivaci její webové stránky profane-justice.org v letech 1999 až 2004. Internet Archive podala žalobu na určovací rozsudek u amerického okresního soudu pro severní obvod Kalifornie dne 20. ledna 2006, žádající soudní rozhodnutí, že Internet Archive neporušuje autorská práva Shell . Shell reagovala a přinesl countersuit proti internetovým Archiv pro archivaci její stránky, které jí tvrdí, je v rozporu s jejími podmínkami služby . Dne 13. února 2007, soudce pro americký okresní soud pro okres Colorado zamítl všechny protinávrhy kromě porušení smlouvy . Internetový archiv nepohnul zamítnutím tvrzení o porušení autorských práv, které Shell tvrdila v souvislosti s kopírováním, což by také pokračovalo.

25. dubna 2007 Internet Archive a Suzanne Shell společně oznámily vypořádání jejich soudního sporu. Internetový archiv uvedl, že „... nemá zájem zahrnout materiály do stroje Wayback od osob, které si nepřejí archivovat svůj webový obsah. Uznáváme, že paní Shell má na svém webu platná a vymahatelná autorská práva a my lituji, že zahrnutí jejích webových stránek do Wayback Machine vedlo k tomuto soudnímu sporu. “ Shell řekl: „Respektuji historickou hodnotu cíle Internetového archivu. Nikdy jsem neměl v úmyslu do tohoto cíle zasahovat ani mu nijak uškodit.“

Daniel Davydiuk

V letech 2013 až 2016 se pornografický herec jménem Daniel Davydiuk pokusil odstranit archivní snímky sebe sama z archivu Wayback Machine, nejprve odesláním několika žádostí DMCA do archivu a poté odvoláním k federálnímu soudu v Kanadě .

Cenzura a další hrozby

archive.org je v Číně v současné době blokován . Poté, co byla teroristická organizace Islámský stát zakázána, byl internetový archiv v Rusku na krátkou dobu v letech 2015–16 zablokován v Rusku jako hostitel informačního videa od této organizace. Od roku 2016 je web zpět, je k dispozici celý, ačkoli místní komerční lobbisté žalují internetový archiv u místního soudu, aby jej zakázal z důvodu autorských práv.

Alison Macrina , ředitelka projektu Library Freedom Project, poznamenává, že „zatímco knihovníci si hluboce cení soukromí jednotlivců, důrazně jsme také proti cenzuře“.

Existuje nejméně jeden případ, kdy byl článek odstraněn z archivu krátce poté, co byl odstraněn z původního webu. Daily Beast reportér napsal článek, který provalila několik gay olympijské sportovce v roce 2016 poté, co on dělal falešný profil lodě jako homosexuála na datování app. The Daily Beast odstranil článek poté, co se setkal s rozsáhlou bouří; nedlouho poté to udělal také internetový archiv, ale důrazně prohlásil, že to neudělali z jiného důvodu, než aby chránili bezpečnost vyřazených sportovců.

Mezi další hrozby patří přírodní katastrofy, ničení (vzdálené nebo fyzické), manipulace s obsahem archivu (viz také: kybernetický útok , záloha ), problematické zákony o autorských právech a dohled nad uživateli stránek.

Alexander Rose, výkonný ředitel Nadace Long Now , má podezření, že v dlouhodobém horizontu více generací „téměř nic“ přežije užitečným způsobem a prohlásí: „Pokud máme v naší technologické civilizaci kontinuitu, domnívám se, že mnoho holá data zůstanou nalezitelná a prohledávatelná. Mám ale podezření, že téměř nic z formátu, ve kterém bylo dodáno, nebude rozpoznatelné „protože stránky“ s hlubokými koncovými systémy systémů pro správu obsahu, jako jsou Drupal a Ruby a Django, se hůře archivují.

V článku, který uvažuje o zachování lidských znalostí, The Atlantic uvedl, že internetový archiv, který sám sebe popisuje jako dlouhodobě budovaný, „zuřivě pracuje na zachycení dat, než zmizí, aniž by bylo nutné mluvit o nějaké dlouhodobé infrastruktuře. z."

Viz také

Reference

externí odkazy