Arhivare web

De la Wikipedia, enciclopedia liberă

Arhivarea web se referă la colectarea și arhivarea permanentă a publicațiilor online cu scopul de a putea oferi publicului și științei o privire asupra trecutului în viitor. Rezultatul procesului este o arhivă web .

Cea mai mare facilitate internațională pentru arhivarea web este Internet Archive din San Francisco (SUA), care se consideră arhiva întregului World Wide Web. Arhivele și bibliotecile de stat din multe țări depun eforturi pentru a asigura înregistrările de rețea din zona lor.

Din 1987, legile germane privind arhivele au definit arhivarea documentelor digitale ca o sarcină obligatorie a arhivelor statului, dar implementarea acestui mandat abia începe. În 2006 a fost adoptată DNBG (Legea bibliotecii naționale germane), care extinde mandatul Bibliotecii naționale germane pentru a include arhivarea site-urilor web. Statele federale își planifică depozitul legal pentru a schimba -Gesetze în acest sens, sau schimbarea a avut loc deja.

Arhivarea țintelor

Scopul arhivării web este de a mapa sistematic o secțiune definită a prezențelor web disponibile pe Internet. În acest scop, o politică generală de colectare, o procedură de selecție și frecvența arhivării trebuie clarificate în prealabil.

Un site web arhivat cu toate funcțiile multimedia ( cod HTML , foi de stil , JavaScript , imagini și video) ar trebui păstrat pe termen lung. Pentru descrierea, utilizarea și conservarea ulterioară sunt utilizate metadate precum proveniența , timpul de achiziție, tipul MIME și domeniul de aplicare al datelor. Metadatele asigură autenticitatea și integritatea materialului de arhivă digitală.

După preluare, trebuie luate precauții tehnice și legale pentru a garanta accesibilitatea publică constantă și pentru a preveni modificările ulterioare ale materialului de arhivă.

Terminologie

Resursă originală
O sursă originală care este în prezent sau ar trebui să fie disponibilă pe Internet și pentru care este necesar accesul la o stare anterioară.
Memento
O memorie a unei surse originale este o resursă care încapsulează starea inițială a unei surse într-un moment definit în timp.
TimeGate
Un TimeGate este o resursă care, pe baza unei date și orei date, găsește amintirea care corespunde cel mai bine acestei limite de timp.
TimeMap
O TimeMap este o resursă care afișează o listă cu toate amintirile care au fost create vreodată pentru sursa originală.

Procesul de selecție

Nespecificat
În acest proces de selecție, un întreg domeniu este scris treptat într-o arhivă. Datorită cerinței mari de memorie, procedura funcționează numai pentru domenii mai mici (netarkivet.dk).
lista de alegeri
O listă a instituțiilor este stabilită în prealabil. Stabilitatea adreselor URL asociate instituțiilor trebuie verificată periodic.
Utilizarea statisticilor de acces
În viitor, este posibilă recoltarea „inteligentă” care, pe baza numărului de acces, arhivează acele părți ale web-ului (sau o selecție) care au rate de acces deosebit de ridicate.

Metode de adoptare

Recoltarea la distanță

Cea mai obișnuită metodă de arhivare este utilizarea unui crawler web . Un crawler web preia conținutul unui site web ca un utilizator uman și scrie rezultatele într-un obiect de arhivă. Mai precis, aceasta înseamnă o căutare recursivă a site-urilor web pe baza link-urilor găsite pe acestea, pornind de la o anumită zonă de pornire, care poate fi fie un site web, fie o listă de site-uri web care urmează să fie căutate. Datorită limitărilor cantitative, de exemplu datorită duratei sau spațiului de stocare, sunt posibile diferite restricții (condiții de terminare) în ceea ce privește adâncimea, domeniul și tipurile de fișiere care trebuie arhivate.

În proiectele mai mari, evaluarea site-urilor web pentru clasarea adreselor URL are o importanță deosebită. În cursul unui proces de accesare cu crawlere, se pot acumula un număr mare de adrese web, care sunt fie procesate într-o listă folosind metoda FIFO , fie ca o coadă prioritară . În acest din urmă caz, site-urile web pot fi imaginate într-o structură heap. Fiecare site web își formează propriul heap și fiecare link către un alt site web găsit în acesta formează un subheap care reprezintă un element din heap-ul site-ului anterior. Acest lucru are, de asemenea, avantajul că, în cazul unei liste de adrese URL debordante, cele cu cea mai mică prioritate sunt înlocuite mai întâi cu intrări noi.

Cu toate acestea, structura inițială de pe server poate fi rar reprodusă exact în arhivă. Pentru a putea exclude orice probleme tehnice care pot apărea în perioada de pregătire pentru oglindire, este recomandabil să efectuați în prealabil o analiză a site-ului web. Deși acest lucru dublează traficul de date în majoritatea cazurilor, scurtează considerabil timpul de lucru în cazul unei erori.

Exemple de crawlerele web sunt:

  • Heritrix
  • HTTrack
  • Explorator offline

Arhivarea site-ului ascuns

Web-ul ascuns sau deep web se referă la baze de date care reprezintă adesea conținutul real al unui site web și sunt afișate numai la cererea unui utilizator. Acesta este un alt motiv pentru care webul se schimbă constant și apare ca și cum ar fi de dimensiuni infinite. Pentru a prelua aceste baze de date este necesară o interfață care se bazează în principal pe XML . Pentru acest acces au fost dezvoltate instrumentele DeepArc ( Bibliothèque nationale de France ) și Xinq ( Biblioteca Națională a Australiei ).

Arhivarea tranzacțională

Această procedură este utilizată pentru arhivarea rezultatelor unui proces de utilizare a site-ului web. Este important pentru facilitățile care trebuie să furnizeze dovezi ale utilizării lor din motive legale. Condiția prealabilă este instalarea unui program suplimentar pe serverul web.

Arhivare web în Germania

La nivel federal, Biblioteca Națională Germană (DNB) are mandatul legal pentru arhivarea web din 2006. Din 2012, site-urile web au fost arhivate tematic și pentru anumite evenimente, adică selectiv și nu integral. DNB funcționează cu un furnizor extern de servicii. În plus, toate domeniile DE au fost accesate cu crawlere o dată în 2014 . Arhiva web este accesată în principal în sălile de lectură.

În plus față de arhivarea web a DNB, există inițiative în diferite state federale:

Există, de asemenea, alte inițiative de arhivare web în Germania, de exemplu de la fundații afiliate partidului, de la SWR , de la Deutsche Post sau de la compania de biotehnologie / farmaceutică AbbVie .

Vezi si

Implementări

Link-uri web

Dovezi individuale

  1. Steffen Fritz: Rescrierea istoriei. (PDF) cu fișiere WARC. Ianuarie 2016, arhivat din original la 9 noiembrie 2017 ; accesat pe 9 noiembrie 2017 .
  2. a b c d RfC 7089 Cadru HTTP pentru acces în timp la statele resurselor - Memento
  3. a b c d Ghid de suvenir: Introducere. Adus pe 5 octombrie 2018 .
  4. Steffen Fritz: Raport de practică: Procedură pentru evaluarea arhivabilității obiectelor web În: ABI Technik No. 2, 2015, pp. 117-120. doi: 10.1515 / abitech-2015-0015
  5. Tobias Steinke: Arhivarea internetului german? Între o abordare selectivă și crawl-ul domeniului .de . Biblioteca Națională Germană, 26 iunie 2014 ( dnb.de [PDF]).
  6. ^ Felix Geisler, Wiebke Dannehl, Christian Keitel, Stefan Wolf: Despre statutul arhivării web în Baden-Württemberg . În: Serviciul de bibliotecă . bandă 51 , nr. 6 , 1 iunie 2017, ISSN  2194-9646 , p. 481-489 , doi : 10.1515 / bd-2017 până la 0051 ( degruyter.com [accesat la 24 martie 2020]).
  7. Tobias Beinert: Arhivare web la Bayerische Staatsbibliothek . În: Serviciul de bibliotecă . bandă 51 , nr. 6 , 1 iunie 2017, ISSN  2194-9646 , p. 490-499 , doi : 10.1515 / bd-2017-0052 ( degruyter.com [accesat la 24 martie 2020]).
  8. Arhivarea web a fluxului de lucru în arhivarea pe termen lung la Bayerische Staatsbibliothek | BABS. Adus pe 24 martie 2020 .
  9. Edoweb: server de arhivă Renania-Palatinat pentru documente electronice și site-uri web. Adus pe 24 martie 2020 .