Elementi za evaluaciju bibliografskih baza podataka

Evaluacija odnosno vrednovanje bibliografskih baza podataka ima dva cilja: da se utvrdi kvaliteta baze podataka i da se utvrdi primjerenost odabrane baze podataka za našu problematiku. Naime baza podataka može biti kvalitetna, ali ako ne pokriva dovoljno naše područje interesa tada moramo pronaći takvu, koja nam više odgovara ili ćemo morati koristiti više njih kako bi kvalitetno riješili naš problem. Takvo je rješenje obično skuplje i kompliciranije nego korištenje jednog izvora.

Bibliografske baze podataka

Referativni časopisi tj. časopisi sažetaka “abstracts journals”, su podvrsta sekundarnih publikacija u digitaliziranoj formi i nazivaju se bibliografskim bazama podataka.

Bibliografska baza podataka sadrži bibliografski opis obuhvaćenih dokumenata, različit za različite tipove dokumenata, sažetak rada, te indeksne pojmove u obliku slobodnih ključnih riječi i/ili deskriptora. Po tematici baza podataka može obuhvaćati znanstvenu ili poslovnu literaturu kao i obične vijesti. Bibliografske baze podataka prvenstveno služe za pretraživanje i pronalaženje relevantnih referenci, da bi na tom tragu mogli doći i do originalnih dokumenata referiranih u bazi podataka.

Sve češće, iz bibliografskih baza podataka, pogotovo u slučaju novijih radova (nekoliko posljednjih godina), uz pomoć hyperlinka moguće je doći i do digitalnih oblika originalnih dokumenata.

Kriterij

Opis

Autoritativnost proizvođača

Od poznatih institucija očekuju se kvalitetni proizvodi. Poznate službe za sažimanje i indeksiranje (“abstracting & indexing services, secondary services”) obično “proizvode” kvalitetnije proizvode.

Testiranje omogućeno

Bez testiranja baze podataka nije moguće izvršiti procjenu kvalitete. Testiranje se mora izvršiti u pravoj bazi podataka a ne u demonstracijskoj varijanti (DEMO) , jer je DEMO obično kvalitetnija od pravog proizvoda ili postoji takva sumnja. Za evaluaciju je vrlo značajno ako se tijekom rada mogu izvršiti različite statističke analize u cjelokupnoj bazi podataka kao npr. broj zapisa po različitim kriterijima, te je uvijek potrebno analizirati nama poznate informacije i njihovu zastupljenost u proizvodu.

Definiranost

opsega

Od proizvođača se očekuje da je definiran, deklariran i opisan opseg i to:

Geografski	Pokriva li cijeli svijet ili samo neki njezin dio? Ako obuhvaća samo dio, to ne mora biti negativno, ali to korisnici moraju znati, da bi uzeli u razmatranje i druge, geografski komplementarne baze podataka. Treba postaviti pitanje da li je deklarirani geografski opseg stabilan kroz povijest baze podataka?
Vremenski	Koliko se godina unatrag arhivira? Taj element ne govori o kvaliteti ali može biti važan faktor kod nabavke/korištenja. U svakom slučaju korisnik mora biti upoznat s tim elementom.
Jezično	Obuhvaća li dokumente pisane svim jezicima ili samo određenim. Koliko se informacija gubi ako je baza podataka orijentirana samo na neke jezike? Da li je takva lista jezika stabilna kroz povijest baze podataka?
Po tipu dokumenata	Koje sve tipove dokumenata obuhvaća? To mogu biti članci iz časopisa, odobreni patenti, patentne prijave, referati sa skupova, tehnički izvještaji, disertacije, knjige, vijesti iz tjednika, magazina, dnevnika, novinskih agencija, burzovnih servera, itd. Da li se može pronaći ili zatražiti kompletna lista korištenih izvora? Da li je takva lista stabilna kroz povijest baze podataka?
Tematski	Što točnije taksativno definiranje tematskog opsega Da li je takav tematski opseg konstantan za cijeli vremenski period koji baza podataka obuhvaća?
Izdavački	Obuhvaća li samo izdanja nekog izdavača ili nekoliko udruženih izdavača? Takve su bibliografske baze podataka “opasne” jer su obično besplatne ali daju uvid samo u “feud” nekih izdavača i ne mogu biti ni u kom slučaju zamjena za “sveobuhvatnije” bibliografske baze podataka.
Po nekom drugom kriteriju	Ako je korišten neki drugi kriterij, npr. impakt faktor ili nešto drugo, to mora biti deklarirano, da bi se znalo što se gubi primjenom takvog kriterija.

Sveobuhvat-nost

Sveobuhvatnost se definira kao odnos deklariranog opsega prema idealnom. U idealnom slučaju baza podataka obuhvaća sve moguće tipove dokumenata iz cijelog svijeta bez obzira na jezik originala.

Kompletnost

Kompletnost se definira kao odnos svih zapisa u bazi podataka prema broju zapisa koji bi trebali biti u bazi podataka s obzirom na deklarirani opseg.

Korišteni jezik

Da li je tekstualni dio baze podataka jednojezičan ili višejezičan? U slučaju višejezičnosti, radi li se o miješanju jezika ili je baza podataka sustavno obrađena na više jezika?

Učestalost ažuriranja

Da li se ažuriranje obavlja dovoljno često da zbog toga ne trpi ažurnost novo-dodanih informacija? Dok se u nekim područjima znanosti mogu tolerirati i mjesečna kašnjenja, u slučaju poslovnih vijesti očekuje se dnevna ažurnost ili ponekad trenutna ažurnost.

Starost informacija pri ažuriranju, kašnjenje

Koliko su stare informacije prilikom unosa u bazu podataka? One bi trebale biti unutar vremenskog perioda deklariranog za učestalost ažuriranja. Usporedba datuma kreiranja zapisa i datuma dokumenta može ukazati na starost informacija.

Ukupan broj zapisa u bazi podataka

Ta veličina može pomoći kod procjene sveobuhvatnosti i kompletnosti baze podataka.

Broj zapisa po godinama

Taj broj mora pokazati blagi porast iz godine u godinu s obzirom na tendenciju porasta broja dokumenata u svim područjima ljudske djelatnosti. Često ti brojevi pokazuju skokoviti porast, što odražava činjenicu da je proizvođač proširio svoju listu obuhvaćenih izvora tijekom vremena.

Broj novih zapisa po ažuriranju

Slično kao prethodni element, i ta veličina također može pomoći kod procjene sveobuhvatnosti i kompletnosti baze podataka, naročito u momentu evaluacije, s obzirom na činjenicu da često puta ukupan broj zapisa daje iskrivljenu sliku, npr. u prošlosti je baza podataka bila manjkava, ali se vremenom popravila.

Pravopis. i druge greške u bazama podataka (čistoća)

U svijetu postoji tzv. "the dirty database test", http://www.ischool.washington.edu/tabrooks/320/Readings/Ortho3.html gdje se kontrolira odnos broja krivo upisanih odabranih riječi (to su 10-20 riječi kod kojih ljudi u pisanju obično griješe) naspram broja točno upisanih. U “prljavim” bazama taj odnos zna biti i iznad 1. Osim teksta moraju se gledati i druga polja, kao što su npr. godine publiciranja (ima li npr. unešenih godina izvan deklariranog perioda), nazivi zemalja, nazivi ili oznake jezika, ZIP kodovi i sl. U greške se ubrajaju i krivo pridružene ključne riječi, deskriptori u dokumetima kojima one pripadaju.

Primjena standarda

Neka se polja mogu popunjavati slobodno ali za neka postoje standardi, npr. za oznaku zemalja u adresnom dijelu, načina skraćivanja naziva časopisa, korištenja ISSN, ISBN, CODEN-a, i sl. Potrebno je analizirati svako polje i utvrditi postoji li međunarodni standard za sadržaj analiziranog polja.

Popunjenost pojedinih polja - kompletnost zapisa

Da li se proizvođač potrudio i uvijek popunjava svako odgovarajuće polje? Primjerice proizvođač ima polje za sažetak, ali sažetak nije uvijek prisutan.

Kompletnost informacija - dubina obuhvaćenosti informacija

Bibliografski zapisi mogu biti prošireni sa sažecima, oznakama i nazivima tematskih kategorija ili podkategorija, kraćom ili duljom listom odgovarajućih deskriptora, ključnih riječi i sl. Od današnjih zapisa očekuje se da korisnik mora dobiti dovoljno elemenata za ocjenu tematske relevantnosti opisanog dokumenta prije nabavke istog u potpunom obliku.

Strukturiranost zapisa

Što je zapis više strukturiran, tj. svaki prepoznatljiv element je u posebnom polju, zapis je pregledniji, pretraživanja ciljanija i rezultati točniji.

Sažetak

Da li su sažeci preuzeti iz izvornih dokumenata, tj.autorski, što ujedno znači neujednačeni sažeci, ili proizvođač ima stručnjake za pisanje po kvaliteti ujednačenih sažetaka.

Indeksi i indeksiranje

Sustav indeksiranja može biti vrlo različit počev od nabačenih ključnih riječi do korištenja vrlo sofisticiranih sustava, tezaurusa, kontrolirane terminologije, različitih vrsta deskriptorskih polja. Obično svako znanstveno područje, svaka struka ima svoje specifičnosti kao npr. kemijske baze podataka koje dobivaju na kvaliteti ako su indeksirane i pretražljive s kemijskim (pod)strulturama, metalurške sa postotnim udjelima pojedinih elemenata u legurama, itd. Detaljnije razrađen sustav može osigurati vrlo precizna pretraživanja ako je pravilno primijenjen, iako krajnjim korisnicima može otežati posao pretraživanja, jer od njih zahtjeva specijalna informacijska znanja.

Postojanje dokumentacije i ažurnost dokumentacije

Mora postojati prateća, jednostavna dokumentacija koja daje odgovore na pitanja u svezi kriterija uključivanja dokumenata u bazu podataka. Mora postojati opis svakog polja, opis korištenih standarda, lista skraćenica, sustav indeksiranja, vrsta uključenih sažetaka , preporuke, vodič za korištenje, pretraživanje itd. Dokumentacija mora biti ažurna.

Citirana literatura

Poboljšava se kvaliteta bibliografskih baza podataka ako se uz svaki zapis dodaje i citirana literature, te ako je u web verzijama svaka referenca povezana s odgovarajućim bibliografskim zapisima iz iste baze podataka, iz tog područja.

Poveznica na dokument

Poboljšava se kvaliteta bibliografskih baza podataka ako postoje poveznice na izvorni dokument na koje se odnosi referenca bibliografskog zapisa.

Vremenska konzistentnost

Da li je baza podataka konzistentna u vremenu, da li je tijekom vremena bilo velikih promjena u politici opsega, u sustavu indeksiranja, primjeni standarda, itd.? Ako je došlo do nekih izmjena, da li je cijela baza podataka unatrag ažurirana prema novim pravilima ili ne, pa ovisno o tome mora li se na različite načine pretraživati za različite vremenske segmente ili ne?

Dostupnost i odgovornost proizvođača

Koliko je proizvođač baze podataka dostupan, voljan davati dodatna objašnjenja, savjete, i sl.? Preuzima li proizvođač odgovornost za kvalitetu, barem u onom dijelu koji je u domeni proizvođača.

Dostupnost baze podataka

Na koje je sve načine baza podataka dostupna za korisnike, da li samo online na nekim hostovima i/ili na web serverima proizvođača ili nekog posrednika za nabavku i korištenje u kompaniji korisnika, da li samo za jednog korisnika ili je moguće i mrežno korištenje?

Softver za pretraživanje

Vrednovanje softvera za pretraživanje ima smisla naročito ako se ista baza podataka nudi s različitim softverskim alatima za pretraživanje. Ti alati moraju biti intuitivni, s obzirom da baze podataka sve više pretražuju krajnji korisnici. Ako se baza podataka može nabaviti za instalaciju na vlastiti server nužno je imati mogućnost mrežnog korištenja, obično uz višu cijenu.

Cijena

Cijena baze podataka mora biti u skladu s kvalitetom proizvoda

Kvaliteta informacija

Proizvođač baze podataka obično ne odgovara, niti može odgovarati za kvalitetu svake informacije koja se nalazi u dokumentima obuhvaćenim bibliografskom bazom podataka. Proizvođač može biti odgovoran za izbor izvora koji se obrađuju tj. sažimaju i indeksiraju.

Usporedba sa sličnim proizvodima

Na tržištu je sve više sadržajno sličnih proizvoda. Potrebno je izvršiti analizu svih tih proizvoda i odabrati najkvalitetnije a ne najjeftinije.

Relevantnost

Relevantnost se ocjenjuje u svjetlu informacijskih potreba konkretne grupe korisnika.

Zaključna ocjena bonitet

Na temelju analize svih navedenih elemenata, ali i informacijskih potreba korisnika, donosi se konačna ocjena o bazi podataka.