Bronnen beoordelen

"double peer review"

Open Access



Lessig, Lawrence. 2011. The Architecture of Access to Scientific Knowledge.http://vimeo.com/22633948

crap detection

(herhaling OPO geschiedenis van Japan)

De klassieke 'garanties' voor waarheid/kwaliteit van bronmateriaal zijn autoriteit (van personen of instellingen) en wetenschappelijkheid. Over dat laatste kan het werk van Paul Feyerabend aan het denken zetten, het eerste is door het web helemaal veranderd.

De kritische reflex

"Kritisch benaderen van bronnen" is één van de basiskenmerken van het wetenschappelijk bedrijf. Bronnen kritisch kúnnen benaderen is een noodzakelijke basisvaardigheid voor elke kenniswerker. En dat kunnen houdt zowel een attitude, een basishouding, in als een aantal vaardigheden.

Heel lang geleden, in de papieren tijd, was dat laatste relatief gemakkelijk. Wetenschappelijke artikels ondergingen de scrutineuze peer review1 vooraleer gepubliceerd te worden en je lokale bibliothecaris wist wel waarom ie bepaalde boeken wel en andere net niet aankocht. Tegenwoordig gebeurt de peer review vaak pas ná publicatie (in het geval van blogs en publicatie op persoonlijke websites of sociale media bijvoorbeeld) en is de bibliothecaris minder vaak de tussenpersoon. Diens verantwoordelijkheid komt nu bij de lezer te liggen. Je staat er dus alleen voor om te bepalen of dat steengoede artikel dat je op het net hebt gevonden al dan niet waardig is om een argumentatie op te bouwen en/of op te nemen in de literatuuropgave van je aanstaande paper. Geen eenvoudige opdracht, zeker als je nieuw bent in het vakgebied of weinig bekend met het onderwerp.

De geloofwaardigheid van een webpagina

Om hierbij te helpen konden we tot voor kort eigenlijk enkel de studenten meegeven te letten op de url (staat er .edu of .ac. in?) en de auteur te googelen of na te kijken in een citatie-index. Maar ondertussen zijn er meer hulpmiddelen. In z'n artikel Crap Detection 1012 laat Howard Rheingold een aantal tools en technieken de revue passeren. Ik haal er een paar eenvoudige uit :

  • indien de naam van de auteur niet vermeld is kan je in elk geval de eigenaar van de domeinnaam opzoeken via easywhois.com
  • kijk via google wie linkt en hoe vaak naar het artikel gelinkt wordt (met de zoekoperator link: http://url_artikel)
  • doe hetzelfde met de voornaamste geciteerde bronnen van het artikel
  • kijk na of en hoe vaak het artikel gebookmarked is in bookmarksites zoals reddit

Checklists, criteria voor het evalueren van webpagina's

Algemene beoordelingscriteria

Wie is de auteur?

Worden er bronnen weergegeven?
  • De mogelijkheid tot falsificatie is een basisvoorwaarde voor betrouwbaarheid.
  • Hoe bekend zijn die bronnen: kijk via google wie linkt en hoe vaak (met de zoekoperator link: http://url_artikel)
  • Zoek in databanken en zoekmachines op auteurs van die bronnen.

De structuur van de publicatie

Een wetenschappelijke publicatie is systematisch opgebouwd en bevat de onderdelen die we ook aangegeven hebben bij de wiki-opdracht: duidelijke inhoudelijke structuur, notenapparaat, bronverwijzingen ed.

Taalgebruik

Het veelvuldig gebruik van emotionele stijl en taal is een aanwijzing van onbetrouwbaarheid.

Ouderdom van de publicatie

Oudere publicaties zijn daarom niet noodzakelijk minder betrouwbaar. Ze kunnen wel minder betrouwbaar worden wanneer het onderzoeksdomein zeer intensief bestudeerd wordt en er dus voortdurend nieuwe informatie opduikt.

Beoordelingen van de publicatie

Een aangeboden publicatie moet eerst beoordeeld worden vooraleer deze mag verschijnen bij een wetenschappelijke uitgever. Dit kan gebeuren door leden van de redactiecommissie zelf of door gespecialiseerde collega-wetenschappers, "peer review". Bekijk waar het artikel is gepubliceerd. Wat is de reputatie van het tijdschrift of de website?

Een recensie is een kritische beoordeling van een wetenschappelijke studie door een onafhankelijke wetenschapper die vertrouwd is met het onderwerp. Recensies (boekbesprekingen, book reviews) van pas verschenen boeken worden vaak gebundeld weergegeven in een vaste rubriek van een wetenschappelijk tijdschrift. Zoek naar recensies van het boek of artikel in databanken en zoekmachines.

Indien de wetenschappelijke resultaten worden overgenomen in nieuwe publicaties, dan verhoogt dit het gezag en de betrouwbaarheid van deze publicatie.

Een groot aantal verwijzingen doet vermoeden dat de publicatie een grote impact heeft gehad. Bekijk het aantal verwijzingen via Google scholar citations, in zoekmachines met de operator link: http://url_artikel) of via Web of Science (via LIMO).

Fact-Checking

  • Caulfield, Mike. 2017. Web Literacy for Student Fact-Checkers. https://webliteracy.pressbooks.com/.
    • praktische taktieken om beweringen te koppelen aan bronnen, premise: "information is abundant, and time is scarce"
    • "the web as fact-checking tool"
    • wanneer fact-checken?
      • check je eigen emoties
    • vier taktieken
      1. gebruik 'eerder werk': is de fact-checking al gedaan?
      2. ga stroomopwaarts: vind de oorspronkelijke bron van de bewering
        • “reporting on reporting”
        • gesponsorde inhoud identificeren
        • begrijp 'syndication'
        • bronnen van virale content opsporen
        • filteren met tijd
      3. lees lateraal: lees wat anderen zeggen over de oorspronkelijke bron ('De waarheid zit in het netwerk') (77)
      4. Begin opnieuw: als je vast zit ga terug naar wat je al weet en probeer andere zoektermen
  • Caulfield, Mike. “It Can Take As Little As Thirty Seconds, Seriously.” Hapgood, 23 Jan. 2018, https://hapgood.us/2018/01/23/it-can-take-as-little-as-thirty-seconds-se....
    • Good net citizens:
      • Source-check what they share
      • Share from the best source possible
      • Provide source/claim context to people they share with when necessary > Think of it as information hygiene, the metaphorical handwashing you engage in to prevent the spread of misinformation.
  • Caulfield, Mike. “How ‘News Literacy’ Gets the Web Wrong.” Hapgood, 4 Mar. 2017, https://hapgood.us/2017/03/04/how-news-literacy-gets-the-web-wrong/.
  • Calling Bullshit — Syllabus. http://callingbullshit.org/syllabus.html. Accessed 27 Feb. 2018.

Oefeningen

  1. Zoek open access academische tijdschrijften of andere publicaties in het vakgebied van Japanse studies. Hoe zit het met de auteursrechten op die publicaties?
  2. Skim: Caulfield, Mike. 2017. Web Literacy for Student Fact-Checkers. https://webliteracy.pressbooks.com/. Maak voor jezelf een basis-leesfiche aan.
  3. Fact-check één van onderstaande artikels:

  1. Neylon, Cameron. 2010. “Peer Review: What Is It Good For?” Science in the Open (blog). February 5, 2010. http://cameronneylon.net/blog/peer-review-what-is-it-good-for/. ↩

  2. “City Brights: Howard Rheingold : Crap Detection 101.” n.d. Accessed March 16, 2010. http://www.sfgate.com/cgi-bin/blogs/rheingold/detail?entry_id=42805. ↩