Verkenning Metadata van de Toekomst

1.1 Aanleiding

Het Ministerie van BZK en PDOK heeft Geonovum gevraagd om een verkenning uit te voeren naar toekomstige ontwikkelingen rondom metadata. Vervolg op deze verkenning is om te bepalen welke invloed deze ontwikkelingen hebben op het Nationaal Georegister.

1.2 Aanpak

De eerste stap van deze verkenning is om een beeld te schetsen van de rol van Metadata in de toekomst. Dit is gedaan door het uitvoeren van desktop research en interviews. In de 2^e stap wordt gekeken in hoeverre het huidige NGR al voldoet aan dit beeld, en in stap 3 zal een handelingsperspectief geschreven worden voor de opdrachtgever. Dit document dat ter consultatie ligt beschrijft de opgehaalde beelden van stap 1.

1.3 Scope

De focus ligt primair op metadata voor geodata. Gekeken is m.n naar ontwikkelingen op de onderwerpen: standaarden, granulariteit, datacatalogi en vindbaarheid.

1.4 Leeswijzer

In hoofdstuk 2 wordt het belang en enkele concepten rondom metadata toegelicht. Vervolgens wordt in hoofdstuk 3 de huidige stand van zaken en ontwikkelingen rondom beleid, standaarden en catalogi beschreven. Hoofdstuk 4 beschrijft de beelden zoals die zijn opgehaald in het werkveld. Tot slot beschrijft hoofdstuk 5 het toekomst perspectief van metadata in hoofdlijnen.

2.1 Beleid

De Nederlands overheid is een grote speler in het produceren, verzamelen, verwerken en beschikbaar stellen van data. Het belang van deze rol wordt onderstreept in de Nederlandse Digitaliseringsstrategie (NDS) en o.a. uitgewerkt in de NL DIGITAAL: data agenda overheid. Deze agenda zet in op:

‘het oplossen van maatschappelijke problemen met data, het stimuleren van datagedreven werken door overheidsorganisaties, het beschikbaar stellen van overheidsdata (data delen) en het verbeteren van de kwaliteit van overheidsdata. Aandacht voor wetgeving en publieke waarden als transparantie rond datagebruik is daarbij van belang.’

Het belang om data beter te benutten voor oplossen van maatschappelijke vraagstukken wordt verder vorm gegeven in o.a de Interbestuurlijke Datastrategie, de Datastrategie Rijksoverheid, de Datastrategie van de verschillende provincies en gemeenten, en eerder al in het Open Data Beleid. Zo spreekt de Interbestuurlijke Datastrategie over’ willen we als overheden voortbouwen op elkaars oplossingen en gedeelde uitdagingen samen aanpakken. Zo moet data beter uitwisselbaar worden en moeten zorgvuldige afwegingen gemaakt worden tussen wat er kan, wat er mag en wat wenselijk is bij datagebruik voor maatschappelijke opgaven’ . Tevens wordt gesproken over het belang van goed vindbare en herbruikbare data. Het betreft hier zowel de interne data die overheden zelf produceren, de data die ze gebruiken van anderen als ook de data die ze als open data beschikbaar stellen voor publiek hergebruik. Meer datagedreven werken wordt gestimuleerd.

Deze beelden zijn ook terug te vinden in de digitale- en data strategie die door de Europese commissie ontwikkeld is. In de Europese datastrategie benadrukt de Europese Commissie o.a. het belang van datadelen tussen sectoren. Het doel is dat data binnen de hele Europese Unie en binnen/tussen alle sectoren vrij kan bewegen. Deze strategie in combinatie met de ambities van de GreenDeal worden concreet vorm gegeven in de ontwikkeling naar de zgn ‘Green Deal data space’.

Voor het behalen van bovengenoemde ambities speelt metadata een belangrijke rol. Als je immers niet weet dat bepaalde data überhaupt bestaan, zullen anderen ze nooit kunnen gebruiken. Vindbaarheid van data is dus van essentieel. Als je de data dan éénmaal gevonden heeft, wil je zo snel mogelijk weten of je geschikt zijn voor het beoogde doel of de mate waarin gegevens relevant voor de gebruikerscontext (begrijpelijkheid / mate antwoord geeft op vraag / betekenisvol) . Daarvoor wil je weten wat de data betekenen. En tot slot wil je de data gaan gebruiken, en wil je toegang krijgen tot de data. Al deze stappen worden gefacilieerd door het gestructureerd opslaan en aanbieden van metadata.

2.2 Wat is metadata?

Meta-informatie is een breed begrip dat door Wikipedia als volgt wordt omschreven: "Meta-informatie bevat alle informatie die ertoe bijdraagt gegevens tot informatie te verheffen. Anders gezegd: omdat meta-informatie gegevens in een bepaalde context zet, is meta-informatie de factor die gegevens tot informatie verheft.

Onder meta-informatie kan zowel de expliciet beschrijvende als de impliciet aanwezige informatie van datasets, dataset series, services / API’s en objecten over structuur, betekenis, onderlinge relaties, locatie, status, eigenaarschap, enz. van gegevens worden verstaan. Ook alle informatie over de applicaties en processen die de gegevens manipuleren, valt onder de noemer meta-informatie.

2.3 Waarom metadata en wat kan ik ermee?

Waarom metadata zo belangrijk zijn, wat je er allemaal me kunt, waar je metadata vindt, en welke standaarden in het geo-domein gebruikt worden staat goed beschreven in de ‘Handreiking Nederlandse metadata profielen’. In het hoofdstuk ‘Wat-is-metadata’. Graag verwijzen we daarnaar.

2.4 Metadata ontsluiten

Metadata kan je ontsluiten via een register of catalogus. Dit kan binnen een organisatie, maar ook nationaal of internationaal. Zo maak je het mogelijk om de metadata doorzoekbaar te maken en de data eventueel te tonen in een portaal. Een voorbeeld van een register is het Nationaal Georegister. Hierin is metadata van verschillende organisaties in Nederland opgenomen. Via het Nationaal Georegister kan iemand data zoeken, raadplegen en in een de meeste gevallen ook direct verkrijgen.

2.5 Scope metadata in deze verkenning

In deze verkenning richten we ons op metadata van locatie gebonden data. Daarbij wordt gekeken naar de bijhorende standaarden, de granulariteit, datacatalogi en de vindbaarheid.

3.1 Beleid

3.2 Catalogi - Portalen

3.3 Metadata standaarden.

4.1 Algemeen

• Geen duidelijke regie vanuit beleid. De sturing vanuit beleid is versnipperd en wordt niet als gecoördineerd ervaren. Beeld is dat er veel verschillende initiatieven gaande zijn, echter weinig samenhang, het overkoepelende beeld ontbreekt. Er is bijv. geen sprake van een integrale sturing op de positionering en samenhang tussen data-catalogi en bijhorende standaarden, zoals dat in Vlaanderen wel lijkt te gebeuren. Ontwikkelingen worden in principe overgelaten aan de verschillende uitvoeringsorganisaties. Sommigen verwachten dat een dergelijk versnipperde aanpak op termijn niet meer houdbaar is, al is het maar vanuit een kostenperspectief.

• Verschil in volwassenheid organisatie. Er is een groot verschil in volwassenheid op het vlak van metadata bij organisaties. Respecteer dat, en geef eenieder de ruimte.

• Datagedreven werken . Een enkele organisatie geeft aan meer datagedreven te willen werken. En daarvoor o.a. intern hun metadata beter te willen organiseren en vindbaar te maken. Zodra dat op orde is voorziet men – voor zover mogelijk- de metadata ook publiekelijk te willen publiceren.

• Eenvoudiger. Metadata zouden ‘simpeler’ moeten. Dat geldt zowel voor het aantal in te vullen kenmerken van de metadata als voor de standaarden. En zowel voor de aanbieder als de gebruikers.

  • Van simpel naar gedetailleerd. Metadata moeten in principe simpel, laagdrempelig en begrijpelijk zijn. Voor bepaalde doelgroepen staat er soms te veel informatie in. Biedt in principe eerst metadata aan waar de meeste behoefte aan is en het makkelijkst aan te maken is. Geef daarna pas details. Bouw het modulair op.

  • Kost veel tijd en complex. De aanbieder moet veel metadata invullen en de standaarden (de ISO standaarden, maar ook DCAT) worden vaak als complex ervaren. Het invullen van metadata wordt vaak als een last ervaren en kost veel tijd. Voor het goed invullen van metadata is enige training noodzakelijk. Voor personen / organisaties die slechts sporadisch (meta)data publiceren, is het publiceren van metadata te complex. Metadata bij voorkeur zoveel mogelijk automatisch invullen, ook de trefwoorden (In NGR gebeurt dat nu handmatig)

  • Biedt metadata aan via verschillende kanalen, de verschillende doelgroepen zoeken anders en hebben een andere informatie behoefte.

  • Ontwikkelaars. Zo eenvoudig mogelijk en breed gebruikte technische standaarden. Software ontwikkelaars willen nog eenvoudiger. Geen complexe formaten zoals XML maar liefst bijv. JSON, en goed beschreven API’s.

• Verschil in informatiebehoefte metadata. Aan de ene kant heb je toepassingen waar de kwalitatieve aspecten van data belangrijk zijn, zoals herleidbaarheid en voor bepaalde registraties ook de (juridische) bestendigheid van gegevens. Hier worden bepaalde ETL processen ingericht om de bedrijfsprocessen te ondersteunen. Standaarden zijn juist hier van belang. Denk aan basis- of andere landelijk registraties, of aan datasets t.b.v. van Europese verplichtingen (INSPIRE, Milieu rapportages, ect. Aan de andere kant heb je toepassingen waarvoor de beschikbaarheid van data het belangrijkste is. De afnemer is dan vooral op zoek naar data die bruikbaar zijn voor zijn toepassingsdoel.

• In de standaarden rekening houden met verschillende gebruiksgroepen en informatie behoefte. Dit opvangen door conditionele/optionele elementen.

• Kwaliteit van data Er is in een aantal gevallen behoefte om meer informatie over de kwaliteit van de data in de metadata op te nemen. Het belang van kwaliteit is afhankelijk van het type datasets. De kwaliteitseisen die gesteld worden aan een basis- of landelijke registratie is anders dan aan een eenmalige dataset die als open data beschikbaar wordt gesteld. Het opnemen van extra kwaliteitskenmerken levert een spanningsveld op met de wens om eenvoudigere metadata.

• Kwaliteit van metadata. Is belangrijk, het moet goed, vanuit gebruikers perspectief ingevuld zijn. Bepaalde organisatie willen meer aandacht / controle op de kwaliteit van de metagegevens.

• Gebruikersvriendelijkheid van tooling. Metadata moet makkelijk ingevuld en beheerd kunnen worden door databeheerders. De beschikbaarheid van goede tools blijft nog wel achter op de wens om data te kunnen zoeken en invoeren.

• Populariteit dataset. Het gebruik bepaald mede hoeveel energie er wordt gestoken in het volledig beschrijven van een dataset. Focus op wat bruikbaar is voor anderen en doe dat goed.

• Aanbod vs. vraag gericht. Huidige insteek is bij metadata is vooral aanbodgericht, o.a. ingegeven door beleid (INSPIRE, Open Data, etc..). Wie de afnemers van de data is on veel niet bekend. Hier zou meer aandacht voor moeten zijn.

  • Doelgroep. Het blijkt lastig om te achterhalen wie nu de afnemers zijn van metadata. De afnemers zijn immers anoniem. Het is daarom ook lastig te achterhalen welke metadata behoefte er is bij de deze afnemers. Globaal worden volgende groepen onderscheiden (bewuste) burgers, Geo-specialisten, developers. Daarnaast worden bepaalde datasets (INSPIRE) nu eenmaal aangeboden omdat het NGR de rol vervult van INSPIRE Discovery Service voor Nederland.

  • Luister naar de gebruiker. Zorg voor een goede gebruikerservaring en een hoge adaptiegraad. Dat kan door uitwerken van de customer journey die de gebruiker (verschillende typen gebruikers) doorloopt, en te onderzoeken welke behoeften daarbij. Wat betekent dat voor de functionaliteit van de applicatie, en wat voor de onderliggende standaarden en het gebruik daarvan. Een beleidsmedewerker of burger wil vooral basisinformatie zoals: wie is de eigenaar van de dataset, en wat zijn de contactgegevens; wat mag ik met de dataset (gebruikerslicenties); is de dataset betrouwbaar? Een dergelijk customer journey juist NIET laten uitvoeren door het geodomein. Doel is immers te achterhalen wat de behoefte is van een niet-geoprofessional.

• Moeten vs. willen. Veelal is het beschikbaar stellen van metadata een ‘moetje’ geworden, een doel op zicht, het moet nu eenmaal voldoen aan de standaard. Zou mooi zijn als data aanbieders terug gaan naar 'willen’ i.p.v. ‘moeten’. Metadata worden gepubliceerd, omdat we data willen delen, hergebruik willen stimuleren, datagedreven willen werken, en vooral maatschappelijke vraagstukken willen oplossen. Een dergelijk insteek vraagt om continue aandacht van de organisatie, processen en leidinggevenden.

• In de organisatie

  • Onderscheid rollen en ondersteun de verschillende rollen bij het invullen metadata. Inhoud / technisch. Ondersteun in de tooling een proces dat meerdere mensen de metadata kunnen invullen, nu is dat vaak één persoon. Terwijl de kennis over de inhoudelijke aspecten van een dataset en de technische aspecten van een dataset veelal bij verschillende personen ligt.

  • Kopieën van data en vertrouwen. Bij sommige organisaties worden datasets gekopieerd om te gebruiken voor andere toepassingen. Inhoudelijke eigenaren voelen zich verantwoordelijk voor de kwaliteit van de data, maar weten niet altijd precies wat er met ‘hun’ data gebeurt. De inhoudelijke data eigenaren willen het liefst zelf bepalen wat er met hun data gebeurt.

  • Binnen organisaties is metadata vaak versnipperd; meerdere tools; meerdere werelden; meerdere definities metadata.

  • Creëer en beheer metadata zo dicht mogelijk bij de data.

  • Maak het beheren van metadata onderdeel van de reguliere processen.

  • Genereer metadata zoveel mogelijk automatisch uit de data.

  • Data bij de bron, begrippen bij de bron, API / Services bij de bron

  • Meer relatie tussen metadata, data, API’s / services, begrippen, informatiemodellen.

  • Begrippen opnemen in de metadata ten behoeve van de doorzoekbaarheid

  • Vanuit dezelfde metadata zowel de geo als de linked data wereld bedienen.

• Samenwerken. Probeer het wiel niet opnieuw uit te vinden. Werk samen met anderen en deel kennis en ervaring. Ook vanuit een kostenoogpunt kan het aantrekkelijk zijn om samen ontwikkelingen op te pakken. Voor het NGR en DONL wordt specifiek Informatie Vlaanderen genoemd. Vlaanderen wordt gezien als één van de voorlopers binnen Europa. Informatie Vlaanderen deelt zijn opgedane kennis nu al, en staat open voor samenwerking met Nederland.

• Samenhang. Trend is richting meer samenhang data en metadata, over catalogi heen, en over domeinen heen kijken

4.2 Standaarden

• ISO, OGC en W3C. Het is positieve ontwikkeling dat OGC en W3C standaarden steeds meer naar elkaar toegroeien. Uit de interviews komt steeds terug dat er al heel veel standaarden zijn. En je bij het ontwikkelen van een nieuws standaarden altijd eerst moet kijken wat er al is, niet het wiel opnieuw moet uitvinden, en vooral samenwerken, voor zover dat kan.

• Aansluiten op veel gebruikte (W3C) standaarden (DCAT) en die uitbreiden met geo-profielen / extensies.

• De DCAT standaard wordt veel genoemd. Het is een generiek standaard. De gebruikersgroep is groot, er zijn veel ontwikkelingen, en er wordt veel energie ervaren. Het gebruik van DCAT (rdfa) bevorderd ook de vindbaarheid in search engines, is flexibel, en te gebruiken in een Linkeddata context. Ook Europa / INSPIRE denk voorzichtig die kant op.

• DQV, voor het vastleggen van datakwaliteit wordt enkele keren genoemd in combinatie met DCAT, als generieke opvolger van ISO 19157.

• SKOS is voor begrippen bruikbaar. Nadeel is wel dat er veel ruimte voor interpretatie is m.n. bij het vocabulaire.

• De ISO standaarden hebben een lange historie, worden als een ‘rijke’ maar ook als complexe standaard ervaren. De ISO standaarden spelen een belangrijke rol in het geo-domein en de opgebouwde kennis, ervaring, rijkdom aan metadata die bewaart moet blijven.

• De ISO standaarden hoeven ook niet te verdwijnen. Ze zijn vooral bruikbaar voor specifieke gebruikers, de geo-professional / specialist. Sommigen vinden de ISO standaarden wel een beetje achterhaalden te veel gericht op de eigen geo-community. De INSPIRE technische specificaties zijn nog op de ISO standaarden gebaseerd, deze zal dus nog blijven bestaan.

• Mochten in de toekomst meerdere soortgelijke / overlappende standaarden (moeten) blijven bestaan, is het in ieder geval van belang dat ze goed naar elkaar te vertalen / op elkaar te mappen zijn. Sommigen vinden dat je voor metadata in de toekomst helemaal kunt overstappen op DCAT.

• OGC API – records wordt genoemd als mogelijke opvolger van OGC:CSW heeft als groot voordeel dat de vindbaarheid door zoekmachines verbeterd. Op dit moment (de standaard is in ontwikkeling) is het echter nog niet goed mogelijk om de service binding goed te maken. Dit is essentieel voor het gebruik. Daarnaast word er voor het vastleggen van de metadata (nog) niet van een bestaande standaard, bijvoorbeeld DCAT uitgegaan.

4.3 Catalogi

• Samenhang tussen Catalogi. Er zijn veel verschillende catalogi voor zowel data, API’s en begrippen. Weinigen hebben het overzicht. Ontwikkelingen lijken gefragmenteerd, alleen voor een beperkte doelgroep te gebeuren, zowel binnen als tussen organisaties.

• Eén centraal punt voor alle metadata van overheid ’s data. Velen zien dat als een optimaal beeld. De metadata die je daar vind zijn simpel en eenvoudig te begrijpen, data zijn direct inzichtelijk (niet alleen beschrijving, maar ook voorbeelden), en dit centrale punt zorgt voor optimale vindbaarheid in search engines. Dit punt is vooral voor de niet geo-professional, domein specifieke geo metadata is hier niet beschikbaar.

• Wel versus geen NGR. Door de meesten wordt het NGR, voor het zoeken naar geo specifieke data als toegevoegde waarde ervaren naast het generieke (open) data portaal. Daar zou dan wel alle geodata in moeten zitten. In het NGR zitten zoekingangen die voor de geo-community meerwaarde hebben. De geo-wereld is ook meer gestandaardiseerd dan daarbuiten. Het ontsluiten van metadata in NGR kan ook als een soort kwaliteitskenmerk worden gezien. Doorzoekbaarheid en getoonde informatie zijn echter niet optimaal. Sommigen geven aan dat in een de toekomst het NGR mogelijk geen eigen user interface meer nodig heeft, en dat metadata over alle domeinen heen in één gebruiksvriendelijke dataportaal te vinden is.

  • Het zoeken op - en gebruiken van metadata in catalogi levert veel management informatie op. Deze informatie zou gedeeld moeten worden met de aanleverende partijen.

• Wel vs. geen eigen catalogus. Sommige, vooral grotere organisaties willen graag hun eigen Catalogus. Primair doel is dan vooral data binnen de eigen organisatie vindbaar te maken en daarna relevante metadata publiekelijk beschikbaar te stellen.

• Sommige organisaties vinden het gebruik van duidelijke en persistente URI naamgeving conventies, die terug te leiden zijn naar hun eigen organisatie (Point of Origin), belangrijk. Voor anderen geldt dit minder.

• Zij zouden liever gebruik willen maken van een ‘Catalogus-as-a-Service’. Het beheren en up-to-date houden van de Catalogus software (incl. ondersteuning standaarden) vergt immers specifieke kennis en middelen die vaak niet voorhanden zijn. Deze organisaties kunnen hun metadata direct in NGR aanmaken via een centrale edit modus en via NGR aanbieden, anderen gebruiken hiervoor producten van commerciële dienstverleners.

• Zoekmachines vs. Catalogi:

  • Catalogi blijven nog wel even bestaan. Intern in een organisatie is Google geen oplossing.

  • Internet is gestandaardiseerd Met Schema.org en RDFa, maar dit is vooral geoptimaliseerd voor e-commerce. Nog niet echt voor datasets (mensen zoeken er niet of onvoldoende naar). Schema.org heeft wel element voor datasets, echter nog niet geharmoniseerd met DCAT

  • Multi-channels aanbieden. De data op verschillende manieren vindbaar maken voor de verschillende doelgroepen. Naast catalogi ook via google vindbaar zijn. Alleen in zoekmachines data vinden is te beperkt, data op meerder manieren vindbaar maken op basis van zelfde metadata. Daarmee ook de (geo) API en linked data wereld bedienen.

• Federatief stelsel catalogi. Zorg voor standaarden die de verschillende catalogi informatie kunnen uitwisselen.

• Van gegevens naar kennis. In één van de interviews wordt aangegeven dat we in toekomst meer gaan bewegen van gegevens naar informatie, en dan naar kennis. Knowledge Graphs worden dan belangrijker.

• Machine learning. Op het gebied van technologische ontwikkeling wordt de verwachting geuit dat Machine Learning en Artificial Intelligence zal helpen bij het automatiseren en verbeteren van de vindbaarheid, categoriseren, verrijken en identificeren van relaties tussen datasets in data catalogi. Gartner spreek in één van zijn rapporten in dit geval over een zgn. ‘augmented data catalog’.

4.4 Granulariteit

• Dataset. Gedeeld beeld is dat er vooral op dataset niveau metadata vastgelegd moet worden.

• Datasetserie wordt soms gebruikt om meerdere samenhangende datasets voor de vindbaarheid van gebruikers samen te ontsluiten.

• Objectinformatie. Metadata over objecten is alleen zinvol als er op dat niveau echt verschillende info is. Dit is afhankelijk van de dataset.

  • Objectinformatie opnemen in DCAT zou wel erg veel inspanning vergen. Informatie over objecten staat voor een deel beschreven in het Informatiemodel en uitgewerkt in een objectencatalogus of gegevenscatalogus.

  • Bij basisregistraties of andere landelijke of domein specifieke registraties is een goede beschrijving van het object nodig, het is bijvoorbeeld voor sommige (juridische) toepassingen van belang te weten op welke datum een object gewijzigd is.

  • Basisregistraties staan niet op zich, en worden ook gebruikt om relatie te leggen met andere basis- of landelijke registraties. Dan wil je weten welke definitie gehanteerd wordt voor bepaalde objecten, zoals bijvoorbeeld een weg. Voor kleinere datasets is dat veel minder van belang.

• Services en API’s. De overheid is volop bezig om meer API’s aan te bieden. API management wordt steeds belangrijker.

• Het belang van metadata over services en API’s wordt onder ondersteund, mits dit extra informatie zoals over het gebruik, de eigenaar/verstrekker en herzieningsfrequentie van de API/service bevat. Als dat niet het geval is voldoet het opnemen als distributie van een dataset.

• Technische info mist soms in de service metadata.

• Datasets vs. object gericht werken. Datasets blijven bestaan.

• Linked data. Mogelijk meer linked werken. Maar dan eerder op begrippen en objecten.

4.5 Vindbaarheid

Bij het zoeken naar gegevens zijn de volgende stappen van belang:

• Vindbaarheid voor burger. Vergroot de vindbaarheid van de burger. Veelal is die niet bekend met specifieke catalogi en zoekt via de reguliere zoekmachines. Verbeter dus de vindbaarheid in zoekmachines.

• Vindbaarheid over datacatalogi heen. Er zijn inmiddels meer catalogi. Veelal per domein. Maatschappelijk vraagstukken zijn veelal domein overstijgende vraagstukken, waarbij gegevens uit diverse domeinen nodig zijn om tot oplossingen te komen.

• Vindbaarheid binnen datacatalogi. De vindbaarheid binnen catalogi is nog sub-optimaal. Denk aan verbeteren doorzoekbaarheid van de data door een meer search engine achtige aanpak. Ook de begrippen en informatiemodellen zouden doorzoekbaar moeten zijn.

• Vindbaarheid van API’s / Services. Ontwikkelaars van toepassingen hebben behoefte aan goed beschreven en vindbare API’s. In het NGR zijn de services al terug te vinden. Voor de hele overheid is nu Developer Overheid in ontwikkeling.