Dit document is ook beschikbaar in dit niet-normatieve formaat: pdf
Dit document valt onder de volgende licentie:
Creative Commons Attribution 4.0 International Public License
Deze handreiking High Value Datasets (HVD) is een handreiking met informatie om te voldoen aan de (technische) HVD-verplichtingen. Deze HVD-handreiking is bedoeld voor de HVD-dataproviders, die datasets voor HVD ontsluiten.
Dit is een levend document dat regelmatig gewijzigd wordt.
In de Europese Open Data Richtlijn (EU) 2019/1024 wijst de Europese Commissie een lijst met thematische categorieën van hoogwaardige datasets (de ‘High Value Datasets’ (HVD)) aan. Hoofddoel van de HVD is om ervoor te zorgen dat overheidsgegevens met een groot sociaaleconomisch potentieel bij minimale wettelijke en technische beperkingen kosteloos beschikbaar worden gesteld voor hergebruik. Op 21 december 2022 is de Uitvoeringsverordening HVD besloten die wettelijke verplichtingen oplegt betreffende de high value datasets.
Geonovum ondersteunt het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties en de Nederlandse dataproviders bij de invoering van HVD in Nederland.
Deze handreiking HVD is een handreiking met informatie om te voldoen aan de (technische) HVD-verplichtingen. Deze HVD-handreiking is bedoeld voor de HVD-dataproviders, die datasets voor HVD ontsluiten. Voor meer algemene informatie over HVD verwijzen we graag naar de HVD paragraaf in de Handreiking EU informatie m.b.t. digitale en data-strategie.
De opbouw van de HVD-handreiking is gebaseerd op de verschillende processtappen die de dataproviders doorlopen.
Deze HVD-handreiking bedient meerdere doelgroepen, maar richt zich in eerste instantie op partijen die verantwoordelijk zijn voor de uitvoering van HVD. Daarnaast is de informatie ook relevant voor andere partijen die aan slag gaan met HVD. Het belangrijkste doel van deze handreiking is om het werkproces inzichtelijk te maken en kennis hierover op een overzichtelijke manier ter beschikking te stellen.
Onder partijen die verantwoordelijk zijn voor de uitvoering verstaan wij die personen en organisaties die praktisch en technisch met HVD aan de slag gaan. Dat gaat hier concreet om de Nederlandse dataproviders. Zij zullen de processtappen uitvoeren die nodig zijn om te voldoen aan de uitvoeringsverordening HVD. Ook zijn zij verantwoordelijk voor het publiceren van de metadata en aanvullende documentatie en het ontsluiten van de data via API’s. Dit kan door verschillende personen binnen een organisatie uitgevoerd worden, zoals data-beheerders, applicatie-specialisten, dba’ers van ruimtelijke databases en ICT'ers.
De handreiking is daarmee momenteel meer technisch dan organisatorisch ingestoken. Ook beleidmakers en managers krijgen met HVD te maken. Zij zullen ook praktisch met HVD aan de slag gaan, maar op een andere manier dan de technische beheerders, GIS-specialisten en ICT'ers. Toch kan het verhelderend zijn de handreiking te lezen om een idee te krijgen van het type werk dat voor HVD moet worden uitgevoerd.
Het HVD-implementatieproces is, na het aanmerken van de dataprovider en het vervolgens inrichten van de eigen organisatie, opgedeeld in drie technische stappen:
In hoofdstuk 4 is informatie over de afzonderlijke stappen die voor alle thema’s en datasets gelden beschreven. In de hoofdstukken daarna zijn dezelfde stappen beschreven met specifieke informatie die alleen geldt voor de respectievelijke thema’s. Per dataset moeten daarom de stappen doorlopen worden uit hoofdstuk 4 plus de stappen uit het betreffende hoofdstuk.
Bij het publiceren van de uitvoeringsverordening HVD is geen rekening gehouden met processtappen die een technisch data-beheerder of geo-informatie specialist moet ondernemen om de data conform HVD te ontsluiten. Deze handreiking helpt de dataproviders om het werkproces inzichtelijk te maken. In hoofdstuk 12 is een checklist opgenomen van alle stappen die een dataprovider dient te doorlopen om een dataset inclusief services en documentatie te publiceren conform HVD vereisten.
Op 21 december 2022 is de Uitvoeringsverordening tot vaststelling van een lijst met specifieke high value datasets en de regelingen voor publicatie en hergebruik van die gegevens besloten. Deze uitvoeringsverordening heeft de kracht van wet ongeacht de omzetting van de Open Data richtlijn in de Nederlandse Wet Hergebruik van Overheidsinformatie. De wettelijke verplichtingen van de high value datasets staan daarmee volledig op zichzelf. De eisen in de uitvoeringsverordening HVD moeten uiterlijk per 9 juni 2024 door iedere lidstaat vervuld zijn.
Het ministerie van Binnenlandse zaken stelt een gefaseerde aanpak voor, zie Nederlandse ambitie HVD.
Achtergrond, doelen, vereisten en overige informatie over de HVD is te vinden in de onderstaande, door de EU gepubliceerde documenten:
HVD is nog steeds in beweging. Dat betekent dat nog niet alles over HVD gezegd is. Als er aanpassingen zijn, dan wordt deze handreiking daarop aangepast.
Verwacht hier echter niet alles over HVD. De insteek is om die informatie te verstrekken die nodig is om data volgens de uitvoeringsverordening HVD beschikbaar te kunnen stellen. De meest complete bron van informatie is de uitvoeringsverordening zelf.
Het detail van de handreiking slaat het software-niveau over; het is geen how to die uitlegt hoe je in specifieke software bepaalde functionaliteit oproept, of uitvoert. Wel reikt de handreiking principes of mechanismen aan.
We proberen via deze handreiking zoveel mogelijk informatie over HVD te delen. Heb je toch nog een vraag over HVD, stuur dan een e-mail naar HVD@geonovum.nl.
In de Handreiking EU Informatie m.b.t. digitale en data-strategie is zoals al eerder aangegeven algemene informatie over HVD te vinden.
De uitvoeringsverordening HVD bepaalt in haar bijlage welke overheidsdata verplicht als open data moet worden gepubliceerd. Het staat landen vrij verder te gaan dan de uitvoeringsverordening voorschrijft, en t.a.v. de hoeveelheid data worden landen daartoe ook expliciet aangemoedigd. Unie of nationale wettelijke vereisten die verder gaan blijven onverminderd van kracht.
Het ministerie van BZK stelt een gefaseerde implementatie voor, gebaseerd op de verwachte inspanning die nodig is voor ontsluiting conform de HVD vereisten.
In Nederland zijn veel datasets die in de uitvoeringsverordening HVD zijn opgenomen al als open data via een API en/of als bulkdownload (Atom) beschikbaar. Dat zijn datasets die al voor INSPIRE worden ontsloten, datasets die al via landelijke voorzieningen worden ontsloten en ook de statistische en meteorologische data. De focus ligt eerst op het conform de HVD vereisten beschikbaar maken van deze data. De planning is om deze datasets uiterlijk voor 9 juni 2024 conform HVD vereisten beschikbaar te stellen.
Voor data die onder een HVD thema valt, maar die nog niet als open data via API of bulkdownload wordt ontsloten, wordt een andere tijdslijn gehanteerd. Aangezien hier een grotere inspanning verwacht kan worden voor de ontsluiting conform HVD vereisten kan hier, als nodig, de ruimte benut worden die er is tussen de officiële implementatie-deadline en de eerste rapportage over HVD, uiterlijk 9 februari 2025.
In de eerste helft van 2024 zal er voor de dertigtal milieurichtlijnen, vallende onder het thema Aardobservatie en milieu, verder worden ingezet op het verhelderen welke datasets er voor de HVD ontsloten moeten worden. Deze ketens zijn complex met meerdere stakeholders: een beleidsverantwoordelijke, aanleverende en uitvoerende organisaties. Dit vraagt meer tijd om in beeld te krijgen. Hiervoor geldt de implementatietermijn tot uiterlijk 9 februari 2025.
Datasets die in de HVD genoemd worden en onder INSPIRE thema’s vallen, betreffen datasets die voor INSPIRE zijn aangemerkt: het gaat zowel om geharmoniseerde datasets als om rijkere brondata. Daarnaast gaat het om de overige data die onder de INSPIRE thema’s valt (aanvullend op de meest geschikte INSPIRE dataset). Niet al deze data is al bij de dataproviders in scope en vraagt meer tijd om in beeld te krijgen. Hiervoor geldt de implementatietermijn tot uiterlijk 9 februari 2025.
Het ontsluiten van historische data en data in verschillende schaalniveaus (waar relevant) is vaak nog niet bij de dataprovider in scope en vraagt meer tijd om in beeld te krijgen. Hiervoor geldt de implementatie termijn tot uiterlijk 9 februari 2025.
In de uitvoeringsverordening HVD wordt ingezet op het beschikbaar maken voor hergebruik. Het verbeteren van de API’s voor hergebruik en aansluiten bij veel gebruikte dataformaten is een continu proces. Bij de ontsluiting van data als HVD, zal dit in eerste instantie nog niet altijd optimaal zijn. Na de ontsluiting conform HVD vereisten, wordt doorontwikkeling onderdeel van het reguliere werk- en beheerproces.
In Nederland is het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK) verantwoordelijk voor de invoering van HVD. Indien een (overheids)partij beschikt over een dataset die past binnen een HVD thema, is deze partij verplicht deze gegevens conform de uitvoeringsverordening HVD te ontsluiten.
Het ministerie zal deze partij (de dataprovider) aanmerken als HVD dataprovider. De dataproviders zorgen ervoor dat gegevens conform de eisen uit de uitvoeringsverordening HVD vindbaar, toegankelijk en beschikbaar worden gesteld.
Om inzicht te bieden in welke Nederlandse datasets voor HVD zijn aangemerkt, stelt het Ministerie van BZK het Aanmerkingsregister beschikbaar. Het register is openbaar en online toegankelijk. In dit register wordt naast de HVD aanmerking ook de INSPIRE aanmerking bijgehouden.
Het doel van het aanmerkingsregister is meervoudig:
In het openbare gedeelte kan de bezoeker de aanmerkingen bekijken en selecties maken op bijvoorbeeld dataprovider en thema. Ook kan de bezoeker een dataset aanmelden als de bezoeker een dataset mist in het overzicht of denkt dat een bepaalde dataset wel in aanmerking komt voor HVD.
Naast een openbaar gedeelte heeft het aanmerkingregister ook een gesloten gedeelte voor de dataproviders. De gesloten omgeving voorziet in extra functionaliteit om het aanmerkings- en implementatieproces te ondersteunen. Binnen deze omgeving kunnen dataproviders per dataset de directe link opnemen naar de publicatie van de metadata van betreffende dataset in het NGR of andere metadata registers. Ook kan de dataprovider een wijzigingsverzoek indienen. Daarnaast kan de dataprovider alle eigen datasets exporteren naar een Excel-bestand.
In sommige gevallen kan een aangemerkte organisatie niet langer optreden als dataprovider voor een of meer HVD thema’s, of onderdelen daarvan. Dit kan om verschillende redenen, bijvoorbeeld:
Het inrichten van de organisatie en het exacte werkproces zal per organisatie en per dataset verschillen. Aandachtspunt is dat HVD niet eenmalig is, maar juist een doorlopend proces. Wanneer de processtappen zijn doorlopen en de dataprovider ‘conform HVD’ opereert, is het belangrijk dat de processtappen in de lijn worden opgenomen en dat de activiteiten van alle processtappen bij het dagelijkse beheer worden opgenomen.
HVD is namelijk geen project, maar onderdeel van het dagelijkse werkproces!
In Nederland wordt een operationeel overleg HVD ingericht. Vanaf 2024 zal dit overleg met een vaste frequentie worden ingepland.
Naast het operationeel overleg HVD is er het Tactisch beraad EU informatie. Zie voor meer informatie het dossier Europese datastrategie dossier op de Geonovum site.
De uitvoeringsverordening HVD en de bijlage hierin, moeten gelezen worden in het kader van de Open Data richtlijn (ODD) zoals in het onderstaande figuur schematisch en ter illustratie is weergegeven. De vereisten zijn in de Open Data richtlijn abstract, en richting de tabel in de bijlage van de uitvoeringsverordening telkens concreter beschreven. De concrete beschrijvingen in de tabel in de bijlage vallen binnen de abstracte beschrijving van de Open Data richtlijn.
De Handreiking EU informatie m.b.t. digitale en data-strategie geeft informatie over de (aankomende) Europese Verordeningen en Richtlijnen rond de Digitale Strategie en de Data Strategie. Hierin is ook een hoofdstuk over de Open Data richtlijn opgenomen en over high value datasets die in deze richtlijn benoemd zijn.
De uitvoeringsverordening HVD voegt een open data verplichting toe aan een reeks INSPIRE thema’s (25 van de 34) vallend onder de HVD thema’s Geospatiale data, Aardobservatie en milieu en Mobiliteit. Het betreft hier zowel de geharmoniseerde datasets als de rijkere brondatasets. Bij de implementatie van INSPIRE in Nederland is ervoor gekozen alleen de meest geschikte dataset aan te merken voor INSPIRE. Bij HVD gaat het niet alleen om deze meest geschikte dataset, het gaat ook om de overige datasets die onder de INSPIRE thema’s vallen.
Onder het HVD thema Geospatiale data vallen de referentiepercelen en de landbouwpercelen zoals benoemd in de Verordening (EU) 1306/2013 inzake de financiering, het beheer en de monitoring van het gemeenschappelijk landbouwbeleid (GLB) onder de open data verplichting.
Onder het HVD thema Aardobservatie en milieu is alle milieu-informatie in scope zoals genoemd in Richtlijn 2003/4/EC over publieke toegang tot milieu-informatie.
Onder het HVD thema Aardobservatie en milieu is, naast hierboven genoemde data, ook data in scope die door monitoring- en rapportageverplichtingen ontstaat t.a.v. lucht, klimaat, emissies, natuurbehoud en biodiversiteit, geluid, afval, water, milieuaansprakelijkheid en duurzame beleggingen. In de HVD is expliciet benoemd om welke artikelen uit 31 milieu gerelateerde richtlijnen het gaat. In Bijlage 1 is een overzicht opgenomen van alle milieurichtlijnen en een korte toelichting van de genoemde artikelen.
Het thema Statistiek omvat datasets die ontstaan bij de rapportageverplichtingen op grond van een reeks statistiek gerelateerde richtlijnen en verordeningen.
Datasets over bedrijfsdocumenten en -rekeningen worden beschreven in Richtlijn 2013/34/EU betreffende de jaarlijkse financiële overzichten, geconsolideerde financiële overzichten en aanverwante verslagen van bepaalde ondernemingsvormen, en Richtlijn 2004/109/EG betreffende de transparantievereisten die gelden voor informatie over uitgevende instellingen waarvan effecten tot de handel op een gereglementeerde markt zijn toegelaten.
Het thema Mobiliteit omvat, naast INSPIRE data ook statische gegevens, dynamische gegevens en elektronische kaarten en navigatiekaarten voor de binnenvaart, zoals beschreven in Richtlijn 2005/44/EG betreffende geharmoniseerde River Information Services (RIS) op de binnenwateren.
In de uitvoeringsverordening HVD wordt bij drie thema’s ingegaan op historische data. Het betreft de thema’s:
Voor de datasets die vallen onder het HVD thema Aardobservatie en milieu is het volgende aangegeven: “De meest recente datasets en de historische versies van datasets die beschikbaar zijn.” Bij het HVD thema Meteorologische data staat bij de klimaatgegevens, Gevalideerde observaties: “Alle gedigitaliseerde historische gegevens”. Het HVD thema Statistiek gaat uit van “De tijdsreeksen beginnen uiterlijk op de datum van toepassing van de desbetreffende rechtshandeling die in de tabel is opgenomen”.
Bij datasets met meetreeksen kan, na afsluiting van een jaar, de data van dat jaar als historische data worden gezien. Bij data waarbij de situatie op een bepaald moment verandert, is de vraag of elke verandering een historische dataset oplevert of dat bij elke verandering een wijzigingsdatum wordt meegegeven en dan per jaar worden opgeslagen. Daarmee wordt ook een historie opgebouwd.
De Commissie heeft aangegeven (d.d. 8 november 2022) dat de benadering van historische gegevens waarschijnlijk per sector/thema zal verschillen. Mogelijk verschilt de benadering ook tussen lidstaten binnen één sector, aangezien de uitvoeringsverordening tot doel heeft de manier waarop relevante overheidsinstanties hun gegevens beheren niet te verstoren. Verschillende fora van relevante sectorale deskundigen zijn een goede ingang om aan te dringen op een meer geharmoniseerde aanpak in de gegeven sectoren.
Bij het HVD thema Statistiek wordt uitgegaan van de vereisten zoals genoemd in de desbetreffende wetgeving en een startdatum voor tijdsreeksen uiterlijk op de datum waarop deze van toepassing is. Advies is om deze vereisten te volgen, en indien machine leesbare gegevens die verder teruggaan voorhanden zijn, ook die beschikbaar te stellen.
Voor de gevalideerde klimaat observaties uit het HVD-thema Meteorologische data en het HVD-thema Aardobservatie en milieu zijn geen wettelijke kaders gegeven. Aangezien het beheer van de gegevens door de overheidsinstanties verschillend is en niet aangepast hoeft te worden, kan de data op eenzelfde manier worden ontsloten als in de lidstaat wordt gedaan. Daarbij wordt geadviseerd om voor het thema Aardobservatie en milieu wel overeenstemming te bereiken op EU-niveau om hergebruik gemakkelijker te maken.
Bij vier van de zes thema’s beschreven in de uitvoeringsverordening HVD zijn verschillende schaalniveaus vereist. Het betreft de HVD thema’s:
Voor de meeste datasets van de HVD thema’s Geospatiale data, Aardobservatie en milieu, en het subthema Vervoersnetwerken van het thema Mobiliteit, geldt: alle generalisatieniveaus die beschikbaar zijn tot de schaal van 1 op 5 000. Daarbij staat het volgende nog aanvullend aangegeven: In het geval datasets niet beschikbaar zijn op de in de bijlage van de uitvoeringsverordening HVD vermelde schaal, maar wel in (een) hogere ruimtelijke resolutie(s), moeten zij worden verstrekt in de beschikbare ruimtelijke resolutie.
Voor HVD thema Meteorologische data geldt bij 1 subthema, namelijk gegevens uit modellen inzake numerieke weersverwachting (NWP-model), een resolutie vereiste. Ook hier is opgenomen dat indien het vereiste rasterniveau van 2,5 km niet gehaald kan worden, het best beschikbare raster gebruikt moet worden.
Wanneer de beschikbaarstelling van HVD voor hergebruik gepaard gaat met de verwerking van persoonsgegevens, moet die verwerking plaatsvinden in overeenstemming met het Unierecht betreffende de bescherming van natuurlijke personen in verband met de verwerking van persoonsgegevens, met name Verordening (EU) 2016/679 van het Europees Parlement en de Raad (AVG). Dit geldt ook voor alle bepalingen van intern recht waarin de toepassing van de AVG nader wordt gespecificeerd. Wanneer dit het geval is, moeten passende methoden en technieken (zoals generalisatie, aggregatie, onderdrukking, anonimisering, differentiële privacy of randomisering) toegepast worden om zoveel mogelijk gegevens beschikbaar te stellen voor hergebruik.
De technische vereisten die aan de datasets van elk thema worden gesteld, zijn vastgesteld in de Open Data richtlijn, de Uitvoeringsverordening HVD en in de bijlage van deze uitvoeringsverordening. Dit zijn de officiele documenten waarin de volledige vereisten zijn opgenomen. Op basis van deze documenten zijn in dit hoofdstuk de technische afspraken opgenomen die voor alle thema’s en alle datasets gelden die onder HVD vallen. Dit dient als hulpmiddel bij de implementatie. De vereisten zijn onderverdeeld in vereisten voor de data, vereisten voor de metadata en vereisten voor het beschikbaar stellen.
Over het formaat waarin de data beschikbaar gesteld dient te worden, staat in de Open Data richtlijn dat dataproviders hun documenten beschikbaar stellen in de reeds bestaande formaten of talen en, indien mogelijk en passend, elektronisch, in formaten die open, machineleesbaar, toegankelijk, vindbaar en herbruikbaar zijn. Daarnaast dient het formaat zo veel mogelijk aan formele open standaarden te voldoen (artikel 5 (1)).
In de uitvoeringsverordening HVD staat het wat specifieker, namelijk dat het een machineleesbaar formaat dient te zijn dat in de Unie of internationaal erkend is. Ook moet het formaat beantwoorden aan de redelijke behoeften van hergebruikers (artikel 3 (1)).
In de bijlage van de uitvoeringsverordening wordt bij alle thema’s, met uitzondering van subthema Binnenwateren (van thema Mobiliteit), ook vermeld dat het een open formaat moet zijn. Daarnaast worden in de bijlage bij enkele thema’s specifieke formaten als voorbeelden genoemd. Het is niet verplicht deze specifieke formaten te gebruiken, maar het wordt wel geadviseerd.
Alle datasets worden beschikbaar gesteld onder de voorwaarden van een Creative Commons Public Domain Dedication (CC0) licentie of een Creative Commons BY 4.0-licentie of een gelijkwaardige of minder beperkende open licentie. Dit wordt vermeld in artikel 4, lid 3 van de uitvoeringsverordening.
De Open Data richtlijn geeft aan dat dataproviders hun data beschikbaar stellen samen met hun metadata en dat de metadata zo veel mogelijk aan formele open standaarden dienen te voldoen (artikel 5, lid 1).
In de uitvoeringsverordening zijn een aantal aanvullende vereisten voor de metadata beschreven:
In de paragraaf Beschikbaar stellen – Overige documentatie is te lezen dat er een aantal documenten en andere informatie beschikbaar gesteld moeten worden. Hieruit kan worden afgeleid dat in de metadata aanvullende informatie opgenomen moet worden zodat deze aanvullende documenten voor gebruikers vindbaar zijn. Hoewel het geen expliciete vereiste is, wordt geadviseerd ook in de metadata op te nemen:
Algemeen geldt dus dat data voorzien dient te worden van metadata, dat de metadata zo veel mogelijk aan formele open standaarden dient te voldoen en dat de metadata op internet beschikbaar wordt gemaakt volgens bestaande normen.
Voor het beschrijven van ruimtelijke data en dataservices wordt op dit moment het Nederlands metadata profiel op ISO 19115 voor geografie versie 2.1.0 en het Nederlands metadata profiel op ISO 19119 voor services versie 2.1.0 toegepast.
Ten behoeve van de Europese INSPIRE regelgeving is ook een metadata profiel opgesteld. De vereisten uit het INSPIRE profiel zijn opgenomen in deze Nederlandse profielen zodat, door te voldoen aan het Nederlandse profiel, tevens aan de Europese INSPIRE vereisten voldaan kan worden.
Beide profielen staan op de Pas-toe-of-leg-uit-lijst van het College Standaardisatie.
Voor ruimtelijke data en dataservices die conform deze metadata profielen de datasets en services (API’s) beschrijven, kunnen hiermee voldoen aan vereisten rondom metadata uit de Uitvoeringsverordening HVD. Daarvoor is het wel noodzakelijk de specifieke extra informatie voor HVD ook in de metadata wordt opgenomen. Het gaat in ieder geval om de aanduiding van ‘high value dataset’ en daarnaast om onder andere contactinformatie en de verwijzing naar verplichte documentatie. Dit kan in bestaande metadata-elementen opgenomen worden, hiervoor is een wijziging van de Nederlandse metadata profielen niet direct noodzakelijk. Op termijn is dit voor een betere aansluiting op DCAT wellicht wel wenselijk (zie ook Beschrijven van de HVD specifieke metadata in ISO 19115).
De metadata kan voor andere domeinen conform andere bestaande normen (standaarden en profielen) beschikbaar worden gemaakt. Als er geen gangbare, domein specifieke metadata standaard is, kan de metadata aangemaakt worden conform DCAT-AP-NL.
In Europa is het applicatie profiel (DCAT-AP) ontwikkeld op de internationale DCAT standaard, voor het uitwisselen van metadata tussen Europese dataportalen. De transformatie van INSPIRE metadata conform het Nederlands profiel op ISO 19115 naar DCAT, wordt uitgevoerd op catalog/dataportaal niveau. Individuele beheerders van metadata hoeven hier geen actie op te ondernemen. Dit geldt ook voor de metadata conform het Nederlands profiel op ISO 19119.
Er is voor het geo-domein en het statistische-domein op Europees niveau ook een applicatie profiel gemaakt, waarmee het mogelijk wordt om de domein specifieke metadata, zoals de ISO 19115 metadata voor ruimtelijke data, te transformeren naar het generieke DCAT-AP. Voor het uitwisselen van de HVD specifieke metadata is een extensie op DCAT-AP gemaakt, DCAT-AP-HVD, zodat daarmee ook aan de vereisten vanuit de uitvoeringsverordening voor hoogwaardige datasets kan worden voldaan. Een update van geoDCAT-AP, waarin ook de transformatie van ISO metadata naar DCAT-AP-HVD is vastgelegd, is momenteel nog niet beschikbaar.
Een Nederlands applicatie profiel op DCAT is in ontwikkeling. Hierin wordt op basis van het Europese DCAT-AP, specifiekere afspraken gemaakt die beter aansluiten op de situatie in Nederland. Dit profiel gaat gebruikt worden voor de uitwisseling van metadata tussen Europese en Nederlandse data portalen. In een aantal domeinen en bijbehorende portalen wordt DCAT als standaard gebruikt om de metadata in vast te leggen. Daar kan het Nederlandse profiel ook gebruikt gaan worden zodat de metadata die wordt vastgelegd beter aansluit bij de Nederlandse wensen en eisen op dit gebied.
Ruimtelijke data en dataservices (API’s) waarvan de metadata wordt beschreven conform het Nederlands metadata profiel op ISO 19115 voor geografie versie 2.1.0 en het Nederlands metadata profiel op ISO 19119 voor services versie 2.1.0 kunnen hiermee voldoen aan vereisten rondom metadata uit de Uitvoeringsverordening HVD. Het is dan wel noodzakelijk dat de specifieke extra informatie voor HVD ook in de metadata wordt opgenomen. Het gaat daarbij in ieder geval om de aanduiding van ‘high value dataset’ en daarnaast onder andere om contactinformatie en de verwijzing naar verplichte documentatie.
Een update van een Europees afgestemd geoDCAT-AP, waarin ook de transformatie van ISO metadata naar DCAT-AP-HVD is vastgelegd, is momenteel nog niet beschikbaar. Het is mogelijk dat daarin van andere ISO metadata elementen uitgegaan gaat worden om HVD vereisten in DCAT te ontsluiten. Zolang de gevraagde informatie in de juiste DCAT elementen ontsloten wordt, zal dit niet tot problemen leiden.
De aanduiding 'high value dataset'
Vooralsnog lijkt het opnemen van de aanduiding ‘high value dataset’ en het aangeven van het HVD thema in het metadata element trefwoord te voldoen.
Voor de aanduiding ‘high value dataset' moet daarvoor de ELI http://data.europa.eu/eli/reg_impl/2023/138/oj
opgenomen worden.
Het trefwoord voor het HVD thema moet een waarde zijn uit https://op.europa.eu/en/web/eu-vocabularies/dataset/-/resource?uri=http://publications.europa.eu/resource/dataset/high-value-dataset-category.
Dit kan als volgt worden opgenomen in de metadata:
<gmd:descriptiveKeywords>
<gmd:MD_Keywords>
<gmd:keyword>
<gmx:Anchor xlink:href="http://data.europa.eu/eli/reg_impl/2023/138/oj">HVD</gmx:Anchor>
</gmd:keyword>
</gmd:MD_Keywords>
</gmd:descriptiveKeywords>
<gmd:descriptiveKeywords>
<gmd:MD_Keywords>
<gmd:keyword>
<gmx:Anchor xlink:href="https://op.europa.eu/web/eu-vocabularies/concept/-/resource?uri=http://data.europa.eu/bna/c_dd313021"> Aardobservatie en milieu</gmx:Anchor>
</gmd:keyword>
<gmd:thesaurusName>
<gmd:CI_Citation>
<gmd:title>
<gmx:Anchor xlink:href="http://publications.europa.eu/resource/dataset/high-value-dataset-category">High-value dataset categories </gmx:Anchor>>
</gmd:title>
<gmd:date>
<gmd:CI_Date>
<gmd:date>
<gco:Date>2023-09-27</gco:Date>
</gmd:date>
<gmd:dateType>
<gmd:CI_DateTypeCode codeList="http://standards.iso.org/iso/19139/resources/gmxCodelists.xml#CI_DateTypeCode" codeListValue="publication"/>
</gmd:dateType>
</gmd:CI_Date>
</gmd:date>
</gmd:CI_Citation>
</gmd:thesaurusName>
</gmd:MD_Keywords>
</gmd:descriptiveKeywords>
Contactinformatie
De contactinformatie voor vragen over de API kan in de metadata elementen behorende bij “Verantwoordelijke organisatie bron” worden opgenomen. Gebruik daarbij als rol: pointOfContact. Het wordt aanbevolen dat contactinformatie de vorm heeft van een (persistent) e-mailadres, bijvoorbeeld servicedesk@xxx.nl, of een link naar een contactformulier op een webpagina, bijvoorbeeld om contact op te nemen met een servicedesk.
De gebruiksvoorwaarden
De licentie kan zoals gebruikelijk worden opgenomen bij het element “juridische toegangsrestricties” in de metadata. Deze moet echter wel een Creative Commons Public Domain Dedication (CC0) licentie of een Creative Commons BY 4.0-licentie of een gelijkwaardige of minder beperkende open licentie zijn.
Documentatie van de dataset
Bij diverse HVD thema’s wordt gevraagd om de online documentatie van de datasets waarin ten minste de gegevensstructuur en -semantiek is opgenomen. De link naar deze documentatie kan, zoals al gebruikelijk is, in de metadata opgenomen worden bij het element “specificatie” met bijbehorende conformiteitsindicatie.
De kwaliteit van de dienstverlening
Voor de API moet de kwaliteit van de dienstverlening, wat betreft de prestaties, de capaciteit en de beschikbaarheid worden gepubliceerd. In het Nederlands profiel op ISO 19119 zijn daar specifieke metadata elementen voor. DCAT kent deze niet, daar wordt voor deze informatie uitgegaan van een document, waarin deze informatie is opgenomen. Een optie is om de kwaliteit van de dienstverlening als “Algemene beschrijving herkomst” op te nemen in de ISO metadata. Dit is een metadata element waarin ook kwaliteitsinformatie kan worden opgenomen. Dit element is echter nog niet opgenomen in het Nederlands metadata profiel op ISO 19119, maar heeft als voordeel dat het eenduidig is te transformeren naar DCAT. Het opnemen in het element “specificatie” met bijbehorende conformiteitsindicatie, heeft een nadeel dat dit niet eenduidig te transformeren is naar DCAT.
Het document met deze specificatie van de kwaliteit van de service zal wel apart online gepubliceerd moeten worden zodat deze direct toegankelijk is. Deze werkwijze sluit ook aan bij de opmerking in DCAT-AP-HVD dat kwaliteitsinformatie over de service wordt gezien als onderdeel van de generieke documentatie van een service.
API documentatie
Voor de API moet de documentatie over de API zelf gepubliceerd worden. Deze documentatie geeft specifieke details over het endpoint. Dit komt overeen met wat er vastgelegd wordt in een capabilities document van een WFS of de open API specificatie op een OGC: API features. De link naar deze documentatie wordt in de metadata gelegd in het element URL.
Overige metadata
Als er voor de HVD data van verschillende generalisatieniveaus, granulariteit, actualiseringsfrequentie en – termijnen, tijdreeksen en updatefrequentie wordt gevraagd te leveren, is het ook van belang deze specifieke informatie in de metadata op te nemen in de daarvoor aanwezige metadata elementen. Net als distributie formaat is dit relevante informatie, maar geen verplicht metadata element.
Zowel in de Open Data richtlijn (artikel 5, lid 8) als in de uitvoeringsverordening (artikel 3, lid 1) staat dat de datasets die onder HVD vallen, via een Application Programming interface (API) beschikbaar gesteld moeten worden. Een API is in Open Data richtlijn gedefinieerd als "een set functies, procedures, definities en protocollen voor communicatie tussen machines en de naadloze uitwisseling van data." Er is geen technische verordening voor de functionaliteit en techniek voor API’s opgesteld. Er wordt dus geen ‘technische’ keuze of API stijl voor API’s voorgeschreven. Voor de thema’s Geospatiale data, Aardobservatie en milieu en Mobiliteit is aangegeven dat het gaat om een API “zoals direct access download services op basis van Richtlijn 2007/2/EG” (INSPIRE). De INSPIRE direct access download service implementatie maakt het mogelijk om slechts een deel van de dataset door eigen selecties te downloaden. INSPIRE dataproviders met HVD datasets kunnen de INSPIRE ‘network services’ op de volgende wijze inzetten voor de HVD:
INSPIRE ‘network service’ |
HVD API |
OGC Web Services: WFS, WCS, SOS |
X |
OGC API: STA, API Features |
X |
Atom feeds |
De internationale standaarden voor INSPIRE API's zijn door het OGC opgesteld. Deze eerste generatie OWS standaarden, zoals WFS, WCS en SOS, zijn gebaseerd op RPC en XML. Deze standaarden zijn nog steeds geldig en in gebruik, maar worden gaandeweg vervangen door de nieuwe generatie. Deze nieuwe generatie, de OGC API’s, zijn gebaseerd op algemene Web architectuur, i.e. REST. In de algemene Web architectuur wordt ook de Nederlandse API strategie van de overheid toegepast.
Kortom, datasets ontsloten via INSPIRE ‘direct access download services’, kunnen eveneens als HVD API’s worden ingezet. Er zijn geen voorgeschreven technische implementatieregels vanuit ODD en HVD, maar wel een verwachting dat API’s meegroeien met de redelijke wensen van hergebruikers. Om te voldoen aan de behoefte van hergebruikers is het advies om het gebruik van REST API’s conform de Nederlandse API strategie en conform de OGC API standaarden zoals STA en OGC API Features (INSPIRE Good Practises) te implementeren en stimuleren. Deze nieuwe generatie API's zijn voor een veel breder publiek toegankelijk voor hergebruik. Daarnaast is het advies om de brede Europese ontwikkelingen op het gebied van API implementatie te volgen en te zorgen dat de Nederlandse API belangen worden gewaarborgd.
Uitzonderingen daargelaten moeten veel van de datasets naast via een API ook als bulkdownload beschikbaar worden gesteld. Bulkdownload wordt in de uitvoeringsverordening gedefinieerd als: “een functie die het mogelijk maakt een volledige dataset in een of meer pakketten te downloaden.”
INSPIRE dataproviders met HVD datasets kunnen de INSPIRE ‘network services’ op de volgende wijze inzetten voor de HVD:
INSPIRE ‘network service’ |
HVD Bulkdownload |
OGC Web Services: WFS, WCS, SOS |
X |
OGC API: STA, API Features |
X |
Atom feeds |
X |
In de uitvoeringsverordening is beschreven dat ten behoeve van hergebruik verschillende documentatie beschikbaar gesteld dient te worden.
Alle dataproviders die over high value datasets beschikken, wijzen een contactpunt aan voor vragen en kwesties in verband met de API. Dit heeft als doel de beschikbaarheid en het onderhoud van de API te waarborgen en draagt uiteindelijk bij aan de vlotte en doeltreffende publicatie van de datasets (uitvoeringsverordening artikel 3, lid 4). Het advies is hiervoor een helpdesk-punt te gebruiken.
Naast de algemeen geldende vereisten die benoemd zijn in het hoofdstuk Algemene vereisten HVD, gelden voor het thema Geospatiale data een aantal aanvullende technische vereisten. In sommige gevallen geldt een aanscherping van een algemeen geldende vereiste. Deze aanvullende en aangescherpte vereisten zijn hieronder benoemd waarbij ze zijn onderverdeeld in vereisten voor de data, vereisten voor de metadata en vereisten voor het beschikbaar stellen.
In de bijlage van de uitvoeringsverordening staat vermeld welke datasets het betreft en de specificaties van de datasets. Een aantal van deze datasets vallen ook onder INSPIRE thema’s. Bij andere datasets wordt verwezen naar data die is gedefinieerd in de Verordening inzake gemeenschappelijk landbouwbeleid. Bij dit thema gelden specificaties over generalisatieniveaus, de geografische dekking, sleutelkenmerken, actualiteit en vertrouwelijkheid van persoonsgegevens.
De datasets van dit thema dienen een formaat te hebben zoals beschreven bij Algemene vereisten HVD. Aanvullend geldt dat het formaat openbaar gedocumenteerd is.
De metadata waarmee de datasets worden beschreven die ook onder INSPIRE vallen, bevatten ten minste de metagegevenselementen zoals uiteengezet in Verordening (EG) nr. 1205/2008.
De datasets die onder dit thema vallen moeten, naast via API’s, ook beschikbaar worden gesteld middels bulkdownload.
Bij de datasets betreffende referentie- en landbouwpercelen dient rekening gehouden te worden met de lopende uitvoering van Richtlijn 2007/2/EG en met de verplichting van artikel 67, leden 3 en 5, van Verordening (EU) 2021/2116.
In de bijlage van de uitvoeringsverordening worden de INSPIRE thema’s benoemd die onder het thema Aardobservatie en milieu van HVD vallen. Het betreft datasets van 19 verschillende INSPIRE thema’s. Daarnaast vallen datasets die zijn geproduceerd of gegenereerd in het kader van een dertigtal milieurichtlijnen onder dit HVD thema.
Naast de algemeen geldende vereisten die benoemd zijn in het hoofdstuk Algemene vereisten HVD, gelden voor het thema Aardobservatie en milieu een aantal aanvullende technische vereisten. In sommige gevallen geldt een aanscherping van een algemeen geldende vereiste. Deze aanvullende en aangescherpte vereisten zijn hieronder benoemd waarbij ze zijn onderverdeeld in vereisten voor de data, vereisten voor de metadata en vereisten voor het beschikbaar stellen.
In de bijlage van de uitvoeringverordening staat vermeld welke datasets het betreft en de specificaties van de datasets. Bij dit thema gelden specificaties over historische datasets en generalisatieniveaus.
De datasets van dit thema dienen een formaat te hebben zoals beschreven bij Algemene vereisten HVD. Aanvullend geldt dat het formaat openbaar gedocumenteerd is.
De datasets moeten gebruik maken van, in de Unie of internationaal erkende en openbaar gedocumenteerde gecontroleerde woordenlijsten en taxonomieën, voor zover deze beschikbaar zijn.
De metadata waarmee de datasets worden beschreven die onder INSPIRE vallen, bevatten ten minste de metagegevenselementen zoals uiteengezet in Verordening (EG) nr. 1205/2008
De datasets die onder dit thema vallen moeten, naast via API’s, ook beschikbaar worden gesteld middels bulkdownload, behalve de historische versies van datasets onder dit thema. Daarvoor geldt dat ze via API’s of via bulkdownload beschikbaar worden gesteld.
De volledige documentatie van de datasets onder dit thema moet online gepubliceerd worden en openbaar toegankelijk zijn. Hierin wordt tenminste de gegevensstructuur en -semantiek beschreven.
Naast de algemeen geldende vereisten die benoemd zijn in het hoofdstuk Algemene vereisten HVD, gelden voor het thema Meteorologische data een aantal aanvullende technische vereisten. Deze aanvullende vereisten zijn hieronder benoemd, onderverdeeld in vereisten voor de data, vereisten voor de metadata en vereisten voor het beschikbaar stellen.
In de bijlage van de uitvoeringverordening staat vermeld welke datasets het betreft en de specificaties van de datasets. Daar staan ook de specificaties van de datasets uitgeschreven. Bij dit thema gelden specificaties over sleutelkenmerken, granulariteit en actualiseringsfrequentie en –termijnen.
De datasets die onder dit thema vallen dienen een formaat te hebben zoals beschreven bij Algemene vereisten HVD of een formaat zoals gespecificeerd in de tabel in de bijlage bij de uitvoeringsverordening.
De metadata die de datasets van dit thema beschrijven moet volledig zijn en op internet beschikbaar zijn in een open, algemeen gebruikt machineleesbaar formaat.
De datasets moeten, naast via API’s, ook beschikbaar worden gesteld middels bulkdownload. Met uitzondering van de dataset “Gegevens van het NWP-model” (gegevens uit modellen inzake numerieke weersverwachting), die alleen via API’s beschikbaar wordt gesteld.
De volledige documentatie van de datasets onder dit thema moet online gepubliceerd worden en openbaar toegankelijk zijn. Hierin wordt tenminste de gegevensstructuur en -semantiek beschreven.
Naast de algemeen geldende vereisten die benoemd zijn in het hoofdstuk Algemene vereisten HVD, gelden voor het thema Statistiek een aantal aanvullende technische vereisten. In sommige gevallen geldt een aanscherping van een algemeen geldende vereiste. Deze aanvullende en aangescherpte vereisten zijn hieronder benoemd.
In de bijlage van de uitvoeringverordening staat vermeld welke datasets onder dit thema vallen en staan de specificaties van de datasets gespecifieerd. Bij dit thema gelden specificaties over tijdreeksen, updatefrequentie, uitsplitsingen en sleutelkenmerken.
De datasets onder dit thema hebben een CSV, XML (SDMX) of JSON formaat. Ook een ander formaat zoals beschreven bij Algemene vereisten HVD dat daarnaast openbaar gedocumenteerd is, is toegestaan.
De datasets dienen gebruik te maken van in de Unie of internationaal erkende en openbaar gedocumenteerde gecontroleerde woordenlijsten en taxonomieën, voor zover beschikbaar.
De metadata waarin de datasets zijn beschreven, is beschikbaar in een goed uitgewerkt gestructureerd bestand met ten minste een beschrijving van de statistische gegevens, de statistische concepten, de methoden en bevat informatie over de gegevenskwaliteit.
De datasets die onder dit thema vallen moeten, naast via API’s, ook beschikbaar worden gesteld middels bulkdownload.
De volledige documentatie van de datasets onder dit thema moet online gepubliceerd worden en openbaar toegankelijk zijn. Hierin wordt tenminste de gegevensstructuur en -semantiek beschreven.
Naast de algemeen geldende vereisten die benoemd zijn in het hoofdstuk Algemene vereisten HVD, gelden voor het thema Bedrijven en eigendom van bedrijven een aantal aanvullende technische vereisten. In sommige gevallen geldt een aanscherping van een algemeen geldende vereiste. Deze aanvullende en aangescherpte vereisten zijn hieronder benoemd.
In de bijlage van de uitvoeringverordening staat vermeld welke datasets onder dit thema vallen en staan de specificaties van de datasets benoemd. Bij dit thema gelden specificaties over actualisering en sleutelkenmerken.
De datasets worden beschikbaar gesteld onder de, bij Algemene vereisten HVD genoemde licentie, in voorkomend geval met aanvullende voorwaarden voor het hergebruik van persoonsgegevens.
De datasets hebben een formaat zoals beschreven bij Algemene vereisten HVD met daarnaast de specificaties:
De datasets dienen gebruik te maken van in de Unie of internationaal erkende en openbaar gedocumenteerde gecontroleerde woordenlijsten en taxonomieën, voor zover beschikbaar (zoals de Core Business Vocabulary).
In onderstaande twee gevallen gelden aanvullende vereisten ten aanzien van de volledige metadata die de datasets beschrijven.
De datasets die onder dit thema vallen moeten, naast via API’s, ook beschikbaar worden gesteld middels bulkdownload.
De volledige documentatie van de datasets onder dit thema moet online gepubliceerd worden en openbaar toegankelijk zijn. Hierin wordt tenminste de gegevensstructuur en -semantiek beschreven.
Naast de algemeen geldende vereisten die benoemd zijn in het hoofdstuk Algemene vereisten HVD, gelden voor het thema Mobiliteit een aantal aanvullende technische vereisten. In sommige gevallen geldt een aanscherping van een algemeen geldende vereiste. Deze aanvullende en aangescherpte vereisten zijn hieronder benoemd.
In de bijlage van de uitvoeringverordening staat vermeld welke datasets onder dit thema vallen en worden de specificaties van de datasets opgesomd. Bij dit thema gelden specificaties over actualiseringsfrequentie en –termijn, generalisatieniveaus (bij vervoersnetwerken) en granulariteit en sleutelkenmerken (bij binnenwateren).
Voor datasets over vervoersnetwerken geldt dat de datasets gebruik moeten maken van in de Unie of internationaal erkende en openbaar gedocumenteerde gecontroleerde woordenlijsten en taxonomieën, voor zover beschikbaar.
Voor datasets over binnenwateren geldt, in afwijking van wat staat beschreven bij Algemene vereisten HVD, dat de datasets een formaat moeten hebben zoals is gedefinieerd in Richtlijn 2005/44/EG.
Voor datasets over vervoersnetwerken geldt dat de metadata ten minste de metagegevenselementen moet bevatten zoals uiteengezet in Verordening (EG) nr. 1205/2008.
Voor datasets over binnenwateren geldt dat de metadata volledig en op internet beschikbaar moet zijn, in een open en machineleesbaar formaat dat in de Unie of internationaal erkend is.
De datasets die onder dit thema vallen moeten, naast via API’s, ook beschikbaar worden gesteld middels bulkdownload.
Voor datasets over vervoersnetwerken geldt dat de online documentatie van de datasets volledig en openbaar toegankelijk moet zijn. Hierin moet ten minste de gegevensstructuur en -semantiek worden beschreven.
Voor datasets over binnenwateren geldt dat de documentatie van de dataset in overeenstemming moet zijn met Richtlijn 2005/44/EG en de uitvoeringsmaatregelen en -normen op basis van diezelfde Richtlijn 2005/44/EG.
Uiterlijk twee jaar na de inwerkingtreding van de uitvoeringsverordening HVD, dient elke lidstaat een verslag in te dienen over de maatregelen die zij hebben genomen om de uitvoeringsverordening uit te voeren. Dat betekent dat de eerste rapportage uiterlijk in februari 2025 moet worden ingediend.
Hieronder staat een korte checklist van alle stappen die een dataprovider dient te doorlopen om een dataset inclusief services en documentatie te publiceren conform HVD vereisten.