Atelier 1 : Elaboration d’un référentiel national de données standardisées (format pivot)

Suite du sujet La commande publique augmentée par la donnée:

  1. Echange autour de la version bêta du format pivot

    • Exhaustivité des variables
    • Modalités de collecte (API, temps réels …)
    • Rôle des acteurs (éditeurs, profils d’acheteurs …)
  2. Elaboration d’une version consolidée d’un référentiel national

    • Travail sur les variables à intégrer, modifier, supprimer
    • Modalités et délai de publication (arrêté d’application de l’article 107 du décret relatif aux marchés publics)
    • Echange sur le devenir de la fiche de recensement économique de la commande publique

Point de sortie : Référentiel national validé et partagé par l’ensemble des acteurs présents

Bonjour Céline.
Je ne sais si c’est le bon endroit pour ça mais voici quelques remarques à la suite d’une première lecture rapide de la version beta.

Quelques remarques sur l’ensemble, tout d’abord.
Le doc est très complet et plutôt bien fait. L’indication d’un libellé officiel, des normes et nomenclatures de référence, ainsi que des indications fournies sur le format de chaque champ (dont les regexp de contrôle !) est très bien vu.
Quelques point de progrès cependant.
0. La version du doc (v3 si j’en crois le nom du fichier) gagnerait à être indiquée dans le doc, avec une date, pour qu’on puisse échanger plus facilement. Y ajouter l’URL de référence du doc ainsi que l’URL vers la dernière version du doc. (Prendre exemple sur les bonnes pratiques du W3C, simples et efficaces.)

  1. Le doc reste très franco-français (malgré la présence, bien vue, de quelques ouvertures à l’international (UTF8, normes ISO pour les dates, etc.)). Certains champs comme DenominationSociale, Commune devraient accepter plus de caractères : j’imagine que des entreprises étrangères obtiennent parfois des marchés. Plus largement, avez-vous pris contact avec https://openspending.org/ pour discuter avec eux de votre initiative.
  2. Certains choix gagneraient à être expliqués, explicités, glosés dans un champ « commentaire ». Par exemple, pour SecteurActivite, un lien vers la fiche Wikipédia correspondante est utile : https://fr.wikipedia.org/wiki/Nomenclature_d’activités_française . MillesimeMandatement est incompréhensible pour moi qui connaît mal le sujet. Etc.
  3. L’indication des regexp pourrait être plus systématique. Elle offre l’avantage de désambiguiser complètement et fait gagner du temps au nombreux « implémenteurs ». On voit par exemple parfois, à tord, des codes postaux sous la forme 1540 pour une commune de l’Ain alors que le code postal est un code et non un chiffre et doit donc s’écrire 01540. Indiquez en début de document le dialecte des regexp que vous utilisez.

Quelques autres remarques de détail.
4. La Taille est un « Décimal » ? N’est-ce pas plutôt un « String » si les valeurs sont « 1 à 2 », « 3 à 5 », etc.
5. Taille toujours : n’y a-t-il pas une forme plus internationale de décrire une fourchette, « 1-2 » plutôt que « 1 à 2 » ?
6. Code CPV : je lis un espace entre « Code » et « CPV » (à éviter ; en tous cas ce n’est pas cohérent avec les autres champs).
7. Durée : je vois un caractère accentué là où vous les avez évité dans les autres libellés de champ.

Voilà pour une première lecture rapide.
Bien cordialement, Charles Nepote.

1 J'aime

Merci de la contribution. Quelques éléments de réponses en attendant le BarCamp :

1 J'aime

J’ai créé une visualisation graphique des objets et propriétés décrits dans le référentiel.

Elle trahit l’absence de propriétés permettant de faire le lien entre les différents objets (marché, opérateur économique, etc.).

Autrement, j’ai quelques questions:

  • Qu’est-ce que les codes CPV ? A la fois cela semble être défini par l’acheteur au niveau local, mais il existe un format à respecter (8 caractères + 1 de contrôle). Existe t-il une agrégation régionale ou nationale ? Le cas échéant, peut-il y avoir des doublons au niveau régional/national ?
  • Durée (d’un marché) : le « format MMM » n’est pas très explicite. Avez-vous un exemple de durée en mois qui respecte le format attendu ?

Je pense avoir repéré les problèmes suivants :

  • Le code postal donné en exemple pour CodePostalCommuneExecution (2B002) est en réalité un code INSEE (la commune d’Aghione, en Haute-Corse). Son code postal est 20270 (Site de la mairie). De façon générale, les codes postaux et commune ont été intervertis. Ainsi, l’opérateur économique devrait avoir un CodeCommune, pas un CodePostal (ou bien les deux).
  • La propriété Secteur d’activité est en double
  • Le champ « Obligatoire » de la propriété Secteur d’activité n’est pas renseignée
1 J'aime
  1. Le CPV est un vocabulaire commun pour les marchés publics. Cette nomenclature CPV a pour objet une classification unique des marchés publics au niveau européen, dans le but d’unifier les références utilisées par les entités et les acheteurs pour la description de l’objet de leur marché. Ces références doivent être mentionnées dans tous les avis de publicité communautaires et nationaux. http://www.economie.gouv.fr/daj/Le-nouveau-CPV-entre-en-vigueur-le-15-septembre-20
  2. La durée des contrats publics est réglementée. Nous avons repris le format à 3 chiffres de la fiche de recensement économique des achats publics. Ce point devra être validé par la DAJ.
  3. Secteur d’activité : on corrige
  4. Code postal : sujet à débattre
1 J'aime

Nouvelle version publiée du format pivot : https://www.data.gouv.fr/s/resources/referentiel-de-donnees-marches-publics/20160428-151127/Format_pivot_Commande_Publique_-_v3.1.pdf

Restitutions d’un atelier organisé dans le cadre du Groupe Acheteurs publics Mégalis Bretagne

Concernant les données financières à publier

  • Prendre le montant payé plutôt que le montant mandaté, ce dernier peut ne pas correspondre au montant réel puisque des mandats peuvent être annulés
  • Millésime : inclure une information sur les périodes de reconduction
  • Inclure les pénalités ?
  • Inclure les intérêts moratoires ?

Obligation au 1er octobre 2018

  • Ne pas appliquer dès le 1er euro à cette date, proposer un étalement dans le temps
  • Quelle périodicité des mises à jour des données ?

Modalités de publication

  • Il apparaît nécessaire que les collectivités aient un outil de suivi des contrats
  • Il faudrait également un connecteur entre la salle régionale des marchés et la gestion financière pour éviter les resaisies
  • Les données ne sont pas uniformes dans toutes les GF : présence, format
  • HELIOS paraît la source la plus fiable sur les données financières
  • Y-a-t-il d’autres acteurs qui possèdent des données et qui pourraient les publier ? le Moniteur par exemple ?
  • Il faudrait faire un export des données disponibles dans la salle régionale des marchés publics.
    Nous espérons avoir un export avant la tenue de l’atelier.

Bonjour,

Voici quelques pistes pour les échanges dans le cadre de cet atelier:

Propositions de données à intégrer au format pivot comme données non obligatoires :

  • Direction du donneur d’ordre à l’origine du marché public
  • Existence d’une clause sociale (oui/non)
  • Existence d’une clause environnementale (oui/non)
  • Notation RSE des entreprises répondantes si disponibles
  • Date de création de l’entreprise
  • Entreprises innovantes (JEI, CIR, etc.)
  • Date de publication du marché
    Autres pistes de structuration du format pivot :
  • Pour chaque lot, ajouter une ligne par entreprise ayant répondu (Titulaire, mandataire, sous-traitant, candidat) et mettre le montant à 0
  • Etablir un tableau de correspondance à partir des codes CPV pour regrouper les grandes familles d’achat et faciliter les analyses

En pièces jointes, deux nouvelles versions du format pivot produites par la Direction des affaires juridiques de Bercy sur la base de la version beta publiée :

  • le premier document représente le format pivot marchés publics conforme à l’article 107 du décret n° 2016-360 du 25 mars 2016 relatif aux marchés publics et à l’article 94 du décret n° 2016-361 du 25 mars 2016 relatif aux marchés publics de défense ou de sécurité

  • le second document représente le format pivot des contrats de concessions conforme à l’article 34 du décret n° 2016-86 du 1er février 2016 relatif aux contrats de concession.

Format pivot Marchés Publics - vDAJ.pdf (291,5 Ko)
Format pivot Concessions - vDAJ.pdf (339,6 Ko)

Les formats proposés par la DAJ respectent strictement la liste des informations sollicitées par les décrets. Toutefois, rien exclu dans une version étendue des formats pivots de solliciter des données supplémentaires mais non obligatoires permettant d’assurer une plus grande visibilité et lisibilité des contrats publics attribués.

Je note quelques différences fondamentales entre la version 3.1 du format pivot Marchés publics publié sur data.gouv.fr, et la version de la DAJ :

  • le Type de marché est obligatoire dans la version DAJ, pas dans la version 3.1
  • le montant attributé HT est obligatoire dans la version DAJ, pas dans la version 3.1

Je peux comprendre que la DAJ publie une version plus ou moins étoffée de ce référentiel (ex : ne garder que les champs obligatoires), en revanche il faut être attentif à ne pas voir cette spécification diverger sous peine d’aboutir à de fâcheux malentendus.

Je note également les anomalies suivantes dans la version DAJ :

  • le caractère obligatoire ou facultatif du Taux de TVA n’est pas indiqué
  • pour le code postal du marché, un code INSEE est donné en exemple, au lieu d’un code postal

Et les anomalies suivantes dans la version 3.1 :

  • pour les montants attribués, le nom de la propriété est MontantMandate
  • pour le code postal du marché et de l’opérateur économique, un code INSEE est donné en exemple, au lieu d’un code postal

Découvrez ici les données collectées et publiées au format pivot auprès des collectivités bretonnes pilotes du projet « My Breizh Open Data - Marchés Publics »
5 514 données correspondants à 12 jeux de données.

1 J'aime

Bonjour,
Les établissements public n’opère pas tous leurs marchés en direct, il me semble qu’un bloc d’information sur l’opérateur du marché serai le bienvenu : UGAP, UniHA, Groupement régional, …
Cdt,
Jean-Luc.

Bonjour,

je rejoins @CharlesNepote Charles sur le grand intérêt des regex pour une implémentation uniforme du standard.

En revanche certaines regex me surprennent, par exemple pour les chaînes de type « ChaineFrancaisOfficielType » cela signifie qu’on ne peut y mettre de chiffres, quid des entreprises par exemple dont la raison sociale inclut un ou plusieurs chiffres ?

Intéressante discussion en tout cas…

Merci beaucoup. Effectivement, Century21, Sport 2000, etc. sont exclus. Cela vaut aussi potentiellement pour les acheteurs. On va voir si un autre type standard permet cette flexibilité. Sinon on se débrouillera.