Ouverture des données

.gitignore

@@ -9,4 +9,4 @@
 /scripts/*/*.csv
 /scripts/*/*/*.csv
 /scripts/*.zip
-/scripts/*/*.zip
+/scripts/*/*.zip

README.md

@@ -1,40 +1,38 @@
 # Fiche produit : Aldo
 
+Nos données sont ouvertes : [lire la documentation](data.md)
+
 ## Le drame
 
-L'urgence de la lutte contre le réchauffement climatique n'est plus à présenter. La combustion de carburants fossiles est bien sûr la cause principale du réchauffement. Mais un autre sujet s'avère clef, et probablement moins médiatisé : l'évolution du stock de carbone dans les sols. 
+L'urgence de la lutte contre le réchauffement climatique n'est plus à présenter. La combustion de carburants fossiles est bien sûr la cause principale du réchauffement. Mais un autre sujet s'avère clef, et probablement moins médiatisé : l'évolution du stock de carbone dans les sols.
 
 [
 ![](https://storage.gra.cloud.ovh.net/v1/AUTH_0f20d409cb2a4c9786c769e2edec0e06/imagespadincubateurnet/uploads/upload_ae5420c17ab682fad0a711e110c59a1c.png)](https://www.globalcarbonproject.org/carbonbudget/21/files/GCP_CarbonBudget_2021.pdf)
 
-La planète [se verdit](https://earthobservatory.nasa.gov/images/146296/global-green-up-slows-warming), ce qui permet d'amoindrir le réchauffement climatique.  En même temps, des investigations récentes montrent que les émissions de gaz à effet de serre des pays seraient [très lourdement sous-estimées](https://www.washingtonpost.com/climate-environment/interactive/2021/greenhouse-gas-emissions-pledges-data). 
+La planète [se verdit](https://earthobservatory.nasa.gov/images/146296/global-green-up-slows-warming), ce qui permet d'amoindrir le réchauffement climatique. En même temps, des investigations récentes montrent que les émissions de gaz à effet de serre des pays seraient [très lourdement sous-estimées](https://www.washingtonpost.com/climate-environment/interactive/2021/greenhouse-gas-emissions-pledges-data).
 
-La France est le troisième plus vaste pays d'Europe. À ce titre, l'étude et la publication des chiffres sur l'usage des sols et en particulier les stocks et les flux de carbone, est nécessaire à la fois pour évaluer et diminuer le risque d'une évolution peu satisfaisante,  mais aussi pour annoncer des bonnes nouvelles le cas échéant. 
+La France est le troisième plus vaste pays d'Europe. À ce titre, l'étude et la publication des chiffres sur l'usage des sols et en particulier les stocks et les flux de carbone, est nécessaire à la fois pour évaluer et diminuer le risque d'une évolution peu satisfaisante, mais aussi pour annoncer des bonnes nouvelles le cas échéant.
 
 Au vu des incertitudes voir des controverses internationales sur l'estimation du carbone stocké dans les sols, il est primordial que la France soit exemplaire sur l'accessibilité et la transparence de ses propres données.
 
 Or, l'accès aux données du territoire français, évidemment peu homogène du fait notamment de sa diversité de régimes climatiques et biorégions, est aujourd'hui très compliqué, en particulier pour les agents de l'administration locale qui est souvent la plus à même d'agir sur l'évolution des sols.
 
-
-
 ## La solution numérique
 
-Pour mieux comprendre et gérer ces changements d'usage des sols, il nous faut faciliter l'accès aux données du stockage pour les 40 000 communes métropolitaines. 
+Pour mieux comprendre et gérer ces changements d'usage des sols, il nous faut faciliter l'accès aux données du stockage pour les 40 000 communes métropolitaines.
 
-Des données aussi cruciales doivent être accessibles en 1 clic sur une interface qui permette à la fois d'avoir une synthèse pédagogique du bilan, que d'explorer les raisons de ce résultat, via un accès aux données *et* à l'algorithme de calcul de ces données se basant sur des relevés bruts des types de sols. 
+Des données aussi cruciales doivent être accessibles en 1 clic sur une interface qui permette à la fois d'avoir une synthèse pédagogique du bilan, que d'explorer les raisons de ce résultat, via un accès aux données _et_ à l'algorithme de calcul de ces données se basant sur des relevés bruts des types de sols.
 
-La première version de l'outil sera un simple moteur de recherche par commune ou [intercommunalité](https://fr.wikipedia.org/wiki/Établissement_public_de_coopération_intercommunale) des données calculées de stock et de flux de carbone des sols, basée sur un tableur qui a déjà montré ses limites de charge et d'utilisabilité. 
+La première version de l'outil sera un simple moteur de recherche par commune ou [intercommunalité](https://fr.wikipedia.org/wiki/Établissement_public_de_coopération_intercommunale) des données calculées de stock et de flux de carbone des sols, basée sur un tableur qui a déjà montré ses limites de charge et d'utilisabilité.
 
 Dans un second temps, l'utilisateur expert doit pouvoir mettre à jour lui-même les données de relevés s'il dispose d'informations complémentaires ou corrigées.
 
-Un arbre, c'est du carbone atmoshérique stocké par la photosynthèse... mais au-delà de ce mécanisme de base si séduisant, le sujet s'avère incroyablement complexe. Pour le grand public, Aldo pourra aussi être un moyen d'appréhender la complexité du sujet de la captation de carbone via les sols. 
+Un arbre, c'est du carbone atmoshérique stocké par la photosynthèse... mais au-delà de ce mécanisme de base si séduisant, le sujet s'avère incroyablement complexe. Pour le grand public, Aldo pourra aussi être un moyen d'appréhender la complexité du sujet de la captation de carbone via les sols.
 
 ## Le déploiement
 
 Aldo sera une application Web accessible à tout le monde.
 
-Les Plans climat-air-énergie territoriaux ([PCAET](https://fr.wikipedia.org/wiki/Plan_climat-air-énergie_territorial)) sont les jalons récurrents qui profiteront certainement de l'accès à la plateforme Aldo, notamment pour leur volet d'état des lieux. 
-
-L'outil open source lui-même, déployé d'abord en France, pourra certainement l'être aussi à l'international, les besoins étant très similaires au moins dans l'Union Européenne. 
-
+Les Plans climat-air-énergie territoriaux ([PCAET](https://fr.wikipedia.org/wiki/Plan_climat-air-énergie_territorial)) sont les jalons récurrents qui profiteront certainement de l'accès à la plateforme Aldo, notamment pour leur volet d'état des lieux.
 
+L'outil open source lui-même, déployé d'abord en France, pourra certainement l'être aussi à l'international, les besoins étant très similaires au moins dans l'Union Européenne.

calculations/flux/index.js

@@ -37,17 +37,22 @@ function getAnnualFluxes (communes, options) {
     fluxes = replaceWithOverride(fluxes, areas, from, to, 'litière')
   })
 
-  fluxes = fluxes.filter((f) => !!f.co2e)
-  fluxes.push(...getNitrousOxideEmissions(fluxes))
+  const fluxWithValue = fluxes.filter((f) => !!f.co2e)
+  const n20Emissions = getNitrousOxideEmissions(fluxWithValue)
+  fluxWithValue.push(...n20Emissions)
+  fluxes.push(...n20Emissions)
   // TODO: aggregations for display
   //  - produits bois details
 
-  fluxes.push(...getFluxAgriculturalPractices(options?.agriculturalPracticesEstablishedAreas))
+  const agriculturalPractices = getFluxAgriculturalPractices(options?.agriculturalPracticesEstablishedAreas)
+  fluxWithValue.push(...agriculturalPractices)
+  fluxes.push(...agriculturalPractices)
 
-  const { summary, biomassSummary, fluxCo2eByGroundType, woodSummary, total } = fluxSummary(fluxes, options)
+  const { summary, biomassSummary, fluxCo2eByGroundType, woodSummary, total } = fluxSummary(fluxWithValue, options)
 
   return {
     allFlux: fluxes,
+    fluxWithValue,
     summary,
     biomassSummary,
     areas,
@@ -250,13 +255,14 @@ function fluxSummary (allFluxes, options) {
   // update change flag for forests based on if the area used in biomass growth
   // calculations is defined by the user.
   const biomassGrowthAreaModified = biomassSummary.some((subtype) => subtype.areaModified)
-  summary.forêts.areaModified = summary.forêts.areaModified || biomassGrowthAreaModified
-  summary.forêts.hasModifications = summary.forêts.hasModifications || biomassGrowthAreaModified
+  if (summary.forêts) {
+    summary.forêts.areaModified = summary.forêts.areaModified || biomassGrowthAreaModified
+    summary.forêts.hasModifications = summary.forêts.hasModifications || biomassGrowthAreaModified
+  }
   return { summary, biomassSummary, fluxCo2eByGroundType, woodSummary, total }
 }
 
 function forestBiomassGrowthSummary (allFlux, options) {
-  // aggregate forest biomass data which is by commune, not EPCI
   const forestBiomassSummaryByType = []
   const forestSubtypes = ['forêt mixte', 'forêt feuillu', 'forêt conifere', 'forêt peupleraie']
   for (const subtype of forestSubtypes) {

calculations/flux/integration.test.js

@@ -6,10 +6,16 @@ describe('Flux module integration tests', () => {
   const communes = getCommunes({ epci: getEpci('200007177', true) })
   test('returns expected number of entries for cultures ground changes', () => {
     // only return fluxes != 0
-    const allFlux = getAnnualFluxes(communes).allFlux
-    const culturesFlux = allFlux.filter(f => f.to === 'cultures')
-    const cGround = culturesFlux.filter(f => f.gas === 'C' && f.reservoir === 'sol')
+    const fluxes = getAnnualFluxes(communes)
+    const fluxWithValue = fluxes.fluxWithValue
+    let culturesFlux = fluxWithValue.filter(f => f.to === 'cultures')
+    let cGround = culturesFlux.filter(f => f.gas === 'C' && f.reservoir === 'sol')
     expect(cGround.length).toBe(5)
+    // 13 flux values * 12 communes in this EPCI = 156
+    const allFlux = fluxes.allFlux
+    culturesFlux = allFlux.filter(f => f.to === 'cultures')
+    cGround = culturesFlux.filter(f => f.gas === 'C' && f.reservoir === 'sol')
+    expect(cGround.length).toBe(156)
   })
 
   // data-dependent tests

data.md

@@ -0,0 +1,17 @@
+# Les données
+
+Les données sont disponibles en format CSV, encodage UTF-8.
+
+Pour que les nombres décimal sont bien formattés en LibreOffice, assurez-vous que le langage utilisé pour ouvrir le fichier est anglais.
+
+[Stocks](./data/dataByCommune/stocks.csv)
+[Flux](./data/dataByCommune/flux.csv)
+
+## Valeurs de France
+
+Pour les calculs de stocks et fluxs de produits bois, on utilise les valeurs suivantes:
+
+- les stocks par usage : [getFranceStocksWoodProducts](./data/stocks.js#L209)
+- le récolte par usage : [getAnnualFranceWoodProductsHarvest](./data/stocks.js#L217)
+- la population de France : [totalPopulation](./data/dataByEpci/france.json#L48673)
+- les puits en France par usage : [getFranceFluxWoodProducts](./data/flux.js#L345)

data/flux.js

@@ -369,9 +369,11 @@ function getForestBiomassFluxesByCommune (location) {
   const significantCarbonData = carbonData.filter((data) => data.surface_ic === 's')
   let areaDataByCommune = []
   if (location.epci) {
+    // TODO: this function is only called with a single commune, remove this if
     areaDataByCommune = areaData.filter(data => data.CODE_EPCI === location.epci.code)
   } else if (location.commune) {
     let code = location.commune.insee
+    // TODO: fix data to avoid this ugly 0 removal
     if (code.startsWith('0')) code = code.slice(1)
     areaDataByCommune = areaData.filter(data => data.INSEE_COM === code)
   }

front/handlers/territory.js

@@ -135,18 +135,16 @@ async function territoryHandler (req, res) {
 function formatFluxForDisplay (flux) {
   const fluxDetail = {}
   const agriculturalPracticeDetail = {}
-  flux.allFlux.forEach(f => {
-    if (f.value !== 0) {
-      if (f.practice) {
-        if (!agriculturalPracticeDetail[f.to]) {
-          agriculturalPracticeDetail[f.to] = []
-        }
-        agriculturalPracticeDetail[f.to].push(f)
-      } else {
-        if (!fluxDetail[f.to]) fluxDetail[f.to] = []
-        // biomass growth in forests is displayed elsewhere
-        if (f.growth === undefined) fluxDetail[f.to].push(f)
+  flux.fluxWithValue.forEach(f => {
+    if (f.practice) {
+      if (!agriculturalPracticeDetail[f.to]) {
+        agriculturalPracticeDetail[f.to] = []
       }
+      agriculturalPracticeDetail[f.to].push(f)
+    } else {
+      if (!fluxDetail[f.to]) fluxDetail[f.to] = []
+      // biomass growth in forests is displayed elsewhere
+      if (f.growth === undefined) fluxDetail[f.to].push(f)
     }
   })
   // order the details by initial occupation
@@ -338,7 +336,7 @@ function fluxCharts (flux) {
   const labels = keys.map(key => GroundTypes.find(k => k.stocksId === key)?.name)
   const reservoirLabels = ['Sol et litière', 'Biomasse'] // produits bois
   const reservoirData = [0, 0]
-  flux.allFlux.forEach(f => {
+  flux.fluxWithValue.forEach(f => {
     if (f.reservoir === 'sol' || f.reservoir === 'litière') {
       reservoirData[0] += Math.round(f.co2e)
     } else if (f.reservoir === 'biomasse') {

package.json

@@ -34,6 +34,7 @@
     "sib-api-v3-sdk": "^8.4.2"
   },
   "devDependencies": {
+    "csv-writer": "^1.6.0",
     "eslint": "^7.32.0",
     "eslint-config-standard": "^16.0.3",
     "eslint-plugin-import": "^2.25.4",