Mise en avant

Projet d’Océrisation des Recensements de la Population Parisienne (1926-1946)

(English below)

Ce projet vise à élaborer une vaste base de données (12 millions d’individus) à partir des recensements nominatifs de Paris de 1926, 1931, 1936 et 1946 qui sont les seuls recensements de la population parisienne existant avant la fin du 20e siècle. Ces recensements sont déjà numérisés et en ligne sur le site des archives de Paris mais il s’agit ici de créer une base de données permettant l’exploitation statistique de ces documents particulièrement riches et offrira l’opportunité d’un pas important dans la connaissance de la population urbaine européenne jusqu’alors très peu étudiée.

1.    Au-delà de l’intérêt scientifique, un intérêt méthodologique

Outre son intérêt pour la connaissance scientifique, ce projet présente également une avancée importance du point de vue méthodologique. En effet, la création de la base de données susmentionnée nécessite l’utilisation de technique de reconnaissance optique de caractère.

Travaillant actuellement sur l’Equipex D-FIH, l’équipe du laboratoire LITIS EA 4108 a mis au point des logiciels de lecture optique de plus en plus performants pour extraire des informations boursières (nom d’entreprise, noms de personnes, des montants financiers, des dates …) imprimées dans les annuaires financiers historiques et les cotations boursières afin de constituer des bases de données boursières et financières historiques.

Dans cette continuité, le projet Popp constitue un véritable défi à relever puisque les recensements de population ne sont pas tapuscrits comme les données de la bourse mais remplis à la main.

Les premiers essais sont cependant concluants, d’une part parce que les recherches de Sandra Brée, démographe-historienne (CNRS, LARHRA) et porteuse du projet, sur la population parisienne lui ont permis de créer des banques de données (professions, noms, lieux) qui permettront de paramétrer les algorithmes de détection optique, et d’autre part parce que l’équipe de Thierry Paquet (responsable de la partie informatique du projet, directeur du LITIS EA 4108) dispose également d’une expertise en reconnaissance d’écriture manuscrite, et dans l’implémentation de chaînes de traitement et de production de données structurée telles que des archives de presse.

Concrètement, une fois la lecture optique des caractères effectués, les données seront compilées dans un site internet de travail dans lequel pourront être modifiées manuellement les informations reconnues par la machine (grâce à une plateforme web collaborative). La machine sera ensuite régulièrement « alimentée » par de nouveaux termes afin d’enrichir de plus en plus son vocabulaire, et traiter d’autres parties du corpus. Une fois que ce long travail sera terminé, une base de données sera créée pour être lisible sous les logiciels statistiques.

2.    Un large public visé

Ce projet vise trois publics.

En premier lieu, la communauté de chercheurs en sciences sociales qui utilise des méthodes quantitatives pourra travailler sur une base de données déjà constituée sans le coût de sa construction pour répondre à un très grand nombre de problématiques différentes en démographie historique, histoire de la famille, histoire sociale, histoire économique, histoire des professions, histoire du genre et bien d’autres. Le colloque et l’ouvrage tirés de ces travaux seront particulièrement cohérents grâce à l’analyse de cette base commune, ce qui est rare en histoire.

En deuxième lieu, les bibliothèques et l’ensemble de la communauté scientifique qui souhaitent aujourd’hui indexer des données tabulaires issues de publications papier pourront profiter de ces avancées techniques. Le Grand Equipement Documentaire du Campus Condorcet (notamment à travers François Merveille, co-porteur du projet) auquel est, depuis cette année, rattaché le service documentaire de l’INED, qui possède de nombreux documents statistiques anciens, sera ainsi mis en relation avec l’équipe de LITIS et pourra rapidement monter en compétences sur les dernières techniques de pointe en la matière. Les techniques utilisées pourront donc être réutilisées dans le cadre d’autres projets d’exploitation et mises en valeur de numérisations.

Enfin, le projet vise un public bien plus large puisque l’objectif final est de verser la base de données aux Archives de Paris afin qu’elles créent une recherche nominative pour les recensements de population (comme c’est déjà le cas pour les recrutements militaires). Les généalogistes professionnels et amateurs en seront ravis !

3.    De fructueuses synergies scientifiques

Au niveau scientifique, l’analyse quantitative et statistique des populations est rendue particulièrement difficile en histoire en raison du manque de bases de données. Pour parvenir à de telles analyses, les chercheurs sont souvent obligés de travailler sur des zones géographiques et temporelles très restreintes en raison de l’immensité du recueil des données. De plus, l’Entre-deux-guerres constitue donc une sorte de « trou d’air » statistique entre « l’avalanche » (Ian Hacking) du XIXe siècle – qui dure jusqu’en 1914 – et le développement de la statistique « contemporaine » avec l’Insee. Dans cette période d’une quarantaine d’année, les données sont rares, les séries statistiques interrompues et les travaux souvent monographiques. Ce projet est donc essentiel pour compléter notre connaissance de l’évolution économique, sociale et démographique de la France – notamment de sa population urbaine – sur la longue durée en s’appuyant sur des données uniques qui permettront de faire le lien entre deux périodes abondantes en informations. La création d’une base de données à partir des recensements de Paris offre l’opportunité d’un pas important dans la connaissance de la population urbaine européenne jusqu’alors très peu étudiée (en particulier avec des données à cette échelle).

La mise à disposition d’une très vaste base de données immédiatement exploitable ouvrira la voie à de nombreuses contributions par des démographes, des historiens, des sociologues ou des économistes. Les données disponibles permettent, en effet, aussi bien d’analyser des comportements démographiques de la population, que de saisir la répartition spatiale des individus selon leur lieu de naissance par exemple. Les chercheuses et chercheurs pourront également se concentrer sur des populations particulières (certaines professions par exemple) qu’ils retrouveront facilement dans toute la ville, ce qui serait très laborieux aujourd’hui. Il sera également possible, ce qui est particulièrement novateur, de suivre des familles dans leurs déménagements entre 1926 et 1946 ; ou encore d’étudier les noms de famille les prénoms ; parmi de nombreuses recherches envisageables.

Presentation of the project

Project for the Oceration of the Paris Population Census (1926-1946).

This project aims to develop a vast database (12 million individuals) based on the 1926, 1931, 1936 and 1946 Paris nominal censuses, which are the only censuses of the Parisian population existing before the end of the 20th century. These censuses have already been digitised and put online on the site of the Paris archives, but the aim here is to create a database for the statistical exploitation of these particularly rich documents and will offer the opportunity of a major step forward in the knowledge of the European urban population, which has hitherto been little studied.

1.    Beyond the scientific interest, a methodological interest

In addition to its interest for scientific knowledge, this project also presents an important advance from a methodological point of view. Indeed, the creation of the above-mentioned database requires the use of optical character recognition techniques.

Currently working on Equipex D-FIH, the LITIS EA 4108 laboratory team has developed increasingly powerful optical reading software to extract stock market information (company name, names of persons, financial amounts, dates, etc.) printed in historical financial directories and stock market quotations in order to create historical stock market and financial databases.

In this continuity, the Popp project represents a real challenge to be taken up since population censuses are not typed like the data of the stock exchange but filled in by hand.

However, the first tests are conclusive, on the one hand because the research of Sandra Brée, a demographer-historian (CNRS, LARHRA) and project leader, on the Parisian population has enabled her to create databases (professions, names, places) which will enable the optical detection algorithms to be parameterised, and secondly because Thierry Paquet‘s team (responsible for the IT part of the project, director of LITIS EA 4108) also has expertise in handwriting recognition, and in the implementation of structured data processing and production chains such as press archives.

In concrete terms, once the characters have been optically read, the data will be compiled in a work website where the information recognised by the machine can be manually modified (thanks to a collaborative web platform). The machine will then be regularly “fed” with new terms in order to enrich its vocabulary more and more and to process other parts of the corpus. Once this lengthy work is completed, a database will be created to be readable under statistical software.

2.    A broad target audience

This project targets three audiences.

Firstly, the community of social science researchers using quantitative methods will be able to work on an already existing database without the cost of its construction to address a very large number of different issues in historical demography, family history, social history, economic history, occupational history, gender history and many others. The conference and the book drawn from this work will be particularly coherent thanks to the analysis of this common base, which is rare in history.

Secondly, libraries and the entire scientific community who today wish to index tabular data from paper publications will be able to take advantage of these technical advances. The Grand Equipement Documentaire du Campus Condorcet (notably through François Merveille, co-porter of the project), to which the INED’s documentation department, which has many old statistical documents, has been attached since this year, will thus be put in contact with the LITIS team and will be able to quickly build up its skills on the latest state-of-the-art techniques in the field. The techniques used will therefore be able to be reused in other exploitation projects and to enhance the value of digitisation.

Finally, the project is aimed at a much wider public since the ultimate objective is to transfer the database to the Paris Archives so that they can create a nominative search for population censuses (as is already the case for military recruitment). Professional and amateur genealogists will be delighted!

3.    Fruitful scientific synergies

At the scientific level, the quantitative and statistical analysis of populations is made particularly difficult in history due to the lack of databases. In order to carry out such analyses, researchers are often obliged to work on very restricted geographical and temporal areas because of the immensity of data collection. Moreover, the inter-war period thus constitutes a sort of statistical “air gap” between the 19th century “avalanche” (Ian Hacking) – which lasted until 1914 – and the development of “contemporary” statistics with INSEE. In this period of about forty years, data are scarce, statistical series are interrupted and work is often monographic. This project is therefore essential to complete our knowledge of the economic, social and demographic evolution of France – particularly of its urban population – over the long term by relying on unique data that will make it possible to establish a link between two periods that are rich in information. The creation of a database based on the Paris censuses offers the opportunity to take an important step forward in our knowledge of the European urban population, which has hitherto been little studied (particularly with data on this scale).

The availability of a very large and immediately usable database will pave the way for numerous contributions by demographers, historians, sociologists and economists. The data available will make it possible to analyse the demographic behaviour of the population and to capture the spatial distribution of individuals according to their place of birth, for example. Researchers will also be able to focus on particular populations (certain professions, for example) which they can easily find throughout the city, which would be very laborious today. It will also be possible, which is particularly innovative, to follow families as they move between 1926 and 1946; or to study surnames and forenames; among many other possible searches.

Les recensements nominatifs de Paris

Les recensements (ou dénombrements) parisiens sont numérisés et en ligne sur le site des Archives de Paris

Les dénombrements listent la population en 3 parties :

  • la population de résidence habituelle ;
  • la population comptée à part – population des casernes, internats des lycées, hôpitaux, prisons, congrégations religieuses, etc. ;
  • les hôtes de passage

La partie principale, soit celle des résidents ordinaires, regroupe au niveau de chaque immeuble, les membres d’une même famille en précisant pour chacun d’entre eux, les nom et prénom, l’année et le lieu de naissance, la nationalité, le lien au chef de ménage et la profession.

Recensement de la population de 1926, population de résidence habituelle, arrondissement de Belleville. Cote D2M8 307 (Archives de Paris).

Rapport du projet POPP (CollEx-Persee)

Brée S., et al (2022), “Rapport scientifique du projet POPP. Projet d’océrisation des recensements parisiens”

publications

Constum, T. et al. (2022). Recognition and Information Extraction in Historical Handwritten Tables: Toward Understanding Early 20th Century Paris Census. In: Uchida, S., Barney, E., Eglin, V. (eds) Document Analysis Systems. DAS 2022. Lecture Notes in Computer Science, vol 13237. Springer, Cham. https://doi.org/10.1007/978-3-031-06555-2_10

Sandra Brée, Marion Leturcq, Victor Gay, Baptiste Coulmont, Yoann Doignon, Thomas Constum, Nicolas Kempf, Thierry Paquet, Pierrick Traounez, Clément Chatelain, François Merveille, “POPP, An OCR-Generated Database of the Population [SB1] Censuses of Paris (1926­-1936)”, forthcoming


DATASET

This repository contains 3 datasets created within the POPP project for the task of handwriting text recognition. These datasets have been publised in Recognition and information extraction in historical handwritten tables: toward understanding early 20th century Paris census at DAS 2022.

The 3 datasets are called “Generic dataset”, “Belleville”, and “Chaussée d’Antin” and contains lines made from the extracted rows of census tables from 1926. Each table in the Paris census contains 30 rows, thus each page in these datasets corresponds to 30 lines.

Communications

A venir

S. Brée, T. Constum, T. Paquet, P. Tranouez, B. Coulmont, Y. Doignon, V. Gay, M. Leturcq, « POPP, créer une base de données à partir des recensement parisiens de l’entre-deux-guerres : du Deep Learning aux corrections manuelles », colloque de la Société de Démographie Historique, Le renouveau des grandes enquêtes en démographie historique. Créer et partager les données en histoire des populations, 23 et 24 novembre 2023, Campus Condorcet

Événements passés

Sandra Brée, ‘Being single in Interwar Paris. Results from the POPP
Project’, European Soceity of Historical Demography Conference, Radbourd University, Nijmegen, 30/08 – 2/09/2023

Sandra Brée, “Mariages à la Parisienne” Cohabiting couples in interwar Paris, Seminar of the Cambridge Group for the History of Population and Social Structure, mai 2023

Sandra Brée, “In and out of the couple in interwar Paris, webinaires de l’European Society of Historical Demography, 27 juin 2023

Sandra Brée a présenté le projet POPP et une communication sur ” ‘Mariages à la parisienne‘, les couples concubins dans le Paris de l’Entre-deux-guerres” au séminaire d’histoire de la famille et des populations du Centre Roland Mousnier (Sorbonne) vendredi 7 octobre 2023 à 14h.

Thomas Constum a présenté une communication sur “Reconnaissance et extraction d’informations dans des tableaux manuscrits historiques : vers une compréhension des recensements de Paris de l’entre‑deux guerre” lors du colloque Documents anciens et reconnaissance automatique des écritures manuscrites (23 et 24 juin 2022, École nationale des chartes, Paris)

Sandra Brée et Thierry Paquet ont présenté le projet POPP : Projet d’Océrisation des recensements de la Population Parisienne au séminaire DHAI le 7 juin 2022.

Thomas Constum a présenté une communication sur “Recognition and information extraction in historical handwritten tables: toward understanding early 20th century Paris census lors du 15th IAPR International Workshop on Document Analysis System, La Rochelle, France, 22-25 mai 2022

Sandra Brée a présenté le projet POPP et une communication sur ” ‘Mariages à la parisienne‘, Cohabiting couples in Interwar Paris” à la prochaine conférence de l’European Society of Historical Demography (2-5 mars 2022, Madrid)

Sandra Brée a présenté une communication sur “Concubinage et célibat dans les recensements de la population de Paris de l’Entre-deux-guerres” à partir des premiers résultats issus du projet POPP lors du séminaire Familles : alliances, transmission, reproduction sociale, territoires. XVIIIe-XXe siècle (EHESS, Campus Condorcet, Aubervilliers)

Sandra Brée a présenté le projet POPP à l’IUSSP International Population Conference (5/10 décembre 2021, online)

Sandra Brée a présenté une communication sur “Les ‘jeunes’ dans les ménages parisiens de l’Entre-deux-guerres”à partir des premiers résultats issus du projet POPP lors du colloque de la Société de la Démographie Historique “Entre l’enfance et l’entrée dans la vie adulte. Normes et pratiques dans les sociétés médiévales, modernes et contemporaines” (Campus Condorcet, 4 et 5 novembre 2021).

Sandra Brée a présenté une communication sur “Les célibataires dans les recensements de la population de Paris de l’Entre-deux-guerres” à partir des premiers résultats issus du projet POPP lors du colloque “Le Genre des célibats” (Paris, 1er octobre)

Sandra Brée a présenté le projet POPP au festival éPOPées du Campus Condorcet (Aubervilliers, 30 septembre)

Sandra Brée a présenté le projet POPP lors du colloque Humanistica (10-12 mai 2021) : https://humanistica2021.sciencesconf.org/

Sandra Brée a présenté le projet POPP lors du congrès annuel de la Population Association of America (5-8 mai 2021) : https://www.populationassociation.org/paa-2021/home

L’équipe de POPP

(English below)

POPP est un projet collaboratif imaginé par Sandra Brée (LARHRA, CNRS), porté avec François Merveille (GED-Campus Condorcet), grâce à la collaboration indispensable de Thierry Paquet (Université de Rouen, Litis), Thomas Constum (CNRS, Litis) et Nicolas Kempf (CNRS, Litis), et le financement du Collex-Persee, du Campus Condorcet et de Progedo.

Sandra Brée est historienne et démographe, chargée de recherche au CNRS (section 33) et affiliée au LARHRA. Ses recherches en démographie historique portent sur le déclin de la fécondité à Paris au XIXe siècle, la transition démographique urbaine ou encore l’évolution de la nuptialité et de la divortialité en France depuis la Révolution (site internet). Elle est également chargée des médias sociaux de la Société de Démographie Historique et des Annales de Démographie Historique et chargée de l’animation du département « données historiques, économiques et financières » de Progedo.

François Merveille est bibliothécaire au grand équipement documentaire du campus Condorcet. Depuis septembre 2019, il est responsable de la coopération pour le grand équipement. Avant de rejoindre le Campus Condorcet, il a été responsable de la bibliothèque de l’Institut des Hautes Études de l’Amérique Latine, bibliothèque de référence Européenne dans le domaine des sciences humaines sur l’aire géographique Latino-Américaine. En 2017, il a participé à une mission de coopération portant sur une opération de numérisation de l’université de Santiago de Cuba. Il est également membre du comité scientifique du projet de tourisme bleu “Odyssea Caraïbes blue grow multi-destination” cofinancé par le programme Interreg Caraïbes.

Thierry Paquet est Professeur à l’université de Rouen et Directeur du laboratoire LITIS (EA 4108). Il est spécialiste en reconnaissance de l’écriture manuscrite, en reconnaissance de formes pour données séquentielles, en analyse et reconnaissance d’images de documents et des modèles probabilistes et réseaux de neurones. Il participe actuellement à de nombreux projets, voir sa page personnelle.

Thomas Constum est un ingénieur récemment diplômé de l’INSA de Rouen en spécialité informatique.
Il a acquis une première expérience de la recherche en intelligence artificielle appliquée au traitement de l’image durant un projet réalisé pendant son dernier semestre d’études. Ce projet consistait à accompagner un doctorant dans ses recherches pour l’entreprise Actemium, filiale du groupe Vinci. Il s’agissait de détecter en temps réel des véhicules dans des images issues de caméras de surveillance.
Par la suite, il a approfondi son expérience durant son stage de fin d’études au sein de l’entreprise Quicksign située à Paris. Ce stage de recherche visait à améliorer une intelligence artificielle capable de déterminer la nature d’un document justificatif (carte d’identité, facture, relevé d’identité bancaire, etc).
Au sein du projet POPP, Thomas Constum est chargé de l’apprentissage d’un modèle de reconnaissance d’écriture ainsi que de la préparation des données pour l’apprentissage.
La préparation des données consiste à localiser dans chaque image les tableaux présents et d’extraire le contenu textuel présents dans ceux-ci.
Afin de faciliter la reconnaissance d’écriture, il est nécessaire de détecter pour chaque élément textuel son emplacement dans la structure logique du tableau.
Thomas Constum utilise une intelligence artificielle entraînée à la détection de lignes de texte ainsi que des méthodes de traitement d’image classique.
Une fois les données préparées, il procèdera à l’entraînement du modèle de reconnaissance d’écriture sur ces données.

Nicolas Kempf est un ingénieur en informatique récemment diplômé de l’INSA de Rouen Normandie.
Il possède une première expérience en intelligence artificielle suite à un stage il y a 2 ans, dans l’entreprise belge AiVidens dont l’objectif était de prédire les défauts de paiements d’entreprises sur la base de factures.
Pendant sa dernière année d’étude, il a effectué une alternance dans l’entreprise I-Surveillance, ce qui lui a permis d’acquérir diverses compétences en développement de systèmes embarqués, d’applications web et de déploiement d’applications.
Au sein du projet POPP, il travaille en coordination avec Thomas Constum, pour réaliser l’ensemble de la chaîne de traitement nécessaire au projet. Il s’occupe principalement de la mise en place du module de reconnaissance de texte et de ce qui l’entoure.
En sortie de la segmentation des images effectuées par Thomas Constum, il développe un module de formatage des images afin que ces dernières puissent être annotées.
Une fois les images annotées et apprises par le modèle, il procédera à la correction de la sortie du module de reconnaissance, à l’aide d’un ensemble de dictionnaires et de règles.

The POPP team

POPP is a collaborative project imagined by Sandra Brée (LARHRA, CNRS), carried out with François Merveille (GED-Campus Condorcet), thanks to the indispensable collaboration of Thierry Paquet (University of Rouen, Litis), Thomas Constum (CNRS, Litis) et Nicolas Kempf (CNRS, Litis), and the financing of Collex-Persee, Campus Condorcet and Progedo.

Sandra Brée is a historian and demographer and has been working for fifteen years on historical quantitative data for this research on the decline of fertility in Paris in the 19th century, the urban demographic transition and the evolution of nuptiality and divortion in France since the Revolution (website). It makes regular use of statistical publications such as the Annuaires statistiques de la ville de Paris or Annuaires statistiques de la France, population censuses or population movements, whose data it copies by hand. It is therefore fully aware of the time devoted to this type of collection and the time that would be saved and could be devoted to analysis if the data were already available in databases. She is also in charge of social media for the Société de Démographie Historique and Annales de Démographie Historique and is in charge of the animation of Progedo’s “historical, economic and financial data” department. This inclusion in the network of quantitative historians will enable her to promote the project and to surround herself with specialists in historical demography, family history, social history and economic history to analyse the database created and to draw from it a conference and then a particularly comprehensive and rich work on the Parisian population of the inter-war period.

François Merveille is a librarian at the large documentation centre on the Condorcet campus. Since September 2019, he is responsible for the cooperation for the large equipment. Before joining the Condorcet Campus, he was in charge of the library of the Institut des Hautes Etudes de l’Amérique Latine, a European reference library in the field of human sciences in the Latin American geographical area. In 2017, he took part in a cooperation mission for a digitisation operation at the University of Santiago de Cuba. He is also a member of the scientific committee of the blue tourism project “Odyssea Caraïbes blue grow multi-destination” co-financed by the Interreg Caribbean programme.

Thierry Paquet is Professor at the University of Rouen and Director of the LITIS laboratory (EA 4108). He is a specialist in handwriting recognition, pattern recognition for sequential data, analysis and recognition of document images and probabilistic models and neural networks. He is currently involved in numerous projects, see his website.

Thomas Constum is an engineer who recently graduated from the INSA in Rouen with a specialisation in computer science.
He acquired his first experience in research in artificial intelligence applied to image processing during a project carried out during his last semester of studies. This project consisted of accompanying a doctoral student in his research for Actemium, a subsidiary of the Vinci group. The aim was to detect vehicles in real time in images from surveillance cameras.
Subsequently, he deepened his experience during his end-of-study internship with the Paris-based company Quicksign. The aim of this research internship was to improve an artificial intelligence capable of determining the nature of a supporting document (identity card, invoice, bank statement, etc.).
Within the POPP project, Thomas Constum is in charge of learning a handwriting recognition model and preparing the data for learning.
Data preparation consists of locating the tables in each image and extracting the text content from them.
In order to facilitate handwriting recognition, it is necessary to detect for each textual element its location in the logical structure of the table.
Thomas Constum uses artificial intelligence trained in the detection of text lines as well as classical image processing methods.
Once the data has been prepared, he will proceed to train the handwriting recognition model on this data.

Nicolas Kempf is a computer engineer who recently graduated from the INSA in Rouen Normandy.
He has a first experience in artificial intelligence following an internship 2 years ago, in the Belgian company AiVidens whose objective was to predict company payment defaults based on invoices.
During his last year of study, he did a work-study in the company I-Surveillance, which allowed him to acquire various skills in the development of embedded systems, web applications and application deployment.
Within the POPP project, he works in coordination with Thomas Constum, to carry out the entire processing chain required for the project. He is mainly in charge of the implementation of the text recognition module and its surrounding.
After the segmentation of the images carried out by Thomas Constum, he develops a module for formatting the images so that they can be annotated.
Once the images have been annotated and learned by the model, he will proceed to correct the output of the recognition module, using a set of dictionaries and rules.

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search