Projet d’Océrisation des Recensements de la Population Parisienne (1926-1936)
Ce projet visait à élaborer une vaste base de données (9 millions d’individus) à partir des recensements nominatifs de Paris de 1926, 1931 et 1936 qui sont les seuls recensements de la population parisienne existant avant la fin du 20e siècle (avec celui de 1946). Ces recensements sont déjà numérisés et en ligne sur le site des archives de Paris mais il s’agissait ici de créer une base de données permettant l’exploitation statistique de ces documents particulièrement riches et offrir l’opportunité d’un pas important dans la connaissance de la population urbaine européenne jusqu’alors très peu étudiée.
1. Au-delà de l’intérêt scientifique, un intérêt méthodologique
Outre son intérêt pour la connaissance scientifique, ce projet présente également une avancée importance du point de vue méthodologique. En effet, la création de la base de données susmentionnée nécessite l’utilisation de technique de reconnaissance optique de caractère.
Travaillant actuellement sur l’Equipex D-FIH, l’équipe du laboratoire LITIS EA 4108 a mis au point des logiciels de lecture optique de plus en plus performants pour extraire des informations boursières (nom d’entreprise, noms de personnes, des montants financiers, des dates …) imprimées dans les annuaires financiers historiques et les cotations boursières afin de constituer des bases de données boursières et financières historiques.
Dans cette continuité, le projet Popp constitue un véritable défi à relever puisque les recensements de population ne sont pas tapuscrits comme les données de la bourse mais remplis à la main.
Les premiers essais sont cependant concluants, d’une part parce que les recherches de Sandra Brée, démographe-historienne (CNRS, LARHRA) et porteuse du projet, sur la population parisienne lui ont permis de créer des banques de données (professions, noms, lieux) qui permettront de paramétrer les algorithmes de détection optique, et d’autre part parce que l’équipe de Thierry Paquet (responsable de la partie informatique du projet, directeur du LITIS EA 4108) dispose également d’une expertise en reconnaissance d’écriture manuscrite, et dans l’implémentation de chaînes de traitement et de production de données structurée telles que des archives de presse.
Concrètement, une fois la lecture optique des caractères effectués, les données seront compilées dans un site internet de travail dans lequel pourront être modifiées manuellement les informations reconnues par la machine (grâce à une plateforme web collaborative). La machine sera ensuite régulièrement « alimentée » par de nouveaux termes afin d’enrichir de plus en plus son vocabulaire, et traiter d’autres parties du corpus. Une fois que ce long travail sera terminé, une base de données sera créée pour être lisible sous les logiciels statistiques.
2. Un large public visé
Ce projet vise trois publics.
En premier lieu, la communauté de chercheurs en sciences sociales qui utilise des méthodes quantitatives pourra travailler sur une base de données déjà constituée sans le coût de sa construction pour répondre à un très grand nombre de problématiques différentes en démographie historique, histoire de la famille, histoire sociale, histoire économique, histoire des professions, histoire du genre et bien d’autres. Le colloque et l’ouvrage tirés de ces travaux seront particulièrement cohérents grâce à l’analyse de cette base commune, ce qui est rare en histoire.
En deuxième lieu, les bibliothèques et l’ensemble de la communauté scientifique qui souhaitent aujourd’hui indexer des données tabulaires issues de publications papier pourront profiter de ces avancées techniques. Le Grand Equipement Documentaire du Campus Condorcet (notamment à travers François Merveille, co-porteur du projet) auquel est, depuis cette année, rattaché le service documentaire de l’INED, qui possède de nombreux documents statistiques anciens, sera ainsi mis en relation avec l’équipe de LITIS et pourra rapidement monter en compétences sur les dernières techniques de pointe en la matière. Les techniques utilisées pourront donc être réutilisées dans le cadre d’autres projets d’exploitation et mises en valeur de numérisations.
Enfin, le projet vise un public bien plus large puisque l’objectif final est de verser la base de données aux Archives de Paris afin qu’elles créent une recherche nominative pour les recensements de population (comme c’est déjà le cas pour les recrutements militaires). Les généalogistes professionnels et amateurs en seront ravis !
3. De fructueuses synergies scientifiques
Au niveau scientifique, l’analyse quantitative et statistique des populations est rendue particulièrement difficile en histoire en raison du manque de bases de données. Pour parvenir à de telles analyses, les chercheurs sont souvent obligés de travailler sur des zones géographiques et temporelles très restreintes en raison de l’immensité du recueil des données. De plus, l’Entre-deux-guerres constitue donc une sorte de « trou d’air » statistique entre « l’avalanche » (Ian Hacking) du XIXe siècle – qui dure jusqu’en 1914 – et le développement de la statistique « contemporaine » avec l’Insee. Dans cette période d’une quarantaine d’année, les données sont rares, les séries statistiques interrompues et les travaux souvent monographiques. Ce projet est donc essentiel pour compléter notre connaissance de l’évolution économique, sociale et démographique de la France – notamment de sa population urbaine – sur la longue durée en s’appuyant sur des données uniques qui permettront de faire le lien entre deux périodes abondantes en informations. La création d’une base de données à partir des recensements de Paris offre l’opportunité d’un pas important dans la connaissance de la population urbaine européenne jusqu’alors très peu étudiée (en particulier avec des données à cette échelle).
La mise à disposition d’une très vaste base de données immédiatement exploitable ouvrira la voie à de nombreuses contributions par des démographes, des historiens, des sociologues ou des économistes. Les données disponibles permettent, en effet, aussi bien d’analyser des comportements démographiques de la population, que de saisir la répartition spatiale des individus selon leur lieu de naissance par exemple. Les chercheuses et chercheurs pourront également se concentrer sur des populations particulières (certaines professions par exemple) qu’ils retrouveront facilement dans toute la ville, ce qui serait très laborieux aujourd’hui. Il sera également possible, ce qui est particulièrement novateur, de suivre des familles dans leurs déménagements entre 1926 et 1946 ; ou encore d’étudier les noms de famille les prénoms ; parmi de nombreuses recherches envisageables.
Presentation of the project
Project for the Oceration of the Paris Population Census (1926-1946).
This project aims to develop a vast database (12 million individuals) based on the 1926, 1931, 1936 and 1946 Paris nominal censuses, which are the only censuses of the Parisian population existing before the end of the 20th century. These censuses have already been digitised and put online on the site of the Paris archives, but the aim here is to create a database for the statistical exploitation of these particularly rich documents and will offer the opportunity of a major step forward in the knowledge of the European urban population, which has hitherto been little studied.
1. Beyond the scientific interest, a methodological interest
In addition to its interest for scientific knowledge, this project also presents an important advance from a methodological point of view. Indeed, the creation of the above-mentioned database requires the use of optical character recognition techniques.
Currently working on Equipex D-FIH, the LITIS EA 4108 laboratory team has developed increasingly powerful optical reading software to extract stock market information (company name, names of persons, financial amounts, dates, etc.) printed in historical financial directories and stock market quotations in order to create historical stock market and financial databases.
In this continuity, the Popp project represents a real challenge to be taken up since population censuses are not typed like the data of the stock exchange but filled in by hand.
However, the first tests are conclusive, on the one hand because the research of Sandra Brée, a demographer-historian (CNRS, LARHRA) and project leader, on the Parisian population has enabled her to create databases (professions, names, places) which will enable the optical detection algorithms to be parameterised, and secondly because Thierry Paquet‘s team (responsible for the IT part of the project, director of LITIS EA 4108) also has expertise in handwriting recognition, and in the implementation of structured data processing and production chains such as press archives.
In concrete terms, once the characters have been optically read, the data will be compiled in a work website where the information recognised by the machine can be manually modified (thanks to a collaborative web platform). The machine will then be regularly “fed” with new terms in order to enrich its vocabulary more and more and to process other parts of the corpus. Once this lengthy work is completed, a database will be created to be readable under statistical software.
2. A broad target audience
This project targets three audiences.
Firstly, the community of social science researchers using quantitative methods will be able to work on an already existing database without the cost of its construction to address a very large number of different issues in historical demography, family history, social history, economic history, occupational history, gender history and many others. The conference and the book drawn from this work will be particularly coherent thanks to the analysis of this common base, which is rare in history.
Secondly, libraries and the entire scientific community who today wish to index tabular data from paper publications will be able to take advantage of these technical advances. The Grand Equipement Documentaire du Campus Condorcet (notably through François Merveille, co-porter of the project), to which the INED’s documentation department, which has many old statistical documents, has been attached since this year, will thus be put in contact with the LITIS team and will be able to quickly build up its skills on the latest state-of-the-art techniques in the field. The techniques used will therefore be able to be reused in other exploitation projects and to enhance the value of digitisation.
Finally, the project is aimed at a much wider public since the ultimate objective is to transfer the database to the Paris Archives so that they can create a nominative search for population censuses (as is already the case for military recruitment). Professional and amateur genealogists will be delighted!
3. Fruitful scientific synergies
At the scientific level, the quantitative and statistical analysis of populations is made particularly difficult in history due to the lack of databases. In order to carry out such analyses, researchers are often obliged to work on very restricted geographical and temporal areas because of the immensity of data collection. Moreover, the inter-war period thus constitutes a sort of statistical “air gap” between the 19th century “avalanche” (Ian Hacking) – which lasted until 1914 – and the development of “contemporary” statistics with INSEE. In this period of about forty years, data are scarce, statistical series are interrupted and work is often monographic. This project is therefore essential to complete our knowledge of the economic, social and demographic evolution of France – particularly of its urban population – over the long term by relying on unique data that will make it possible to establish a link between two periods that are rich in information. The creation of a database based on the Paris censuses offers the opportunity to take an important step forward in our knowledge of the European urban population, which has hitherto been little studied (particularly with data on this scale).
The availability of a very large and immediately usable database will pave the way for numerous contributions by demographers, historians, sociologists and economists. The data available will make it possible to analyse the demographic behaviour of the population and to capture the spatial distribution of individuals according to their place of birth, for example. Researchers will also be able to focus on particular populations (certain professions, for example) which they can easily find throughout the city, which would be very laborious today. It will also be possible, which is particularly innovative, to follow families as they move between 1926 and 1946; or to study surnames and forenames; among many other possible searches.