Dans l’ensemble, la situation dans ce domaine n’est pas très bonne comme le benchmark le montre. C’est peut-être une des raisons pour lesquelles les femmes, réussissant pourtant brillamment dans les études supérieures, ne rejoignent pas suffisamment ce domaine.

A IM, nous pensons que, comme ces quelques chiffres vous le montreront, ce n’est pas une fatalité. Nous vous laissons juges !

On the one hand, IM is conscious that Web archiving field (as ICT in general) is part of the problem with the resources and energy it consumes (such as the majority of datacenters). On the other, we believe that the Web deserves a memory, because this media is pervasive in our society, and certainly today one of its most important representation. As we now store data in the Petabyte ranges, we had to do something about this.

Green IT for a Web archive? Yes, it is possible.

Since it’s inception in 2005, Internet Memory (then called European Archive), has been working on reducing its energy footprint, by using servers built from low power consumption parts (the so-called red boxes, also used by The Internet Archive). Although used in a traditional datacenter, they contribute significantly to the overall energy efficiency of the datacenter where they are hosted in Amsterdam. This already puts the first IM Datacenter above the standard of the industry in this regard.

But IM wanted to go one step further, and this required leaving behind traditional datacenters, which are, by design, heavy users of energy and cooling resources. In collaboration with No Rack which is specialized in Green IT, we went on to use a new generation of servers and infrastructures, dedicated to massive storage, with a highly scalable architecture, a very low consumption and… without cooling.
Today, this new infrastructure is operational in our Paris ‘Datacenter’ and it can support up to 1,2 Petabytes of data.

New Internet Memory Datacenter

That’s the result of improvements at several levels, including a new design of cylindrical ‘rack’, which enables a free cooling system and a lower energy consumption at all levels (servers, disks and motherboards).

The free-cooling system has been made possible due to a very low thermic diffusion (for 72 nodes, IM datacenter is set between 5300 W and 6300 W depending on the configuration of server class) and due to an innovative design, which enables natural heat extraction.

Here’s a comparison between a regular datacenter and IM datacenter:

These figures highlight an economy of kW, which represents a carbon footprint 8 times lower (22,000 kg CO2, instead of 180,000 kg CO2).

Internet Memory Architecture and process

Internet Memory has implemented an efficient distributed architecture, which enables virtualization, better performances and faster processes.
Thus, all Archive users share Internet Memory infrastructure and applications, which ensures maximization of storage utilisation and reduction in the number of devices required, saving energy and costs.

If you are interested to know more, drop us a line, or come and we will organize a visit for you!

List of participants:
Bibliotheca Alexandrina
British Library
Library of Congress
National and University Library of Slovenia
National Library and Archives of Québec
National Library of Estonia
National Library of Germany
National Library of the Netherlands
National Library of Singapore
National Library of Spain

More information

The LAWA project organizes an one-day workshop with researchers using (or planning to use) the Web as a corpus for their studies.

The focus is on methods, tools, and platforms for big-data analytics, including requirements on and experiences with such technologies.
Topics of interest include but are not limited to:
- Web dynamics, history, and archives;
- Text mining and contents classification,
- Temporal/longitudinal studies
- Scalable methods (e.g., cloud-based map-reduce),
- Large scale data storage,
- Community detection and evolution.

The workshop will have presentations by participating researchers and big-data users, including the LAWA project team.

Keynotes by:
- Ricardo Baeza-Yates from Yahoo! Research, Barcelona
- Wolfgang Nejdl from L3S Research Center, Hanover

Emphasis will be on experience-sharing and discussing mutual interests in big-data analytics for the temporal Web.

The workshop is free of charge and open to public, but registration is compulsory by sending an email to:
lawa@mpi-inf.mpg.de

Be Welcome!

More Information about LAWA project

A l’heure où le Web est devenu le média de notre temps, la question de son archivage et de sa préservation pour les générations présentes et à venir émerge lentement mais sûrement. Dès lors, diverses mises en œuvre s’offrent à toute organisation souhaitant s’engager dans un projet d’archivage Web.

Après avoir dressé un état des lieux des initiatives et des aspects plus techniques, Internet Memory abordera les perspectives, en terme d’usage, en s’appuyant sur ses nombreuses expériences et collaborations dans ce domaine, avec des organisations de toute taille.

Intervenantes

Leila Medjkoune et Chloé Martin

Informations pratiques

Archivage du Web : quelle mise en oeuvre ?
Mardi 25 septembre 2012, 17h-19h
ADBS
25, rue Claude Tillier
75012 Paris

La vidéo sera bientôt accessible depuis le site de l’ADBS, Rubrique 5 à 7

Afin d’encourager les services d’archives locales à créer leur propre archive Web, les Archives Nationales ont décidé, il y a un an, d’organiser un projet pilote d’archivage du Web avec sept services d’archivage représentant 20 collectivités territoriales.

Internet Memory a eu le privilège de faire partie de ce projet pilote durant les phases de formation et d’exploitation, incluant :

- Session de formation ayant pour objet les processus, les outils et les défis de l’archivage Web.
- Sélection des sites Web : chaque service devait sélectionner trois sites Web à archiver.
- Lancement des captures en janvier 2012, suivi et contrôle qualité impliquant chaque service.
Au terme de ce projet pilote, les participants ont été satisfaits par l’expérience et les résultats.
Ils envisagent maintenant les options futures pour développer leurs propres archives Web.
Affaire à suivre …

Résultats du projet pilote d’archivage Web pour les collectivités territoriales

Greater Manchester Archives Group

- Manchester International Film Festival  
- Football Club United of Manchester
- Greater Manchester Coalition of Disabled People

North Yorkshire County Record Office

- Taylors of Harrogate
- Northallerton Town Football Club
- UNISON North Yorkshire Local Government

Sheffield

- Nick Clegg, MP for Sheffield Hallam
- Sheffield Pride
- South Yorkshire Housing Association   

Staffordshire

- Diocese of Lichfield
- Stoke on Trent, Pottery and Ceramics
- Staffordshire Hoard

Surrey

- Hambledon
- Painshill Park
- Surrey Wildlife Trust

West Yorkshire Archives Service

- Wakefield Anglican Diocese
- Incredible Edible Todmorden
- The Culture Vulture

Dorset History Centre

- Bournemouth Holidays and Tourist Information
- Visit Dorset
- Poole Tourism

Liens vers les Archives nationales du Royaume-Uni
- News story
- Press Release

Archivage Web, ou le défi de la sauvegarde d’un précieux patrimoine

Cette conférence LIBER représente un rendez-vous incontournable pour les bibliothèques de recherche afin d’échanger et collaborer sur les problématiques qui leur sont propres, dont la collecte et la préservation. Dès lors, il s’agit pour Internet Memory de partager, informer sur ses nouveaux savoir-faire techniques dans l’univers de la collecte numérique et de l’archivage Web.

L’intervention d’Internet Memory sera assurée par Chloé Martin le mercredi 27 juin qui dressera, en partenariat avec la Bibliothèque national d’Irlande, un cas d’usage pour la mise en place de campagnes d’archivage. Les deux intervenantes se pencheront sur les différentes étapes de la création d’un projet d’archivage Web, de la définition du projet à l’accès aux collections d’archives Web en passant par les étapes de la sélection, des autorisations, du Crawl et du Contrôle Qualité.

Ce cas de la Bibliothèque nationale d’Irlande illustre parfaitement la mission d’Internet Memory : développer de nouvelles collaborations et partenariats pour étendre les initiatives en faveur de la préservation du Web.

Dans le cas présent, il s’agit de collecter, préserver et donner accès à des contenus Web à haute valeur ajoutée, (données politiques lors de plusieurs élections en Irlande).

Au bout d’une année d’activité sur le projet SCAPE, l’Internet Memory Foundation, partenaire actif de ce projet d’envergure, a pu apporter sa contribution aux efforts déployés afin de mettre en place des solutions et innovations techniques nécessaires à la réussite de ce projet.

Concrètement, la pierre angulaire du projet SCAPE est désormais en place. Les ingénieurs et les chercheurs de l’Internet Memory Foundation ont participé, en effet, à la conception de l’architecture d’une plate-forme de préservation évolutive. L’IMF a aussi apporté son expertise dans la conception de bancs d’essai de la plateforme en question, tout en contribuant aussi à la conception des scénarios de préservation et à l’apport de données. D’ailleurs, au sein d’IMF et dans un souci de partage des connaissances et innovations, une première itération de la plateforme a été déployée, comme une instance centrale, disponible à l’ensemble des partenaires du projet.

En à peine un an, le projet SCAPE compte déjà six réalisations - dont cinq publiques - délivrées dans les délais impartis par la Communauté européenne. Lors du premier rapport de la CE, toutes les réalisations ont été acceptées. Mieux encore, le site dédié au projet SCAPE s’enrichit de trois nouveaux rapports ainsi que d’une quinzaine de publications scientifiques, centrés sur les derniers résultats développés dans le projet SCAPE, publiées dans des revues et dans le cadre de conférences.

Cette première année d’activité SCAPE a été prolifique en hauts-faits techniques dont :
- Sur la plate-forme de préservation, le déploiement d’un cluster expérimental pour des travaux de développement.
- La mise au point de plusieurs composants et applications (à titre d’exemple la réalisation d’un prototype pour l’exécution de ligne de commande d’applications Hadoop, d’un catalogue d’action SCAPE, et de l’adaptateur Akubra HDFS).
- L’élaboration de 22 scénarios SCAPE où sont documentés des jeux de données, enjeux et solutions provenant des fournisseurs de contenus SCAPE.
- De nombreux Workflows expérimentaux Taverna ont été développés et testés.
- Ce même Workflow Taverna compte 52 actions, disponibles en ligne.

Pour en savoir plus sur le projet SCAPE n’hésitez pas à vous inscrire pour suivre l’actualité du projet ou consulter la Newsletter déjà en ligne.

At the College de France, Chair of Information Technology and Digital Sciences

Information technology has revolutionized our lives. Computers are traditionally seen as computing machines, although their main purpose is now to manage data. This course will cover essential aspects of data management, including its close relationship with mathematical logic and complexity theory. The Web can be seen as a huge distributed database: its most exciting aspects will also be studied, such as its scale or the challenges of distributed computing and the Semantic Web.

Wednesday, March 28th, from 10.00 to 12.00 am: Semantic Web, Open Data and Web Archiving

Serge Abiteboul opens the conference with a lecture about the Semantic Web and invites François Bancilhon, Director of DataPublica to talk and Julien Masanès, Director of the Internet Memory Foundation to talk about Open Data and Web archiving.

Feel free to join!

Address:
Amphithéâtre Maurice Halbwachs
Collège de France
11, place Marcelin Berthelot
75231 Paris Cedex 05
France

En tant que coordinateur de projet et organisateur, l’Internet Memory Foundation vous informe que la date limite pour soumettre un article est fixée au 24 février 2012.

Objectifs

Cet atelier représente une excellente occasion pour rencontrer des chercheurs de tous domaines (IE / IR, Web mining, etc) où la dimension temporelle ouvre une toute nouvelle gamme de défis et de possibilités. L’ambition de l’Atelier est de favoriser la création d’une communauté d’intérêts sur les défis et possibilités de recherche résultant de la dimension temporelle dans l’analyse du Web.

TempWeb se concentre sur l’analyse des données temporelles et sur la dimension temporelle des données en provenance du Web, collectées sur le long terme. Dans cette optique, la taille des données et la capacité à leur donner du sens d’une manière utile et significative pour ses utilisateurs en représentent le défi majeur. De plus, l’analyse de données à l’échelle du Web nécessite le développement d’infrastructures et outils d’analyse innovants pour leur donner du sens.

Les thèmes de l’Atelier

• Web scale data analytics
• Temporal Web analytics
• Distributed data analytics
• Web science
• Web dynamics
• Data quality metrics
• Web spam
• Knowledge evolution on the Web
• Systematic exploitation of Web archives
• Large scale data storage
• Large scale data processing
• Data aggregation
• Web trends
• Topic mining
• Terminology evolution
• Community detection and evolution

Dates importantes

• Date limite de soumission pour un article: 24 février 2012
• Notification d’acceptation: 5 mars 2012
• Date limite pour l’article: 16 mars 2012
• Atelier: 17 avril 2012
Nous vous prions d’envoyer votre publication (max 8 pages) en utilisant le modèle ACM:
http://www.acm.org/sigs/publications/proceedings-templates
au :
https://www.easychair.org/account/signin.cgi?conf=tempweb2012

Veuillez noter que les travaux de l’atelier seront publiés dans ACM DL (ISBN 978-1-4503-1188-5)

Support

Cet atelier est organisé avec le soutien du 7e Programme Cadre de la Commission européenne (Catégorie ICT STREP) avec le projet Longitudinal Analytics of Web Archive data (LAWA) (numéro de projet 258105).

Membres officiels de l’Atelier

Précidence :
Présidents-Coordinateurs de projet et et organisateurs:

Ricardo Baeza-­Yates (Yahoo! Research, Espagne)
Julien Masanès (Internet Memory Foundation, France et Pays-Bas)
Marc Spaniol (Max Planck Institute for Informatics, Allemagne)

Membres du Comité du programme:

Eytan Adar (University of Michigan, USA)
Omar Alonso (Microsoft Bing, USA)
Srikanta Bedathur (IIIT-Delhi, Inde)
Andras Benczur (Hungarian Academy of Science)
Klaus Berberich (Max Planck Institute for Informatics, Allemagne)
Roi Blanco (Yahoo! Research, Espagne)
Adam Jatowt (Kyoto University, Japon)
Scott Kirkpatrick (Hebrew University Jerusalem, Israël)
Christian König (Microsoft Research, USA)
Frank McCown (Harding University, USA)
Michael Nelson (Old Dominion University, USA)
Nikos Ntarmos (University of Patras, Grèce)
Kjetil Norvag (Norwegian University of Science and Technology, Norvège)
Philippe Rigaux (Internet Memory Foundation, France et Pays-Bas)
Thomas Risse (L3S Research Center, Allemagne)
Pierre Senellart (Télécom ParisTech, France)
Torsten Suel (NYU Polytechnic, USA)
Masashi Toyoda (Tokyo University, Japon)
Peter Triantafillou (University of Patras, Grèce)
Michalis Vazirgiannis (Athens University of Economics and Business & École Polytechnique)
Gerhard Weikum (Max Planck Institute for Informatics, Allemagne)

Le projet LivingKnowledge

Le projet LivingKnowledge(LK) améliore les possibilités techniques de la récupération d’informations à partir du Web en formalisant les notions de tendances et de diversité, la création d’outils d’analyse, le résumé et la visualisation des tendances dans les documents textuels et les images et enfin, par la création d’applications qui exploitent cette technologie.

Plateforme d’essai LivingKnowledge

La plateforme d’essai intègre les composants suivants, qui tous contribuent à améliorer les outils de recherche et de navigation face aux effets du temps et de la diversité:
- Collections de documents choisis pour refléter une diversité de types et contenus de document,
- Des outils d’analyse d’images et de texte sont mis à profit pour analyser la diversité dans les documents textuels et les images,
- Outils d’indexation et de recherche soutenant la recherche en matière de diversité et tendance, incluant de nouvelles méthodes de visualisation.

Le traitement de la plateforme commence avec les collections de documents qui sont disponibles sur demande auprès de l’Internet Memory Foundation, incluant 280 sites d’informations et 750 blogs.
En outre, la plateforme d’essai prend en charge un certain nombre de formats de contenus permettant aux utilisateurs d’intégrer leurs propres collections.

Une Hands-On session avec plus de 30 participants (Symposium on Bias and Diversity) a eu lieu lors de la 8th International Summer School on Information Retrieval (ESSIR), qui s’est tenue cette année à Coblence (Allemagne) en août/septembre 2011.

Pour plus d’informations

Living Knowledge Project
SourceForge
Diversity Engine
Symposium on Bias and Diversity in IR (ESSIR 2011)

Few months ago, the Cultural Heritage Agency of the Netherlands (RCE) contacted us to expose its situation:

Inside Installations Project, Preservation and Presentation of Installation Art, was a research project (2004-2007) into the management and conservation of installations and was supported by the European Commission’s Culture 2000 programme.
Rapid obsolescence of media technologies, interactivity and, for instance, the site specific character of many installations are a challenge for prevailing views about long-term conservation, documentation and presentation. Thirty complex installations (many multimedia) were re-installed, investigated and documented.
By sharing their experience partners worked together to develop guidelines for conservation, re-installation and documentation of installation art.

The Cultural Heritage Agency of the Netherlands was the coordinator of the project, which was co-organised by:
- Tate, London;
- Restaurierungszentrum, Düsseldorf;
- Stedelijk Museum for Modern Art (S.M.A.K.), Ghent;
- Museo Nacional Centro de Arte Reina Sofia, Madrid
- and the Foundation for the Conservation of Modern Art (SBMK) in The Netherlands.

In this framework, they developed a high content website (Online Version). (Archived Version)

See archived version captured in February 2012.

Results of such Web archiving initiatives

* Websites are preserved and therefore they might remain a part of the cultural heritage for decades.
* They are publicly available online.
* This solution is less expensive than maintaining websites that are not any more updated.

Web archiving as an efficient solution to offer a second life to your project websites!

Internet Memory proposes solutions to archive and preserve high quality websites such are research projects’ websites thanks to its automated Web archiving platform, ArchivetheNet.

LivingKnowledge Project

The LivingKnowledge project (LK) enhances the state of the art of retrieving information from the Web by formalizing the notions of bias and diversity, creating tools that analyze, summarize and visualize bias in textual and image documents and finally, by creating applications that exploit this technology.

LivingKnowledge Testbed

The testbed integrates the following components, all of which contribute to diversity and bias aware search:
- document collections chosen to reflect a diversity of document types and content,
- image and text analysis tools supporting the analysis of diversity in text and image documents,
- indexing and search tools supporting the bias and diversity aware search including novel visualization methods,

The testbed processing starts with document collections that are available upon request from the Internet Memory Foundation, including 280 News sites and 750 blogs.
Furthermore, the testbed supports a number of collection formats allowing users to incorporate their own collections.

Hands-On session with over 30 participants (Symposium on Bias and Diversity) was held during the 8th International Summer School on Information Retrieval (ESSIR), which tooks place in Koblenz (Germany) in August/September 2011.

More info

Living Knowledge Project
SourceForge
Diversity Engine
Symposium on Bias and Diversity in IR (ESSIR 2011)

As PC-Chair and Organizer, Internet Memory Foundation informs you that the submission deadline for paper is fixed to February 24, 2012.

Objectives

The objective of this workshop is to provide a venue for researchers of all domains (IE/IR, Web mining etc.) where the temporal dimension opens up an entirely new range of challenges and possibilities. The workshops ambition is to help shaping a community of interest on the research challenges and possibilities resulting from the introduction of the time dimension in Web analysis.

TempWeb focuses on temporal data analysis along the time dimension for Web data that has been collected over extended time periods. A major challenge in this regard is the sheer size of the data it exposes and the ability to make sense of it in a useful and meaningful manner for its users. Web scale data analytics therefore needs to develop infrastructures and extended analytical tools to make sense of these.

Workshop topics

• Web scale data analytics
• Temporal Web analytics
• Distributed data analytics
• Web science
• Web dynamics
• Data quality metrics
• Web spam
• Knowledge evolution on the Web
• Systematic exploitation of Web archives
• Large scale data storage
• Large scale data processing
• Data aggregation
• Web trends
• Topic mining
• Terminology evolution
• Community detection and evolution

Important Dates

• Paper submission deadline: February 24, 2012
• Notification of acceptance: March 5, 2012
• Camera ready copy deadline: March 16, 2012
• Workshop: April 17, 2012

Please post your submission (up to 8 pages) using the ACM template:
http://www.acm.org/sigs/publications/proceedings-templates
at:
https://www.easychair.org/account/signin.cgi?conf=tempweb2012

Note that the workshop proceedings will be published in ACM DL (ISBN 978-1-4503-1188-5)

Support

This workshop is organized with the support of the EU 7th Framework ICT STREP on Longitudinal Analytics of Web Archive data (LAWA) under contract no. 258105.

Workshop Officials

Chair:

PC-Chairs and Organizers:

Ricardo Baeza-­Yates (Yahoo! Research, Spain)
Julien Masanès (Internet Memory Foundation, France and Netherlands)
Marc Spaniol (Max Planck Institute for Informatics, Germany)

Program Committee:

Eytan Adar (University of Michigan, USA)
Omar Alonso (Microsoft Bing, USA)
Srikanta Bedathur (IIIT-Delhi, India)
Andras Benczur (Hungarian Academy of Science)
Klaus Berberich (Max Planck Institute for Informatics, Germany)
Roi Blanco (Yahoo! Research, Spain)
Adam Jatowt (Kyoto University, Japan)
Scott Kirkpatrick (Hebrew University Jerusalem, Israel)
Christian König (Microsoft Research, USA)
Frank McCown (Harding University, USA)
Michael Nelson (Old Dominion University, USA)
Nikos Ntarmos (University of Patras, Greece)
Kjetil Norvag (Norwegian University of Science and Technology, Norway)
Philippe Rigaux (Internet Memory Foundation, France and Netherlands)
Thomas Risse (L3S Research Center, Germany)
Pierre Senellart (Télécom ParisTech, France)
Torsten Suel (NYU Polytechnic, USA)
Masashi Toyoda (Tokyo University, Japan)
Peter Triantafillou (University of Patras, Greece)
Michalis Vazirgiannis (Athens University of Economics and Business & École Polytechnique)
Gerhard Weikum (Max Planck Institute for Informatics, Germany)

Reportage de France 24 sur l’archivage du Web

Dire que l’Internet est un des principaux supports d’information est un fait incontestable. Tout aussi incontestable est la nécessité de préserver ces contenus Web et de promouvoir l’archivage Web à grande échelle. L’idée fait son chemin et s’impose comme un des grands défis actuel du Web.

Les médias s’intéressent au sujet, et pour preuve, France24, la chaîne d’information internationale, diffuse un reportage sur la collecte de sites Web en France en raison du dépôt légal de l’Internet, sur l’archivage du Web en général et sur l’accès aux collections d’archives Web.
Une rapide vue d’ensemble des initiatives et technologies propres à l’archivage Web en France avec la participation de la Bibliothèque nationale de France, de l’Institut National de l’Audiovisuel et de l’Internet Memory Foundation (interview de Julien Masanès, par Natalia Gallois, dans nos bureaux de Paris)

Pour visionner l’émission et découvrir les défis de l’archivage Web cliquez ici.
Emission « Sur le Net », l’actualité vue par le net et l’actualité du net, décembre 2011

Aux côtés d’Internet Memory Foundation, on retrouve :
- Deutsches Forschungszentrum für künstliche GmbH Intelligenz (Allemagne) en tant que coordonnateur,
- L’Université de Sheffield (Royaume Uni),
- Ontotext AD (Bulgarie),
- L’Université de Southampton (Royaume-Uni),
- Eurokleis SRL (Italie),
- Sora & Ogris Hofinger GmbH (Autriche)
- Hardik Fintrade Pvt Ltd (Inde).

Ce projet vise à fournir des méthodes innovantes, en temps réel, open source et transférables d’exploration linguistiques transverses et de synthèse de média en streaming à grande échelle.

Dans ce projet, l’Internet Memory Foundation contribue à la plate-forme de collecte, d’analyse et de stockage de médias en temps réel, ainsi elle
- Fournit des infrastructures évolutives aux partenaires, avec un soutien pour l’intégration et expérimentation.
- Conçoit et développe un crawler intelligent (qui adapte automotiquement paramètres et règles selon les données capturées) pour les médias sociaux.

Pour plus d’informations sur TrendMiner, visitez le site Web du projet (en construction).

Était-ce votre première participation à la FIAT ?

France Lasfargues : Personnellement, oui. Mais, de par son statut de membre adhérent de la FIAT, ce n’est pas la première participation d’Internet Memory Foundation. L’année dernière, Chloé Martin, Business Developer à la Fondation, avait présenté un poster axé sur notre plateforme d’archivage web, Archivethe.net (ATN) et sur les problématiques liés à la collecte et l’accès des vidéos qui sont diffusées sur le Web.

Est-ce aisé pour Internet Memory de participer à une telle conférence internationale ?

F.L. : Pour intervenir à la FIAT, il faut tout d’abord répondre à l’appel à participation qui a lieu au moins 3 mois avant. Il s’agit alors de décider d’un angle d’attaque, des participants que nous souhaiterions intégrer et de la forme de la présentation (poster, atelier, conférence plénière,…). Puis nous soumettons notre proposition et attendons un retour de la FIAT. Nous avons donc décidé de nous concentrer sur des problématiques qui associent les attentes et besoins des archives audiovisuelles et nos compétences et axes de développement. La forme du workshop nous semblait la plus adéquate, afin d’ouvrir également un espace de parole et d’échange avec l’audience.

Cela nous amène justement à parler plus amplement du motif de la présence d’ Internet Memory à la FIAT.

F.L. : Notre objectif est relativement simple : faire prendre conscience de la nécessité de l’archivage du web pour les archives audiovisuelles et, par là même, faire connaître nos compétences en la matière. Internet Memory souhaite impulser des projets, motiver les institutions à se lancer dans l’archivage du web, maintenant, afin de stopper l’hémorragie de la perte de contenus pertinents et à haute valeur ajoutée.

Quel est l’angle choisi par Internet Memory pour cet atelier ?

F.L. : Le workshop a surtout été l’occasion d’inviter des archives audiovisuelles à partager sur leurs problématiques actuelles en terme d’archivage du web et de parler des solutions que nous avons développées, en terme de capture et d’accès. Et il faut dire que nous avons de solides arguments en la matière. Cela nous a donné l’occasion de communiquer sur l’ensemble de nos projets LIWA, LK, LAWA, SCAPE, et tout particulièrement, ARCOMEM, qui s’avèrent être des projets européens de grande envergure et une excellente référence pour démontrer l’étendue de nos technologies et compétences. Dans le détail, étant donné que nous nous adressions alors à des archives audiovisuelles, nous avons mis l’accent sur le challenge technique qu’est la capture vidéo dans les sites web (LIWA). Autre point important, le web social et les défis qu’il représente pour les archivistes (ARCOMEM). Nous avons bien entendu parlé des divers outils que nous développons (entre autres Application Aware Crawling, API Crawls, etc…) pour résoudre les problèmes d’archivage et améliorer la collecte de données.

Cette conférence internationale devait compter beaucoup de participants ? Votre atelier a-t-il été plébiscité ?

La conférence a réuni plus de 300 archivistes.
Quant au workshop que nous avons animé, la salle était comble avec plus 120 participants. J’avoue que nous ne nous attendions pas à un tel succès car l’année dernière, le workshop sur l’archivage du web avait mobilisé tout au plus 40 personnes ! D’ailleurs, les organisateurs de la conférence ont souligné notre « score d’audience ». Cela montre que l’archivage du web et les archives audiovisuelles intéressent de plus en plus les archivistes et nous en voilà ravis. Les services d’Internet Memory pourraient donc être amenés à se développer dans un avenir proche et nous sommes toujours partants pour renouveler cette expérience à la FIAT.

The map structure: representing data with key/value pairs

{  
   'url': 'http://internetmemory.org', type: 'text/html', content: 'my document content' 
}

• there is no schema that constrains the list of keys (unlike relational table where the schema is fixed and uniform for all rows),
• the value may itself be some complex structure.

An HBase "table" is a multi-map structure

• a first one, called "column" in HBase terminology (an unfortunate choice, since this is hardly related to the column relational concept),
• a second "timestamp" (each map is named after its key).

The full picture: rows and tables

1. a "table" is actually a map where each row is a value, and the key is chosen by the table designer.
2. we already explained that the structure of a "row" has little to do with the flat representation of relational row.
3. regarding data manipulation, the nature of a "table" implies that two basic operations are available: put(key, row) and get(key): row. Nothing comparable to SQL here!

References

• Understanding HBase and BigTable
• The HBase Wiki page

Le sujet principal de cette rencontre porte sur l’architecture système des différents modules (crawl, analyse du Web social, enrichissement de l’archive, module de stockage…).
ARCOMEM publiera les résultats de cette réunion sur le site web dédié.