Billets précédents :
1. Les règles du jeu
2. Le score

L’analyse des résultats du match

De l’examen des cas issus de l’analyse statistique décrite dans le billet précédent, il est possible de dégager des éléments récurrents de perturbation du fonctionnement de l’algorithme. Sans grande surprise les zones contenant les titres et les auteurs ont un poids important dans la formule de calcul et sont, de fait, sources d’erreur surtout quand les œuvres sont très représentées dans le Sudoc. Certains partis pris ont aussi leur responsabilité dans quelques cas quant au niveau de granularité des regroupements ou des difficultés à les réaliser.

Billet précédent :
1. Les règles du jeu

Le score

1000 notices de monographies ont finalement été examinées par « le onze abesien ». Le jeu de données clusterisées par les testeurs a été confronté aux regroupements réalisés par l’algorithme dans la base de test. Les clusters ont été classés en six catégories une fois le taux de regroupement global connu :

Parmi ces 1000 notices faisant partie du périmètre d’action du programme :

• 629 notices ne sont ni dans un cluster humain ni dans un cluster machine
• 371 notices font partie d’un regroupement humain et/ou machine.

L’évaluation globale de l’expérimentation annoncée dans le billet précédent  a pu s’achever à la fin du mois de juin avec deux mois de retard sur le calendrier initial.

Les forces et les faiblesses de l’algorithme sont désormais connues :

Les paramétrages actuels permettent de traiter au niveau œuvre une partie non négligeable des notices de monographies qui représentent le plus gros volume des données du Sudoc. Cependant, le nombre total de notices regroupées reste modeste par rapport au périmètre pris en compte par le programme (un grand nombre « d’unicas » d’œuvres en sont aussi responsables). Par ailleurs, l’algorithme ne tourne pas sur toutes les données du Sudoc (notamment les agrégats dont font partie les ressources continues) et l’hétérogénéité des pratiques de signalement ainsi que la qualité des notices limitent ses performances.

Voici une présentation de cette évaluation publiée en trois parties :

1. Les règles du jeu (ce billet)
   
2. Le score
3. L’analyse des résultats du match