Aide
Un extrait de dialogue se présente de façon similaire à ceux des
systèmes de messagerie instantanée sur internet. Il
prend la forme d'une séquence de tours de parole dont le locuteur est
présenté en première instance suivi de ":" puis de son énoncé. Les
locuteurs sont identifiés par des lettres de l'alphabet.
En voici un exemple :
| A :
| Combien y a-t-il de documents dans les résultats de la recherche ? |
| B :
| Il y en a 7. |
L'exemple précédent implique deux interlocuteurs ("A" et "B"). Le
locuteur A pose une question dont l'énoncé est "Combien y a-t-il de
documents dans les résultats de la recherche ?". Le locuteur B répond à
cette question par l'énoncé "Il y en a 7.".
Il est important de noter que les extraits de dialogue qui vous seront
présentés auront tous une connexion avec :
- une tâche de recherche d'information sur un moteur de recherche
(type Google, Yahoo, Bing, etc.), et
- le domaine médical.
La première étape de l'expérimentation consiste à poser deux questions
à propos de l'extrait de dialogue présenté :
- Cet extrait de dialogue vous semble-t-il cohérent
?
Un extrait de dialogue est cohérent si chaque
tour de parole contribue au reste de l'extrait, et qu'il ne
contient pas de tour de parole dont la présence n’est pas
facilement explicable compte tenu des tours de parole qui le
précèdent dans l'extrait. Par cette définition, l'exemple
précédent semble cohérent puisqu'il présente une question posée
par l'interlocuteur A et répondue par l'interlocuteur B.
Considérons l'exemple suivant :
| A :
| Voulez-vous ajouter le mot-clé 'eczéma' ? |
| B :
| Il n'existe pas de définition de 'paludisme' dans
le système. |
En tenant compte de la définition précédente, il peut être évalué comme
incohérent car la réponse de B n'a manisfestement pas de lien avec
la question de A.
- Selon vous, cet extrait de dialogue semble-t-il être le résultat d'un dialogue entre 2 individus humains ?
En tenant compte de l'extrait de dialogue, il s'agit de dire si cet extrait peut plausiblement être issu d'un dialogue entre deux humains.
Reprendre l'expérimentation »