Abstract

Het onderzoek van de afgelopen 6 maanden heeft zich geconcentreerd rond de OVR-dialogen. Dialogen kunnen vanuit verschillende invalshoeken bestudeerd worden. Wij hebben gekozen voor een empirische aanpak. Al onze bevindingen zijn gebaseerd op een corpus van 5000 digitaal geregistreerde dialogen. Aan dialogen zijn verschillende aspecten te onderscheiden:

• het communicatieve aspect, waarbij de boodschap en de wijze van communiceren centraal staan;
• het technische aspect, waarbij het automatische spraakherkennings systeem centraal staat;
• het menselijke aspect, waarbij de communicerende mens centraal staat.

Wij hebben geprobeerd aan alle drie de facetten aandacht te besteden. Met nadruk stellen wij dat dit verslag een tussentijdse rapportage is en niet het einde van het onderzoek. Aan de volgende thema's is de afgelopen maanden aandacht geschonken:

• In totaal zijn 5000 digitale opnames van OVR-dialogen geconverteerd naar tekst. Deze transliteratie is uitgevoerd conform de gebruikelijke (DARPA-) standaard met behulp van een speciaal daarvoor ontwikkeld softwaretool. Vervolgens zijn een aantal karakteristieke aspecten van de dialogen beschreven. De dialogen bevatten alle kenmerken van gesproken taal zoals veel interrupties, herhalingen, samenspraak en zinnen, die grammaticaal niet correct zijn.
• Er zijn een tweetal codes ontworpen en in totaal zijn 700 dialogen gecodeerd. Hierbij is gebruik gemaakt van speciaal ontwikkelde software-tools. Bij de ene code wordt uitgegaan van een aantal basisexpressies. Bij de andere code worden uitspraken gekarakteriseerd door een drietal dimensies. Ruim 90\% van de dialogen bleek codeerbaar te zijn. Om na te gaan of de dialogen een interne structuur bezitten en volgens scripts verlopen zijn enige theorien en modellen uit de Kunstmatige Intelligentie toegepast.
• Er is expliciet nagegaan over welke kennis en expertise informatrices beschikken respievelijk kunnen beschikken. Dat informatrices kennis van zaken hebben over OV-regelingen en dat ze de OVR -reisplanner kunnen consulteren, was te verwachten. Kennis van zaken over dialoogvoering, menselijk redeneren en common sense was minder voor de hand liggend.
• Het huidige OVR-systeem wordt door de clienten als goed beoordeeld. De dialogen verlopen vlot en de informatrices geven vlotte en vriendelijke adviezen. De begrippen gebruikersvriendelijkheid, effectiviteit en efficiency zijn geexpliciteerd en geoperationaliseerd. Verder zijn 200 dialogen geanalyseerd op gebruikersvriendelijkheid.
• Om een optimaal reisadvies te kunnen genereren moet de informatrice over bepaalde ingangsinformatie beschikken. Vrijwel alle OVR-clienten beschikken over voldoende informatie, maar de helft kan alleen met behulp van de informatrice deze ingangsinformatie expliciteren.
• Om de acceptatie van ASS-systemen te onderzoeken is aan 400 respondenten gevraagd reisinformatie aan te vragen bij OVR en enige gesimuleerde ASS-systemen. Alle respondenten zijn daarna schriftelijk en mondeling geinterviewd.
• Om de introductie van ASS systemen binnen het huidige OVR-proces te versnellen en te vergemakkelijken, is een systeem onderzocht waarbij verschillende parallel werkende ASS-systemen bewaakt en gecorrigeerd worden door een menselijke operator.

De voornaamste bevindingen, bezien vanuit de optiek van OVR-ASS-ontwerpers zijn:

• OVR-dialogen kunnen complex zijn, maar vertonen een inwendige structuur. Deze structuur is vast te leggen in een aantal stroomdiagrammen met overgangswaarschijnlijkheden. De hoofdfasen zijn: kennismakingsfase, de fase waarin de vraagstelling van de client wordt geexpliciteerd en aanvullende info wordt gevraagd, de fase waarin de reisinfo wordt gegenereerd en overgedragen, de fase waarin aanvullende reisinformatie wordt gevraagd en tenslotte de afscheidsfase. Elk van deze fasen kan weer opgedeeld worden in subfasen. Een dialoog doorloopt deze fasen meestal niet lineair, maar kan vooruitspringen of terugspringen van de ene (sub-)fase naar de andere.
• Het blijkt dat zowel de informatrice als de client onbewust een baal script hanteren. Er is een karakteristieke volgorde van de handelingen. Verder wordt er gebruik gemaakt van een beperkt aantal karakteristieke woorden , expressies en zinnen( modulo linguistische varianten). De dialoogvoering bij ASS-systemen en infozuilen is idealiter gebaseerd op deze scriptstructuur. De basiscodes corresponderen bij de infozuil met de druktoetsen.
• De dialoogvoering van de informatrice is in beginsel non-directief; het initiatief wordt zoveel mogelijk aan de client overgelaten. Er wordt gevraagde maar ook ongevraagde reisinformatie verstrekt. De informatrice is klantvriendelijk en behulpzaam. Afhankelijk van de reacties van de client verandert de zakelijke reisinformatiedialoog in een persoonlijke informatieuitwisseling. Het begrip klant-vriendelijkheid is operationeel gedefinieerd en gekwantificeerd.
• OVR-dialogen zijn codeerbaar. Er is een specifiek coderingsschema ontworpen met behulp waarvan vrijwel alle OVR-dialogen codeerbaar zijn. Omgekeerd kan uit de codering het informatieve deel van de oorspronkelijke dialoog gereconstrueerd worden. Dit betekent o.a. dat het mogelijk moet zijn dialogen op een metanivo te volgen en te monitoren.
• Bij 90\% van de OVR-dialogen bleek dat de client in principe over alle informatie beschikte die nodig is om een optimaal reisschema te bepalen. Deze clienten hadden ook via een ASS-systeem de gevraagde informatie kunnen krijgen. Bij een ASS systeem met een performance van 80\% en een directieve dialoogvoering betekent dit dat bij ongeveer 70\% van de dialogen de gevraagde informatie verkregen kan worden. Bij de resterende 30\% wordt de dialoog afgebroken of wordt de client verwezen naar een informatrice. Er is een ASS-systeem voorgesteld met menselijke supervisor waarbij ook de resterende 30\% semi-automatisch met een ASS-systeem kan worden afgehandeld. Bij een non-directieve dialoogvoering met een robuuste parser en een ASS-systeem met 80\% performance is de schatting dat 50 \% van de dialogen afgehandeld kan worden met een ASS-systeem.
• In 90\% van de OVR dialogen beschikken clienten weliswaar over de gevraagde informatie maar verstrekken zij deze informatie niet spontaan. In een sub-dialoog van vragen en antwoorden wordt de noodzakelijke reisinfo geexpliciteerd. De complexiteit van de sub-dialoog kan aanzienlijk varieren, van het vragen van aanvullende informatie in gestandaardiseerde vorm tot een niet gestandaardiseerde vorm van probleemoplossing.
• Informatrices beschikken naast de Reisplanner over persoonlijke kennissystemen zoals geografische kennis, logische kennis, algemene kennis, kennis van het vakjargon, kennis van plaats en tijdsaanduidingen en kennis van nieuwe en oude dienstregelingen, kennis van dialoogvoeringen en probleemoplossen. In de dialogen wordt expliciet gebruik gemaakt van deze kennis. De ``common sense'' - kennis is moeilijk te operationaliseren. Van andere kennisbronnen zijn prototypes ontwikkeld. De performance van ASS-systemen in OVR-context is te verbeteren door gebruik te maken van deze kennissystemen.
• Een van de belangrijkste resultaten van de acceptatiestudie was dat de respondenten in principe open stonden voor ASS-systemen. De deelnemers waren aangenaam verrast door de performance van de huidige ASS-systemen. De positieve acceptatie daalde snel op het moment dat het systeem niet optimaal functioneerde.
• Bij de acceptatiestudie bleek dat het huidige 06-9292 systeem (veel) positiever wordt beoordeeld dan de meeste gesimuleerde ASS-systemen. In de optimale experimentele conditie dat het ASS-systeem snel, accuraat en bij benadering non-directieve dialogen toeliet was de beoordeling van het ASS-systeem (ruim) voldoende.
• Bij de acceptatie studie bleek dat 70\% van de bellers overdag in de wachtrij kwamen. Dit heeft een negatief effect op de beoordeling. Verder bleek dat clienten zich niet realiseren dat het ``aantal wachtenden'' aanzienlijk kan verschillen van het ``gemiddelde aantal wachtenden per informatrice''. Bij de meeste OVR-centra zijn meerder informatrices parallel werkzaam en is het aantal wachtenden per informatrice direkt gecorreleerd met de gemiddelde wachttijd en op zich waardevollere informatie dan het totale aantal wachtenden.
• De huidige studie is niet opgezet als een beoordelingsstudie van het huidige 06-9292-systeem. Toch werden tijdens het onderzoek een aantal gegevens verzameld op bais waarvan een aantal maatregelen genomen kunnen worden die een positief effect kunnen hebben op de beoordeling van het huidige systeem.
• Tijdens de acceptatiestudie zijn de meningen en opvattingen verzameld van respondenten met betrekkiing tot ASS maar ook met betrekking tot het huidige systeem. Kritische punten waren de volgende: - de te lange wachtrij (-informatie) - informatrices kunnen onderling aanzienlijk verschillen met betrekking tot: kennis van zaken, handigheid in het gebruik van de Reisplanner, geduld en aandacht, dialoogvoering en effectiviteit en efficientie. Kennisnemen van elkaars expertise en explicitering van deze expertise kan leiden tot een nog efficientere en effectievere informatieverstrekking.
• Ook bij bestudering van de dialogen bleek dat in bepaalde gevallen de gekozen dialoogvoering en oplosstrategie niet altijd tot een bevredigend reisadvies leidde. Kennisnemen van dialoogmodellen en globale scripts kan leiden tot een bewustere dialoogvoering en effectiever en efficienter gedrag bij de afwijkende niet-standaard reisadviezen.