CHARMinG - Literarische Charaktere mittels AI-Methoden analysieren und generieren
CHARMinG -CHARacter MINing and Generation
Wissenschaftsdisziplinen
Informatik (60%); Kunstwissenschaften (10%); Medien- und Kommunikationswissenschaften (10%); Sprach- und Literaturwissenschaften (20%)
Keywords
-
Artificial Intelligence,
Digital Humanities,
Affect Mining,
Character Generation,
Text Mining,
Virtual Actor
Held, Bösewicht, Diener, Mentor, und viele mehr ... Film und Drama bedienen sich auch heute noch archetypischer Charaktere. Aber was macht einen Charakter aus? Das hier vorgeschlagene Projekt CHARMinG (Character Mining and Generation) entwickelt und verwendet KI-Methoden aus den Gebieten der automatischen Text- und Affektanalyse, der Sprachverarbeitung und dem maschinellen Lernen, um in digital verfügbaren dialogischen Texten (Drehbüchern, Transkripten, Dramen) Indikatoren zu entdecken, die die wesentlichen relationalen, funktionalen und persönlichen Merkmale von fiktionalen Gestalten vermitteln und damit zur Generierung von facettenreicheren und interessanteren virtuellen Figuren beizutragen. Das Projekt etabliert das neue Gebiet des "Character Mining" sowohl in fiktionalen als auch in nichtfiktionalen Textsorten. Fiktionale Texte eignen sich besonders gut als Ausgangspunkt, da hier der reiche Fundus an literarischen Arbeiten über Charaktere und die Dialoghaftigkeit der Texte genutzt werden können. Ein zentrales Anliegen des Projekts ist es, Fortschritte bei der Gestaltung interessanter und vielschichtiger virtueller Charaktere zu ermöglichen. Das können Non-Player-Character in interaktiven Geschichten, Dramen oder Spielen sein, aber auch Agenten im E-Learning oder im Assistenzbereich sowie deren Nebendarsteller. Durch die Forschungsarbeit, die textuelle Oberflächenmerkmale eines Charakters systematisch mit ihren darunterliegenden Aspekten verbindet, wird es möglich, vorerst facettenreiche, sozialisierte und narrativ tragende virtuelle Darsteller zu modellieren und zu generieren, die füreinander und vor allem für die Hauptfiguren eine lebendige soziale Umgebung schaffen. Ein weiteres Ziel des Projekts ist es, die neuen Methoden auf die Interpretation menschlichen Verhaltens im weiten Universum nichtfiktionaler (vorerst dialoghafter) Textsorten zu übertragen, z. B. in sozialen Netzwerken.
Die letzten Jahrzehnte sahen eine starke Vermehrung von virtuellen Charakteren in interaktiven Geschichten, Spielen, Assistenz- und Lernsystemen. Trotzdem blieb das Design von interessanten künstlichen Figuren, die mit den Usern konsistent und kohärent kommunizieren können, ein Problem. Das Ziel des Projekt war es, Einsichten und neue interdisziplinäre Herangehensweisen zur Lösung dieses Problems zu finden. Die zentrale Annahme unserer Untersuchung war, dass sich die wichtigsten Anzeichen dessen, was einen Charakter ausmacht, im Dialog zeigen. Auf der Grundlage dieser Hypothese entwickelten und untersuchten wir eine Reihe von Methoden aus Sprachverarbeitung und maschinellem Lernen, die es, zusammen mit detaillierter menschlicher Diskursanalyse, ermöglichten, aus elektronischen Quellen fiktiver Dialoge (Drehbücher, Transkripte, Dramen) eine Reihe von Indikatoren zu erarbeiten, die den Kern der relationalen bzw. funktionalen Eigenschaften von Charakteren beschreiben. Im Rahmen des Projekts wurden einige Meilensteine erreicht. In erster Linie entwickelten wir einen integrierten Ansatz, mit dem linguistische Analyse um Interaktions- und Kommunikationsmerkmale ergänzt wird, um die automatische Erkennung von fiktionalen Charakteren zu ermöglichen. Weiters evaluierten wir eine Reihe von State-of-the-Art Methoden zur generalisierten Einbettung auf Wort- und Satzebene, um die automatische Klassifikation eines breiten Merkmalspektrums zu verbessern: a) Merkmale für Expressivität (z.B. Gefühlsausdruck, Ausrufe, Ellipse) b) sozial-relationale Merkmale (z.B. Dialogakte, Anrede, Brüche) c) spezifische Merkmale des strategischen Diskurses eines Charaktertyps, u.zw. des Mentors (z.B. Sprechhandlungen, Absichten). Angesichts des breiten Spektrums an damit assoziierten funktionalen und psycho-sozialen Merkmalen, die für die wachsenden Sektoren Bildung und Assistenz sowohl online als auch in der Robotik relevant sind, legten wir den Forschungsschwerpunkt auf den Charaktertyp des Mentors und seine Interaktionen mit den Mentee-Figuren. Auf der Basis des oben erläuterten integrierten Ansatzes wurde ein Schichtenmodell der Mentor-Mentee-Interaktionen vorgelegt. Weiters haben wir auch Software-Tools für die automatische Analyse von Interaktionen in Dialogen entwickelt und eine Variante eines charaktertreuen Dialogsystems evaluiert.Schließlich wurde die Transferierbarkeit der Methoden und Tools in andere Domänen und Anwendungsszenarien, wie z.B. die Analyse von Benutzermerkmalen in sozialen Medien, untersucht.
- Thierry Declerck, DFKI GmbH - Deutschland
- Ana Paiva, Technical University Lisbon - Portugal
- Rada Mihalcea, University of Michigan - Vereinigte Staaten von Amerika
Research Output
- 336 Zitationen
- 15 Publikationen
-
2016
Titel Fusing Social Media Cues DOI 10.1145/2872518.2889368 Typ Conference Proceeding Abstract Autor Skowron M Seiten 107-108 -
2016
Titel Automatic Identification of Character Types from Film Dialogs DOI 10.1080/08839514.2017.1289311 Typ Journal Article Autor Skowron M Journal Applied Artificial Intelligence Seiten 942-973 -
2019
Titel Modeling Mentor-Mentee Dialogues in Film DOI 10.1080/01969722.2018.1556438 Typ Journal Article Autor Dobrosovestnova A Journal Cybernetics and Systems Seiten 339-366 Link Publikation -
2019
Titel In Search of a Narrative for Human–Robot Relationships DOI 10.1080/01969722.2018.1550913 Typ Journal Article Autor Payr S Journal Cybernetics and Systems Seiten 281-299 -
2017
Titel An In-Depth Experimental Comparison of RNTNs and CNNs for Sentence Modeling DOI 10.1007/978-3-319-67786-6_11 Typ Book Chapter Autor Ahmadi Z Verlag Springer Nature Seiten 144-152 -
2017
Titel Strategic Talk in Film DOI 10.1080/01969722.2017.1407282 Typ Journal Article Autor Payr S Journal Cybernetics and Systems Seiten 576-596 Link Publikation -
2017
Titel Retrieving Compositional Documents Using Position-Sensitive Word Mover's Distance DOI 10.1145/3121050.3121084 Typ Conference Proceeding Abstract Autor Trapp M Seiten 233-236 -
2017
Titel Predicting Genre Preferences from Cultural and Socio-Economic Factors for Music Retrieval DOI 10.1007/978-3-319-56608-5_49 Typ Book Chapter Autor Skowron M Verlag Springer Nature Seiten 561-567 -
2018
Titel Regressing Controversy of Music Artists from Microblogs DOI 10.1109/ictai.2018.00090 Typ Conference Proceeding Abstract Autor Hamad M Seiten 548-555 -
2019
Titel The structure of the Shiga toxin 2a A-subunit dictates the interactions of the toxin with blood components DOI 10.1111/cmi.13000 Typ Journal Article Autor Brigotti M Journal Cellular Microbiology Link Publikation -
2015
Titel Impaired antioxidant HDL function is associated with premature myocardial infarction DOI 10.1111/eci.12466 Typ Journal Article Autor Distelmaier K Journal European Journal of Clinical Investigation Seiten 731-738 -
2015
Titel Morphine decreases ticagrelor concentrations but not its antiplatelet effects: a randomized trial in healthy volunteers DOI 10.1111/eci.12550 Typ Journal Article Autor Hobl E Journal European Journal of Clinical Investigation Seiten 7-14 -
2015
Titel A pilot study on reparixin, a CXCR1/2 antagonist, to assess safety and efficacy in attenuating ischaemia–reperfusion injury and inflammation after on-pump coronary artery bypass graft surgery DOI 10.1111/cei.12488 Typ Journal Article Autor Opfermann P Journal Clinical & Experimental Immunology Seiten 131-142 Link Publikation -
2014
Titel Prognostic value of culprit site neutrophils in acute coronary syndrome DOI 10.1111/eci.12228 Typ Journal Article Autor Distelmaier K Journal European Journal of Clinical Investigation Seiten 257-265 -
2014
Titel Absorption kinetics of low-dose chewable aspirin – implications for acute coronary syndromes DOI 10.1111/eci.12373 Typ Journal Article Autor Hobl E Journal European Journal of Clinical Investigation Seiten 13-17