Many-shot in-context Learning for Aspect-based sentiment analyisis

Mit der zunehmenden Verbreitung großer Sprachmodelle (LLMs) hat sich das In-Context Learning (ICL) als eine leistungsfähige Methode zur Modellanpassung ohne explizite Gewichtsaktualisierungen etabliert. Während sich viele Arbeiten auf das Few-Shot ICL konzentrieren, eröffnet die Erweiterung der Kontextfenster aktueller LLMs die Möglichkeit auch große Mengen annotierter Beispiele (shots/demonstrations) in der Prompt bereitzustellen. Dieses Paradigma, “Many-shot in-context learning” wurde nun im Rahmen der NeurIPS 2024 von Goolge untersucht (https://proceedings.neurips.cc/paper_files/paper/2024/file/8cb564df771e9eacbfe9d72bd46a24a9-Paper-Conference.pdf). Leistungsgrenzen und Herausforderungen von Many-Shot ICL wurden bisher im Bereich der ABSA / Sentimentanalyse nicht umfassend erforscht.

Ziel dieser Arbeit ist es, das Potenzial von Many-Shot In-Context Learning für die (Aspekt-basierte) Sentimentanalyse systematisch zu untersuchen. Dabei soll (1.) der Einfluss der Menge an In-context Beispiele auf die Modellleistung analysiert werden. Des Weiteren (2.) untersucht werden, inwieweit Many-Shot ICL klassische, feingetunte Modelle in verschiedenen Sentimentanalyse-Aufgaben übertreffen kann und welche Faktoren die Effektivität dieser Methode beeinflussen. Dabei wird ein besonderer Fokus auf unterschiedliche Subtasks (z.B. klassische Sentimentklassifikation, aspektbasierte Sentimentanalyse) gelegt.

• Durchführung einer umfassenden Literaturrecherche zu Many-Shot ICL und Sentimentanalyse.
• Auswahl und Aufbereitung geeigneter Datensätze für Many-Shot ICL.
• Implementierung und Evaluierung von Many-Shot ICL-Ansätzen mit modernen Open-source LLMs.
• Vergleich der Modellleistung mit bestehenden Sentimentanalyse-Methoden (z. B. feingetunte Modelle, Few-Shot ICL).

• Dringend erforderlich: Python
• Dringend erforderlich: Grundkenntnisse in natürlicher Sprachverarbeitung (NLP).

Nice to have:

• Erfahrung im Umgang mit LLM-Schnittstellen (z.B. OpenAI API, Ollama).
• Kenntnisse in NLP Python-Bibliotheken (z.B. Hugging Face Transformers, PyTorch, LangChain, pandas, numpy).
• Erfahrung mit Experimentdesign und Evaluationsmethoden für NLP-Modelle.

Nach Absprache mit dem Betreuer.