KI-KOLUMNE: Vom Rohtranskript zum Protokoll mit lokaler KI

Diesmal schließen wir den Kreis. Aus diesem Rohtext wird ein strukturiertes Sitzungsprotokoll – mit Tagesordnungspunkten, Beschlüssen, Abstimmungsergebnissen und offenen Aufgaben. Und zwar genauso, wie wir das Transkript erstellt haben: vollständig lokal, ohne dass die Daten das Haus verlassen.

Warum lokale Sprachmodelle hier der richtige Weg sind

Theoretisch könnten Sie das Transkript jetzt in ChatGPT oder Claude einfügen und um ein Protokoll bitten. Mit einer Business-Version und AV-Vertrag wäre das sogar datenschutzrechtlich sauber. Aber: Sie haben sich gerade eine lokale Transkriptionsstation aufgebaut, um genau das nicht tun zu müssen. Die Konsequenz heißt: Auch der zweite Schritt bleibt lokal. Das heißt, wir brauchen ein Sprachmodell, das direkt auf dem Rechner läuft. In der Kolumne vom Februar habe ich LM Studio vorgestellt – die kostenlose Software, mit der sich lokale KI-Modelle ohne Programmierkenntnisse installieren und nutzen lassen.

Welches Modell ist das richtige?

In der Februar-Kolumne hatte ich Mistral 7B und Qwen3-8B als Einstiegsmodelle empfohlen. Für unseren konkreten Fall – deutsche Sitzungsprotokolle aus langen Transkripten bauen – wird die Wahl etwas spezifischer. Zwei Eigenschaften sind jetzt wichtig:

Gute deutsche Sprachqualität. Das Modell soll österreichisches Amtsdeutsch korrekt schreiben, nicht in Übersetzungen aus dem Englischen abrutschen.

Ausreichend Kontextlänge. Ein Transkript einer dreistündigen Sitzung hat schnell 30.000 bis 50.000 Wörter. Das Modell muss diese Textmenge in einem Stück verarbeiten können. Fachlich heißt das: Das Modell braucht ein großes Kontextfenster – mindestens 32.000 Tokens, besser 128.000.

Konkrete Empfehlung für 2026: Ein Qwen3-Modell wie z.B. Qwen3-14B mit 14 Milliarden Parametern ist für die Aufgabe gut geeignet. Qwen wird vom chinesischen Unternehmen Alibaba entwickelt, ist aber Open Source und frei nutzbar – es läuft vollständig lokal, die Herkunft des Herstellers spielt datenschutzrechtlich keine Rolle, weil keine Daten irgendwohin gesendet werden. In Benchmarks für deutsche Textverarbeitung schneiden die aktuellen Qwen-Modelle gut ab, und sie unterstützen lange Kontexte.

Wer sich nicht entscheiden kann: In LM Studio lassen sich mehrere Modelle parallel vorhalten und ausprobieren. Der Download ist kostenlos, nur die Festplatte füllt sich.

Für den Hardware-Bedarf bleibt die Orientierung aus der Februar-Kolumne gültig: Ein 8B-Modell läuft auf einem Mac mini mit 16 GB, ein 14B-Modell wird mit 24 GB deutlich flüssiger. Auf einem Gaming-PC mit NVIDIA-Grafikkarte ab 12 GB Videospeicher ebenfalls kein Problem.

Der Prompt ist die halbe Miete

Ein Rohtranskript ist nichts weiter als ein sehr langer Text. Was das Modell daraus macht, hängt fast vollständig davon ab, wie wir es anweisen. Ein unbrauchbarer Prompt wäre etwas wie: „Mach ein Protokoll daraus.” Das Ergebnis wäre irgendeine Zusammenfassung. Vielleicht brauchbar, vielleicht nicht. Wahrscheinlich mit erfundenen Details, falscher Struktur, ohne klare Beschlüsse.

Ein guter Prompt sagt dem Modell genau, was es tun soll – und genauso wichtig: was es nicht tun soll. Hier eine erprobte Vorlage, die Sie direkt übernehmen und an Ihre Gemeinde anpassen können:

Dieser Prompt adressiert die beiden klassischen Schwächen von Sprachmodellen: das Erfinden von Details (Halluzinieren) und das ungebremste Zusammenfassen in die falsche Richtung. Die explizite Regel „Erfinde nichts” wirkt Wunder. Die Anweisung, Namen mit [?] zu markieren, ist ein Sicherheitsnetz – weil Whisper bei Eigennamen bekanntlich patzt und das Modell diese Fehler sonst stumm übernehmen würde.

Wie findet man heraus, welches Modell wirklich passt?

„Empfehlung” ist eine Sache, „passt zu meiner Gemeinde” eine andere. Modelle entwickeln sich rasant – was heute gut funktioniert, kann in drei Monaten von einem neuen Modell überholt sein. Außerdem: Welches Modell für Ihr Anwendungsfeld am besten taugt, hängt von Ihrem Schreibstil, Ihrer Sitzungsstruktur und Ihren Erwartungen ab. Das beste Modell ist nicht immer das größte – manchmal liefert ein kleineres, schnelleres Modell genau das, was Sie brauchen.

Mit dem Prompt aus dem letzten Abschnitt haben Sie jetzt das Werkzeug in der Hand, das einen sauberen Vergleich überhaupt erst möglich macht: Wenn alle Modelle denselben Prompt mit demselben Transkript bekommen, dann zeigt das Ergebnis tatsächlich Modell-Unterschiede – und nicht nur Unterschiede in der Anweisung.

Es gibt einen schönen, methodisch sauberen Weg, das selbst herauszufinden – und zwar mit Hilfe der großen Cloud-Modelle als Juror. Klingt paradox in einer Kolumne über lokale KI, ist aber datenschutzrechtlich völlig in Ordnung – wenn man eine kleine Vorbereitung trifft.

Synthetische Testdaten: das Datenschutzproblem elegant umgehen

Die wichtige Vorbedingung für den Vergleich: Verwenden Sie zum Testen ein Transkript ohne personenbezogene Daten. Sonst landen die echten Bürgernamen über den Umweg der Modell-Ausgabe doch in der Cloud, und der ganze Aufwand wäre umsonst.

Manuelle Anonymisierung ist mühsam und fehleranfällig – fast immer übersieht man eine Straße, einen Beschlusstext oder einen versehentlich genannten Namen. Es gibt aber einen viel eleganteren Weg: Lassen Sie sich das Test-Transkript einfach von einer Cloud-KI erfinden. Synthetische Testdaten haben einen unschlagbaren Vorteil: Es gibt nichts zu übersehen, weil keine echten Daten existieren. Konkret funktioniert das so: Sie öffnen ChatGPT, Claude oder Gemini und geben einen Prompt wie diesen ein:

Insbesondere Claude liefert hier sehr gute, glaubwürdige Ergebnisse – die generierten Sitzungen lesen sich erstaunlich realistisch, bis hin zu Zwischenrufen und kleinen Abschweifungen. ChatGPT funktioniert ebenfalls, tendiert aber etwas stärker dazu, „glatte” Sitzungen ohne Reibung zu produzieren. Gemini liegt dazwischen.

Ein Tipp für realistische Tests: Passen Sie den Generierungs-Prompt an Ihre tatsächliche Gemeindestruktur an. Eine 800-Einwohner-Gemeinde im Burgenland tickt anders als ein Vorort von Graz mit 12.000 Einwohnern. Themen, Sprecher, Diskussionsdynamik – all das beeinflusst, wie gut ein lokales Modell mit Ihren echten Sitzungen umgehen wird. Je näher das synthetische Transkript Ihrer Realität kommt, desto aussagekräftiger der Test.

Und das Schöne: Sie können beliebig viele solcher Test-Transkripte erzeugen lassen. Eine kurze, einfache Sitzung. Eine lange, komplexe. Eine mit vielen Beschlüssen. Eine mit hitziger Debatte. So sehen Sie, wo Ihre lokalen Modelle stark sind und wo sie ins Schwimmen kommen.

Der eigentliche Test im Detail

Mit einem solchen synthetischen Transkript in der Hand sieht der Selbsttest dann so aus:

Schritt 1 – Modelle in LM Studio vorbereiten. Sie laden alle Modelle, die Sie testen wollen, in LM Studio herunter. Drei oder vier sind ein guter Anfang – etwa Qwen3-8B, oder  vielleicht ein größeres Qwen-14B-Modell, falls die Hardware mitspielt.

Schritt 2 – Mit dem ersten Modell durchspielen. Das erste Modell auswählen, den Protokoll-Prompt aus dem letzten Abschnitt einfügen, das Test-Transkript anhängen, das Ergebnis abwarten.

Schritt 3 – Ergebnis sichern. Das generierte Protokoll in eine Textdatei oder ein Word-Dokument kopieren. Wichtig: Den Modellnamen klar im Dateinamen oder im Text vermerken – z. B. „Test-Qwen3-8B.txt”, „Test-Qwen3-14B.txt”.

Schritt 4 – Wiederholen für die anderen Modelle. Genau derselbe Prompt, genau dasselbe Transkript, jedes Modell einmal. Wer es ganz sauber haben will: bei jedem Modell die Standard-Einstellungen verwenden und nur das Modell ändern.

Schritt 5 – Bewerten lassen. Jetzt kommt der elegante Teil. Sie öffnen ein starkes Cloud-Modell – ChatGPT (Plus, Team oder Enterprise), Claude (Pro oder Team) oder Gemini in einer aktuellen Version. Dort fügen Sie einen Bewertungsprompt ein und darunter die Ergebnisse aller Modelle, sauber gekennzeichnet. 

Das Cloud-Modell macht jetzt etwas, wofür es perfekt geeignet ist: sauber strukturierte Texte vergleichen. Die Bewertung ist erstaunlich differenziert – die großen Cloud-Modelle erkennen Halluzinationen, schiefe Formulierungen, fehlende Tagesordnungspunkte mit hoher Trefferquote.

Was Sie dabei lernen, geht über die Modellfrage hinaus: Sie sehen, wo Ihre lokalen Modelle Schwächen haben. Und Sie haben einen Maßstab, um in einem halben Jahr mit neuen Modellen denselben Test zu wiederholen – und zu entscheiden, ob ein Wechsel sich lohnt.

Was Sie realistisch erwarten können

Ein lokales 8B-Modell ist nicht GPT-5.5. Die Qualität der Protokollstrukturierung ist bei einfachen Sitzungen (ein klares Thema, wenige Sprecher, saubere Beschlüsse) sehr gut. Bei komplexen Sitzungen mit verschränkten Themen, vielen Zwischenrufen und impliziten Bezügen stößt das Modell an Grenzen: Es vereinfacht, verliert gelegentlich Nuancen, verwechselt Rednerzuordnungen.

Gut funktioniert: Strukturierung nach Tagesordnungspunkten. Herausfiltern klarer Beschlüsse. Identifizieren offener Aufgaben. Formale Sprache und übliche Protokollphrasen.

Eingeschränkt funktioniert: Genaue Abstimmungsergebnisse (wenn das Transkript selbst unklar ist). Komplexe Rednerzuordnung bei Diskussionen ohne Namensnennung. Sehr lange Transkripte über 40.000 Wörter – hier hilft es, in Abschnitten zu arbeiten (z. B. pro Tagesordnungspunkt einzeln).

Praxistipp: Wenn ein Transkript zu lang ist, teilen Sie es vor der Verarbeitung an den Übergängen zwischen Tagesordnungspunkten. Dann verarbeiten Sie die Abschnitte einzeln und fügen die Protokollteile anschließend zusammen. Das ist weniger elegant, aber robuster als ein einziger Mammut-Durchlauf.

Der Gewinn – und die Grenze

Wenn alles zusammenspielt, ist das Ergebnis bemerkenswert: Aus drei Stunden Aufnahme werden in knapp einer Stunde reiner Gesamtarbeitszeit (Transkription + Protokollstrukturierung + Gegenlesen) ein formal sauberes Protokoll. Ohne dass ein einziges Byte Ihrer Sitzung einen fremden Server gesehen hat.

Die Grenze ist dort erreicht, wo Gemeinderats-Protokolle rechtliche Anforderungen erfüllen müssen, die über das bloße Dokumentieren hinausgehen – etwa bei Beschluss-Formulierungen mit genauem Wortlaut, bei Abstimmungslisten mit namentlicher Erfassung oder bei Protokollen, die nach Gemeindeordnung eine besondere Form verlangen. Solche Details bleiben Handarbeit. Die KI liefert den Entwurf; Sie liefern die Rechtssicherheit.

Kleine Hausaufgabe für diese Woche

Sie brauchen für diese Hausaufgabe weder eine Sitzungsaufnahme noch ein Transkript: Lassen Sie sich von ChatGPT oder Claude ein synthetisches Test-Transkript einer fiktiven Gemeinderatssitzung Ihrer Region erzeugen. Laden Sie in LM Studio zwei oder drei lokale Modelle, lassen Sie alle das gleiche Transkript verarbeiten, und vergleichen Sie die Ergebnisse mit Hilfe einer Cloud-KI Ihrer Wahl. Sie haben dann nicht nur einen Test-Durchlauf – sondern auch eine fundierte Antwort auf die Frage, welches Modell für Ihre Gemeinde das richtige ist. Und das ist ein schönes Gefühl: nicht „ChatGPT hat mir gesagt, das sei gut”, sondern „ich habe es selbst getestet, mit Methode.”