Vermutlich liegt s an mir, aber ich verstehe den Sinn der Chatfunktion nicht.
Ich habe ein lokales LLM laufen (hat ja Dank des Supports hier gut geklappt) aber was fange ich nun mit der Chatfunktion an?
Ich habe testweise drei Dokumente aus einer meiner Datenbanken markiert und via Chat dann gesagt, stelle mir die wesentliche Unterschiede der drei Wagen (es waren Dokumente zu Eisenbahnwagen) dar. Ergebnis war das mit der Chat drei Teslas verglichen hat.
Ich hätte gedacht, dass sich der Chat immer auf das aktuelle oder mehrere markierte Dokumente bezieht, so wie ich ja auch ein einzelnes Dokument zusammenfassen lassen kann.
DAU oder Bug?
Danke & Gruß
Ulrich
Der Chat bezieht sich nicht automatisch auf die aktuelle Auswahl, z.B. kann auch das Web oder die Datenbank durchsucht werden oder einfach nur das antrainierte Wissen verwendet werden. Daher empfiehlt sich ein möglichst genauer & vollständiger Prompt, in diesem Fall mit Hinweis auf die ausgewählten Dokumente.
Ich habe es versucht, Screenshot anbei.
Leider geht das völlig daneben, weil die Antworten nichts mit den markierten Datensätzen zu tun haben.
Alle drei Wagen sind Personenwagen der 1. und 2. Klasse, keine Güterwagen und auch keine Doppelstockwagen.
Doppelstock würde es in der gleichen Datenbank zumindest noch geben, Güterwagen sind zudem eine ganz andere Datenbank.
Das es Ungenauigkeiten bei einem einfachen LLM gibt sehe ich ein (aber auf einem M1 Mac laufen die größeren Modelle nicht), aber hier habe ich das Gefühl das die KI auf irgendwas anderes zugreift.
Für die AI sind PDF-Dokumente ausgewählt, nicht Eisenbahnwagen. Also z.B. Fasse die wesentlichen Unterscheide der genannten Eisenbahnwagen in den ausgewählten PDF-Dokumenten in einer Tabelle zusammen. Aber letztlich hängt das auch stark vom verwendeten Modell ab, besonders lokale Modelle sind eingeschränkt im Vergleich zu kommerziellen.
Vielleicht weiß eine mit amerikanischen Zügen trainierte AI auch nichts über europäische Personenwagen?
