Ich stoße hier gerade auf seltsame hürden… Ich habe einen lokalen KI-Server laufen (der hat ordentlich mehr Bumms als mein MacBook Pro) - und DEVONthink auch damit verknüpft.
Nun habe ich mir überlegt: Ich könnte damit mal längere Dokumente aus dem Englischen ins Deutsche übersetzen lassen.
Also sage ich dem Chat: “Nimm dieses Dokument und übersetz es auf Deutsch.”
Kann er nicht. Will er nicht. Ich bekomme immer wieder Rückmeldungen wie diese hier:
Um das Dokument zu übersetzen, benötige ich den Text des PDFs.
Bitte kopiere den gewünschten Abschnitt hierher oder lade die Datei erneut hoch, damit ich ihn in Deutsch übertragen kann.
Es wurde aber vorher abgerufen. Also: Er hat sich das Dokument offenbar geholt - und dann einfach nichts damit gemacht. Oder verstehe ich “Abgerufen” falsch?
Also: Ich würde gerne Inhalte in meinen Dokumenten analysieren, übersetzen und anpassen lassen - also das, wozu ein Chatbot eigentlich ganz gut nützlich sein könnte. Wie schaffe ich das? 
Is the document selected in the View pane?
Welches Modell? Wie lautete der Prompt?
Ich habe jetzt Gemma 3 12 B und ChatGPT oss 20 B probiert. In beiden Fällen ist der Prompt der, den ich oben geschrieben habe: “Nimm dieses Dokument und übersetz es auf Deutsch”.
Vielleicht reicht das Kontextfenster auch nicht. Das weiß ich nicht so genau. Ich kann beiden Modellen aber auch eine Gruppe von Dokumenten geben und sie die analysieren lassen.
Habe ich beispielsweise mal beispielhaft mit Rentenbescheiden gemacht und gefragt, wie sich das im Laufe der Jahre Entwickelt hat. Zumindest gpt 20 B Modell konnte da dann plötzlich die Dokumente öffnen, analysieren und mir sogar Tipps zum Schließen einer Versorgungslücke geben. 
Aber sowas wie “Nimm das hier und übersetzt es” - neininein - das ist ein PDF, das will ich nicht öffnen, du musst mir schon den Text kopieren…
Ach. Ach was? Ich habe ja nur PDFs. 
Also irgendwie ist das inkonsistent oder I’m holding it wrong….
Und die Modelle werden konkret wie betrieben? Per Ollama oder LM Studio?
Klappt es z.B. mit “Übersetze den Text des ausgewählten Dokumentes auf Deutsch”? Speziell kleine oder günstige Modelle sind öfters zickig bei nicht eindeutigen Prompts. Allerdings ist die Unterstützung kleiner Modelle für internationale Sprachen oft auch eingeschränkt. Und je nach Länge des Dokuments muss evtl. noch das Kontextfenster vergrößert werden.