Moin,
vermutlich sitzt das Problem vor dem Rechner, aber ich schaffe es nicht das LM Studio und Devonthink beta 1 miteinander reden.
Der LM Studio Server läuft, der Pfad ist in den Devon-Einstellungen eingetragen, aber wenn ich das Chatfenster öffne kann ich nichts eingeben, weil Devon scheinbar den Server von LM nicht findet.
Hat jemand eine Idee was da noch zu beachten ist?
Gruß Ulrich
Läuft nur LM Studio oder definitiv auch der Server? Funktioniert es, wenn Sie das Modell erst manuell laden?
Nach meinem Verständnis ja, sieht so bei mir aus:
Dennoch bleibt das Chatfenster ausgegraut:
Gruß Ulrich
Ist denn unter Einstellungen > AI > Chat ein Modell für LM Studio auswählbar?
Nein.
Auch nicht nach einem Neustart von DEVONthink 4? DEVONthink 4 lädt die verfügbaren Modelle nur beim Start oder wenn sich der API-Key oder die API-URL in den Einstellungen geändert haben.
Ich habe beides nochmal nur gestartet und es ändert sich nichts, Screenshots anbei.
Nun habe ich mit LM aber auch Null Erfahrung, ich wollte es jetzt mal wg. den neuen Devon-Funktionen ausprobieren.
Ist denn tatsächlich ein Modell verfügbar, wenn Sie oben auf dem LM Studio-Bildschirmfoto auf Modell zum Laden auswählen klicken?
Ja, darüber lade ich ja die in der Liste darunter gelisteten Modelle, hier Deepseek und nomic.
LM “antwortet” auch wenn ich in LM was eingebe.
Die URL stimmt anscheinend nicht, voreingestellt ist diese http://localhost:1234/v1/chat/completions. Falls diese nicht funktioniert, dann sollte nur der Host angepasst werden, aber nicht der Pfad der URL.
Danke, das wars! Ich habe die URL als Copy paste aus LM übernommen, das genügt aber nicht wie sich nun zeigt.
Vielen Dank.
Habe das gleiche Problem beim Einrichten, allerdings mit Ollama und mistral (LLM). Der Server läuft (Meldung http://localhost:11343 Ollama ist running). Auch bei mir ist das Feld zur Auswahl der LLM ausgegraut. und kein Chat möglich
Die Lösung bei mir war, dass an dir URL noch chat/completations drangehangen werden muss, was LM auch nicht als Standard URL mitgibt anbei meine Konfiguration.
In der von DEVONthink vorgegebenen URL sollte in der Regel nur der Host & Port angepasst werden.
sorry, dass ich mich erst jetzt melde, war allerdings unterwegs.
@Spenser Das Anhängen hat zu keiner veränderung geführt.
@cgrunenberg Ich habe keine Veränderungen an der URL und dem Port vorgenommen vorgenommen. Ich hielt es auch nicht für notwendig, da Ollama mit der LLM Mistral lokal läuft.
Die Lösung ist für Ollama mit LLM Mistral:
http://localhost:11434/api/chat
Danke fürs Mitdenken
