danke für dieses Modell. Läuft sehr serh gut auf meiner Linux Kiste. Auf meinem Mac läuft es gut aber könnte schneller sein.
Aktuell liegen im Repository ausschließlich die fertig kompilierten GGUF-Dateien. Um das Modell nativ und effizient auf Apple Silicon nutzen zu können, würde ich es gerne in das MLX-Format umwandeln. Dafür lassen sich die GGUF-Dateien leider nicht rückwirkend entpacken.
Wäre es möglich, die unquantisierten Modellgewichte (idealerweise als .safetensors) inklusive der essenziellen Konfigurationsdateien hier im Repo oder als separates Base-Repo bereitzustellen oder das modell direkt als MLX zur verfügung zu stellen?
Sobald die Rohdaten verfügbar sind, kann ich die Konvertierung und Quantisierung über mlx-vlm auch gerne selbst übernehmen.
freut mich, dass es auf deiner Linux-Kiste rundläuft!
German-OCR-3.1 ist ein Fine-Tune von Qwen3.5 ((Qwen2-VL-2B-Instruct (1,5B-Backbone, 32k Kontext))). mlx-vlm unterstützt Qwen2-VL nativ, der Konvertierungsweg ist also klar... was fehlt, sind nur die unquantisierten .safetensors, weil GGUF zurück zu entpacken (Vision-/mmproj-Teils) kein sinnvoller Pfad ist. Ob ich die Fine-Tune-Gewichte als separates Base-Repo (safetensors + Config/Processor) bereitstelle oder direkt einen MLX-Build hochlade, schaue ich mir gerne an... fest zusagen kann ich es aktuell noch nicht, ich melde mich hier im Thread, sobald ich dazu komme.
Danke für dein Interesse und auch dafür, dass du die MLX-Konvertierung selbst übernehmen würdest!
