Osaurus integriert lokale und Cloud-basierte KI-Modelle auf dem Mac

Da KI-Modelle zunehmend zur Massenware werden, konkurrieren Start-ups darum, die Software-Schicht zu entwickeln, die auf ihnen aufbaut. Ein bedeutender Akteur in diesem Bereich ist Osaurus, ein Open-Source-LLM-Server, der ausschließlich auf Mac läuft. Er ermöglicht es Nutzern, zwischen verschiedenen lokalen oder cloudbasierten KI-Modellen zu wechseln, während ihre Dateien und Tools sicher auf ihrer eigenen Hardware verbleiben.

Osaurus entstand aus dem Konzept eines Desktop-KI-Begleiters namens Dinoki, den Mitbegründer Terence Pae mit einem „KI-gestützten Clippy“ verglich. Potenzielle Kunden fragten sich, warum sie die App kaufen sollten, wenn sie dennoch für Token bezahlen müssten – die Einheiten, die KI-Unternehmen für die Verarbeitung von Eingaben und die Generierung von Antworten berechnen.

Dies veranlasste Pae, die Möglichkeiten einer lokalen KI-Ausführung eingehender zu untersuchen.

„So begann Osaurus“, erklärte Pae, ein ehemaliger Softwareentwickler bei Tesla und Netflix, gegenüber TechCrunch. Die ursprüngliche Idee war, zu versuchen, einen KI-Assistenten direkt auf dem Gerät eines Nutzers auszuführen. „Man kann fast alles lokal auf dem Mac erledigen, wie zum Beispiel Dateien durchsuchen, auf den Webbrowser zugreifen und Systemkonfigurationen überprüfen. Mir wurde klar, dass Osaurus dadurch perfekt als persönliche KI für einzelne Nutzer positioniert war.“

Pae begann, das Tool öffentlich als Open-Source-Projekt zu entwickeln, wobei er im Laufe des Prozesses kontinuierlich Funktionen hinzufügte und Fehler behob.

Bildnachweis: Osaurus, Inc.

Heute bietet Osaurus flexible Verbindungen zu lokal gehosteten KI-Modellen oder Cloud-Anbietern wie OpenAI und Anthropic. Nutzer können ihr bevorzugtes KI-Modell frei wählen und gleichzeitig andere Aspekte der KI-Erfahrung – wie den Speicher des Modells, persönliche Dateien und Tools – auf ihrer eigenen Hardware beibehalten.

Da verschiedene KI-Modelle jeweils einzigartige Stärken besitzen, liegt der Vorteil dieses Systems darin, dass Nutzer zu dem Modell wechseln können, das für ihre spezifische Aufgabe am besten geeignet ist.

Diese Architektur klassifiziert Osaurus als „Harness“ – eine Steuerungsebene, die verschiedene KI-Modelle, Tools und Workflows über eine einzige Schnittstelle integriert, ähnlich wie Plattformen wie OpenClaw oder Hermes. Solche Tools sind jedoch oft für Entwickler konzipiert, die mit Terminalbefehlen vertraut sind. In einigen Fällen, wie bei OpenClaw, können sie auch Sicherheitslücken mit sich bringen.

Im Gegensatz dazu bietet Osaurus eine benutzerfreundliche Oberfläche für allgemeine Verbraucher und gewährleistet Sicherheit durch den Betrieb in einer hardwareisolierten, virtuellen Sandbox. Dadurch wird der Zugriff der KI auf einen definierten Bereich beschränkt, wodurch Ihr Computer und Ihre Daten geschützt werden.

Bildnachweis: Osaurus, Inc.

Das lokale Ausführen von KI-Modellen ist noch eine relativ neue Praxis, da es erhebliche Ressourcen erfordert und stark von der Hardware abhängt. Um lokale Modelle zu betreiben, benötigt Ihr System mindestens 64 GB RAM. Für größere Modelle wie DeepSeek v4 empfiehlt Pae Systeme mit etwa 128 GB RAM.

Dennoch ist Pae zuversichtlich, dass die Hardwareanforderungen für lokale KI mit der Zeit sinken werden.

„Ich erkenne das Potenzial, da die Intelligenz pro Watt – eine Schlüsselkennzahl für lokale KI – dramatisch gestiegen ist. Sie befindet sich auf einem eigenen Innovationspfad. Letztes Jahr hatte lokale KI noch Schwierigkeiten, Sätze zu vervollständigen, doch heute kann sie Tools ausführen, Code schreiben, auf Ihren Browser zugreifen und sogar Bestellungen bei Amazon aufgeben. Sie verbessert sich kontinuierlich“, merkte er an.

Bildnachweis: Osaurus, Inc.

Derzeit unterstützt Osaurus Modelle wie MiniMax M2.5, Gemma 4, Qwen3.6, GPT-OSS, Llama und DeepSeek V4. Außerdem integriert es Apples On-Device-Basis-Modelle, die LFM-Familie von Liquid AI sowie Cloud-Verbindungen zu OpenAI, Anthropic, Gemini, xAI/Grok, Venice AI, OpenRouter, Ollama und LM Studio.

Als vollwertiger Model Context Protocol (MCP)-Server gewährt es jedem MCP-kompatiblen Client Zugriff auf Ihre Tools. Darüber hinaus ist es mit über 20 nativen Plugins für Mail, Kalender, Vision, macOS-Dienstprogramme, XLSX, PPTX, Browser, Musik, Git, Dateisystem, Suche, Fetch und mehr ausgestattet.

Ein kürzlich veröffentlichtes Update hat Osaurus um Sprachfunktionen erweitert.

Seit seiner Einführung vor fast einem Jahr wurde das Projekt laut seiner Website über 112.000 Mal heruntergeladen.

Die Gründer, darunter Mitbegründer Sam Yoo, nehmen derzeit am New Yorker Startup-Accelerator Alliance teil. Sie planen zudem weitere Schritte, darunter möglicherweise das Angebot von Osaurus für Unternehmen in Branchen wie dem Rechtswesen oder dem Gesundheitswesen, wo lokale LLMs dazu beitragen könnten, Bedenken hinsichtlich des Datenschutzes auszuräumen.

Da lokale KI-Modelle immer leistungsfähiger werden, ist das Team der Ansicht, dass sie die Abhängigkeit von großen KI-Rechenzentren verringern könnten.

„Wir erleben ein explosives Wachstum im KI-Bereich, in dem Cloud-Anbieter mit riesigen Rechenzentren und Infrastruktur skalieren müssen. Dennoch sind wir der Meinung, dass der Wert lokaler KI nach wie vor unterschätzt wird“, erklärte Pae. „Anstatt sich auf die Cloud zu verlassen, könnten Unternehmen einen Mac Studio vor Ort einsetzen, der deutlich weniger Strom verbraucht. Man behält cloudähnliche Funktionen, ohne für den Betrieb der KI von einem entfernten Rechenzentrum abhängig zu sein“, fügte er hinzu.