Osaurus是一款專為蘋果生態系統設計的開源大語言模型伺服器,它能夠實現本地AI模型與雲端AI模型之間的無縫切換,同時確保資料儲存在裝置上。這款工具由前特斯拉和Netflix工程師Terence Pai創立,旨在解決使用者對隱私的擔憂以及高昂的雲服務費用問題。Osaurus支援在本地環境中進行部署,並能連線到OpenAI等服務平臺,在安全的沙盒環境中執行模型。使用該工具至少需要64GB的記憶體,對於處理更復雜的模型,建議配備128GB及以上記憶體。截至目前,Osaurus已經獲得了超過112,000次下載量,其目標就是幫助企業利用本地硬體來執行AI模型,從而減少對耗電量大、運營成本高的雲資料中心的依賴。
評論 (0)
0/300





首頁
