Osaurus是一款专为苹果生态系统设计的开源大语言模型服务器,它能够实现本地AI模型与云端AI模型之间的无缝切换,同时确保数据存储在设备上。这款工具由前特斯拉和Netflix工程师Terence Pai创立,旨在解决用户对隐私的担忧以及高昂的云服务费用问题。Osaurus支持在本地环境中进行部署,并能连接到OpenAI等服务平台,在安全的沙盒环境中运行模型。使用该工具至少需要64GB的内存,对于处理更复杂的模型,建议配备128GB及以上内存。截至目前,Osaurus已经获得了超过112,000次下载量,其目标就是帮助企业利用本地硬件来运行AI模型,从而减少对耗电量大、运营成本高的云数据中心的依赖。
评论 (0)
0/300





首页
