首页
开发者 JeecgBoot 在 Mac Studio M4Max 上测试了一个由社区修改的蒸馏模型，其生成速度比官方版本快了 5-6 倍。该模型采用 A4B MoE 架构，总参数数为 260 亿，每次推理仅激活约 40 亿参数，最高可达 78 词/秒，并支持 256K 上下文。 尽管生成速度很快，但由于多步骤决策链的影响，代码生成等任务涉及的复杂代理工作流仍需约1.5分钟。测试成功生成了标准化的JeecgBoot项目骨架。建议采用双模型策略：出于隐私保护和成本节约的考虑，将本地修改后的模型用于大多数任务（如CRUD操作）；而对于复杂的设计需求，则使用云端API。
评论 (0)
0/300
