公司DeepSeek推出了其最新技术瑰宝：DeepSeek-V3，这是一个超高性能开放语言模型，具有6710亿个参数，性能可与GPT-4或Claude 3.5相媲美。除了降低培训成本外，DeepSeek-V3 还将自己定位为封闭解决方案的可靠替代方案。
DeepSeek-V3 有哪些特点？
DeepSeek-V3 以其创新的架构脱颖而出，旨在将计算能力与经济效率结合起来。与传统模型不同，它使用一种称为混合专家（MoE）的方法。该技术仅激活其 6710 亿个参数中的一小部分（每个令牌 370 亿个），从而降低了资源消耗，同时保持了高性能。
两大创新增强了该模型的有效性：
多令牌预测 (MTP)允许同时生成多个令牌，从而加快生成过程（每秒最多 60 个令牌）。
无损负载平衡，可在不影响结果质量的情况下动态优化专家的使用。
得益于算法和硬件优化，例如使用FP8 框架和DualPipe算法，该模型 澳大利亚电报数据 仅用 2788K GPU 小时就完成了训练，预计总成本为557 万美元。如果你考虑到像Llama-3.1这样的模型需要超过 5 亿美元的投资，那么这可谓一项了不起的成就。