专用模型到通用模型的转变,大模型成为发展通用人工智能的重要途径
书生·浦语大模型系列模型: 轻量级:InternLM-7B(70亿模型参数、10000亿训练token数据、长语境能力、具备通用工具调用能力) 中量级:InternLM-20B(200亿参数量、深而窄的结构、4k训练语境长度,推理时可外推至16k) 重量级:InternLM-123B(1230亿模型参数、极强推理能力、准确API调用能力)
预训练模型工具:InternLM-Train特点。高可扩展、极致性能优化、兼容主流、开箱即用
微调:XTuner。增量续训/有监督微调、显存优化(消费级8GB显卡玩转微调)
部署: 大语言模型特点:内存开销巨大、动态Shape、模型结构相对简单。 技术挑战:设备、推理(token生成速度、动态shape、管理利用内存)、服务
应用:从大语言模型到智能体
大语言模型的缺点:最新知识和信息的获取、回复的可靠性、数学计算、工具使用与交互
轻量级智能体框架Lagent
多模态智能体工具箱AgentLego