通义千问

发展历程 ：

• 2019 年起，阿里巴巴集团开始进行大模型研究。
• 2023 年 4 月 7 日，阿里云宣布 “通义千问” 开始邀请测试，此次测试主要面向企业用户。
• 2023 年 4 月 11 日，在阿里云峰会上正式发布，阿里巴巴所有产品未来将接入 “通义千问” 大模型进行全面改造。
• 2023 年 4 月 18 日，钉钉正式接入通义千问大模型。
• 2023 年 8 月 3 日，通义千问旗下 70 亿参数通用模型 qwen-7b 和对话模型 qwen-7b-chat 上架魔搭，并且两款模型均开源、免费、可商用 。
• 2023 年 9 月 13 日，通义千问大模型首批通过备案，正式向公众开放。
• 2023 年 10 月 31 日，阿里云在 2023 云栖大会上正式升级发布通义千问 2.0，模型参数达到了千亿级别，通义千问 app 也在各大手机应用市场正式上线。
• 2024 年 6 月 7 日，阿里通义千问 qwen2 大模型发布，并在 huggingface 和 modelscope 上同步开源。
• 2024 年 6 月 19 日，opencompass 发布了首个大模型高考全卷评测结果，阿里通义千问 2-72b 排名第一 。

产品功能 ：

• 主要功能：基于自然语言理解和语义分析，可实现创作文字、编写代码、语言翻译、扮演角色进行对话等功能。其 2.0 版本支持文本回答、图片理解、文档解析三种模式。
• 百宝袋特色功能：
  • 创意文案：能生成短视频剧本、祝福语、电影剧本等多种创意文案。
  • 办公助理：提供营销文案撰写、周报助理、ppt 大纲助手等办公服务。
  • 学习助手：解答学习问题，如开学规划、诗歌分析、读后感生成等。
  • 趣味生活：解答生活问题，提供高情商回复、健身计划、海底捞食谱等。
• AI 语音对话：通义千问 app 支持语音输入输出，用户可设置温柔、幽默、严谨、亲切四种音色。

模型优势 ：

• 强大的自然语言处理能力：通过深度学习和大规模语言模型方法，能够理解和生成人类自然语言，提供精准详尽的问题解答服务，接近真人对话方式，实时为用户提供高质量信息反馈。
• 广泛的知识覆盖面：知识库涵盖科技、文化、历史、生活等多个领域，支持多语言交互，能应对各种复杂或独特问题，综合考虑多种因素给出全面准确答案。
• 持续学习与进化：具备自我学习和优化能力，随着用户使用和反馈不断迭代升级，更好地适应不断变化的用户需求和市场环境。

技术特性 ：

• 数据：模型预训练数据共有 3 万亿 tokens 的数据，主要涉及公共网络文档、百科全书、书籍、代码等，以中文和英文为主。同时，开发团队制定了全面的预处理程序以保证数据质量。
• 分词器：采用开源快速 bpe 分词器 tiktoken，以 cl100k 为基础词库，并扩充了常用的中文字词以及其他语言的词汇，词表大小为 152k，相比其他模型在绝大多数语言上实现了更高的压缩效率。
• 模型架构：基于 transformer 框架，采用了开源大语言模型训练方法 llama，并对架构进行了修改，如选择不受限的嵌入方法、采用 rope 位置编码、移除大多数层的偏差、采用预规范化方法和 rmsnorm、使用 swiglu 激活函数等，以提高模型的性能表现和精确度。

应用场景 ：

• 知识问答与技术支持：在教育领域可作为学术助手，帮助学生解答疑难问题，提供学习资源和教学辅助；在咨询领域可作为智能客服，为企业客户提供快速响应和专业解答 。
• 内容创作与文案生成：能根据用户需求生成各类文章、故事、新闻稿件、广告语、产品说明等文案，为广告、媒体等行业带来全新创作模式.
• 多语言翻译与跨文化交流：支持多语言生成和翻译，可帮助企业快速翻译合同、邮件等商务文件，促进跨国合作顺利进行.