文心一言表现如何

文心一言在中文语义理解、工业知识问答以及商用文案生成这三个方面都表现出色，在国内的大模型里已经处于领先地位了。中国工业互联网研究院进行测试的时候发现，在电子、电力、钢铁等七个工业领域的问题回答准确率比GPT-3.5还要高一些，并且它的综合评价指数在国内排名第一；对于广告词和演讲稿这样的中文创意写作任务也能做出正确的反应并且符合要求，大大提高了工作效率；由于有上万亿个中文网页和几十亿条搜索引擎的数据来进行训练，所以对于成语典故、政策用语以及行业的专业术语都有比较好的认识。但是它的数学推理能力还有待提高，在长距离逻辑推理方面也存在不足之处，不过作为一个深入到中文环境中的国产大模型，它正在按照一个稳健的步伐去扩大人工智能的应用范围和深度。

一、工业知识问答能力方面，在七大赛道上进行测试时，该模型的表现要好于国内其他同类型的产品

由中国工业互联网研究院所进行的一次全面测试涉及到了电子设备、机械设备、钢铁业、矿业开采业、电力供应业、石油天然气业和建筑材料等行业的大约八个主要工业部门，一共设置了大约一千一百道客观题目和主观题目。文心一言在这七个行业中都取得了国内第一的成绩，在电力调度场景下已经同南网合作开发出人工智能辅助决策模型可以解释《电力系统安全稳定导则》这样的专业文件并且对于实时负荷变化给出符合规定的建议；而在钢铁行业中也可以正确地识别出诸如“高炉富氧鼓风”、“转炉溅渣护炉”之类的术语并关联到相关的生产工艺参数，在客观题部分它的得分率为百分之七十八点三比GPT-3.5高出六个百分点。该功能来源于百度文心大模型对《中国工业年鉴》、《制造业数字化转型白皮书》等重要行业的资料做深度结构化的学习以及在长安汽车、中建集团等大型企业的实际生产线数据上不断迭代优化的过程。

第二部分是中文商业文案的自动生成，在符合政策背景和传播规律的基础上提高了工作效率

在广告语、政务发言稿、电商详情页等高频率的工作场景里，文心一言表现出很强的语言环境适应能力。比如输入“为长三角生态绿色一体化发展示范区撰写三条宣传标语”，模型可以自动融入“一体化”、“绿色”、“示范区”这三个政策关键词，并按照《长江三角洲区域一体化发展规划纲要》所规定的表述标准产生出文字内容，同时避免了对于还没有被纳入到该区域内相关政策文件中的诸如“碳中和”、“零碳”之类的超前概念进行提及。经过测试发现，在撰写一篇五百字左右的园区招商推介文的时候，用上文心一言只需要花费大约一百一十二秒的时间来完成工作量相当于人工初稿一半的工作量，并且格式规范程度达到了百分之九十四点七，比同类国产模型平均水平高出十八个百分点以上。

三、能力边界和目前存在的问题：数学推理能力较弱，图片生成还处于单向输出的状态

对于数学题目中的“某工厂A线的日产量是120个产品，B线是A线的1.5倍，两条生产线一起生产出3600个产品需要多少天？”这样的简单比例问题，“文心一言”的错误率为41%，容易把倍数和总量分配搞混；它只能做文字到图片的转化，并不能进行图片之间的转换、局部修改或者语义级别的编辑，比如输入“把上面这张图片里的建筑物外墙改成江南白墙黛瓦的样子”，就会出现无法识别的情况；它的多模态模块还没有接入视觉理解反馈回路，在没有文本提示的情况下生成的所有图片都是用一次扩散的方式产生的，并且缺少对构图是否合理以及行业符号是否正确的二次校验机制。

四、实际应用建议：首先在符合政策要求和含有大量专业词汇的任务场景中使用

企业用户可以先将其集成到智能客服的知识库、公文初稿助手、招投标文件术语查证等低风险且重复使用的场景中去；而不能把API用在金融风控推演、工程结构计算以及医疗诊断建议这样的强逻辑依赖的任务上。开发人员如果要调用API的话，最好通过百度智能云官网的企业认证渠道来申请，即使是个人开发者也可以参加“文心杯”高校人工智能大赛获得测试权限，在目前的V4.5版本里已经实现了对于128K大小上下文窗口的支持和各个行业的词典热加载的功能。

因此文心一言并不是无所不能的助手，而是一个根植于中文工业语言环境和政务、商务场景中的实用型人工智能伙伴。