chatGPT下游应用和场景商业化广阔–20221205
更多纪要请关注【文八股调研】
来源:网络(真伪自辨)
全文共计 3031 字
发布能够以对话形式交互的模型OpenAI。
年 月 日,人工智ChatGPT 2022 11 30能实验室 推出了一款名为OpenAI的模型,该模型能够以对话形式ChatGPT交互。
对话模式使 能够回答后续ChatGPT问题、承认错误、质疑不正确的前提和拒绝不适当的请求。
就发展历程来看,根据 系列的一个模型进ChatGPT GPT-3.5行微调,两者均于微软 服务器上Azure AI训练。
相较而言原先 的训练集只有GPT-3文本,本次新推出的 新增了代码ChatGPT理解和生成的能力。
此外, 是ChatGPT年 月推出的 的兄弟模2022 1 InstructGPT型。
增加了人类对模型输出结InstructGPT果的演示,并且对结果进行了排序,在此基础上完成训练,可以比 更好的完GPT-3成人类指令。
人工智能实验室 于OpenAI年成立,由 现任 埃隆 马2015 Twitter CEO ·斯克和 现任 萨姆 奥特曼及OpenAI CEO ·其他投资者共同创立。
随着 的发ChatGPT布,马斯克在 上公开表示了对Twitter的认可,并且通过在 上展OpenAI Twitter示自己询问 怎么设计 时ChatGPT Twitter给出的回复,进一步扩大了对ChatGPT的关注度。
目前, 正处ChatGPT ChatGPT于免费适用阶段。
相较 主要有三点提升。
ChatGPT GPT 3.5( ) 能够记住之前的对话,连1 ChatGPT续对话的感觉更加用户友好。
( )2 ChatGPT可以承认错误,并能够根据用户的提示对原答案进行修正。
( ) 可以质3 ChatGPT疑不正确的前提。
刚发布后很多人GPT-3测试的体验并不好,主要是因为 经常创AI造虚假的内容,尽管这些内容话语通顺,但脱离实际。
例如, 面对类似 哥伦GPT-3 “布 年来到美国的情景 的问题,并不2015 ”能识别假设的逻辑错误,但 面对ChatGPT类似问题时,能够立刻意识到哥伦布并不属于这个时代,并向提问人发出质疑。
我们认为, 能够给用户更好的使用ChatGPT体现, 通过与用户交互的过程,ChatGPT能够不断修正补充样本,从而实现深度训练。
的能力提升得益于其训练方法。
ChatGPT大模型是指通过在模型中加入海量参数,使得模型在语料的覆盖范围、丰富度上以绝对绝对规模增长。
当下大模型的工作范式是 预训练 微调 。
首先在数据量庞大的“ – ”公开数据集上训练,然后将其迁移到目标场景中(比如跟人类对话),通过目标场景中的小数据集进行微调,使模型达到需要的性能。
因此,为提高新一代模型对人类提问的适配能力,要么需要改造任务,要么需要微调模型,总之是让模型和任务更加匹配,从而实现更好的效果。
ChatGPT新加入的训练方式被称为 从人类反馈中强“化学习 (” Reinforcement Learning from, ),即采取模型Human Feedback RLHF微调的形式。
我们认为,尽管微调/prompt等工作从本质上对模型改变并不大,但是有可能大幅提升模型的实际表现。
大模型作为 的基础,于 行业ChatGPT AI发展具有广阔前景。
大模型的优势在于机器对自然语言理解能力的不断提升,准确率也能不断取得突破。
从前大模型的提升重心更多放在了大模型( )本身和LLM上, 的迭代Prompt Engineering ChatGPT重点是任务导向训练、模型结果和大模型本身之间的闭环。
此外, 通过微ChatGPT调 不断优化其大模型,在识别、判/Prompt断和交互层面具有技术优势。
自 年2020推出 大模型 至今,全OpenAI NLP GPT3球范围内 大模型迎来大爆发,参与企业AI越来越多,参数级别越来越大,成为新一轮 竞赛的赛场。
目前,大模型吸引了谷AI歌、微软、英伟达、华为、智源研究院、百度、阿里、商汤、中科院自动化所等科技巨头和顶尖科研机构参与其中,各家大模型的参数量级也从千亿、万亿,迅速跃迁到了 万亿级别。
10产业链角度来看, 将利好多种人ChatGPT工智能下游运用场景。
( )编程机器人。
1作为一种对话式大型语言模型,ChatGPT最擅长的就是回答用户提出的问题,其中最关键的是 具备与编程相关的ChatGPT基础知识。
这就让 成为类似于ChatGPT的编程问答工具,只不过Stack Overflow回答问题的主体是 。
如 官网展AI OpenAI示,面对用户对于 的请求,debug ChatGPT会先和用户交互确认 过程中需要关debug注具体问题,从而给出正确的代码。
( )2艺术创作。
尽管 只是一个对话式ChatGPT的语言模型,本身不能生成多模态内容,但可以把它输出的结果作为一个中间变量输入其他模型,从而进一步拓展其功能。
例如,通过 和ChatGPT Stable Diffusion的结合使用,能够生成艺术性极强的画作。
其外, 还可以实现在线问诊、模ChatGPT仿莎士比亚风格写作、涉及游戏等功能,其搜索能力和实用性甚至超越搜索引擎谷歌。
然而,尽管在搜索中引用模型能够提升搜索的准确性和交互性,但其成本较为高昂,免费试用期过后,从性价比角度考虑, 在短时间内替代谷歌难度较ChatGPT大。
通过创建迭代反馈的闭环,有利ChatGPT于其商业策略的实现。
这次 以免ChatGPT费不限量的方式向公众开放,在使用过程中,用户可以提供反馈,而这些反馈是对最有价值的信息。
对于 发展来OpenAI AI说,工程的重要性实际上大于科学,创建一个迭代反馈的闭环至关重要。
很OpenAI注重商业应用, 已经拥有大量客户。
GPT-3这些客户跟 的反馈互动也是推动OpenAI进步的关键一环。
我们认为,尽管相比, 在模型表现方面形成突GPT-3 ChatGPT破,但目前可能仍需要进一步的调试和训练,从而达到商业使用的标准。
目OpenAI前采用免费使用的方式,能够以低成本的方式大量获得真实样本,同时扩大的影响力, 的商业潜力ChatGPT ChatGPT未来可期。
未来可能通过与 结合ChatGPT WebGPT的方式,进一步提升其搜索能力。
在MIT对 科学家的Technology Review OpenAI采访中,他们提到了后续有可能将和 的能力结合起来。
ChatGPT WebGPT可以设想, 可以对信ChatGPT+WebGPT息进行实时更新,并且对于事实真假的判断将更为准确。
我们认为, 具有ChatGPT强大的工程化、迭代反馈的能力,并且作为 能够跟人类目标统一。
然而,AI ChatGPT作为单一的模型本身具有局限性,未来通过与其他现有模型的有效结合,将有望产生协同效应。
推荐关注标的:商汤、云从科技、格灵深瞳。
海通计算机团队郑宏达 杨林 洪琳 于成龙 杨蒙 杨昊翊/ / / / /
纪要来源:【文八股调研】