位置: IT常识 - 正文
推荐整理分享chatGTP的全称Chat Generative Pre-trained Transformer(chat ty),希望有所帮助,仅作参考,欢迎阅读内容。
文章相关热门搜索词:chatnt,chat site,chatto,chat ty,chattr,chatthit,chattr,chatthit,内容如对您有帮助,希望把文章链接给更多的朋友!
chatGPT,有时候我会拼写为:chatGTP,所以知道这个GTP的全称是很有用的。
ChatGPT全名:Chat Generative Pre-trained Transformer ,中文翻译是:聊天生成预训练变压器,所以是GPT,G是生成,P是预训练,T是变压器。
Transformer是变压器,它的过程是学习的方式,它由Encoder和Decoder构成。
1. chatGPT介绍chatGPT是由OpenAI开发的一个人工智能聊天机器人程序,于2022年11月推出。该程序使用基于GPT-3.5架构的大型语言模型并通过强化学习进行训练。
ChatGPT目前仍以文字方式交互,而除了可以通过人类自然对话方式进行交互,还可以用于相对复杂的语言工作,包括自动文本生成、自动问答、自动摘要等在内的多种任务。如:在自动文本生成方面,ChatGPT可以根据输入的文本自动生成类似的文本(剧本、歌曲、企划等),在自动问答方面,ChatGPT可以根据输入的问题自动生成答案。还具有编写和调试计算机程序的能力。[3]在推广期间,所有人可以免费注册,并在登录后免费使用ChatGPT实现与AI机器人对话[4]。
ChatGPT可以写出相似于真人程度的文章,并因其在许多知识领域给出详细的回答和清晰的答案而迅速获得关注,证明了从前认为不会被AI取代的知识型工作它也足以胜任,对于金融与白领人力市场的冲击相当大,但其事实准确性参差不齐被认为是一重大缺陷,其基于意识形态的模型训练结果并被认为需要小心地校正[5][6]。ChatGPT于2022年11月发布后,OpenAI估值已涨至290亿美元[7]。上线两个月后,用户数量达到1亿[8]。
2. chatGPT如何训练数据ChatGPT使用基于人类反馈的监督学习和强化学习在 GPT-3.5 之上进行了微调。这两种方法都使用了人类训练员来提高模型的性能, 通过人类干预以增强机器学习的效果,从而获得更为逼真的结果。在监督学习的情况下,模型被提供了这样一些对话, 在对话中训练师j充当用户和AI助理两种角色。在强化步骤中,人类训练员首先对模型在先前对话中创建的响应进行评级。这些级别用于创建“奖励模型”, 使用近端策略优化(Proximal Policy Optimization-PPO)的多次迭代进一步微调。这种策略优化算法比信任域策略优化(trust region policy optimization)算法更为高效。这些模型是与 Microsoft合作,在其Microsoft Azure超级计算基础设施上训练的。
此外,OpenAI继续从ChatGPT用户那里收集数据,这些数据可用于进一步训练和微调 ChatGPT。 允许用户对他们从ChatGPT收到的回复投赞成票或反对票;在投赞成票或反对票时,他们还可以填写一个带有额外反馈的文本字段。
ChatGPT的训练数据包括各种文档以及关于互联网、编程语言等各类知识,如BBS和Python编程语言。
关于ChatGPT编写和调试计算机程序的能力的训练, 由于深度学习模型不懂编程,与所有其他基于深度学习的语言模型一样,只是在获取代码片段之间的统计相关性。
3. chatGPT特点和局限虽然聊天机器人的核心功能是模仿人类对话者,但ChatGPT用途广泛。 例如,具有编写和调试计算机程序的能力; 创作音乐、电视剧、童话故事和学生论文; 回答测试问题(在某些测试情境下,水平高于普通人类测试者);写诗和歌词;模拟Linux系统等。
与其前身InstructGPT相比,ChatGPT试图减少有害和误导性的回复。例如,当InstructGPT接受“告诉我2015年克里斯托弗·哥伦布何时来到美国”的提问时,它会认为这是对真实事件的描述,而ChatGPT针对同一问题则会使用其对哥伦布航行的知识和对现代世界的理解来构建一个答案,假设如果哥伦布在2015年来到美国时可能会发生什么。
与其他多数聊天机器人不同的是,ChatGPT能够记住与用户之前的对话内容和给它的提示。此外,为了防止ChatGPT接受或生成冒犯性言论,输入内容会由审核API进行过滤,以减少潜在的种族主义或性别歧视等内容。
ChatGPT也存在多种局限,OpenAI承认ChatGPT“有时会写出看似合理但不正确或荒谬的答案”,这在大型语言模型中很常见,称作人工智能幻觉。其奖励模型围绕人类监督而设计,可能导致过度优化,从而影响性能,即古德哈特定律。ChatGPT对2021年之后发生的事件知之甚少。据BBC报道,截至2022年12月,ChatGPT不被允许“表达政治观点或从事政治活动”。但研究表明,ChatGPT对两个投票建议应用程序的政治
上一篇:【TypeScript】TS进阶-函数重载(七)(typescript tsconfig)
下一篇:【JWT鉴权】如何来写一个token令牌认证登录?(jwt 鉴权)
友情链接: 武汉网站建设