拟公示算法机制机理内容

算法名称 ArynGPT大模型算法
算法基本原理

ArynGPT大模型-是苏州清睿智能科技股份有限公司研发和训练的基于深度神经网络大模型。清睿智能多年来跟踪和参与国际人工智能技术研发前沿进展,目前使用的大模型ArynGPT所用的算法是根据最新的“Attention Is All You Need”论文提出的Transformer模型结构,已经成为国际主流的对语言序列输入输出进行建模的最新人工智能深度学习算法,算法原理具有良好的透明性。

模型训练的目的和训练数据是训练通用大语言模型,尤其侧重为英语语言学习涉及的语言输入输出内容进行建模,并支持教学应用,提供良好的语言训练环境。它的训练目标是模拟一个英语老师和学校教学中的场景所需要的Prompt下的各种语言响应。训练语料和Prompt策略决定了同一个算法下形成的模型的能力。

清睿模型训练的目的不是对各种专业问题给出准确答案,而是能对不同的语言输入给出良好的对话响应。通过学习海量的文本和针对性的 Prompt 数据和用 户反馈数据,模型具备英语学习领域的语言理解和生成能力,能基于自然对话方式理解和执行任务,为用户提供对话训练、自动出题和试卷生成、作文批改和改写等功能。

算法运行机制 Aryn是清睿智能化学习平台应用中的人工智能老师的名字(艾琳Aryn教练)。集成ArynGPT大模型算法和模型运行在清睿从阿里云或华为云中租用配备了GPU的linux服务器上,并对清睿的其他学习应用提供后台的引擎服务。清睿的教学应用在接收到用户的提问请求后发送给大模型服务,ArynGPT大模型算法会对用户的意图进行理解,利用ArynGPT大语言模型中计算最佳输出语言序列。根据模型训练的意图,这样的输出序列可以良好模拟并达到人类在外语教学和训练中的语言输入/输出目的,并实现Aryn教练和学生进行英语自然语言对话、按要求生成英语的阅读理解试卷、或根据输入的文字发现英语作文中的语言/语法错误等能力,完成用户提出的具体任务,并以文本形式反馈给用户。ArynGPT大模型针对英语教学优化,目前只支持英文输入/输出,也支持多轮对话理解。
算法应用场景

AIEnglish100平台是英语智能化教学平台,其中三个任务使用了ArynGPT大模型功能和算法。

1. AI智能对话中模拟中小学不同水平进行自然语言的对话。

2. 作文批改中根据学生的作文输入,发现各种语言问题,给出修改意见和原因。

3. 英语教师的内容生成任务,根据老师的要求生成阅读理解、完型填空的文章和相应的试题。

算法目的意图 算法本质就是语言模型,能根据训练数据优化模型,并准确计算基于之前输入输出序列下,某一个词的概率,P(Token|S)。Transformer结构的深度学习算法是目前最新的语言模型(Language Model)算法。算法的目的意图是同样的,就是根据输入计算不同输出的用词(Token)的概率,并选取最大概率的词汇作为下一个输出。作为人工智能领域的通用算法,本算法的目的和意图是完全透明的。这个算法在效率上高于过去常见的LSTM和RNN模型结构下的语言模型,强调带有自注意(Self Attention)机制的编解码器相比其他模型连接结构的重要性,让训练过程的效率、准确度和并发水平得到提升。最终经过训练的ArynGPT能满足英语教学应用中的语言理解和生成,完成相关应用任务的需要。
算法公示情况
(选填)