- 主办单位:
- ISSN:
- 期刊分类:
- 出版周期:
- 投稿量:
- 浏览量:
相关文章
暂无数据
同意场景下ChatGPT请求行为的语用表现研究——以自然会话语料对比为中心
A Study on the Pragmatic Performance of ChatGPT Request Behavior under the Acceptance Context —Focus on the Comparison with Natural Conversation Data
引言
人工智能技术发展日新月异,大语言模型凭借强大的语言理解与生成能力受到广泛关注。与语法、语义等层面的处理能力相比,语用能力更强调语言在具体语境中的使用,涉及说话者意图、交际关系以及话语得体性等多个因素。从语用学角度出发考察大语言模型的语言产出能力有助于进一步理解其人机交互表现(Ma et al.,2025),语用能力已成为人机交互领域评价大语言模型语言能力的重要维度。言语行为研究关注言语背后的意图及其对听者产生的影响,在语言的语用维度中具有重要意义(Searle,1969:48)。聚焦言语行为的研究可以说是考察语用能力的重要路径之一(Xi Chen et al.,2024)。礼貌作为语用学研究中的核心议题(魏毓伟,2024)与言语行为的实施密切相关。本文将从礼貌实现层面出发,聚焦同意场景下的日语请求行为,考察大语言模型的语用能力。
一、文献综述
伴随着人工智能技术的飞速发展,大语言模型已成为人工智能和自然语言处理领域的研究热点(刘海涛、亓达2024),能够执行文本理解与生成、信息检索等多种任务(申智奇,2025)。在这一背景下,大语言模型逐渐步入外语教育与二语习得领域应用的视野(Lee et al.,2024),其生成的内容可以为语言教育者提供教学材料、评估材料(Xi chen et al.,2024),为语用教学和会话材料开发提供了新的可能。但在将其生成内容正式应用于语用教学和会话材料开发之前,需要我们先从语用维度进行评估和考察。
现有从语用维度考察大语言模型语言能力的研究,大概可以分为话语理解能力研究和话语产出能力研究两个方向。在话语理解能力方面,如Hu et al.(2023)发现大语言模型在理解幽默、讽刺和会话准则方面存在困难。Li et al.(2023)设置语用识别与推理任务,探究了大语言模型在多轮对话中识别言语行为的能力。Cong(2024)探讨了大语言模型对言外含义的理解能力。毛延生等(2025)深入研究了大语言模型对真实语境中说话人语用动机的识解能力。在话语产出能力方面,如Xi chen et al.(2024)对比分析了ChatGPT在多种言语行为任务下产出内容的语言语用特征。毛延生等(2024)聚焦“道歉”等言语行为,探究了大语言模型的汉语语用能力。高怡楠等(2025)采用书面语篇补全测试,通过“拒绝”言语行为测评了大语言模型的汉语语用能力。毋育新等(2025)从话语礼貌视角出发,考察了拒绝场景下大语言模型产出日语请求语篇的话语礼貌能力,验证了DP理论在大语言模型语用研究中的可行性。
在人类交际中,言语行为的理解与实施并非单纯依赖语言形式,还受到了交际关系、话语语境及互动进程等多种因素的影响。理解语境并生成与之相适应的言语行为是大语言模型实现自然人机交互的动力和面临的重要问题(Yıldırım et al.,2024)。现有研究从语用理解、语用推理和言语行为产出等不同角度考察了大语言模型的语用表现,但聚焦话语礼貌实现、从完整会话展开过程进行动态分析的研究仍相对不足。本研究在既有拒绝场景研究的基础上,将考察对象扩展至请求获得同意、任务条件有所不同的亲密友人间的日语请求电话会话,比较JN与LLM在表述项目和会话展开模式上的异同。
二、理论基础
B & L(1987)的礼貌策略理论将“面子”分为积极面子和消极面子。积极面子指人们希望自身欲求、评价和行为能够得到他人认可、赞同和理解的欲求。消极面子则指个体作为独立社会成员,不希望个人行动受他人干涉、妨碍和强加的欲求。B & L(1987)认为,人类语言交际中存在面子威胁行为(face-threatening act, FTA)。如“请求”是说话人要求听话人实施某种行为的言语行为,会威胁到对方的消极面子。为缓和FTA,B & L提出了直接策略、积极策略、消极策略、间接策略和不实施面子威胁行为五种超级礼貌策略。
宇佐美真由美博士在批判继承B & L的礼貌策略理论的基础上提出了DP理论(Usami,2006)。DP理论认为礼貌不是孤立存在于某一单句中的静态属性,而是在具体话语展开过程中,通过多个语言形式、话语单位和交际行为共同作用而形成的动态整体。该理论包括“话语礼貌”“基本态”等多个关键概念,下文将介绍本研究涉及到的“基本态”这一概念。根据研究目的“基本态”可以分为两种:第一种是考察从对话开始到对话结束这一会话整体的“典型展开模式”;第二种是将会话分成若干话语单位,考察各部分的“典型状态”。某言语行为“基本态”的构成要素,就是交际双方用来构成该基本态的一系列表述项目。
根据DP理论的观点,毋育新(2014)将请求行为视为由一系列“表述链锁链”(utterance sequence)构成的动态过程。也就是说,请求行为不是孤立的单句,而是由多个表述项目按一定顺序展开所形成的会话整体。
三、实验设计
(一)研究问题
基于上述内容,本研究提出以下两个研究问题:
在请求获得同意的场景下,日语母语者自然会话与大语言模型生成会话中请求行为表述项目及“基本态”构成上是否存在差异?
在请求获得同意的场景下,日语母语者自然会话与大语言模型生成会话中请求行为的“表述链锁链”是否存在差异?
(二)语料概况
本研究使用的语料由日语母语者会话语料(JN语料)和大语言模型会话语料(LLM语料)两部分构成。JN语料选自BTSJ语料库(基于BTS的多语言会话语料库)中“同性友人间请求的电话会话”,共20组。LLM语料由笔者参照JN语料的参与者关系、请求事项等主要场景条件,通过ChatGPT-5网页端收集。为减少不同生成任务之间的上下文影响,每组语料均在独立的临时会话中生成,并使用相同的日语提示词,提示词如下:
你是A。你的朋友B正在进行一项语言调查,需要你与一位同性好友进行约15分钟的日常闲聊,并对该闲聊内容进行录音,参与者将分别获得500日元图书卡。现在请你通过电话联系你的同性好友C,请求C与你一起参加这项语言调查活动。(实验中指令为日语)
基于以上指示词共收集LLM语料20组,将收集的语料逐一提取至Excel表格进行语料的编码与分析。需要指出的是,JN语料为真实的人际互动语料,LLM语料为依据提示指令生成的模拟会话语料。本研究并不将二者视为性质完全相同的语料,而是在尽可能对齐主要场景条件的基础上,对JN和LLM进行请求时体现的语用特征进行比较。此外,本研究主要考察自然会话与大语言模型生成会话之间的差异,不将参与者性别作为独立分析变量。
(三)语料表述项目及编码示例
本研究参考毋育新(2010、2014)等相关研究,从JN语料和LLM语料中析出14个表述项目,各表述项目的定义与示例如表1所示。
| 序号 | 表述项目 | 定义 | 示例 |
|---|---|---|---|
| 1 | 引起注意 | 引起对方注意的话语 | 喂? |
| 2 | 寒暄 | 日常寒暄语 | 你好吗? |
| 3 | 顾及 | 确认对方现在是否方便 | 现在方便说话吗? |
| 4 | 前话题插入 | 在“请求”前进行的与请求内容无关的话题 | 关于去泰国…… |
| 5 | 开场白 | 向对方预告将要进行“请求”的话语 | 有点事儿想拜托你…… |
| 6 | 情况说明 | 说明“请求”的理由、经过 | 有个朋友在找帮忙做语言调查的人。 |
| 7 | 请求 | 进行“请求”的话语 | 能拜托你帮忙吗? |
| 8 | 辅助说明 | 为了让对方接受“请求”而做的辅助发话,如“回报”“负担缓和”等 | 有500日元的图书卡作为谢礼。 |
| 9 | 追加说明 | 与“请求”相关的补充说明,如时间、地点等 | 具体的地点和时间之后告诉你。 |
| 10 | 后话题插入 | 请求后插入的与“请求”内容无关的话题 | 你是不是回老家了? |
| 11 | 再请求 | 请求成功后进行再次确认或提及 | 到时候还请多关照。 |
| 12 | 感谢 | 请求后表示感谢的话语 | 谢谢/帮大忙了。 |
| 13 | 道歉 | 请求后表示歉意的话语 | 不好意思,占用了你的时间。 |
| 14 | 结束会话 | 结束会话的话语 | 拜拜。 |
注:依据BTSJ语料库和笔者收集的语料制作。示例为笔者翻译的中文译文,原语料为日语。
使用表1的14个“表述项目”对JN语料和LLM语料进行编码,具体过程如下表2所示:
| 表述者 | 表述内容 | 表述项目编码 |
|---|---|---|
| LLMB006 | 喂,你好吗? | 引起注意
寒暄 |
| LLMSa006 | 啊,挺好的!怎么了? | |
| LLMB006 | 我有个朋友在做语言相关的调查,想要录15分钟左右闲聊的内容。 | 情况说明 |
| LLMB006 | 像平常一样轻松聊聊天就行,你能帮忙吗? | 请求 |
| LLMSa006 | 嗯,会话录音啊。可以是可以,是什么样的调查? | |
| LLMB006 | 就是一个语言学相关的调查,不太难。想要录一下我们平时的对话,随便聊聊就行,参与就能获得500日元的图书卡。 | 辅助说明 |
| LLMSa006 | 500日元?要是这样的话我可以帮忙!什么时候? | |
| LLMB006 | 非常感谢!下周二下午怎么样? | 感谢
追加说明 |
| LLMSa006 | 周二的话有空,没问题! | |
| LLMB006 | 那就这么定了!谢谢,帮大忙了。 | 感谢 |
注:依据BTSJ语料库和笔者收集的语料制作。表述内容为笔者翻译的中文译文,原语料为日语;LLMB为请求方,LLMSa为被请求方。
四、研究分析与讨论
(一)JN、LLM请求行为“表述项目”使用情况
在表述项目的使用频率统计中以单组会话为统计单位,某一表述项目在对话中出现多次也均记为1次。由于数据中存在理论频数<1的情况,故使用SPSS统计软件中的Fisher精确检验对JN和LLM间各表述项目频率是否存在显著性差异进行考察。
按照上述方法,分别统计了14个表述项目的使用频率,进行了Fisher精确检验,结果如下表3所示:
| 序号 | 表述项目 | JN对话使用次数 | LLM对话使用次数 | 有无显著差异 |
|---|---|---|---|---|
| 1 | 引起注意 | 20(100%) | 19(95%) | 无(p=1.000) |
| 2 | 寒暄 | 4(20%) | 13(65%) | 有*(p=0.010) |
| 3 | 顾及 | 17(85%) | 7(35%) | 有**(p=0.003) |
| 4 | 前话题插入 | 7(35%) | 0 | 有**(p=0.008) |
| 5 | 开场白 | 7(35%) | 9(45%) | 无(p=0.748) |
| 6 | 情况说明 | 20(100%) | 20(100%) | 无 |
| 7 | 请求 | 19(95%) | 20(100%) | 无(p=1.000) |
| 8 | 辅助说明 | 16(80%) | 20(100%) | 无(p=0.106) |
| 9 | 追加说明 | 17(85%) | 18(90%) | 无(p=1.000) |
| 10 | 后话题插入 | 13(65%) | 0 | 有**(p=0.000) |
| 11 | 再请求 | 11 (55%) | 6(30%) | 无(p=0.200) |
| 12 | 感谢 | 8(40%) | 20(100%) | 有**(p=0.000) |
| 13 | 道歉 | 9(45%) | 0 | 有**(p=0.001) |
| 14 | 结束会话 | 20(100%) | 0 | 有**(p=0.000) |
注:*p<0.05、**p<0.01。
(二)JN和LLM请求行为“基本态”认定与分析
本研究参照DP理论中关于“基本态”的论述,将使用频率超过50%的表述项目认定为请求行为的“基本态”。认定结果如下:
JN请求行为的“基本态”:引起注意、顾及、情况说明、请求、辅助说明、追加说明、后话题插入、再请求、结束会话。
LLM请求行为的“基本态”:引起注意、寒暄、情况说明、请求、辅助说明、追加说明、感谢。
经比较,“顾及”“后话题插入”“再请求”“结束会话”仅构成JN的“基本态”,“寒暄”“感谢”仅构成LLM的“基本态”。Fisher精确检验结果显示,在构成JN、LLM“基本态”的表述项目中,“顾及”“后话题插入”“感谢”和“结束会话”在0.01显著性水平上存在显著差异,“寒暄”在0.05显著性水平上存在显著差异。
下文将对构成JN、LLM“基本态”且在统计上呈显著差异的五个表述项目进行分析说明。(注:分析说明中的语料示例均为笔者翻译的JN、LLM语料的中文译文,原语料为日语。)
1. “顾及”与“寒暄”
在“顾及”与“寒暄”的使用上,JN与LLM之间呈现出明显差异。JN常使用“现在方便吗?”等在进入请求内容前确认对方当前是否方便通话的表达。给对方提供了犹豫和拒绝的余地,顾及了对方不想被打扰的“消极面子”,属于对B&L(1974)消极礼貌策略的运用。LLM在该项目上使用频率较低,较多在引起对方注意后使用“最近怎么样?”等一般惯用寒暄语,随即进入请求内容的说明,对JN中“先确认对方是否方便”这一人际互动环节的再现不足。这表明LLM能够生成具有一般人际友好功能的开场表达,但对日语母语者电话会话中体现的人际互动调解体现不足。
2. “后话题插入”
在“后话题插入”项目上,JN与LLM之间存在明显差异。JN在请求得到回应后会插入与请求本身无直接关系的话题,进行一定程度的闲聊。对JN来说,请求行为的完成并不等于会话立即结束,请求后的闲聊也是电话会话收束过程中的一部分。Holmes & Stubbe(2003)指出,会话结束前围绕无关话题进行闲聊或寒暄,能够起到放松气氛、巩固参与者关系、缓和突然告别的作用。JN在请求后插入无关话题不是偏离主题内容,可以理解为一种维系友好关系的积极礼貌策略,有助于减轻请求行为带来的事务性和功利性。而LLM在请求后没有出现“后话题插入”环节,未能再现真实会话中请求完成后的关系维护,显示出其对人际关系调节的把握存在不足。
3. “结束会话”与“感谢”
在“结束会话”项目上,JN与LLM之间存在较大差异。JN在结束会话时常常会使用“再见”“拜拜”这样的告别寒暄语来完成会话收束。这类表达一方面标志着双方进入了会话结束阶段,另一方面也通过较轻松、亲近的告别形式维持了参与者之间的良好人际关系。与之不同的是LLM在会话结束时并未出现明确的告别寒暄语,而多以“谢谢”等感谢表达作为会话终结的标志。感谢表达本身能够表达对对方提供帮助的积极回应,承担了一定的礼貌功能。其作用主要体现在确认请求目的已经达成,并不等同于“再见”等寒暄告别语所承担的会话结束功能。由此可见,LLM虽然能够通过感谢语对请求成功作出积极回应,但缺失了在实际电话会话中常见的告别寒暄和关系性收束环节。
(三)JN和LLM请求行为“表述链锁链”的认定
参照毋育新(2014)的研究将请求行为分为起始部、请求部、结束部三个部分,具体分类如下:
起始部:引起注意、寒暄、顾及、前话题插入、开场白、情况说明。
请求部:请求、辅助说明、追加说明、后话题插入、再请求。
结束部:感谢、道歉、结束会话。
本研究以构成JN、LLM“基本态”的表述项目为基础,考察其在会话中的具体排列方式。参照项往等(2022)等的研究,用“→”表示会话主要推进方向,用“+”表示先后顺序可以发生变化。
JN请求方的“表述链锁链”为:
引起注意→顾及→情况说明→请求+辅助说明+追加说明→后话题插入+再请求→结束会话。
LLM请求方的“表述链锁链”为:
引起注意→寒暄→情况说明→请求+辅助说明+追加说明→感谢
由上述可知,JN的请求方不仅围绕“提出请求”这一核心行为展开会话,还包含了请求前、请求中和请求后的多个互动环节。在开始部,JN通过“顾及”确认对方当前是否方便,为后续的请求实施创造了合适的交际条件。在请求部,“请求”“辅助说明”“追加说明”的顺序存在四种模式,体现出母语者会根据会话进程对请求、说明和协商内容进行调整的特征。请求成功后,JN会通过“后话题插入”“再请求”和“结束会话”等对请求事项进行再次确认,完成人际关系的维护和会话收束。
LLM的请求方虽然也能按照请求前、请求和请求后这一结构完成请求的基本任务,但主要集中在请求任务本身及其直接相关的内容上。LLM在请求前较少使用“顾及”来确认对方是否方便的状态。在进行“请求”“辅助说明”“追加说明”时仅出现两种模式,在请求成功后也未出现“后话题插入”和明确的告别寒暄语来“结束会话”,多以感谢表达作为整个会话的结尾。
五、结语
毋育新等(2023)指出,人工智能研究与语言学研究之间仍存在一定程度的脱节,语言学研究成果尚未充分转化为推动智能体话语自然化的资源。同时,语用学作为语言学的核心领域具有至关重要的地位,大语言模型可以通过生成多样化且语境丰富的材料为推动语用学的研究提供新的机遇。宇佐美(2019)曾提出将DP理论中的“基本态”应用于人机对话系统的构想。本研究为大语言模型的日语请求行为产出的语用能力评估提供了新的实证分析,探索验证了DP理论在大语言模型语言能力研究应用中的可行性和扩展性,既是对大语言模型在言语行为应用评估的探索,也是对人机交互语境下对大语言模型语用能力研究必要性的积极回应。通过认定LLM与自然会话在“基本态”上的特征,语言学研究具有能够为大语言模型的语用评价、提示设计及话语生成优化提供更具体分析依据的可能性。
参考文献:
- [1] Ma B, Li Y, Zhou W, et al. Pragmatics in the era of large language models: A survey on datasets, evaluation, opportunities and challenges[C]//Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2025: 8679-8696.
- [2] Searle J R. Speech acts: An essay in the philosophy of language[J]. Cambridge University, 1969.
- [3] Chen X, Li J, Ye Y. A feasibility study for the application of AI-generated conversations in pragmatic analysis[J]. Journal of Pragmatics, 2024, 223: 14-30.
- [4] Lee B J. Exploring the potential of AI for pragmatics instruction[J]. Technology in Language Teaching & Learning, 2024, 6(3): 1521-1521.
- [5] Hu J, Floyd S, Jouravlev O, et al. A fine-grained comparison of pragmatic language understanding in humans and language models[C]//Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2023: 4194-4213.
- [6] Li H, Zhu S C, Zheng Z. Diplomat: A dialogue dataset for situated pragmatic reasoning[J]. Advances in Neural Information Processing Systems, 2023, 36: 46856-46884.
- [7] Cong Y. Manner implicatures in large language models[J]. Scientific Reports, 2024, 14(1): 29113.
- [8] Yıldırım F Ç, Tellou S. ChatGPT's Perception of Context and Speech Acts: Potentials and Limitations[M]//Generating Entrepreneurial Ideas With AI. IGI Global Scientific Publishing, 2024: 321-350.
- [9] Brown P, Levinson S C. Politeness: Some universals in language usage[M]. Cambridge: Cambridge University Press, 1987.
- [10] Usami M. Discourse politeness theory and second language acquisition[M]//Foreign language teaching in Asia and beyond: Current perspectives and uture directions. Singapore: Centre for Language Studies, National University of Singapore, 2006.
- [11] Holmes J, Stubbe M. “Feminine” workplaces: stereotype and reality[J]. The handbook of language and gender, 2003: 572-599.
- [12] 毋育新,郅永玮.基于话语礼貌理论的日语请求行为研究[J].外语教学,2010,31(04):39-43.
- [13] 毋育新.现代日语礼貌现象研究[M].杭州:浙江工商大学出版社,2014.
- [14] 毋育新,李瑶,于富喜.语言智能视角下的日本人机对话系统研究——以语言学知识的融合与应用为核心[J].日语学习与研究,2023(01):84-95.
- [15] 毋育新,王茄洪.DP理论在大语言模型产出会话礼貌测评中的应用——聚焦日语请求行为[J].日语学习与研究,2025(06):1-14.
- [16] 项往,毋育新,储天阳.话语礼貌理论视域下汉日拒绝场景请求行为对比研究——基于同性之间亲近关系的维度[J].日语学习与研究,2022(03):49-60.
- [17] 宇佐美まゆみ,李瑶.21世纪礼貌现象研究的可能性——话语礼貌理论的新发展[J].日语学习与研究,2019(05):23-34.
- [18] 魏毓伟.人际语用学视角下礼貌研究的社会转向[J]. Modern Linguistics,2024,12:431.
- [19] 刘海涛,亓达.大语言模型的语用能力探索——从整体评估到反语分析[J].现代外语,2024,47(04): 439-451.
- [20] 申智奇.教育数智化、大语言模型与语用能力教学[J].赣南师范大学学报,2025,46(01):59-65.
- [21] 毛延生,王一航.生成式预训练语言模型汉语语用能力的实证研究——以ChatGPT为例[J].外国语言文学,2024,41(06):40-55+130+137.
- [22] 毛延生,王一航.AI知我心:大语言模型语用动机识解能力的实证研究[J].新媒体与社会,2025(02):163-183+466.
- [23] 高怡楠,朱勇.大语言模型赋能国际中文语用教学的可行性研究[J].国际中文教育(中英文),2025,10(04):45-58.
