大语言模型北洋国际研讨会
为促进国家重点研发计划项目顺利启动，天津大学自然语言处理实验室承担的国家重点研发计划“政府间国际科技创新合作”重点专项“中葡自然语言处理联合实验室”，按照科技部相关要求，于2024年7月9日在天津大学北洋园校区举行了项目启动会。启动会期间，项目团队于2024年7月10日举办了“大语言模型北洋国际研讨会”，特别邀请了来自里斯本大学的António Branco教授及其NLX团队以及澳门大学的黄辉教授进行特邀报告与交流，共同探讨大语言模型前沿技术及关键挑战。研讨会上，天津大学自然语言处理实验室的部分研究成果也进行了汇报。
学术报告一
里斯本大学António Branco教授首先介绍了语言科技研究基础设施PORTULAN CLARIN。PORTULAN CLARIN的使命是通过资源共享、技术支持和咨询服务等方式为需要使用语言科技研究成果的用户提供帮助。PORTULAN CLARIN可以应用于人工智能、计算和认知科学、人文和艺术等多个领域。
António Branco教授作特邀报告
学术报告二
澳门大学黄辉教授首先简要介绍了澳门大学机器翻译团队在神经机器翻译方面的研究工作，然后引出报告的主题——“Prefix Text as a Yarn: Eliciting Alignments in Foundation Language Models”。他详细讲解了一种通过为未对齐的大语言模型预设前 tokens以引导模型后续解码的方法，该方法无需微调，可使模型能够生成符合人类偏好的回复。
黄辉教授作特邀报告
学术报告三
里斯本大学João Rodrigues研究员介绍了Second-Order Metaprompting方法。该方法利用大语言模型，通过多轮迭代不断改进检索内容，从而提升RAG效果。
João Rodrigues研究员作报告
学术报告四
天津大学自然语言处理实验室硕士生潘雷宇介绍了一种语言感知的神经元检测和路由框架。该框架可以选择性地微调大语言模型以进行机器翻译，从而缓解在使用多语种平行语料训练大语言模型时的参数干扰和灾难性遗忘问题。
TJUNLP硕士生潘雷宇作报告
学术报告五
里斯本大学研究员Luís Gomes介绍了三个系列的葡萄牙语模型：Albertina、Gervásio和Serafim。其中，Albertina采用了BERT的编码器架构，Gervásio采用了GPT的解码器架构，Serafim则与Albertina架构相同，但专门训练用于获取句子的向量表示。目前，这三个系列的模型均已开源，可用于研究或商业目的。
Luís Gomes研究员作报告
学术报告六
天津大学自然语言处理实验室硕士生徐邵洋介绍了大语言模型价值对齐方面的工作，揭示了大语言模型可以用不同的语言表征相同的价值观，并且不同语言数据规模差异可以影响这些价值观在不同语言之间的迁移，此外，还可以通过“概念向量”对大语言模型的价值对齐进行跨语言控制。
TJUNLP硕士生徐邵洋作报告
学术报告七
里斯本大学研究员Rodrigo Santos介绍了一种通过自然语言指令进行图片编辑的方法。该方法首先利用大语言模型，根据自然语言形式的编辑指令生成编辑前和编辑后的图片简要说明，然后通过这些说明获取编辑向量，以用于图片编辑。
Rodrigo Santos研究员作报告
学术报告八
天津大学自然语言处理实验室硕士生孙浩然介绍了伏羲传语大模型。该模型拥有8B参数，其训练数据覆盖了43种自然语言和16种编程语言。截至目前，伏羲传语大模型已训练超过600B token，并且在大多数多语言测试基准中取得了优异的效果。
TJUNLP硕士生孙浩然作报告
学术报告九
里斯本大学硕士生Alice Cordeiro以线上形式参加了研讨会，她介绍了如何构建EEG大模型，通过人类的脑电图信号预测人类正在思考的单词，该模型可以应用于脑机接口，以将人脑思考翻译为文本或音频。
硕士生Alice Cordeiro在线作报告
学术报告十
天津大学自然语言处理实验室博士生吴新维介绍了大语言模型隐私保护中的“隐私跷跷板”现象，即在保护特定隐私信息的措施下，可能无意中增加其他隐私暴露风险的现象。针对这一问题，吴新维介绍了通过激活补丁进行增强隐私神经元编辑框架，以缓解隐私跷跷板现象。
TJUNLP博士生吴新维作报告
茶歇
除了精彩的学术报告以外，在研讨会间隙，天津大学自然语言处理实验室还准备了茶歇，与会者有机会在轻松的氛围中深入交流和互动。茶歇期间，与会者们不仅享用了精心准备的茶点，还就各自的研究方向以及假期的规划进行了热烈的讨论。研讨会不仅加深了学术上的互相了解，也为参会者们提供了建立友谊和合作关系的宝贵机会。
António Branco教授与参会者进行热烈交流
大语言模型北洋国际研讨会
撰稿 | 金任任
编辑 | 金任任
终审 | 熊德意
