工具环境与文本处理
配置编程环境,使用 NLTK 比较文本处理规则与词频统计。
2026—2027 学年 · 秋季学期
文本处理、模型训练与评价,以及论文部分复现。
资料按上课进度开放
配置编程环境,使用 NLTK 比较文本处理规则与词频统计。
以垃圾短信识别为例,理解数据划分、分类预测与结果评价,比较方法并分析错误。
观察文本怎样变成token与ID,训练两个BPE词表,比较编码长度、未知标记与原文还原。
在华为云昇腾环境中完成文本分类与实体边界实验,理解参数更新、模型保存与重载。
实现短信分类对照实验,自主训练与评价,用验证集选择方案,再以测试结果和具体错误判断改动。
实现语义排序与排名融合,比较检索结果,用原文判断能否回答问题,并尝试自己的检索需求。
把检索到的原文组织成模型输入,判断回答有没有原文依据;诊断失败的回答,改一项设置看能不能修好。
写一个 Zotero 10 插件:关键词指回原文位置,模型写的一句话概括逐句找原文依据,找不到就提醒人工核对。
第一批小组展示论文部分复现的实验结果、运行证据与错误分析。
第二批小组汇报,采用相同的提交截止时间与评价标准。
实践作业在上课当天 24:00 前提交至延河课堂;分组与论文选择使用教师提供的 QQ 共享表。