下一章 上一章 目录 设置
10、十万张图片 数据不会自 ...
-
数据不会自己撒谎。
它只是非常容易被安排坐到合适的位置。
直播结束后的第二天，柏颂要求叶穗完成“禾眼-100K”数据集封版，为重大专项答辩准备。文件夹名称已经从“农业图片整理”改成“Heyan100K_release”，仿佛只要用了英文和版本号，十万张图便取得了国际身份证。
叶穗先做去重。
她写脚本计算感知哈希，把尺寸不同、轻微裁剪、旋转和调色后的近似图像聚在一起。程序跑了两个小时，十万零八百六十四张图片被聚成三万一千多个簇。其中最大的一个簇有四百二十七张，原图是一片苹果叶，病斑形状像一只趴着的海马。
四百二十七张图的差别包括：
顺时针旋转五度；
逆时针旋转五度；
亮一点；
暗一点；
左上角裁掉一厘米；
右下角补一条黑边；
镜像；
镜像后再亮一点。
如果把它们打印出来铺在地上，足以形成一片规模可观、但基因极度单一的果园。
叶穗把统计发给林照野。
林照野问训练、验证和测试是怎么分的。
“柏老师给的脚本，增强完成后随机打乱，八比一比一。”
“先增强，再划分？”
“对。”
这意味着同一张原图的不同版本会进入三个集合。模型在训练集见过海马形病斑的左脸，在测试集又见右脸，然后被认定具有识别陌生病害的能力。
林照野让她按原始来源重新划分。公开数据按来源和原图隔离，试验田数据按田块隔离，连续视频按拍摄批次隔离。叶穗重跑脚本，测试集准确率从百分之九十七点八降到百分之七十二点四。
柏颂看见结果，第一反应不是模型出了问题，而是划分方法出了问题。
“项目书已经写内部验证九十八。你现在搞出七十二，怎么解释？”
“九十八有数据泄漏。”
“不要轻易用‘泄漏’这种词。数据增强属于常规方法，随机划分也是常规方法。”
“各自常规，顺序错了就不常规。”
“有没有文件规定必须先划分再增强？”
林照野说：“机器学习基本规范。”
“基本规范具体是哪一条？专家答辩可能会问。”
“同源样本不能跨集合，否则测试无法估计泛化。”
“我们的目标是算法开发，不是做统计学教材。”
“算法开发更要知道性能是真是假。”
柏颂把会议地点从开放工位改到小会议室。詹炜也来了。他听完技术解释，问了三个问题：
“第一，旧划分是否导致测试图片和训练图片完全相同？”
叶穗回答：“像素不完全相同，但来自同一原图。”
“第二，有没有人为把测试答案告诉模型？”
“不是手工告诉，但模型见过近似样本。”
“第三，随机划分是不是行业常用方法？”
林照野说：“要看数据层级。不能故意把问题问得这么窄。”
詹炜点头，像已经得到结论。
“那就不能定性为泄漏。最多叫划分策略需要优化。科研问题要准确，不能自己给自己扣帽子。”
“优化后只有七十二。”
“两套结果都保留。九十八是随机划分结果，七十二是跨域严格测试。答辩展示前者，论文里补充后者，体现全面。”
“答辩专家会以为系统能在陌生田块达到九十八。”
“我们在方法页说明内部验证。”
“‘内部’不等于‘见过同源图’。”
詹炜看向叶穗：“你是数据负责人，十万张是否真实存在？”
“文件数量存在，独立原图约三万一千，真正有来源记录且适合训练的更少。”
“项目书写的是图像，不是原图。”
“高质量呢？”
“经过增强和清洗，质量当然提高。”
叶穗把那四百二十七张苹果叶聚类投到屏幕上。满屏都是同一块海马形病斑。
“这是高质量？”
詹炜说：“重复增强比例可以控制，不要用极端样本代表整体。”
“它不是极端。超过一半的簇都有跨集合重复。”
柏颂插话：“叶穗，你最近是不是受直播评论影响，情绪比较大？科研不能因为一次现场争议，就推翻团队几个月的工作。”
“数据只跑了两天。”
“前期积累不止两天。”
“前期是苹果、番茄公开集和输电视频。”
“你看，又在割裂。数据工程就是持续积累。”
叶穗忽然明白，十万不是统计结果，是行政事实。行政事实的特点，是它一旦写进申请书，所有后来的统计都必须朝它生长。若统计得出九万，说明统计遗漏；若得出三万，说明口径狭窄；若得出十万零八百六十四，才叫数据准确。
会议决定建立“双口径数据说明”：
对外称十万级农业图像；
内部科研记录注明原始与增强比例；
涉及论文时，由各论文作者根据研究目的选用合适子集。
林照野问谁负责统一版本。
詹炜说平台统一。
“平台上现在有几个版本？”
叶穗查了一下。服务器里有“最终版”“项目版”“直播版”“论文版”“严格划分版”“柏老师修订版”和“詹院长答辩版”，共七个。
“那就整理成一个。”詹炜说。
“保留历史吗？”
“没必要的中间文件可以清理，避免混淆。”
林照野想起方复真交钥匙时的要求：任何清理必须形成日志，两人复核。新规已经取消双人机制，但那份签过字的移交单还在。
“不能删。建立版本索引，明确每版用途、来源和划分方法。”
詹炜说：“可以，但不要把历史探索写成问题清单。科研允许试错。”
“试错要留痕。”
“留痕不等于留把柄。”
说完这句话，詹炜自己停了一下。
会议室里没人接话。
他很快补充：“我的意思是，不要给外行造成误解。专业探索要由专业共同体评价。”
散会后，叶穗开始整理版本。她给每张原图生成唯一ID，把增强图与原图建立父子关系，又把田块、设备、时间和授权记录写入元数据。工作缓慢，且不会让十万变得更多，反而不断揭示十万是怎样被制造的。
午夜，她核对测试目录时发现两个文件夹大小完全一致：
“test_final”和“train_backup_0728”。
她计算哈希。
两个目录的清单哈希相同。
不只是同源近似图。
答辩用测试集，曾经完整出现在一次训练备份里。
叶穗把结果发给林照野。消息刚显示送达，服务器页面忽然刷新。她对“train_backup_0728”的访问权限被取消。
再刷新，目录消失了。
屏幕上只剩一行提示：
【路径不存在或您无权访问。】
叶穗看着那行字，把本地终端里尚未关闭的哈希结果截图保存。
十万张图片仍然一张不少。
少的只是它们来过哪里的记忆。
