菜单
首页 > 教育新闻 > 图片新闻

开发“鹅脸识别”!深圳00后学生克服重重困难,巧用AI助农户养鹅

时间 : 2022-12-12 09:55 来源 : 深圳市教育局

狮头鹅是潮汕卤鹅的主要食材

堪称“鹅界的天花板”

在餐桌上有着不可撼动的地位

但狮头鹅饲养难度极高

小鹅容易感染鹅瘟、禽流感、

副黏病毒等疾病

鹅农要盯着成百上千头鹅的一举一动

甚至每天要摸数百、上千只鹅的体温

为了解决农户们的问题

深圳的00后大学生用上了AI

造了一个人工智能养鹅场


  今年4月,深圳大学腾讯AI班(下称腾班)的大二学生,开启了一次独特的实践作业,用AI帮助农户养鹅。蹲守鹅场半年,他们踩着3cm深的鹅屎工作、对30万只鹅进行“鹅口普查”,在标注中练出手速;在40度高温和台风来袭中,打响摄像头“保卫战”;和农户交流鹅病,翻遍论文变成半个养鹅专家。


  项目结束后,有学生开始思考算法代码的价值,有学生静下心学画流程图和写报告,还有学生思考,除了做算法工程师,未来职业道路的N种可能性。


养鹅300年

第一次和AI擦出火花


  19岁的廖雪丽第一次来到鹅场,令她感到绝望的不是遍地的鹅屎、硝酸铵的味道、凶狠的大狼狗,而是4000只“一模一样”的鹅同时在叫。她形容为“前所未有的震惊”“根本不知道是哪只是哪只。肉眼没法分清,更别说了算法。”

图片

学生们第一次去的鹅场

  廖雪丽是2020级腾班学生。在这次实践项目中,她和15名同学需要将所学的AI知识,识别病鹅,帮助鹅农提产。

  接到项目那一刻,廖雪丽的脑海里蹦出了“鹅脸识别”,将课堂上学到的“人脸识别”落地金融、安防行业的案例,复制到鹅身上——摄像头扫鹅的面部,一秒钟分析鹅的眨眼频率、面部变化、视线偏移等,后台算法判定是否为病鹅。

  来到鹅场后,她立马判定这一方案实现几率为零。500平方米的鹅场,自己都分不清4000只鹅的区别,让算法分析某一只鹅的微表情,比登天还难。

  廖雪丽随即想到,从小目标做起——先做鹅的“身份证”,区分每一只鹅。具体做法是,给每只鹅挂上带序号的木牌,或者MFC磁卡。摄像头捕捉图像后,算法用ID精准定位,再分辨是否得病。

  但她很快发现,鹅是水禽动物,不同于在室外圈养的猪,每天必须下水游泳,木牌容易被冲走。即使MFC磁卡能防水,但只有鹅离感应器10厘米之内才能被识别。

  更让廖雪丽发愁的是,鹅场怎么看都和AI技术毫无关联。并且大部分村民的鹅场都只通了基础水电,没有覆盖网络,更没有任何自动化养殖设备。

图片

汕头后溪村鹅场环境


  鹅农们数百年来的一个大痛点:

  狮头鹅是中国唯一大型鹅,有“世界鹅王”之称,但“病率高、存活率低”的问题一直没解决

  比如,常见狮头鹅感染的疾病,有鹅瘟、禽霍乱、大肠杆菌,鹅副黏膜等8种。一旦遭遇大型传染病,没有第一时间识别并处理病鹅,1000多只鹅苗可能在一夜之间死亡。过去,农户要想判断狮头鹅的健康状况,只能靠双手、双眼,一只只去找、去看。


图片

汕头农户给2000多只小鹅挨个打预防针

  但即使有着20年经验的老农,也会有走眼的时候。这一天,在汕头澄海区后溪村养了20年狮头鹅的金举文,盯着一只缩脖子的狮头鹅许久。“声音嘶哑、咳嗽,但食欲正常,看起来又好像没病”。疑似病鹅是放入“隔离区”直接被感染,还是放任不管,这是当地农户每天都会遇到的难题。

  金举文的担心不是没有原因。2018年冬天,他曾遭遇过大规模的禽流感。最开始,仅是几只小鹅拉稀,第二天清晨200只鹅陆续死去,等到第十天,3000只狮头鹅全军覆没,损失了几乎一年的家庭收入。

  面对外来的学生,以及他从没听说的“人工智能”,金举文只有一个诉求——能不能找到病鹅?学生们一时没了谱,狮头鹅饲养环境和难度远超预料,连老农都不能发现病鹅,算法能做到吗?


30万次点击

首创“鹅脸数据库”


  同样心里没谱的,还有深圳大学计算机视觉研究所所长沈琳琳。研究“视觉识别”二十多年来,沈琳琳曾指导学生,用AI帮助法医辨别尸体死亡时间,追踪保护云南元江的野生大象,却对AI养鹅无从下手。


  要养鹅,先懂鹅。沈琳琳决定,抛开所有酷炫的技术,让学生们从鹅的基础习性学起——起居、饮食、活动……不同行为都有不同的含义。整个暑期,学生们往返鹅场,白天反复观察病鹅和正常鹅的区别,做对照实验,晚上用电脑记录总结。


图片

学生帮金举文一家赶出生10天的小鹅进食

  金举文也向学生们传授养鹅的技巧。渐渐地,学生们摸索出细微的规律。大量样本显示,“发呆、发烧”是病鹅的共性

  但养殖经验如何转化为技术中的特征表达?连开了好几天的会,养鹅项目小组终于达成一致,制作一款识别病鹅的小程序


  按照设想,小程序功能定为三块:查看鹅群、疾病预警、数据分析。农户随时打开微信小程序,通过全景摄像头,在线监测鹅群动态,一旦算法监测呆滞超过10分钟,或者红外测温仪发现体温异常,小程序立刻向农户推送预警消息。

  考虑到识别病鹅的准确率,项目小组又增加了监测环境温湿度、PM值空气指数等功能。一旦空气污染严重,小程序就能立刻报警。

  16名学生兵分四路,组成前端、后端、算法、硬件四个组。由硬件组装摄像头,采集鹅的图片;算法组对接收的图片打标注,做数据分析,传输后端;最后,由前端设计界面按钮,呈现功能。


图片

学生们绘制的初版小程序系统草图

  挑战接踵而至。鹅场通讯信号弱、更没有网络。在40度高温下,硬件组长王翊沣不得不自己搭梯子拉网线、架网桥、固定摄像头。更糟糕的是,公开渠道很难搜到狮头鹅的图片,没有足够的样本让AI识别。于是沈琳琳决定用“最笨”的办法,让学生们通过摄像头采集的照片,一张张人工打标注

图片

硬件组铺设备

  但比人脸识别技术更难的是,人类会配合镜头,动物不会。学生们只好把摄像头拍摄的影像,进行秒级抽帧,再对抽取出的6000张照片打标注,一张照片平均抓取50只鹅。“我敢说,有密恐的人坚持不到3秒就会关掉这个界面。密密麻麻,每个都需要圈,最多一张图有70只鹅。”算法组组长廖雪丽说。

  “越是智能,就越是人工。”沈琳琳说。

图片

学生给图片打标注

  经历长达半个月、30万次的点击标注后,行业首个“鹅脸数据库”诞生。


提升30%存活率

消除呆头鹅、发烧鹅


  标注完之后,下一步是训练模型算法,这也是小程序能用起来的关键。尽管有心理预期,但看到满屏的bug报错,廖雪丽还是觉得“整个头快炸了”。

  按照腾班的课程安排,大二系统学习《机器学习》《人工智能导论》等理论。但这和自己上手写代码相差甚远。几乎整个暑期,廖雪丽都在和算法做斗争,一边上网查、自学,一边调试环境、报错、推倒后再调整。“看一眼觉得好简单,结果就是报错。试了网上查的十几种方法,还是不行,经常3、4小时都找不到bug在哪儿。”

  这时,腾讯的算法工程师紧急“救火”,加入了养鹅团队。在线上会议上,程师们手把手分析代码、解bug,并给出解决方案


图片


学生设计草图和成品对比

  半年下来,养鹅小组投入了巨大的精力,开了近百次线上+线下会议,群聊消息几万条。今年9月新学期到来,第一版小程序上线。截至11月中旬,小程序更新到第六版,一共提醒了金举文50多次,最新一批狮头鹅存活率从五成提升至八成300年以来,后洋堤养鹅村第一次和AI擦出火花。

图片

学生和深大老师、腾讯工程师开会


图片

“腾班”学生开会讨论开发流程


  AI养鹅的故事并未止步。硬件组长王翊沣看来,这款小程序依旧有不足。目前小程序仅限于识别“呆头鹅”“发烧鹅”,无法精准知道每一只鹅的状态。王翊沣想到,是否给鹅安装计步器,用算法“追踪鹅步”,甚至将鹅场单独开辟一个通道,能近距离监测声音、体温等,实现“鹅语翻译”。

  听上去有些天方夜谭,沈琳琳却很认同。“其实我们已经迈出了AI养鹅的一大步,有了数据库沉淀,就可以往下做很多事。比如,将数据开源给学术界,更多人一起研究科学养鹅。甚至到后边,鹅的代码,鸭也可以用。”


缩短课堂和产业的距离

  养鹅项目是腾班学生第一次参与平台的从0到1的搭建,经历了一位真正的程序员在工作的全过程。理论和实践的融合,让学生重新理解代码和算法的价值。


  “在学校里,很少机会亲历接触到这些东西,也很难理解实际的项目落地应该是什么。”在廖雪丽之前设想中,算法工程师是在办公室查文献、写代码,攻坚高大上的前沿行业。但这次汕头之行,让她发现“关着门”写的代码更多是“伪需求”,还是要去现场,脚踏实地去了解、请教

图片

廖雪丽用手机拍下了鹅场傍晚的景色

  深圳大学人工智能系副主任冯禹洪深有感触,校企合作的实践机会,让学生前置性理解学科的作用。她记得,前几年有学生拿到腾讯的实习offer,进去之后才发现,流程图对项目进度把控很重要。“当时他觉得这有什么用,还不如好好写代码。”当意识到重要性的时候,已经到大四没有课了。


  腾班要培养什么样的人才?这是2019年成立之初,深圳大学和腾讯就在探索的问题。学校和在产业本质要解决的问题并不相同。学校的核心产出是论文,是学术成果,对现实相关相对少。而在产业实践中,没有放之四海而皆准的算法,任何一个场景都需要修改、因地制宜,这要求学生既要有理论基础,又要实践操作、团队协作等能力


  为了更好地缩短“产业”与“课堂”间的距离,深大和腾讯分工明确。深大负责校内机器学习等课程讲授,腾讯则把产业互联网的上百个行业经验变成案例,让学生更了解AI技术在产业变革的广泛应用,并提供云环境的实验资源、讲座、实践机会。


  这次AI养鹅校外实践,让双方更意识到,培养人工智能人才,要“仰望星空”学好理论,也要“双手沾泥”应用实践

  “校企合作不是给学生上‘水课’,开实践证明,而是要让学生在真实应用场景有启发、有触动。”王才荣说。


  内容来源:中国教育在线、腾讯教育



附件:

相关稿件: