家人们,有件事,搞了三年多了,现在可以跟大家讲了!
大家都知道我读硕士和博士期间,研究的课题是美容皮肤学方向,特别是痤疮。
在研究期间,我征集了很多痤疮志愿者,用于获取影像和样本等等,并且通过各个维度对痤疮进行评估和分析。
而在研究中,要用到高性能、稳定的面部皮肤记录和分析系统。所以早在2013年,我就买了当时在这个方向上最领先的VISIA系统。
那时,它在我们心中,真的是神一般的存在。
图1 我实验室的VISIA,于2013年10月11日调试完成投入使用
一个偶然的发现,让神走下了神坛
这台系统为我的研究提供了很大的帮助,获取了大量有价值的信息,产生的研究成果也逐步发表在多个杂志上。
但在使用VISIA系统的红色图像模式来量化评估皮肤炎症/毛细血管扩张/潮红的程度时,我发现一个很大的问题,就是:分析的数据不准。最典型的案例见下图:
图2 一位玫瑰痤疮患者的面部潮红情况,肉眼可见有大片的红斑(黑色箭头示),但VISIA系统识别出来的区域只是其中的一小部分(蓝色标示的区域)
我是很震惊的,因为前面谈到,VISIA是本领域当时最先进的仪器,怎么会出现这样的问题呢?这对于皮肤评估来说,是个非常大的问题啊!
我是个好奇心强的人(好奇害死猫啊!),因此,2014年我在进行主要课题之余,开始研究到底是什么原因造成了这样的状况。最终,我发现原来是VISIA的分析软件使用的算法缺陷造成的。
简单地说,它使用了一种叫作阈值分离(thresholding segmentation)的方法,把红斑区域从背景区域中分离出来。具体的原理对非本领域的读者来说可能过于艰涩,此处就暂不深入了。
总之就是它的算法缺陷导致了数据的偏倚,且患者的皮肤越红、炎症程度越重,偏倚就越大。弄清楚原因后,我提出了一种新的算法,并为此进行了模型模拟及数学上的证明,因此还写了一篇论文,2016年发表在Journal of Cosmetic and Laser Therapy上。
图3 16年我发表的论文节选
这篇文章本身不是重点。
重点是让我意识到:不管多高级的仪器,都是人做的。
暴怒中的我,萌生了一个大胆的想法
这种想法在2019年和2020年进一步被强化。
因为用了多年之后,VISIA开始出故障了:有好几次,好不容易征集到的志愿者来到实验室后,VISIA要么卡死了,要么坏了,最频繁的是灯光系统会坏,而配件又要从美国调回来,贵就不说了(一个灯板1.3W元),前后往往要等上个月,十分影响工作进度。
图4 VISIA在使用中突然报错,令人尴尬又暴怒
于是,在暴怒中,我萌生了一个大胆的想法:能不能自己搞一台更领先、更稳定、更精准的、源于中国的皮肤记录和测量系统?就我自己实验室用好了!
我可能是被怒气冲昏了头脑,竟然就开始行动了!
大家知道我本是个养鱼的,硕士才转到临床医学读皮肤科,只在本科的时候辅修过一些计算机和图像处理课程。
作为理科生,讲讲原理,我还能凑合,但这对于搞一个电子+机械+软件+光学的系统来说,就差得远了!
因为一套皮肤测量系统涉及到光学、电子、电气、软件、人体工学设计、机械、制造等等环节,我自己肯定是搞不定的。
于是,我就各种开始寻求在这些方面专长的老师、团队合作。幸运的是,经朋友搭线,还真认识一个团队非常符合所有这些需求。这个团队的创建者是复旦大学毕业的武庆斌博士。
2020年10月,和武博士团队深入相谈后,大家都热血沸腾,我们作出了一个决定:干!我给这个未来的系统取了个名字,叫“Vplus”。
图5 2020年10月19日,武庆斌博士(右)与核心团队成员Rose(左)来我实验室讨论开发计划
困难重重:天不总是遂人愿
紧锣密鼓,这事儿就这么开始了。
说实话,开始之后,我们才知道什么是无知者无畏,因为这个系统实际上是非常复杂的,其困难程度和工作量远远超出我们的预想。
起初,我们希望一年内就完成开发,但实际上到2021年中,只做出来了一个原型机,离一个完(能)备(用)的系统差得还很远。
图6 2021年开发的原型机
但事已至此,硬着头皮也只能上啊!不管花多长时间,花多大代价,都要干出来!(毕竟已经花了这么多钱和时间和力气了是不是)
后来,硬件的问题逐步解决了。轮到软件和算法,要解决的问题就更多了。有的问题比较好解决,比如紫外荧光的量化分析、紫外发色团的量化分析等。
图7 Vplus的紫外荧光分析(完成于2021年9月)
有的问题比较难解决,特别地,皮肤的皱纹问题非常难以识别和量化分析。
我举个简单的例子,像下面这张VISIA的分析图:深绿色的这些线(箭头所示)就被VISIA系统识别为了皱纹。
其实它们是什么呢?你的答案是正确的:头发。
图8 VISIA皱纹分析图
因为VISIA系统使用的是前面所说的阈值分离进行图像中的特征提取,其基本工作原理是基于像素的色彩学特征来进行区分。
具体到皱纹上,在一定光照条件下,皱纹会呈现一根色彩稍暗的线,但如果有一根头发在那儿,也会形成一根暗的线,那么阈值分离就会把这两根暗的线都识别出来——至于它是头发还是皱纹,那就无能为力了。
所以,若我们也延用这种方法,肯定就无法做到“更精准”。该怎么办呢?
奇思妙想,再次突破!
大家又在一起开会讨论。我根据皮肤学的知识,提出来一个思路——面部区域分割算法,在此基础上加上人工智能,那么就可以不仅识别出皱纹,还能判断皱纹的类别,是抬头纹、眉间纹,还是法令纹、眼角纹。
图9 基于不同区域的皱纹标注与特征分析
负责算法的同学一听,觉得这可以,然后就回去建模,在大量的面部图像数据基础上进行分析,把面部打出很多点标记,最终实现了这种分割算法。
图10 Vplus的面部分割算法示意
大家讨论后认为皱纹有其特征性,因此可以针对皱纹开发一种专门的人工智能算法。这时候加入了一位非常能干的小伙伴,毕业于上海理工大学,叫杨明羽,干的就是人工智能。
以这位小伙伴为主,提出了一种专门用于皱纹识别的算法,取名叫Striped WriNet。
简单地说(这段仅供人工智能专业人员阅读,不想读的可以跳到下一段),这种算法是一种基于编码器-解码器结构的语义分割网络,通过引入一个Striped Attention Module(SAM)来实现编码器和解码器的有效连接,SAM充分利用了皱纹条形形状的特征,通过设计Multi-Scale Strip Attention(MSA)和Global Strip Attention(GSA)来进一步提升性能。
MSA采用了多尺度的注意力机制,以增强对细粒度特征的感知,使得那些较短、较小的浅皱纹更容易被关注到。
多尺度特征提取模块由三个不同大小的条形卷积核构成,可以从不同大小的局部区域聚合信息,实现多尺度的特征提取。这种方法有助于更全面地捕捉和分析皱纹的细微差异。(好了,难懂的东西结束了)
然后,经过大量训练和算法的优化,Striped WriNet在皱纹区域的分割方面表现出卓越的效能!
下面就是利用Striped WriNet在真实皮肤照片上识别到的皱纹(请注意:图像上部有一根头发,但它未被识别为皱纹)
图11 Striped WriNet在真实皮肤照片上识别到的皱纹
皱纹光识别出来还不行,还需要量化分析,需要知道它的长短、宽窄,以及:深度。算法团队进一步实现了这些功能,使用不同的颜色来标注深度,从而可以实现对皱纹像素级的深度测量!
图12 Striped WriNet实现了对皱纹深度的像素级标注
在上述量化测试的基础上,还提出了一个新的皱纹衡量指标,叫WI(皱纹指数),该指数综合考虑了皱纹的数量、长度、宽度/面积、深度,可望成为衰老评估的一个可靠、稳定的参数。
为了确认Striped WriNet在皱纹识别方面的可靠性,团队在公有面部数据库和私有面部数据库中进行了验证。结果证明:与现有的其它皱纹识别方法相比,Striped WriNet在准确率上遥遥领先。
这个方法这么好,当然要先申请下专利,再发表一下论文,然后还要整合到Vplus系统中去,更好地服务于皮肤科学研究和化妆品产业发展啦!
所以呢,好消息来了!相关的论文于2023年11月29日被Biomedical Signal Processing and Control杂志接受,于昨天在线发表。
论文由Vplus算法研发负责人杨明羽同学为第一作者,肤焕科技沈颀立先生、灏图品测孙晓莉女士共同参与,我和武庆斌博士为通讯作者。
图13 Striped WriNet算法论文发表
世界领先,遥遥的
其实,Striped WriNet只是Vplus系统研发过程中诸多的进展之一。
Vplus系统所用到的新技术、新算法不胜枚举。
总的来说,Vplus系统已经在皮肤测量和分析系统中处于世界领先地位。可以说,是目前全球同类仪器中最优秀的。
举些简单的例子:
皱纹的测量分析上,有两个主流的方法,分别是Antera3D和Primos系统。
我们来看同一个人的皱纹由这两种系统识别的结果:
图14 原始皮肤照片
图15 Antera3D 识别结果(可见许多较小的皱纹未被识别)
图16 Primos的识别结果(可见有大量的毛孔被误识别,也有一些皱纹未能被识别)
图17 Vplus算法识别的结果(没有误识别,且可标注深度)
Vplus系统进行了全新的光学设计,采用了伺服电机进行自动转向(提升效率)、开放式软件架构(方便拓展)、可进行线上升级、采用人工智能技术(跨越式的技术升级),从而可以实现许多我们以前想都不敢想的功能。
它将会为皮肤学研究、疾病的诊断与评估、化妆品功效评价、医美和美容机构的客户咨询与管理、皮肤状况跟踪等,提供非常重要的价值。
由实验室私用走向量产
我最早的想法,只是想搭建一台仪器自己实验室用。
后来在与化妆品行业和皮肤科的朋友们聊天时,我有时候会跟他们吹吹牛,说说这件事。结果大家说:“好东西你不能私藏啊!要量产出来分享啊!”
考虑到大家都有非常迫切的需求,后来Vplus就进一步向量产的方向走了。
2022年底,Vplus系统终于实现了量产,它长这个样子:
基于我对皮肤学的理解,加上肤焕科技硬件、算法的能力,不断有新的功能可以被开发出来,比如对于痘痘的识别和评估功能在今年上半年也完成了。
未来还会有更多的功能问世。
Vplus量产后,去年底先在少量实验室和医院进行了实际使用(没想到在眼科竟然也有应用价值),以收集问题和反馈,以便改进、迭代。
经过了这一年,仪器已经迭代到V1.3版,现在仪器已经比较成熟和稳定了,又陆续进入数十家医院、功效评价机构和化妆品公司的研发中心(其中包括多家世界500强企业),获得了大家的一致好评。
当然,金无足赤,Vplus必然还有一些需要完善的地方。
但是,它的供应链99%都是国产的,自主可控;又是本土团队,反应非常快速;
软件系统一开始就采用的开放式架构设计,更新迭代十分方便,因此完善进化的速度会非常快。
结语
这就是,我,一不小心参与了一个世界领先的项目的故事。
我想起钱学森老先生的那句话:中国人不比外国人少一个脑袋。
所以,世界皮肤学界应该有中国人制造的高级仪器。
只要努力,我们就一定可以做到,也必将能够用这些仪器更好地服务于科研、生产,造福更广大的人,让大家的生活更加健康、皮肤更加美丽!
同时,有一个idea,我们就应当去做它,不光要发表论文,还要落地变成大家可用的产品和服务,让研究、知识在生产生活中发挥应有的价值。这会让我们的研究更有意义。
最后,热忱欢迎化妆品界、皮肤学界的老师们关注和支持Vplus,让我们共同用科技发现知识、创造价值、构筑未来!Vplus公众号↓↓
作者简介:
理性护肤运动发起人,同济大学皮肤学博士,英语高级口译译员,创办中国第一个私人非盈利性皮肤学实验室,专注于美容皮肤学、皮肤和化妆品的关系研究。
著作:《素颜女神:听肌肤的话》、《享瘦之门》、《听肌肤的话2:问题肌肤护理全书》;
译作:《药妆品》(Cosmeceuticals)第3版、《防晒与光防护临床指南》、《美国皮肤学会痤疮治疗和护理指南(2016版)》;
第一作者论文发表于Experimental Dermatology、Journal of Cosmetic and Laser Therapy、Dermatology、Skin Research & Technology、《临床皮肤科杂志》、《中国皮肤性病学杂志》、《中国美容医学》、《中华皮肤科杂志》等。
微博关注129W+,B站关注46W+,抖音关注47W+,知乎关注44W+,小红书关注34W+