一、前言
嗨!好久不见!
前段时间一直在做些打标的工作,学习深度学习的应该很懂打标的痛苦,尤其是在分辨率不是特别好的影像上面,极其令人抓马!
好在目前有很多比较好的分割模型可以辅助打标工作,有些甚至可以做到全自动的分割提取,比如2023年火爆一时的SAM模型,在今年的中旬,Meta开源的他们的SAM的第二代模型,分割效果相比上代有所提高,而且支持视频分割,那么能不能有效的利用起来这种资源来减少繁琐重复的工作呢?尤其是对于遥感卫星影像。
最开始也想过自己去写,不过考虑到自身能力有限,emmmmm菜鸡一个,但好在互联网的开源世界存在很多大佬,他们已经做了这部分工作充分的利用现有的技术做了很多不错的工具,试用了一部分,偶然发现了一款使用较为简单且效果不错的工具--ISAT,一款免费开源的标注工具,具体链接如下,如果对您目前有帮助,大家可以多多支持作者点个Star以表感谢!
GitHub - yatengLG/ISAT_with_segment_anything: Labeling tool with SAM(segment anything model),supports SAM, SAM2, sam-hq, MobileSAM EdgeSAM etc.交互式半自动图像标注工具
如果有打不开github的朋友,可以在“公粽号”--“壹贰叁言”后台回复“ISAT”获取全部源码,emmm希望大家可以正常打开2333333
二、安装
作者提供了几种方式,其中比较推荐的是通过源码,因为更新的内容比较及时,大家可以通过上面的链接下载源码,然后本地配置一个环境就可以快速启动体验了
目前我主要使用的也是这种方式,以下介绍的也是如何在本地电脑配置环境。
2.1、本地配置深度学习虚拟环境
这里我以前写过相应的配置教程,公粽号置顶那篇就是,我自认为是很详细的了,新人能碰到的一些问题也在里面(坑全踩了...),所以里面写的东西比较多,挑选里面需要的部分就可以了
https://mp.weixin.qq.com/s?__biz=MzU4NDgyOTY5MA==&mid=2247484942&idx=1&sn=35b6a4cac5a48a4c8408562126a662ba&chksm=fd92999bcae5108df26b0263cf53aea2148a313a38069fc6a5faa451f4da36b12232e1e37af3#rd
作者建议的python版本大于3.8,这篇教程里的python版本是3.10的,我自己检验过是可以用的,所以放心食用吧!
另外,如果电脑有GPU还是建议大家安装GPU版本的Pytorch。
2.2、安装requirements文件中所需的包
打开下载好的工程文件,选择配置好的虚拟环境,打开requirements.txt,逐个安装里面提到的包即可,torch和torchvision正常情况下已经随着pytorch安装完成了,不用重复安装,其余的也是看没有安装的安装上即可,待安装结束接着就可以打开main文件了
三、ISAT使用教程
运行main文件,等待后会弹出界面框,也可以手动点击,程序界面如下
3.1、下载SAM模型文件
点击“SAM”,选择“模型管理”,提供了很多个模型文件供下载选择,当然也可以自己通过官网下载
在这里,我就是使用了sam2_hiera_large
待下载完成后就可以在这里进行选择不同的分割模型
3.2 加载影像文件
点击“文件”,选择“图片文件夹”
然后选择需要进行标注的数据即可
这里我选了几张图片给大家演示下操作
3.3 新建标签类别
选择文件—>设置
修改或者新建标签
3.4 半自动标注
ISAT当然也支持手动标注,选择即可,可以体验下,这里主要介绍下半自动标注,打标的都知道,不想手画......
选择上面下载好的模型后,选择,或者使用快捷键“Q”,快捷键具体可以通过帮助—>快捷键,如下所示
接下来我们尝试标注,鼠标左键点击想标注的目标即可,选中后如下所示,可以看到效果不错的
按快捷键“E”进行保存就完成了一次标注,接着按快捷键“S”进行保存,当然也可以在“编辑”中设置“自动保存”,不然emmmm...心若在,梦就在,大不了从头再来...
完成后的颜色就是你新建标签时所选择的颜色
当然,有时候分割效果会不理想,这时候可以通过鼠标右键选择负样本(姑且这样来描述)来进行修正,当然也可以通过多次选择正样本或者负样本,如此时
那么我右键点击不想要的地方就可以,绿色是正样本,蓝色是负样本
可以感受到这个工具的效率是非常高的,这种两米的影像上对于大的建筑还是蛮爽的,手速慢的情况下一分钟不到基本可以标注那么多
单栋的小区建筑
对于分辨率较高的影像效果会更好,比如常见的猫狗车等,我在网上随便复制了几张图,分辨率不是很高,可以看到效果都不错
甚至也可以只标注车的轮子,可以看到分割效果不错,这得益于SAM的强大,真的牛逼没话说
3.5 其余功能
我所用到的仅仅是一部分功能,作者还支持了对于视频的标注功能,在“工具”中,因为我没有这方面的需求所以没有探索尝试,另外还有全自动标注,不过在遥感影像上由于要素的多样性和复杂性并不能给到我想要的效果,也可能是给的标注不够,期待有朋友体验后可以分享较好的案例
我们打标好的文件,如果你按了保存,或者设置了自动保存,最后会在打标的文件夹里,文件名是保持一致的
如果文件格式不是你想要的也可以进行转换,“工具”->“转换器”
或者,自己动手写一个转换脚本也可以,因为不一定刚好能满足所有需求。
4 最后
十月的最后一天,还好赶上了,拖延症...现在唯一能慰藉的是还好每个月都能抗住更新一下,偶尔打开后台看到新的朋友关注真的又高兴又抱歉,好佩服每天都能更新的大佬,可上班真的好累啊,心理承压弱爆了啊!菜鸡!
如果,我是说如果这篇对您有帮助还请不吝点赞转发收藏一键三连!(点个关注就更好了!)
壹贰叁言,赠予生活,聊以安慰!朋友们,我们下期再见!