1. 遥感数据分析python库scikit-eo
机器学习算法(随机森林、支持向量机、决策树、朴素贝叶斯、神经网络等)
监督分类校准(如蒙特卡罗交叉验证、留一交叉验证等)
混淆矩阵的置信区间信息
K-means分类和算法校准
主成分分析(PCA)
大气校正
深度学习算法
线性趋势分析(用于森林退化或土地退化制图)
多源遥感数据融合
谱混合分析(亚像元分类)
论文：https://joss.theoj.org/papers/10.21105/joss.06692
代码：https://github.com/yotarazona/scikit-eo
使用说明：https://yotarazona.github.io/scikit-eo/
2. 阿里通义千问开源多模态视觉模型Qwen2-VL
目前其2B和7B参数模型已开源，72B模型已开放API。
https://help.aliyun.com/zh/model-studio/developer-reference/qwen-vl-api
3. 支持与本地文档对话的开源工具
后端功能
使用Python和Flask或FastAPI构建后端API。
支持多用户登录和权限管理,每个用户可以有自己的私有和公共文件集合。
集成流行的LLM和嵌入模型API,如OpenAI、Azure、Ollama和Groq。
实现混合RAG管道,包括全文和向量检索器以及重排序,确保最佳检索质量。
支持多模态文档解析,包括处理图表和表格。
提供详细的引用,包括相关性得分,并在PDF查看器中高亮显示。
实现问题分解和基于代理的复杂推理方法。
前端功能
使用Gradio构建Web UI,提供可配置的设置。
允许用户上传和组织文档,设置权限。
提供问答界面,支持多模态输入。
显示答案和相关引用,包括PDF预览。
提供协作和分享功能,让用户分享聊天记录。
架构
后端API处理用户认证、文档管理和问答逻辑。
前端UI通过API与后端交互,提供用户界面。
使用分布式索引和检索策略,如GraphRAG,确保可扩展性和性能。
这个项目涉及许多有趣的技术挑战,如多用户支持、多模态文档处理、复杂推理方法和可扩展的检索架构。
https://github.com/Cinnamon/kotaemon
4. 微软推出快速原型化AI代理的低代码界面工具
低代码环境
AutoGen Studio提供了一个图形用户界面,允许用户使用最少的编码来构建、测试和部署多代理工作流程。用户和开发人员可以从预定义的代理库中选择,并将它们组合成团队来解决特定任务。图形界面允许用户进一步使用基础模型、提示、技能和工作流程来定制这些工作流程。
导出和部署选项
用户可以将代理工作流程导出为JSON配置文件,并将其集成到任何Python应用程序中。这些工作流程也可以从命令行启动为API,或部署在Azure Container Apps和Azure Web Apps等云服务上。
社区和协作
AutoGen Studio培养了一个协作环境,允许用户分享、发现和学习彼此的工作流程、代理和技能。这种社区驱动的方法旨在培养专业知识并促进技术重用。
使用文档：
https://microsoft.github.io/autogen/docs/autogen-studio/getting-started/
论文：https://arxiv.org/abs/2408.15247
5. 开源Web爬虫FireCrawl
用户可以使用这个开源工具firecrawl集成的Claude 3.5或GPT-4o爬取整个网站，支持将整个网站转换为适合大型语言模型（LLM）的Markdown格式或结构化数据。
该工具通过一个API进行抓取、爬取和提取，会爬取所有可访问的子页面，并为每个页面提供干净的数据。无需提供网站地图。该工具最大的优势是提取的数据专门为基于LLM的管道量身定制。该工具支持在线使用或者自部署。目前在Github已经有11K Stars。
https://github.com/mendableai/firecrawl
6. 实时目标检测与统计
https://docs.ultralytics.com/guides/analytics/#why-graphs-are-important
7. 集成AI的开源项目管理和知识共享工具
协作工作空间
AI 辅助
数据安全
支持自部署，数据隐私性高，用户拥有对数据的完全控制权，以确保数据安全。
https://github.com/AppFlowy-IO/AppFlowy
8. 一篇介绍大语言模型提示工程（Prompt）的论文
基于Transformer的生成式人工智能（GenAI）系统正在各个行业和研究环境中越来越多地被部署。开发者和最终用户通过提示或提示工程（Prompt）与这些系统进行交互。尽管提示是一个广泛研究的概念，但由于该领域的初始阶段，存在相互矛盾的术语和对提示构成的本体论理解不足的情况。论文建立了对提示的结构化理解，通过汇编提示技术的分类法并分析其使用。
论文提供了一个包含33个术语的综合词汇表、58种仅限文本的提示技术的分类法以及40种其他模态的技术。
目前我看过的最全的介绍提示工程的论文《The Prompt Report: A Systematic Survey of Prompting Techniques》，非常系统地帮助理解提示工程的框架。
https://arxiv.org/pdf/2406.06608
生成式人工智能（Generative AI）的发展迅速，正在各个行业引发深刻变革。近年来，深度学习和大语言模型（LLM）的进步使得生成式AI能够处理更复杂的任务。海量的训练数据使得模型能够学习和生成高质量的内容。另一方面，计算资源的提升使得训练和运行大型模型成为可能。生成式人工智能的应用范围包括内容创作、软件开发、游戏和虚拟现实等。该资源包括生成式AI相关的论文、代码、视频教程等资源。
https://scidatalab.net/GenAIResources（点击文末“阅读原文”打开链接）
