提升Ollama在Mac上运行速度,优化AutoSRT字幕生成速度

文摘   2024-12-29 14:39   北京  

ollama serve启动会读下面的环境变量:‍‍‍‍‍‍‍

修改文件/etc/profile,可以进入终端使用vim修改,或执行命令:

echo "export OLLAMA_FLASH_ATTENTION=1" >> ~/.zshrc
echo "export OLLAMA_NUM_PARALLEL=8" >> ~/.zshrc
source ~/.zshrc
echo "setenv OLLAMA_FLASH_ATTENTION 1" >> ~/.launchd.conf
echo "setenv OLLAMA_NUM_PARALLEL 8" >> ~/.launchd.conf

重新启动一下ollama应用或是mac,再试试。

修改如下AutoSRT的配置“Max Chat History”为5或3:


优化前的时间消耗是53.4秒:

优化后的时间消耗是49.1秒。‍‍

行恒编程1对1
Python、R、CS编程1对1咨询辅导,一对一在线/线下会议教学模式,超过100次的高分成功辅导真实案例。智算中心运营方案规划与大模型AI咨询服务,2021年开始从事大模型架构工作。
 最新文章