ollama serve启动会读下面的环境变量:
修改文件/etc/profile,可以进入终端使用vim修改,或执行命令:
echo "export OLLAMA_FLASH_ATTENTION=1" >> ~/.zshrc
echo "export OLLAMA_NUM_PARALLEL=8" >> ~/.zshrc
source ~/.zshrc
echo "setenv OLLAMA_FLASH_ATTENTION 1" >> ~/.launchd.conf
echo "setenv OLLAMA_NUM_PARALLEL 8" >> ~/.launchd.conf
重新启动一下ollama应用或是mac,再试试。
修改如下AutoSRT的配置“Max Chat History”为5或3:
优化前的时间消耗是53.4秒:
优化后的时间消耗是49.1秒。