希望能支持本地llama.cpp接口

[enzo1985]

您希望的更新和改进是什么 | Update or Improve

希望提供llama.cpp接口支持，llama.cpp后端支持vulkan,理论上比ollama适配的硬件更广，效率更高
可以类似chatbox

补充说明 | Additional context

No response

[theowenyoung]

沉浸式翻译的 openai 可以自定义模型和 API，可以满足需求吗？

[enzo1985]

可以的，但是目前好像只支持ollam的 Owen ***@***.***> 于2024年5月10日周五 22:44写道：

…

沉浸式翻译的 openai 可以自定义模型和 API，可以满足需求吗？ — Reply to this email directly, view it on GitHub <#1601 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/ABCQPVG5GPJN5BB7CUOSWO3ZBTMOPAVCNFSM6AAAAABFWW2GHOVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDCMBUG4ZTQMJTGU> . You are receiving this because you authored the thread.Message ID: ***@***.*** com>

-- Best Regards enzofang

[Gokou-Ruri]

铜球，希望能支持本地llama.cpp。

[flamintune]

我的理解是，如果本地部署的llama接口是和OpenAI格式兼容的，那么理论上说应该就能够使用的，举个例子就是：
请求格式如图所示：

响应格式如图所示：

如果还是有问题的话，希望提供一下你的错误信息这些，尽可能包括HTTP的请求数据和响应数据（因为部署起来比较麻烦加上硬件资源有限，所以可能不会实际在机器上部署这个模型，谢谢理解哈🥹🥹🥹）