推理不能正常输出

[mamba824824]

detail | 详细描述 | 詳細な説明

按照文档完成vector store的创建，之后运行python3 -m huixiangdou.main --standalone，输出如上图所示，看起来是模型认为query与vector store存储的信息毫无关系。
运行python3 -m huixiangdou.main --standalone与文档的不同操作在于，修改了config.ini中的internLM 7B到1.5B，其他地方未做任何修改，请大神指点如何操作。

[tpoisonooo]

..... 泥为啥觉得 7B 换 1.5B 是合理的呢...

俺不管广告怎么宣传，2024年通用对话业务就是不能用 10B 以下的模型。

如果没有合适的机器， config.ini 用 siliconcloud， 例如

remote_type = "siliconcloud"
# 你的 siliconcloud token 写这里
remote_api_key = "YOUR-API-KEY-HERE"
remote_llm_max_text_length = 40000

#  see https://siliconflow.readme.io/reference/chat-completions-1
# 你想用的模型名字，挑个大的
remote_llm_model = "YOUR-MODEL-NAME"

[tpoisonooo]

@mamba824824

[tpoisonooo]

已调整默认模型配置，现在应该是可以的。

[mamba824824]

..... 泥为啥觉得 7B 换 1.5B 是合理的呢...

俺不管广告怎么宣传，2024年通用对话业务就是不能用 10B 以下的模型。

如果没有合适的机器， config.ini 用 siliconcloud， 例如

remote_type = "siliconcloud"
# 你的 siliconcloud token 写这里
remote_api_key = "YOUR-API-KEY-HERE"
remote_llm_max_text_length = 40000

#  see https://siliconflow.readme.io/reference/chat-completions-1
# 你想用的模型名字，挑个大的
remote_llm_model = "YOUR-MODEL-NAME"

不涉及业务合理性，主要是7B模型本机运行OOM，所以想1.5B模型先跑通再做其他考量

[mamba824824]

已调整默认模型配置，现在应该是可以的。

我该如何处理，重新clone repo本机运行，或者选择siliconcloud？

[tpoisonooo]

已调整默认模型配置，现在应该是可以的。

我该如何处理，重新clone repo本机运行，或者选择siliconcloud？

选择 siliconcloud，“听起来” 你那边没合适机器

[tpoisonooo]