TAG
LLM
这个标签下的全部内容。
共 6 篇01文章
合成集选了 C，44 道真题选了 B2026-10-27记忆该存成什么粒度，合成评测集给了一个很干净的答案。换成真实聊天出的题，答案变了，过程中还查出了三个测量上的问题。#记忆#评测#实验方法#LLM前缀缓存的命中率去哪了2026-10-27命中率掉了，光看总数找不到原因。按 128 token 一块去看，问题出在一段被放错位置的资料，以及两家供应商完全不同的缓存规则。#LLM#成本#可观测性给 AI 角色写人设，为什么越写越不像人2026-10-21人设从八百字写到八千字，回复反而越来越像在演设定。查下来，大部分问题出在拼 prompt 的代码里，不在人设文字本身。#Prompt#人设#LLM配置齐备，静默失效2026-10-21一个字段写在配置里、看着像已经生效、实际没有任何代码读它。这类故障不会报错，只会让人说「感觉不对」。#工程#可观测性#LLM把 LLM 当不可信外部服务2026-10-18它更像一个远程服务：会超时，会返回空，会把推理过程混进正文，也会凭手感补一个数字。#LLM#工程