模型部署
本地大模型、量化格式、GPU 推理、长上下文与 API 服务。
ABOUT / XK3
这里主要记录我的真实实践:遇到了什么问题、怎样拆解、如何验证,以及最后学到了什么。
我关注一个系统如何从源代码和模型文件,一步步变成可以被真实使用的服务。比起只展示结果,我更愿意分享运行链路、失败原因和可以复现的方法。
本地大模型、量化格式、GPU 推理、长上下文与 API 服务。
健康检查、真实推理、指标采集、监控目标与结构化报告。
视觉模型、分布偏移、端到端延迟与真实应用链路。
FIND ME ONLINE