引发的开源革命迫在眉睫

Text-Generation-Inference（又称TGI）是HuggingFace今年早些时候启动的一个项目，作为支持HuggingFaceInferenceAPI和后来的HuggingChat上的LLM推理的内部工具，旨在支持大型语言模型的优化推理。自推出后，该项目迅速流行，并被Open-Assistant和nat.dev等其他开源项目采用。