AI基建-大模型推理框架开发工程师

- 负责基于 vLLM、SGLang 等技术的大模型推理框架的开发工作，包括但不限于设计和实现高效的推理引擎架构，优化推理过程中的计算流程，提高推理性能，以满足不同规模大模型的实时推理需求 - 复杂大模型框架性能评估和调优工作，构建并完善性能监控体系，通过实时监测训练指标，定位性能瓶颈，提出优化方案，确保在不同硬件上达到最优性能。 - 负责Cuda Kernel优化，开发高性能的GPU算子, 提升大模型推理性能 - 硕士及以上学历，计算机、软件工程、数学等相关专业，具备扎实计算机理论基础和丰富编程经验，在深度学习领域有深入研究与实践。 - 精通 Python，熟练掌握至少一种深度学习框架（如 PyTorch），理解深度学习原理算法，有丰富模型开发与调优经验，能独立搭建复杂模型并优化性能。 - 熟悉 C++ 和 CUDA 编程，具备代码优化能力，能针对 GPU 等硬件高效编写和优化代码，了解硬件体系结构并进行针对性优化。 - 熟悉大模型推理框架的基本原理和流程，了解 vLLM、SGLang 等大模型推理框架的核心技术和实现优先 - 有良好团队协作与沟通能力，能与不同背景成员有效沟通协作，责任心强、敬业热情，能承受工作压力，保证项目按时高质量交付。