本文作者来自马里兰大学的 CASE (Collaborative, Automated, Scalable, and Efficient Intelligence) Lab，主要参与者为博士生孙国恒与王子瑶，指导教师为李昂教授。 近年来，大型语言模型（LLM）在处理复杂任务方面取得了显著进展，尤其体现在多步推理、工具调用以及多 ...

点击上方“Deephub Imba”,关注公众号,好文章不错过 ...

据全球最大LLM API聚合平台OpenRouter 2月24日数据,中国AI模型Token消耗量占平台前十总量的61%,前三名全部来自中国实验室。 MiniMax M2.5以单周2.45万亿Token登顶榜首,环比暴涨197%;月之暗面Kimi ...

随着越来越多企业部署自有大型语言模型（LLM），配套的内部服务和应用程序接口（API）数量也随之增长。现代安全风险主要不再来自模型本身，而是来自支撑、连接和自动化模型的底层基础设施。每个新增的LLM端点都在扩大攻击面，这些风险在快速部署过程中极易被忽 ...

LLM是Large Language Model的简称，中文名是大语言模型，是一种基于海量文本数据训练的深度学习模型（人工智能模型）。 LLM发展至今，其参数量已经达到万亿规模。 私有LLM应用场景一般是私有化部署，给公司内部员工使用，聚焦垂直领域，训练数据涵盖公司特有 ...

11月16日，微软Ignite 2023大会盛大召开，英伟达高管出席并宣布更新了TensorRT-LLM版本。该版本现已支持对OpenAI Chat API的支持，并且还增强了DirectML功能。 今年10月份，英伟达面向数据中心和Windows PC推出了Tensor RT-LLM开源库。其中最大的亮点在于，如果Windows PC配备 ...

在软件系统日益复杂的今天，安全漏洞已成为悬在开发者头顶的"达摩克利斯之剑"。从操作系统到移动应用，从金融系统到自动驾驶汽车，任何一个安全漏洞都可能造成难以估量的损失。传统的人工审查代码方式不仅效率低下，更难以应对海量代码库的检测需求。

过去2个月，来自UC伯克利的研究人员给大语言模型们安排了一个擂台——Chatbot Arena。 简之，vLLM是一个开源的LLM推理和服务引擎。它利用了全新的注意力算法「PagedAttention」，有效地管理注意力键和值。

刚刚，硅谷爆出新料：OpenAI企业市场份额断崖式下跌，Anthropic全面反超！ GPT-5再不来，奥特曼正要熬夜头秃，无法入眠了！ 刚刚，OpenAI最强劲敌Anthropic被曝年化收益已达45亿美元，晋级为史上增长最快的软件公司。 在LLM API赛道上，Anthropic成功登顶，而OpenAI在AI ...

针对基于LLM的NLP软件输入鲁棒性测试难题，提出AORTA框架与ABS方法。AORTA将测试转化为组合优化问题，支持黑盒环境下的17种现有测试方法扩展，ABS通过自适应束宽和回溯策略优化搜索效率，在三个数据集和五种LLM模型上平均成功率达86.14%，较基线减少3441.9秒/次 ...

深度学习已经从CNN模型时代发展到大模型LLM时代到如今的MLLM与VLM时代，原有CNN为主的深度学习部署框架已经无法满足LLM与VLM模型部署的需求，最近今年主流的LLM与VLM部署框架主要包含vLLM、TensorRT-LLM、llamacpp、Ollama、LMDeploy、LMStudio等。 vLLM vLLM（Vectorized Large Language ...

语言AI公司DeepL宣布旗下API解决方案推出新一代语言模型（next-gen LLM）与DeepL API for Write两大功能。新一代语言模型进一步提升翻译的准确度与精确度，而DeepL API for Write则让企业通过API直接使用文法建议、拼字修正等先进的写作工具。这次更新将为DeepL API用户提升 ...