Open AI终于发力了，今天更新了一堆新的内容，每个都很重磅：
-
推出新版本gpt-4-0613和gpt-3.5-turbo-0613模型
-
gpt-3.5-turbo上下文长度增涨400%，从4k增长到16k
-
gpt-3.5-turbo输入token降价25%
-
最先进embeddings model降价75%
-
GPT-4 API大规模开放，直到清空排队列表为止
新的GPT-3.5 Turbo和16K模型
gpt-3.5-turbo-0613 包括与 GPT-4 相同的函数调用以及通过系统消息提供的更可靠的可控性。
gpt-3.5-turbo-16k 的16k 上下文意味着该模型现在可以在单个请求中支持约 20 页文本。
消息到了国内，也有网友认为这是国内大模型面临的重大挑战。
何时使用工具，API自己决定
根据OpenAI官方介绍，函数调用同时支持新版GPT-4和GPT-3.5。
开发者只需要模型描述需要用到的函数，何时调用哪个函数都是模型根据提示词自己决定的，与ChatGPT调用插件的机制一样。
对于具体使用方法，官方给出了三个例子：
第一，聊天机器人调用外部API执行操作或回答问题，如“给某人发邮件”或“今天的天气如何？”。
第二，将自然语言转换为API调用或数据库查询，如“上个月有多少订单？”会自动生成SQL查询语句。
第三，从文本中自动提取结构化数据，如只需要定义好需要的“人名、生日、位置”，再给个网页链接，就可以自动提取一篇维基百科文章中提到的所有人物信息。
这一新功能让广大网友、特别是开发者为之欢呼，表示有了它工作效率将大大提高。
未来几周内邀请候补名单中的更多人试用 GPT-4，直到完全删除候补名单
以前，想要让GPT调用函数需要借助LangChain的工具才能实现。
……
尽管LangChain理论上拥有更高的运行效率，但可靠性要逊于经过专门调教的新GPT。
模型降价
text-embedding-ada-002 将成本降低 75% 至每 1K Token 0.0001 美元。gpt-3.5-turbo-16k 的定价为每 1K 输入Token 0.003 美元，每 1K 输出Token 0.004 美元。gpt-3.5-turbo’s 输入Token的成本降低了 25%
更新版本，更低价格
目前，新版本的模型已经逐步开始迭代。
最新版gpt-4-0613、gpt-3.5-turbo-0613与扩充上下文长度的gpt-4-32k-0613都支持函数调用。
gpt-3.5-turbo-16k不支持函数调用，提供4倍上下文长度，意味着一次请求可支持约20页文本。
旧模型也开始逐步废弃。
使用初始版本gpt-3.5-turbo、gpt-4的应用将于6月27日自动升级到新版本
需要更多时间过渡的开发者也可以手动指定继续使用旧版本，但9月13日之后所有旧版本请求将彻底废弃。
说完这个时间线，我们再来看看价格。
升级之后，OpenAI不仅没有让产品涨价，反而下调了价格。
首先是使用量最大的的gpt-3.5-turbo（4k token版）。
输入token的价格降低了25%，现在0.0015美元每千token，也就是1美元66.6万token。
而输出token每千token的价格则为0.002美元，也就是1美元50万token。
换算成英语文本的话，大致是1美元700页。
嵌入模型（embeddings model）的价格更是大跳水，直接降低了75%。
每千token只需0.0001美金，也就是1美元一千万token。
此外，新推出的16K token版GPT3.5-Turbo提供了4K版本四倍的处理能力，但价格只有两倍。
输入及输出token的价格分别是0.003和0.004美元每千token。
另外还有少数网友反应，当月账单直接从100到降到几美分了，目前还不清楚具体什么情况。
Function calling 函数调用
开发人员现在可以向 gpt-4-0613 和 gpt-3.5-turbo-0613 描述函数，并让模型智能地选择输出包含调用这些函数的参数的 JSON 对象。这是一种更可靠地将 GPT 功能与外部工具和 API 连接的新方法。
这些模型已经过微调，可以检测何时需要调用函数（取决于用户的输入）并使用符合函数签名的 JSON 进行响应。函数调用允许开发人员更可靠地从模型中获取结构化数据。例如，开发人员可以：
创建通过调用外部工具（例如 ChatGPT 插件）来回答问题的聊天机器人。
将自然语言转换为 API 调用或数据库查询
从文本中提取结构化数据
OpenAI捕“Chain”，微软在后
不少网友指出，OpenAI新出的“函数调用”基本就是Langchain里“Tools”的翻版。
也许接下来，OpenAI还会翻版Langchain的更多功能，如Chains和Indexes。
Langchain是大模型领域最火的开源开发框架，能够把各种大模型能力整合起来快速构建应用程序。
团队最近也刚刚获得1000万美元种子轮融资。
虽然OpenAI的这次更新还不至于直接“杀死”Langchain这个创业项目。
但是开发者们本来需要LangChain才能实现一些功能，现在确实不再需要了。
再看Langchain一方的反应，求生欲也确实很强。
在OpenAI官推发布更新的10分钟之内，Langchain立马宣布“已经在做兼容工作了”。
并且不到一个小时就发布了新版本，支持官方新功能之外，还可以把开发者已经写好的tools转换成OpenAI的functions。
一众网友除了排队感叹这快得离谱的开发速度，还思考起一个无法回避的问题：
OpenAI把你的创业项目给做了怎么办？
对此，OpenAI首席执行官Sam Altman最近刚好做过一次表态。
在5月底Humanloop举办的交流会上，Altman曾表示：
除了ChatGPT类型的消费级应用之外，尽量避免与客户竞争。
现在看来，开发工具似乎不算在避免竞争的范围之内。
而与OpenAI形成竞争关系的除了创业公司，还有一个不可忽视的存在：
微软，OpenAI最大金主，通过Azure云也对外提供OpenAI API服务。
就在最近，有开发者反馈，从OpenAI官方API切换到微软Azure版本后，性能显著提升。
具体来说：
-
median latency从15秒减少到3秒
-
95th percentile latency从60秒减少到15秒
-
平均每秒处理的token数量增加了三倍，从8个增加到24个。
再算上Azure给的一些折扣，甚至比原来还便宜了。
但微软Azure的更新速度一般要比OpenAI慢上几周。
开发阶段快速迭代用OpenAI，大规模部署转去微软Azure，你学到了么？
两个模型已经被弃用
将开始对 3 月份宣布的 gpt-4 和 gpt-3.5-turbo 初始版本进行升级和弃用。使用稳定模型名称（ gpt-3.5-turbo 、 gpt-4 和 gpt-4-32k ）的应用程序将在 6 月 27 日自动升级到上面列出的新模型。为了比较版本之间的模型性能， Evals 库支持公共和私有评估，以显示模型更改将如何影响你的用例。
这些旧模型将在 9 月 13 日之前开放，之后指定这些模型名称的请求将失败。
相关文章
