雷递网 乐天 2月16日
在OpenAI发布视频生成模型sora之际，谷歌也公布在大模型领域的进展。
谷歌今日宣布推出下一代型号：Gemini 1.5。谷歌称，发布用于早期测试的第一个Gemini 1.5型号是Gemini 1.5 Pro。它是一种中型多模式模型，针对多种任务的扩展进行了优化，其性能水平与迄今为止最大的模型1.0 Ultra 类似。Gemini 1.5还引入了长上下文理解方面的突破性实验特征。
Gemini 1.5 Pro配备标准的128，000 令牌上下文窗口。
从今天开始，少数开发人员和企业客户可以通过AI Studio和Vertex AI的私人预览版在最多100万个代币的上下文窗口中进行尝试。
据介绍，Gemini 1.5建立在谷歌对Transformer和MoE架构的领先研究之上。传统Transformer充当一个大型神经网络，而MoE模型则分为更小的“专家”神经网络。
根据给定输入的类型，MoE 模型学会选择性地仅激活其神经网络中最相关的专家路径。这种专业化提高了模型的效率。
人工智能模型的“上下文窗口”由令牌组成，令牌是用于处理信息的构建块。令牌可以是文字、图像、视频、音频或代码的整个部分或子部分。模型的上下文窗口越大，它在给定提示中可以接收和处理的信息就越多，从而使其输出更加一致、相关和有用。
通过一系列机器学习创新，Gemini 1.5 Pro增加了1.5 Pro的上下文窗口容量，超出Gemini 1.0 最初的32，000 个令牌。Gemini 1.5 Pro现在可以在生产环境中运行多达100万个代币。
这意味着1.5 Pro 可以一次性处理大量信息，包括 1 小时的视频、11 小时的音频、超过30，000 行代码或超过700，000 个单词的代码库。
谷歌和 Alphabet 首席执行官桑达尔·皮查伊说，上周，谷歌推出了功能最强大的模型Gemini 1.0 Ultra，并从Gemini Advanced 开始，在让Google产品变得更加有用方面向前迈出了重要一步。今天，开发人员和云客户也可以开始使用1.0 Ultra 进行构建——使用AI Studio 和Vertex AI 中的 Gemini API。
“我们的团队以安全为核心，继续推动最新型号的发展。他们正在快速进步。事实上，我们已经准备好推出下一代产品：Gemini 1.5。它在多个维度上都显示出显着的改进，并且 1.5 Pro 实现了与 1.0 Ultra 相当的质量，同时使用更少的计算。”
皮查伊称，“我们已经能增加模型可以处理的信息量——持续运行多达100 万个令牌，实现迄今为止任何大型基础模型中最长的上下文窗口。更长的上下文窗口向我们展示了可能性的希望。它们将实现全新的功能，并帮助开发人员构建更有用的模型和应用程序。”
