type
status
date
slug
summary
tags
category
icon
password
😀
前言: 欢迎您来到我的知识海洋~
包括日益知名的ElevenLabs在内的初创公司已经筹集了数百万美元,用于开发自己的专有算法和人工智能软件,用于制作语音克隆 - 模仿用户声音的音频程序。
但随之而来的是一种新的解决方案OpenVoice,由麻省理工学院(MIT)、中国北京清华大学的研究人员和加拿大人工智能初创公司MyShell的成员开发,提供几乎即时的开源语音克隆,并提供其他语音克隆平台所没有的精细控制。
“以无与伦比的精度克隆声音,对音调进行精细控制,从情感到口音、节奏、停顿和语调,只需使用一个小音频剪辑,”MyShell今天在其X官方公司帐户上的一篇文章中写道。
 
今天,我们自豪地开源了我们的 OpenVoice 算法,秉承了我们的核心理念——面向所有人的 AI。立即体验:https://t.co/zHJpeVpX3t。以无与伦比的精度克隆声音,对音调进行精细控制,从情感到口音、节奏、停顿和语调,只需使用一个...pic.twitter.com/RwmYajpxOt — MyShell (@myshell_ai) January 2, 2024
 
该公司还包含一个链接,指向其预先审查的研究论文,描述了它如何开发OpenVoice,以及用户可以访问和试用的几个地方的链接,包括MyShell Web应用程序界面(需要用户帐户才能访问)和HuggingFace(无需帐户即可公开访问)。

使用 OpenVoice

在我对HuggingFace上新的语音克隆模型进行的不科学测试中,我能够在几秒钟内使用完全随机的语音快速生成一个相对令人信服的(如果听起来有点机器人)克隆我自己的声音。
与其他语音克隆应用程序不同,我没有被迫阅读特定的文本块,以便 OpenVoice 克隆我的声音。我只是即兴说了几秒钟,模型就生成了一个语音克隆,我几乎可以立即播放,阅读我提供的文本提示。
我还能够使用下拉菜单在几个默认值之间调整“风格”——开朗、悲伤、友好、愤怒等,并听到语气的明显变化,以匹配这些不同的情绪。
这是我的语音克隆示例,由 OpenVoice 通过 HuggingFace 设置为“友好”风格的语气。

OpenVoice 是如何制作的

在他们的科学论文中,OpenVoice的四位创始人——麻省理工学院和MyShell的Zengyi Qin、清华大学的Wenliang Zhao和Xumin Yu,以及MyShell的Xin Sun——描述了他们创建语音克隆AI的方法。
OpenVoice 实际上由两种不同的 AI 模型组成:文本转语音 (TTS) 模型和“音调转换器”。
第一个模型控制着“风格参数和语言”,并接受了30,000个句子的训练,“来自两个说英语的人(美国和英国口音),一个说中文的人和一个说日语的人的音频样本”,每个句子都根据其中表达的情感进行标记。它还从这些剪辑中学习了语调、节奏和停顿。
同时,音调转换器模型在来自 20,000 多个不同扬声器的 300,000 多个音频样本上进行了训练。
在这两种情况下,人类语音的音频都被转换为音素 - 区分单词的特定声音 - 并由向量嵌入表示。
通过对 TTS 模型使用“基础扬声器”,然后将其与从用户提供的录制音频中获得的音调相结合,这两个模型可以一起再现用户的声音,并改变它们的“音调颜色”或所讲文本的情感表达。以下是 OpenVoice 团队论文中包含的图表,说明了这两种模型如何协同工作:
notion image
该团队指出,他们的方法在概念上非常简单,但效果很好,并且能够使用比其他方法少得多的计算资源克隆语音,包括 Meta 的竞争对手 AI 语音克隆模型 Voicebox。

谁是 OpenVoice 的幕后推手?

据 The Saas News 报道,MyShell 于 2023 年在加拿大阿尔伯塔省卡尔加里成立,由 INCE Capital 领投,Folius Ventures、Hashkey Capital、SevenX Ventures、TSVC 和 OP Crypto 追加投资,种子轮融资已超过 400,000 人。
这家初创公司将自己描述为“用于发现、创建和质押 AI 原生应用程序的去中心化和综合平台”。
除了提供OpenVoice之外,该公司的网络应用程序还包括许多不同的基于文本的AI角色和具有不同“个性”的机器人 - 类似于 Character.AI - 包括一些NSFW角色。它还包括一个动画GIF制作器和用户生成的基于文本的角色扮演游戏,其中一些具有受版权保护的财产,如哈利波特和漫威特许经营权。
如果 MyShell 将 OpenVoice 开源,它打算如何赚钱?该公司对其网络应用程序的用户以及希望在应用程序内推广其产品的第三方机器人创建者收取月度订阅费用。它还对 AI 训练数据收费。

友情链接


吃水不忘挖井人,本文来源于:https://mp.weixin.qq.com/s/n9nX4D1W1PUPMkDtSA065A

💡
欢迎您在底部评论区留言,一起交流~
上一篇
ROS软路由试玩发射多个wifi专用路由器一拖二十软路由换IP改ssid mac方法
下一篇
资源合集分享、资源共享库

评论
Loading...