Meta випустила нейросеть AudioCraft з відкритим вихідним кодом. З допомогою II можна створювати музику та звуки. Для роботи використовуються три моделі штучного інтелекту. MusicGen створює музику, AudioGen створює звуки, а EnCodec збирає артефакти з отриманої звукової доріжки. Коштом відкритого вихідного коду розробники можуть покращити нейросеть і навчати її далі. AudioCraft генерує музику не тільки на основі текстового запиту, але й може працювати з уже існуючою музикою, а також ґрунтуватися на записах з мікрофона.
Проста схема роботи:
Просунута схема роботи AudioCraft:
Приклади згенерованої музики:
Текстова підказка: поп-танцювальний трек із запам’ятовуючими мелодіями, тропічними перкусіями та бадьорими ритмами, ідеально підходить для пляжу.
Текстова підказка: землисті тони, екологічно свідомі, укулеле, гармонійні, свіжі, легкі, органічні інструменти, ніжні груви.
Прослухати інші готові записи можна на сайті AudioCraft. Вихідний код проекту доступний на GitHub.
