Генератор партитуры

Продолжение. Начало см. в предыдущем номере "КТ" #31 (456)

Через клавиатуру и управляющую поверхность происходит ввод идей о том, что хотел бы получить музыкант от инструмента. Например, музыкант одновременно нажал до-ми-соль первой октавы. Это вовсе не означает, что источник звука исполнит именно эти ноты и обязательно одновременно. Ведь талантливый инструмент может:

• сыграть широкий аккорд (расположив указанные три ноты в разных октавах);

• развернуть многооктавное арпеджио на эти ноты;

• сделать «подъезд» к нотам аккорда,

• проигнорировать ноту ми (если, например, она не подходит под текущую установленную гармонию или не соответствует указанному музыкантом ладу);

• сыграть каждую ноту отдельным тембром-«инструментом»;

• перенести для обеспечения естественности звучания слишком низко или слишком высоко звучащую ноту на октаву выше или ниже;

• сопроводить звучание аккорда ударом в литавры;

• и т.д. и т.п.

Инструмент принимает в расчет высказанную на клавиатуре «идею», но в итоге все равно звучит вычисленная инструментом виртуальная партитура (score, виртуальная «нотная» запись партий отдельных музыкальных инструментов). Впрочем, дальше мы будем опускать слово «виртуальная», ибо бумажные партитуры стремительно сходят на нет.

Создание партитур - прерогатива аранжировщика. В реальной жизни именно аранжировщик получает от композитора записанные на ресторанной салфетке идеи (включая мелодию и наметки гармонии), а выдает для сессионных музыкантов партитуру, содержащую точные указания кому, что, на чем и когда играть. Поэтому большинство профессиональных самоиграек содержат в своем названии упоминание присутствующего в них виртуального или даже просто автоаранжировщика.

Для создания виртуальной партитуры автоаранжировщик использует следующие генераторы партитуры:

• мелодия и ее слои;
• гармония;
• стили;
• пэды;
• карма-эффекты;
• мелодисты;
• солисты;
• аниматоры.

Итоговая партитура подвергается музыкальному рендерингу (попросту говоря - творчески исполняется), и только потом в дело вступают источники звука.

Cлоеная мелодия

Для проведения мелодии музыкантом обычно выделяется несколько клавиатурных сплитов:

• до трех для голосов правой руки;

• голосов левой руки (обычно - общий со сплитом для автоаккомпанемента).

Сплиты правой руки интересны лишь тем, что они могут перекрываться: одним нажатием на клавишу правой рукой можно извлечь до трех звуков (можно говорить о наложении до трех звуков). Это дает возможность исполнителю применять самые экзотические оркестровые краски - каждое нажатие на клавишу эквивалентно вступлению в игру трех обычных музыкантов с тремя обычными инструментами. Понятно, что и сами эти «обычные инструменты» могут быть тоже сложносоставными. Так, в Yamaha PSR 9000 в одном сэмплированном звуке могут накладываться 8 звуковых слоев, а на одну клавишу могут назначаться до трех звуков (партий) - это дает возможность извлечь легким движением целых 24 звуковых слоя. Особенно интересна такая возможность на длинных нотах, которые существенно меняют свой тембр и характер во время звучания - попробуйте, например, наложение партий для звуков с характерной ударной атакой (клавесин, рояль, гитара) с медленными струнными. Звуки от тройного восьмикратного наложения получаются интересными, жирными, живыми, фактурными.

Для каждой нажатой клавиши обычно есть способы добавить выразительности к звуку:

• функция посленажатия (aftertouch, например, чуть добавляет громкости к звучанию саксофона или вибрато к скрипке);

• колесо или джойстик модуляции (чаще всего - добавляет вибрато, а иногда задает и параметры фильтров);

• колесо или джойстик изменения тона (pitchbеnd, делает «подтяжки», характерные для струнных и духовых инструментов);

• всяческие «ленты», «бимы», ручки, кнопки и прочие варианты контроллеров на панели управления;

• ножная педаль в различных вариантах.

Но все вышеописанное просто и есть даже в серьезных инструментах - они как раз и предназначены для игры соло. Ухищрения начинаются, когда идет управление оркестром.

Левая рука обычно одновременно используется для нескольких целей:

• задание аккорда для автоаккомпанемента;

• игра аккордов «живого» аккомпанемента;

• игра партии баса.

Тут нет никаких трюков. Аккорд автоаккомпанемента распознается в момент первого нажатия на клавиши аккорда, а затем автоаккомпанемент звучит в заданной гармонии до момента изменения аккорда. Но нажатые клавиши также относятся и к партии левой руки - и при каждом (а не только первом) нажатии на клавиши будет звучать атака «живого» звука. Если для партии левой руки был выбран рояль - на фоне автоаккомпанемента будет слышен играемый «вживую» ритм рояльных аккордов.

Немного по-другому используется левая рука для проведения басовых партий с одновременным автоаккомпанементом: нажатие одной-двух клавиш приведет к звучанию партии левой руки, а нажатие трех и более клавиш автоаранжировщик использует как указание об очередном аккорде. Такой «профессиональный» режим требует некоторой сноровки при игре, но и результаты получаются удивительными. Мы же хотим максимум исполняемой «вживую» музыки, не так ли?

Гармонист (melody intelligence)

В нашем специфическом предмете под гармонией обычно понимается воспроизведение инструментом сразу нескольких звуков, гармонически связанных со звуком от нажатой клавиши. Обычно инструмент умеет играть пару десятков хорошо распознаваемых на слух гармоний (начиная от кантри-дуэта, далее через сложные варианты джазовых гармоний, а кончая, например, такими «призвуками» к основному звуку, как лесная кукушка плюс чириканье ассортимента птичек - причем в гармонии с выбранным основным звуком). Аккорд берется гармонистом из секции автоаккомпанемента. Тем самым мелодическая партия «одним пальцем» со включенной гармонией будет играться «правильными» аккордами. Это и есть melody intelligence: интеллект инструмента не даст ошибок в звуке, даже если нажимать неправильные клавиши.

Понятно, что разные ноты гармонии можно играть разными звуками, создавая эффект от проведения мелодии целым ансамблем - в то время, как еще один ансамбль играет аккомпанемент.

Аранжировщик и фразовые пэды

Ключевым понятием автоаккомпанемента является стиль. Собственно, стиль - это набор образчиков (паттернов) аккомпанемента, который можно ожидать от ансамбля музыкантов, играющих музыку соответствующих стилей. Так, для страстного латиноамериканского бегина ансамбль будет состоять из калимбы, мандолины, вполне тропических барабанов и контрабаса. А вот для хип-хопа все звуки аккомпанирующего ансамбля будут вполне себе синтетические, и даже скрипки грязными. Джазовые стили зачастую включают партии вокальных «да-бу-ду-ба» и даже «музыкальные» вопли (например, Roland VA гордо демонстрирует во вступлении к предустановленному фабричному первому стилю «по умолчанию» отчаянный женский взвизг).

Текущий аккорд для стиля обычно берется из анализа нажатых клавиш. Предлагается обычно 5-6 разных алгоритмов распознавания аккордов.

В стиле выделяют фрагменты вступления и окончания, варианты (4 и больше), переходы (fills) и паузы (breaks). Каждый тип самоиграйки предлагает свой набор возможностей.

Очень хороши в работе со стилями, например, инструменты серии Roland VA (virtual arranger). Они могут делать даже морфинг стилей. Для этого партии аккомпанемента разбиваются на три секции: а) партия ударных б) партия баса в) все остальные партии. Далее предлагается выбирать эти секции из двух любых стилей. Так, предварительно выбрав для стиля-1 босса-нову, а для стиля-2 медленный фокстрот, можно создавать прямо по ходу игры мешанину из ударных-1, баса-1, всего остального-2 и т.д., получая не только чистые стиль-1 и стиль-2, но и 6 их смешанных вариантов. Понятно, что для этих стилевых метисов и мулатов действуют все остальные интерактивные функции (выбор варианта, перехода, паузы и т.д.). На слух это воспринимается как резкое увеличение вариантов первоначально выбранного стиля. Очень удобно, когда к каждому стилю-1 уже подобран правильный стиль-2, как это сделано с пресетными стилями инструментов Roland VA.

Фразовые пэды - это кнопки, по которым вызывается музыкальная фраза (иногда редуцированная до одного звука), согласованная по гармонии и темпу с автоаккомпанементом. Эти фразы весьма разнообразят аккомпанемент (джазисты могут думать о риффах). Кнопок для вызова этих фраз всего 4 или 8, а сами фразы назначаются на эти кнопки динамически - их выбор зависит от стиля. Так, фанфары вряд ли пригодятся в хип-хопе, а самбовые свистки вряд ли будут уместны в медленном вальсе.

Каждый производитель делает пару-тройку сотен стилей и около сотни пэд-фраз «на все случаи жизни». Можно смело считать, что все необходимые стили уже есть (хотя для танцевальной музыки лучше сразу обращаться к грувбоксам, а не стилевому аккомпанементу). Впрочем, музыки всегда не хватает, поэтому можно:

• купить стили для вашего инструмента у специализированных компаний (типа www.stylediskwarehouse.com);

• поискать в интернете и непременно найти бесплатные любительские варианты (впрочем, качество этих стилей вряд ли вас устроит);

• воспользоваться утилитами, преобразующими стили разных производителей (включая стили для музыкальных компиляторов Band-in-a-Box и Jammer) в стили вашей самоиграйки;

• воспользоваться встроенным редактором стилей, который есть у почти любой самоиграйки - вживую наиграть партии каждого инструмента аккомпанирующего ансамбля, а затем поправить случайные фальшивые ноты в пошаговом режиме;

• при наличии компьютера написать необходимые фрагменты стиля в секвенсоре (Sonar, Cubase и т.д.) и затем отконвертировать в формат нужной самоиграйки какой-нибудь шароварной утилитой;

• использовать понравившийся MIDI-файл, чтобы извлечь из него фрагменты для создания стиля (особенно удобна эта функция у Roland);

• в десятый раз просмотреть страницу стилевого софта www.synthzone.com/midiaccomp.htm и умерить свои желания. Увы, программистам лень заниматься стилевой механикой: стандартов в этой области нет, поэтому нет и разнообразия.

Конечно, каждый «инструмент» в аккомпанирующем «ансамбле» звучит со своими блоками DSP-эффектов (хорус, задержка, ревербератор и т.д.) и своим характерным тембром. В этом инструменты Roland VA сразу проигрывают моделям Yamaha PSR 9000, у которых сама стилевая машинка примитивнее, но зато пресеты звучат намного лучше.

Поэтому не ожидайте, что все описанные манипуляции по созданию «своих» стилей без учета доступных эффектов сразу приведут к фирменному звучанию, сравнимому со звучанием стилей, входящих в комплект поставки самоиграйки.

И все-таки стилевые паттерны с вариациями - это только цветочки. Ягодками будет вычисление стилей - наподобие функции KARMA. Конечно, такое вычисление может быть чрезвычайно сложно и будет уже не столько стилевым аккомпанементом, сколько игрой ансамбля культурных музыкальных инструментов, придерживающихся какой-то музыкальной традиции, да к тому же взаимодействующих с (солирующим?) человеком-музыкантом. Но об этом - отдельно.

Мелодисты и солисты

К заданной аккордовой последовательности талантливый инструмент может сочинить (вычислить) не только аккомпанемент, но и мелодию. Сочинять мелодии умеют уже многие программы, в том числе такой «ширпотреб», как Band-in-a-Box. В большинстве своем это музыкальные компиляторы, которые рассчитывают вполне убедительную мелодическую партию. Пока непонятно, как реализовать подобную функцию в реальном времени, ибо мелодист не сможет использовать знание того, какой аккорд в песне будет следующим, и сколько он продлится. Но рано или поздно, такая функция придет и в самоиграйки.

В простейшем случае мелодию не нужно даже сочинять - возможна предварительная загрузка мелодии: инструменту, как и живому коллеге по музыкальному ансамблю, наверняка пригодится знание мелодии до ее исполнения. Разве что инструменту исполнение этой мелодии не нужно репетировать.

Правда, тут есть большой подвох. Нет, я не имею ввиду хранение значимого числа мелодий прямо в инструменте - память становится дешевле грибов. Я даже не имею ввиду обновление мелодической базы данных - интернет давно сделал любое обновление информации практически незаметным пользователю, а подключить инструмент к интернету можно, например, через встроенные в инструмент средства 802.11x.

Настоящая проблема по созданию культурной самоиграйки (то есть самоиграйки, хорошо знакомой с современной музыкальной культурой) - копирайты, которые в данном случае дискриминируют культуру инструмента и человека. Человеку (например, музыканту на свадьбе) можно хранить в голове тысячи мелодий (но еще не факт, что воспроизводить их!), а вот компьютеру запрещается не только воспроизводить, но даже хранить - если не купить лицензию на каждую мелодию.

Так, Yamaha начала массовую продажу оцифрованной музыки (www.yamahamusicsoft.com). Одно «но»: каждая песенка (в основном в формате XG и часто со словами для караоке) стоит $4,5. Оптом (несколько песен на диске) будет чуть дешевле. Хотя выбор не так уж и мал - около 4000 мелодий, кстати, «подписанных» MIDI-водяными знаками. С другой стороны, запас в 4000 мелодий крайне невелик, песен в мире много больше.

Итак, для работы мелодиста неплохо бы иметь большую музыкальную базу данных с развитыми средствами поиска (фундаментальные поблемы поиска нужной песенки в мировых музыкальных закромах обсуждаются здесь: ismir2002.ircam.fr/papers.html). Осталось напеть в микрофон (интерфейс query-by-humming) или наиграть мелодию на клавиатуре - и вот культурный музыкальный инструмент «вспомнил» ее из мировых музыкальных закромов и настроился на ее правильное исполнение с соблюдением всех жанровых особенностей.

А пока все инновации в этом направлении сдерживаются жестким копирайтным законодательством. К счастью, с развитием peer-to-peer технологий могущество полицейского подхода в этой области становится меньше. Неминуемо должно поменяться законодательство, а с его изменением - музыкальная экономика. Музыкальные консервы станут пользоваться меньшей популярностью, а ценно будет только человеческое время: платить будут только за живую музыку, а не за доступ к «фанере». И тогда люди вспомнят, что «Компьютерра» когда-то писала о культурных, интеллектуальных и талантливых самоиграйках - и возьмут читаемый вами сейчас текст как сборник идей для бизнес-планов.

Все, что относится к мелодистам, можно отнести и к солистам - для каждого стиля солисты могут исполнить характерное для этих стилей соло, причем копируя манеру игры признанных мастеров-импровизаторов. Понятно, что соло-импровизация отличается от проведения мелодии, поэтому алгоритмы у солистов и мелодистов разные.

Скептики могут послушать джазовые соло, синтезированные солистами из программы Band-in-a-Box. Осталось дождаться, когда такая функция придет в самоиграйки.