Еженедельник The Pudding опубликовал эссе с элементами инфографики, в котором тексты популярных исполнителей последних 50 лет ранжированы с точки зрения лексической и синтаксической сложности. Оказалось, что тексты популярных песен с годами становятся все проще.
Еще в 1977 году Дональд Кнут (Donald Knuth) опубликовал статью под названием «Сложность песен», критиковавшую современную на тот момент популярную музыку за упрощение.
Чтобы выяснить, действительно ли тексты популярной музыки со временем становятся менее сложными, канадский программист Колин Моррис (Colin Morris) проанализировал повторяемость лексем и синтаксических конструкций в 15 тысячах песен, которые попадали в список Billboard Hot 100 между 1958 и 2017 годами.
В начале Моррис оценивал сложность текстов с точки зрения объема использованного словаря, но выяснилось, что этот подход противоречит интуитивному пониманию сложности. Например, в отрывках одинаковой длины из песни Сиа (Sia) «Cheap Thrills» и оригинальной композиции, которую в экспериментальных целях написал сам Колин Моррис, используется по 23 оригинальных слова, но песня Сиа выглядит значительно проще из-за повторения синтаксических конструкций, которые не учитываются этим методом.
Чтобы автоматически подсчитать сложность с учетом повторяемости синтаксиса, программист решил применить алгоритм «сжатия без потерь»
который поддерживает .gif, .png и большинство архивных форматов (.zip, .gzip, .rar и другие).
Этот алгоритм работает, используя повторяющиеся последовательности. То, насколько эффективно Lempel-Ziv может сжимать текст, напрямую связано с количеством и длиной повторяющихся фрагментов в этом тексте, то есть чем чаще повторяются определенные короткие последовательности, тем больше сжимается текстовый файл. Таким образом, текст песни Daft Punk «Around The World» сокращается на 98 процентов.
Оказалось, что сложность текстов популярных композиций довольно сильно меняется от жанра к жанру. Так, у поп группы Backstreet Boys средний коэффициент сжатия — 60 процентов, а у кантри исполнителя Брэда Пейсли — 38. Другими словами, если бы мы попросили Backstreet Boys и Брэда Пейсли написать песню из 400 слов, то после сжатия песня Брэда Пейсли будет на 50 процентов больше, чем песня BSB.
Также Моррис выяснил, что с течением времени на первые места в чартах попадают все более простые тексты. В 1960 году 100 самых популярных песен сжимались в среднем на 46 процентов, а в 2014-м — уже на 68. За период с 1960 по 2015 год верхние места в чартах неизменно занимала десятка наиболее простых песен по сравнению с другими композициями тех же чартов.
И отдельный бонус для любителей поп-музыки и сложной инфографики: эссе Морриса позволяет увидеть, какую позицию на графике занимают песни отдельных исполнителей и групп. В частности, с помощью этих инструментов легко понять, кто из двух исполнителей — например, Эминем или Дрейк, — пишут более простые тексты.