如果你觉得盯着一排排的数字和图表看很无聊,这些音乐家同意你的看法。他们正在执行一项任务,通过声音来揭示新的科学信息。他们将扁平的数据集转换成乐谱——为科学创作配乐:
听听马克·巴罗拉(Mark Ballora)用长笛和电子学将奇点的声音化:
珍妮·埃文斯第一次见面马克Ballora在宾州州立大学的社交聚会上。两人都是这所大学的教授,但他们在不同的领域工作。埃文斯是气象学教授,而巴罗拉则学习音乐技术。当时,埃文斯并不知道音乐会如何影响她的研究。像大多数科学家一样,她用图表和统计数据分析数据。她从未听说过“声波化”。但巴罗拉的热情说服她尝试一下。
请订阅我们的频道了解更多类似的故事。
“我一生都是一个传统的科学家。我一直想找到一种方法,让我的科学在正式的科学环境之外具有相关性,这是一种摆脱自我的方式,”她说。“我的创造力来自于和(巴罗拉)一起工作。”
从气候变化趋势到松鼠的心跳,巴罗拉以科学家的精确和准确性编织出精致的旋律。
巴罗拉于2019年7月18日去世,留下了被称为“声波化”的数据音频表示遗产。“声波化”数据是一个新兴的领域,而巴罗拉是这个领域的先驱。从气候变化趋势到松鼠的心跳,巴罗拉以科学家的精确和准确性编织出精致的旋律。巴罗拉说,科学家在他的声波解释中“看到”他们在图表中看不到的新信息,这并不罕见。他称之为“声音之间的裂缝”。
对埃文斯来说,这一幸运的合作关系是人们期待已久的。
埃文斯研究偏离典型路线的飓风和热带气旋。当巴罗拉使她苏醒的时候数据她注意到气旋眼的结构在决定路径、降雨和风型方面起着重要作用。
巴罗拉创建了一个计算机代码,将音乐参数分配给数据点,比如风暴的经度。以声波的形式收听数据,他们就能听到飓风移动的速度和强度的增加。埃文斯将这种呼叫声描述为“电子音乐”和“非常酷的东西”。她第一次听到了风暴的形状与风力的关系,这是她的图表和图表所没有揭示的。
巴罗拉还在2005年的飓风季节有记录以来最活跃的大西洋季节。
听一听马克·巴罗拉对2005年飓风季节的声音演绎:
“这让我大吃一惊。你可以同时了解所有风暴的演变,并听到它们彼此之间的关系。没有风暴的时候,嘈杂的嘈杂声变成了死寂,”埃文斯说。
当巴罗拉对她的数据进行声波化处理时,她注意到气旋眼的结构在确定路径、降雨和风型方面起着重要作用。
巴罗拉的工作还带来了其他发现。他的声波分析揭示了高能恒星爆炸时产生的电磁波,这是其他人在仅凭肉眼分析数据时所忽略的。尽管巴罗拉力求精确,但他的创造力并没有消失。他选择了闪烁的色调来代表太阳风——形成北极光的带电粒子。他用打旋的声音来描述热带风暴。巴罗拉甚至还与Grateful Dead乐队的前鼓手米奇·哈特(Mickey Hart)以及宇宙学家乔治·斯穆特(George Smoot)合作,为影片创造了旋转中子星的声音宇宙的节奏。
马克·巴罗拉(Mark Ballora)与Grateful Dead乐队前鼓手米奇·哈特(Mickey Hart)和宇宙学家乔治·斯穆特(George Smoot)合作,为电影《宇宙的节奏》(Rhythms of the Universe)创造了中子星旋转的声音:
现在,他的同行们都在为他的去世感到悲痛。
心理学教授布鲁斯·沃克是佐治亚理工学院声波化实验室的负责人,他也在研究如何利用声音来呈现信息。他说,巴罗拉的多学科特质对他在该领域的领导地位至关重要。沃克是计算机和心理学方面的专家,他说声波化是“为那些不能看也看不见的人准备的”。
他的声波分析揭示了高能恒星爆炸时产生的电磁波,这是其他人在仅凭肉眼分析数据时所忽略的。
想象一下,一名消防员在烟雾弥漫的大楼里,或者一名潜水员在一片漆黑的海藻森林里:他们并不是瞎子,但在这种条件下,他们是看不见东西的。或者想象一下,一个司机专注于前方的道路,却不能回头看,或者一个外科医生专注于他们的病人,却不能看屏幕。沃克说,这些人“遇到了自己视野的局限”。声波技术可以填补这一空白。
对科学家来说,在巴罗拉的声波解释中“看到”他们在图表中看不到的新信息并不罕见。
据沃克说,人类有辨别声音模式的敏锐能力。以语言为例。它是一个复杂的、时变的信号,它将数据——我们思想的数据——用音调、节奏、音调和音量进行编码。然而,不知何故,我们可以破译信息并互相理解。

宾夕法尼亚州立大学音乐技术教授马克·巴罗拉(Mark Ballora)在他的实验室工作。巴罗拉的整个职业生涯都在用声波处理科学数据,帮助研究人员理解他们无法在图表中可视化的信息。帕特里克·曼塞尔拍摄。
沃克发现证据表明,我们用声音比用视觉更好地识别模式。最近,沃克开发了一种超声波疗法来帮助医生诊断黑色素瘤。医生通过肉眼检查可疑的痣来确定它们是否有癌变,这个过程的准确率最多只有40%。因此,沃克尝试用声音来增加几率:医生给可疑的鼹鼠拍照,然后电脑程序分析鼹鼠,为颜色或纹理分配声音,比如音调和音调。然后产生代表摩尔的超声波。听着沃克对痣的超声波,医生们可以以90%的准确率诊断癌症。
听着沃克对可能癌变的痣的声波,医生们可以以90%的准确率诊断癌症。
沃克说:“当我们将复杂的数据转换成声音并倾听时,通常会出现一些我们可以通过声音理解的东西,尽管我们无法从视觉上理解它。”
事实上,科学家们已经这样做了很长时间。伽利略这位训练有素的音乐家首先通过听物体在琴弦上滚下木板来判断物体以匀速下落。在20世纪60年代,美国宇航局的科学家们发现一个太空探测器正在穿过土星环,当他们数据转换成声音沃克解释说,还听到了弓形震动,就像海浪一样。
2015年,科学家录下了声音引力波黑洞碰撞产生的引力波探测器,就像超灵敏的麦克风。
听一下2015年LIGO记录的两个黑洞碰撞的声音:
对于布莱顿大学(University of Brighton)媒体艺术技术教授、音乐家凯利·斯努克(Kelly Snook)来说,“声波化”让曼德尔布罗特集合等复杂的数学函数变得容易理解。
“听到声音的声音。曼德尔勃特集合让我懂得了数学。这有多强大?我们的感官确实在一起工作,”她说。“这就是我想做的——通过音乐让难以接近的东西变得触手可及。”
斯努克现在正在建造一个可以播放数据集的虚拟仪器。第一次是为了纪念约翰内斯·开普勒1619年出版的那本书400周年世界的和谐,描述了行星的运动。
想象一下,一名消防员在烟雾弥漫的大楼里,或者一名潜水员在一片漆黑的海藻森林里:他们并不是瞎子,但是,在这种条件下,他们看不见……声波技术可以填补这一空白。
斯努克认为,如果人们能同时看到和听到数据集,就能更好地理解科学。她的乐器,被称为肯考迪娅,可以在博物馆或通过iPhone应用程序访问,让每个人都可以使用声波识别。
布兰登·比格斯是一位自学成才的程序员,他让盲人更容易接触到软件内容。他说,像斯努克的协和女神(Concordia)这样的“动手学习”经验,对教育者来说并没有达到应有的水平。
“现在的很多教育都是完全视觉化的,他们忽略了音频和触摸。这是个问题,”他说。“我们忽略了三分之二的大脑。人们需要多感官学习。”
比格斯共同索尼娅·比格斯教育服务公司提供技术及支援,让失明学生更容易接受教育。但这并不总是他的目标。曾经就读声乐表演专业的他,原本想继续学习音乐技术。当时,这项技术还没有为比格斯这样的人做好准备,因为比格斯从出生起就失明了。现在,Biggs为策略游戏创造音频地图——想想没有电脑屏幕的《魔兽世界》(World of Warcraft)。作为一名游戏玩家,Biggs设计了声波来帮助玩家引导角色在游戏中前进。
乔治亚理工学院超声波实验室的布鲁斯·沃克说“当我们将复杂的数据转换成声音并倾听时,通常会得到一些我们可以通过声音理解的东西,尽管我们无法从视觉上理解它。”
最近,比格斯从绘制虚拟风景到绘制真实风景。他在家乡加利福尼亚州帕洛阿尔托为这个游乐场制作了一个音频和触觉地图,目前正处于测试阶段。
他指出:“没有可以通过声音观看的地图。”“谷歌地图几乎是最接近声波化的地图。但我知道你有时会看GPS。”比格斯解释说,这种导航体验并不适合盲人,他们比视力正常的人更需要它来导航。
这一领域不仅对科学家或盲人有用:石溪大学(Stony Brook University)的音乐教授玛格丽特·施戴尔(Margaret Schedell)认为,音乐还可以帮助帕金森病患者更好地行走。
Schedel和Lisa Muratori,一位理疗教授合作,创建了一个项目使用声音来改善步态。他们要求帕金森病患者以声音的形式听他们走路的方式。他们选择了一个简单的声音——“蜂呜,蜂呜”——但只花了一周时间,他们就意识到整天听这个声音最多也就是单调乏味。相反,他们让病人听扭曲的流行音乐和有声读物,只有当他们走路的情况有所改善时,这些音乐和有声读物才会正确播放。Schedel发现即使在患者停止治疗后,他们的步态也有所改善。
谢德尔表示,当大数据开始普及时,数据声波化就开始了,科学家们“已经没有视觉上传达信息的渠道了。”而且,就像用脚敲音乐节拍一样,理解声波是可以学习的。
布兰登·比格斯“我们忽略了三分之二的大脑。人们需要多感官学习。”
“我们并不是生来就能理解饼状图的,”谢德尔说。“科学家可以学习如何监听数据模式。”
但是谢德尔首先是一个受过古典训练的音乐家,对于他来说,科学的澄清不应该忽视美学的吸引力。
“我们已经失去了文艺复兴时期的音乐、艺术和科学观念,”谢德尔说。
一年一度的国际听觉展示会议(ICAD)上,音乐家和各种各样的科学家展开了合作。巴罗拉主持了2017conference曾写道:“图像可能会让我们眼花缭乱,但它们不会让我们的脚动起来……我们有多少方法可以利用声音的魔力呢?”
在2020年会议期间,马克·巴罗拉的缺席不会被忽视。
“他是ICAD社区的支柱之一,”斯努克说,“他是很多学生的导师。”