跳转到主要内容
移动世界。
这位音乐家把科学数据转换成精心编排的旋律

如果你觉得盯着一排排的数字和图表看很无聊,这些音乐家同意你的看法。他们正在执行一项任务,通过声音来揭示新的科学信息。他们将扁平的数据集转换成乐谱——为科学创作配乐:

听听马克·巴罗拉(Mark Ballora)用长笛和电子学将奇点的声音化:


珍妮·埃文斯第一次见面马克Ballora在宾州州立大学的社交聚会上。两人都是这所大学的教授,但他们在不同的领域工作。埃文斯是气象学教授,而巴罗拉则学习音乐技术。当时,埃文斯并不知道音乐会如何影响她的研究。像大多数科学家一样,她用图表和统计数据分析数据。她从未听说过“声波化”。但巴罗拉的热情说服她尝试一下。

“我一生都是一个传统的科学家。我一直想找到一种方法,让我的科学在正式的科学环境之外具有相关性,这是一种摆脱自我的方式,”她说。“我的创造力来自于和(巴罗拉)一起工作。”

从气候变化趋势到松鼠的心跳,巴罗拉以科学家的精确和准确性编织出精致的旋律。

巴罗拉于2019年7月18日去世,留下了被称为“声波化”的数据音频表示遗产。“声波化”数据是一个新兴的领域,而巴罗拉是这个领域的先驱。从气候变化趋势到松鼠的心跳,巴罗拉以科学家的精确和准确性编织出精致的旋律。巴罗拉说,科学家在他的声波解释中“看到”他们在图表中看不到的新信息,这并不罕见。他称之为“声音之间的裂缝”。

对埃文斯来说,这一幸运的合作关系是人们期待已久的。

埃文斯研究偏离典型路线的飓风和热带气旋。当巴罗拉使她苏醒的时候数据她注意到气旋眼的结构在决定路径、降雨和风型方面起着重要作用。

巴罗拉创建了一个计算机代码,将音乐参数分配给数据点,比如风暴的经度。以声波的形式收听数据,他们就能听到飓风移动的速度和强度的增加。埃文斯将这种呼叫声描述为“电子音乐”和“非常酷的东西”。她第一次听到了风暴的形状与风力的关系,这是她的图表和图表所没有揭示的。

巴罗拉还在2005年的飓风季节有记录以来最活跃的大西洋季节

听一听马克·巴罗拉对2005年飓风季节的声音演绎:

“这让我大吃一惊。你可以同时了解所有风暴的演变,并听到它们彼此之间的关系。没有风暴的时候,嘈杂的嘈杂声变成了死寂,”埃文斯说。

当巴罗拉对她的数据进行声波化处理时,她注意到气旋眼的结构在确定路径、降雨和风型方面起着重要作用。

巴罗拉的工作还带来了其他发现。他的声波分析揭示了高能恒星爆炸时产生的电磁波,这是其他人在仅凭肉眼分析数据时所忽略的。尽管巴罗拉力求精确,但他的创造力并没有消失。他选择了闪烁的色调来代表太阳风——形成北极光的带电粒子。他用打旋的声音来描述热带风暴。巴罗拉甚至还与Grateful Dead乐队的前鼓手米奇·哈特(Mickey Hart)以及宇宙学家乔治·斯穆特(George Smoot)合作,为影片创造了旋转中子星的声音宇宙的节奏

马克·巴罗拉(Mark Ballora)与Grateful Dead乐队前鼓手米奇·哈特(Mickey Hart)和宇宙学家乔治·斯穆特(George Smoot)合作,为电影《宇宙的节奏》(Rhythms of the Universe)创造了中子星旋转的声音:

现在,他的同行们都在为他的去世感到悲痛。

心理学教授布鲁斯·沃克是佐治亚理工学院声波化实验室的负责人,他也在研究如何利用声音来呈现信息。他说,巴罗拉的多学科特质对他在该领域的领导地位至关重要。沃克是计算机和心理学方面的专家,他说声波化是“为那些不能看也看不见的人准备的”。

他的声波分析揭示了高能恒星爆炸时产生的电磁波,这是其他人在仅凭肉眼分析数据时所忽略的。

想象一下,一名消防员在烟雾弥漫的大楼里,或者一名潜水员在一片漆黑的海藻森林里:他们并不是瞎子,但在这种条件下,他们是看不见东西的。或者想象一下,一个司机专注于前方的道路,却不能回头看,或者一个外科医生专注于他们的病人,却不能看屏幕。沃克说,这些人“遇到了自己视野的局限”。声波技术可以填补这一空白。

对科学家来说,在巴罗拉的声波解释中“看到”他们在图表中看不到的新信息并不罕见。

据沃克说,人类有辨别声音模式的敏锐能力。以语言为例。它是一个复杂的、时变的信号,它将数据——我们思想的数据——用音调、节奏、音调和音量进行编码。然而,不知何故,我们可以破译信息并互相理解。

宾夕法尼亚州立大学音乐技术教授马克·巴罗拉(Mark Ballora)在他的实验室工作。巴罗拉的整个职业生涯都在用声波处理科学数据,帮助研究人员理解他们无法在图表中可视化的信息。帕特里克·曼塞尔拍摄。

宾夕法尼亚州立大学音乐技术教授马克·巴罗拉(Mark Ballora)在他的实验室工作。巴罗拉的整个职业生涯都在用声波处理科学数据,帮助研究人员理解他们无法在图表中可视化的信息。帕特里克·曼塞尔拍摄。

沃克发现证据表明,我们用声音比用视觉更好地识别模式。最近,沃克开发了一种超声波疗法来帮助医生诊断黑色素瘤。医生通过肉眼检查可疑的痣来确定它们是否有癌变,这个过程的准确率最多只有40%。因此,沃克尝试用声音来增加几率:医生给可疑的鼹鼠拍照,然后电脑程序分析鼹鼠,为颜色或纹理分配声音,比如音调和音调。然后产生代表摩尔的超声波。听着沃克对痣的超声波,医生们可以以90%的准确率诊断癌症。

听着沃克对可能癌变的痣的声波,医生们可以以90%的准确率诊断癌症。

沃克说:“当我们将复杂的数据转换成声音并倾听时,通常会出现一些我们可以通过声音理解的东西,尽管我们无法从视觉上理解它。”

事实上,科学家们已经这样做了很长时间。伽利略这位训练有素的音乐家首先通过听物体在琴弦上滚下木板来判断物体以匀速下落。在20世纪60年代,美国宇航局的科学家们发现一个太空探测器正在穿过土星环,当他们数据转换成声音沃克解释说,还听到了弓形震动,就像海浪一样。

2015年,科学家录下了声音引力波黑洞碰撞产生的引力波探测器,就像超灵敏的麦克风。

听一下2015年LIGO记录的两个黑洞碰撞的声音:

对于布莱顿大学(University of Brighton)媒体艺术技术教授、音乐家凯利·斯努克(Kelly Snook)来说,“声波化”让曼德尔布罗特集合等复杂的数学函数变得容易理解。

“听到声音的声音。曼德尔勃特集合让我懂得了数学。这有多强大?我们的感官确实在一起工作,”她说。“这就是我想做的——通过音乐让难以接近的东西变得触手可及。”

斯努克现在正在建造一个可以播放数据集的虚拟仪器。第一次是为了纪念约翰内斯·开普勒1619年出版的那本书400周年世界的和谐,描述了行星的运动。

想象一下,一名消防员在烟雾弥漫的大楼里,或者一名潜水员在一片漆黑的海藻森林里:他们并不是瞎子,但是,在这种条件下,他们看不见……声波技术可以填补这一空白。

斯努克认为,如果人们能同时看到和听到数据集,就能更好地理解科学。她的乐器,被称为肯考迪娅,可以在博物馆或通过iPhone应用程序访问,让每个人都可以使用声波识别。

布兰登·比格斯是一位自学成才的程序员,他让盲人更容易接触到软件内容。他说,像斯努克的协和女神(Concordia)这样的“动手学习”经验,对教育者来说并没有达到应有的水平。

“现在的很多教育都是完全视觉化的,他们忽略了音频和触摸。这是个问题,”他说。“我们忽略了三分之二的大脑。人们需要多感官学习。”

比格斯共同索尼娅·比格斯教育服务公司提供技术及支援,让失明学生更容易接受教育。但这并不总是他的目标。曾经就读声乐表演专业的他,原本想继续学习音乐技术。当时,这项技术还没有为比格斯这样的人做好准备,因为比格斯从出生起就失明了。现在,Biggs为策略游戏创造音频地图——想想没有电脑屏幕的《魔兽世界》(World of Warcraft)。作为一名游戏玩家,Biggs设计了声波来帮助玩家引导角色在游戏中前进。

“当我们将复杂的数据转换成声音并倾听时,通常会得到一些我们可以通过声音理解的东西,尽管我们无法从视觉上理解它。”

乔治亚理工学院超声波实验室的布鲁斯·沃克说

最近,比格斯从绘制虚拟风景到绘制真实风景。他在家乡加利福尼亚州帕洛阿尔托为这个游乐场制作了一个音频和触觉地图,目前正处于测试阶段。

他指出:“没有可以通过声音观看的地图。”“谷歌地图几乎是最接近声波化的地图。但我知道你有时会看GPS。”比格斯解释说,这种导航体验并不适合盲人,他们比视力正常的人更需要它来导航。

这一领域不仅对科学家或盲人有用:石溪大学(Stony Brook University)的音乐教授玛格丽特·施戴尔(Margaret Schedell)认为,音乐还可以帮助帕金森病患者更好地行走。

Schedel和Lisa Muratori,一位理疗教授合作,创建了一个项目使用声音来改善步态。他们要求帕金森病患者以声音的形式听他们走路的方式。他们选择了一个简单的声音——“蜂呜,蜂呜”——但只花了一周时间,他们就意识到整天听这个声音最多也就是单调乏味。相反,他们让病人听扭曲的流行音乐和有声读物,只有当他们走路的情况有所改善时,这些音乐和有声读物才会正确播放。Schedel发现即使在患者停止治疗后,他们的步态也有所改善。

谢德尔表示,当大数据开始普及时,数据声波化就开始了,科学家们“已经没有视觉上传达信息的渠道了。”而且,就像用脚敲音乐节拍一样,理解声波是可以学习的。

“我们忽略了三分之二的大脑。人们需要多感官学习。”

布兰登·比格斯

“我们并不是生来就能理解饼状图的,”谢德尔说。“科学家可以学习如何监听数据模式。”

但是谢德尔首先是一个受过古典训练的音乐家,对于他来说,科学的澄清不应该忽视美学的吸引力。

“我们已经失去了文艺复兴时期的音乐、艺术和科学观念,”谢德尔说。

一年一度的国际听觉展示会议(ICAD)上,音乐家和各种各样的科学家展开了合作。巴罗拉主持了2017conference曾写道:“图像可能会让我们眼花缭乱,但它们不会让我们的脚动起来……我们有多少方法可以利用声音的魔力呢?”

在2020年会议期间,马克·巴罗拉的缺席不会被忽视。

“他是ICAD社区的支柱之一,”斯努克说,“他是很多学生的导师。”

下一个

行纽约
帮助孩子划船
帮助孩子划船
看现在
行纽约
帮助孩子划船
在帮助纽约弱势儿童茁壮成长的项目中。
看现在

在纽约市的中心坐落着一个意想不到的景象:一个船屋;里面还有一群令人意想不到的赛艇手:来自这座城市各个脆弱社区的初中生和高中生。每年,在这个地方,成千上万的孩子们来到这里寻找自己的一些东西——力量、信心、纪律或社区——这些可以改变他们的生活。Row New York是最成功的课外活动之一。

跨越鸿沟
为什么汤米·诺曼警官在Instagram上有一百万粉丝?
为什么汤米·诺曼警官在Instagram上有一百万粉丝?
跨越鸿沟
为什么汤米·诺曼警官在Instagram上有一百万粉丝?
汤米·诺曼警官的工作最近引起了全国的关注,但他的警务方法并不是什么新鲜事。
通过迈克尔·奥谢

汤米·诺曼警官的工作最近引起了全国的关注,但他的警务方法并不是什么新鲜事。

跨越鸿沟
如何谈判不可谈判的问题
如何谈判不可谈判的问题
看现在
跨越鸿沟
如何谈判不可谈判的问题
与哈佛大学顶级谈判专家一起解决冲突的见解。
看现在

你是否曾发现自己陷入了一场非常令人沮丧的争论,以至于不可能找到解决办法?哈佛大学首席谈判专家丹尼尔·夏皮罗博士表示,问题不在于我们争论的是什么,而在于我们如何争论。夏皮罗博士是《谈判不可谈判》(Negotiating the non -谈判者)一书的作者,他的职业生涯致力于为人们提供一个解决情感冲突的框架。政治和…

建立社区
“贫民窟”生活不为人知的一面
隐藏的一面
看现在
建立社区
“贫民窟”生活不为人知的一面
巴西贫民窟的生活常常被描绘成世界上最荒凉的地方之一。面对……
看现在

巴西贫民窟的生活常常被描绘成世界上最荒凉的地方之一。面对艰难困苦,在Rocinha这个里约热内卢最大的贫民窟城市,许多居民正在奋起为自己和彼此建造更好的生活。不久以前,这座不可思议的城市不过是由木头棚屋组成的;今天,它是一个繁荣的社区,建在错综复杂的房屋之上……

处于
本周《思想》:造一个更便宜的核磁共振,调和上帝和人工智能,以及下一个……
本周的《想法》:造一个更便宜的核磁共振,调和上帝和人工智能,以及下一个爱因斯坦
处于
本周《思想》:造一个更便宜的核磁共振,调和上帝和人工智能,以及下一个……
重新思考MRI机器,基督教将如何处理先进的技术,这个7岁的孩子会是下一个爱因斯坦吗?
通过迈克·里格斯

重新思考MRI机器,基督教将如何处理先进的技术,这个7岁的孩子会是下一个爱因斯坦吗?

文化
本周创意:发布谷歌地球VR,中国全用CRISPR,古巴…
本周的创意:在发布谷歌地球VR时,中国将全力投入CRISPR——古巴的癌症疫苗
文化
本周创意:发布谷歌地球VR,中国全用CRISPR,古巴…
谷歌发布了一些美丽的VR,基因编辑技术CRISPR的人类试验,以及进口古巴的癌症……
通过迈克·里格斯

谷歌发布了一些美丽的VR,基因编辑技术CRISPR的人体试验,以及进口古巴的癌症疫苗。