Time-Frequency Implementation of HRTFs

In the context of binaural virtual reality, a sound source is positioned in a 3D space around the listener by filtering it using head-related transfer functions (HRTFs). In a real-time application, a large number of HRTFs needs to be processed. Due to their long impulse responses, this requires a high computational power, which for more than a few simultaneous sources, cannot be implemented directly on current processors. Technically speaking, an HRTF is a linear time-invariant (LTI) system. An LTI system can be implemented in the time domain by direct convolution or recursive filtering. This approach is computationally inefficient. A computationally efficient approach consists in implementing the system in the frequency domain; however, this approach is not suitable for real-time applications since a very large delay is introduced. A compromise solution of both approaches is given by a family of segmented-FFT methods, which permits a trade-off between latency and computational complexity. As an alternative, the subband method can be applied as a technique to represent linear systems in the time-frequency domain. The project applicant showed in a recent work, that the subband method offers an even better tradeoff between latency and computational complexity than segmented-FFT methods. The subband analysis is still mathematically challenging and its optimum configuration is dependant on the application under consideration. The project proposal involves developing and investigation of new techniques for configuring the subband method by using advanced optimization methods in a functional analysis context. As a result, an optimization technique will be obtained which minimizes the computational complexity of the subband method especially useful in real- time virtual acoustic applications. Two approaches will be considered: The first approach designs the time- frequency transform for minimizing the complexity of each HRTF. In the second approach, we will design a unique time-frequency transform, which will be used for a joint implementation of all HRTFs. This will permit an efficient implementation of interpolation techniques in the spatialization of moving sources in real-time. The results will be applied to several localization models and evaluated in subjective localization experiments.

Die akustische Filterung des Schalls durch die menschliche Morphologie lässt sich anhand von Übertragungsfunktionen, die im Englischen als head-related transfer functions (HRTFs) bezeichnet werden, beschreiben. Diese HRTFs sind essenziell für die Schallquellenlokalisation, speziell bei Wiedergabe räumlicher Schallquellen über Kopfhörer. Die Wiedergabe komplexer auditorischer Szenen erfordert hierbei hohe Rechenleistung. In dieser Studie haben wir untersucht, welche Möglichkeiten die Subbandverarbeitung bietet, um die Wiedergabe effizienter zu gestalten. In der Subbandverarbeitung wird das Audiosignal zunächst mit einer Filterbank analysiert, dann in der Zeit-Frequenz-Domäne durch eine Übertragungsmatrix gefiltert, und zuletzt durch eine Synthesefilterbank wieder in den Zeitbereich rücktransformiert. Wir haben insgesamt zwei Verfahren vorgeschlagen. Im ersten Verfahren wird die Wahl der Filterbank fixiert und die Komplexität der Übertragungsmatrix minimiert. Verglichen mit bisherigen Methoden liefert dabei unser Verfahren Rechenersparnisse in der Größenordnung einer Zehnerpotenz. Das zweite Verfahren optimiert zugleich die Filterbank und die Übertragungsmatrix. Da die zusätzlichen Rechenersparnisse gering waren, wurde die weitere Entwicklung des zweiten Verfahrens nicht weiter verfolgt.Subbandverarbeitung ist ein Spezialfall eines allgemeinen Konzeptes genanntverallgemeinertes Abtasttheorem. Angesichts der o.g. Resultate, erweiterten wir das Forschungsfeld auf andere Probleme aus diesem Bereich. Im Speziellen haben wir die räumliche Abtastung sowie die nicht reguläre zeitliche Abtastung untersucht. Im Folgenden werden Resultate aus diesen zwei Problemen zusammengefasst.Ein Sensornetzwerk besteht aus einer großen Zahl an Sensoren und Recheneinheiten, die über ein Netzwerk verbunden sind. Das gesamte Netzwerk kann als ein Mehrkanalabtastgerät betrachtet werden, wobei die einzelnen Kanäle verschiedenen räumlichen Positionen entsprechen. Die Herausforderung bestand nun darin, verteilte Algorithmen zu finden, die keine zentrale Koordinationseinheit erfordern. Drei Fälle wurden untersucht. Der erste Fall besteht in der Schätzung des unbekannten Paramtervektors basierend auf den verfügbaren räumlichen Abtastpunkten. Das zweite Problem beschäftigt sich mit dem Verfolgen der Entwicklung eines unbekannten zufälligen Vektors (typischerweise die Position eines Ziels). Das dritte Problem besteht in der Bestimmung der Knotenpunkte basierend auf der Messung der Distanz zwischen Knotenpunkten.Neue Kommunikationstechnologien erlauben einen Fernzugriff in vielen Applikationen. Wenn ein Signal über einen Kommunikationskanal übertragen wird, unterliegt die Übertragung einigen Einschränkungen (z.B.: Kanalausfall, Kanalüberlastung, usw.). Das empfangene Signal steht daher nicht immer zur Verfügung. Wir haben zwei Probleme untersucht, in welchen zwar die Verfügbarkeit zufällig aber mit einem bekannten statistischen Modell beschreibbar ist. Das erste Problem besteht in der Parameterschätzung eines Systemmodells basierend auf der Verfügbarkeit dessen Eingangs- und Ausgangssignals. Das zweite Problem schätzt die Entwicklung eines Zufallsvektors basierend auf der unterbrochenen Verfügbarkeit der Messung. Im Speziellen haben wir die notwendigen und hinreichenden Bedingungen ermittelt, um die Stabilität der Schätzung zu garantieren. Dadurch haben wir eine Frage lösen können, die ein ganzes Jahrzehnt offen blieb.