Informatica Applicata al Suono (modulo 1)
(Methods and technologies to Design Embedded Digital Audio Systems)
Corso di Laurea in Informatica Musicale


Il corso di Informatica Applicata al Suono (Digital Audio) fornisce le conoscenze teoriche e applicative delle metodologie di elaborazione numerica del segnale (Digital Signal Processing) relative all'informazione di segnale audio.


Home    Programma    Prerequisiti    Materiale    Metodi Didattici    Avvisi   Esami    Lezioni   Tesi/Stages  Contatti
     Prof. Mario Malcangi
malcangi@di.unimi.it


In evidenza


Eventi:     DSP Application Day 2013 e-conference & webinars  -  DSP Application Day 2013 proceedings (preview)
 
Tesi:                  Sviluppo di strumenti di analisi audio broadcasting per TV - Maurizio Paganessi
                                        Adattamento del sistema Metapiano allo standard MusicXML - Bruni Stefano


Avvisi:

(Nessun avviso)


Programma                                                         Top

Il programma del corso consiste di una parte teorica e di una parte pratica-applicativa. La parte teorica richiama i fondamenti elettronica, di acustica, di psicoacustica e di matematica e di architetture computazionali necessari alla comprensione dei metodi di elaborazione numerica del segnale applicati all’informazione audio. Sono quindi trattati i principali algoritmi di elaborazione numerica del segnale audio (suono e voce). L’implementazione di tali algoritmi viene esemplificata in ambiente di modellazione e programmazione Matlab. Vengono presentati metodi e tecnologie innovative per la progettazione di sistemi embedded digital-audio destinati ad contesti applicativi emergenti come i sistemi indossabili (wearables) e Internet of Things (IoT).

Teoria

0. Fondamenti d'elettronica
0.1 Analogica
        Elettronica analogica ed elettronica digitale, grandezze elettriche, componenti elettronici (resistenze, condensatori e induttori), circuiti elettronici, leggi fondamentali dell'elettronica,  diodo, transistor, strumenti di misura, LED e circuito driver di un LED, resistori variabili, l'amplificazione elettronica, l'amplificatore operazionale, i circuiti in radiofrequenza, sensori (microfoni) e attuatori (altoparlanti), nanotecnologie microelettromeccaniche e nanoelettromeccaniche (MEMS, NEMS), tecnologia dell'elettronica indossabile (wearables).

0.2. Digitale
        Logica booleana e codici binari, circuiti digitali, porte logiche (AND, OR, NOT), memoria digitale (flip-flop, registri), tipi di memoria (RAM, ROM, EPROM, EEPROM, Flash, RAM Dinamica,MRAM,NanoRAM), Circuiti digitali aritmetici (Adder, Multiplier,  Subtracter), circuiti di comunicazione (registri a scorrimento, parallelo-seriale), tecniche e standard di comunicazione seriale (UART, RS232, SPI, I2C, USB).

0.3 A segnali misti (mixed-signal)

    Convertitori Analogico-digitale (ADC) e convertitori Digitale-Analogico (DAC).

0.3 Codifica dell'informazione
        Codifica binaria base 2, codifica binaria di numeri interi, codifica binaria di numeri interi  relativi (complemento a 2, valore assoluto e segno),  codifica binaria di numeri reali (fixed-point, floating-point), codifica binaria di informazioni simboliche (BCD, ASCII)

0.4. Tecniche di modulazione

Modulazione di Ampiezza (AM), Modulazione di Frequnza (FM), modulazione a codice di impulsi (PCM), modulazione a larghezza di impulso (PWM), modulazione a densitą di impulso (PDM).

1. Fondamenti d’acustica e psicoacustica
    Natura del suono, parametri fisici del suono, effetti della propagazione, decibel, misure acustiche, potenza e intensitą, tono puro, toni complessi, strumenti di misura, parametri del suono nel tempo e in frequenza, struttura frequenziale, limiti della percezione acustica, sistema uditivo, altezza, banda critica, intensitą, timbro, durata, perdita uditiva.
2. Matematica dell’informazione di segnale
    Algebra, funzioni, numeri, grafici, esponenziali, logaritmi, somme e serie, trigonometria, formule matematiche utili per la rappresentazione del suono.
3. Digitalizzazione del suono
    Natura e trasformazione dei suoni, trasduzione, campionamento, aliasing, quantizzazione lineare e non lineare.
4. Analisi del suono
    Componenti frequenzialali, struttura frequenziale del suono, spettro, periodicitą, modello frequenziale, finestratura, controllo della risoluzione frequenziale, analisi a tempo breve, sonogramma, analisi frequenziale di Fourier, DFT, FFT, altre tecniche di analisi.
5. Modifica del suono
   Natura filtrante dei sistemi audio, filtraggio analogico, filtraggio digitale, caratteristiche dei filtri, tipologie, filtri digitali, modello matematico, comportamento dei sistemi lineari, uso della convoluzione, uso della deconvoluzione, risposta in frequenza, risposta all’impulso, restauro del suono, FIR, IIR.
6. Sintesi del suono
    Modellazione, sintesi additiva, sintesi sottrattiva, sintesi FM, table look-up, filtri risonanti.
7. Analisi e sintesi della voce
    Sistema fonatorio, digitalizzazione della voce, preenfasi, analisi di Fourier con finestre sovrapposte, estrazione del pitch e delle formanti, autocorrelazione, codifica predittiva lineare, cepstrum, sintesi, riconoscimento,
8. Compressione del suono
    Pulse Code Modulation lineare e non lineare, Delta Modulation, Codifica Sub-Band, Vocoder, compressione della dinamica, MPEG audio.
9. Spazializzazione del suono
    Echi e riverberi, risposta all’impulso, riverberatori all-pass, effetto coro, simulazione di sorgenti sonore in movimento, tecniche di localizzaione del suono nello spazio, beamforming

10. Trasmissione del suono.

Tramissione wired, trasmissione wireless ( BLE (Bluettooth Low Energy) PurePath Wireless Audio)

11. Paradigmi computazionali non convenzionali (Null-A):

    Logica fuzzy (FL), reti neurali arificiali (ANN), reti fuzzy-neuro (FuNN)

12. Architetture dei processori DSP audio

    Archittetture di computing (Programmazione sequenziale:Von Neumann, Programmazione sequenziale con parallelismo esecutivo differito (pipeline): Harrvard,  Programmazione  parallela con parallelismo esecutivo pieno (FPGA), Progrmmazione sequenziale con set ridotto di istruzioni (RISC))  Architettura Harvard, fixed vs floating-point, aritmetica di saturazione, codifica di FIR, codifica di IIR

    Architettura RISC ARM cortex M4, M7

    Covertitori Analogico Digitali (A/D) e digitali Analogici D/A (Tecnologie microelettroniche avanzate: Sigma-Delta)

Pratica:  la pratica č  basata  sull'utilizzo di ambienti di modellazione e simulazione e piattaforme di prototipazione rapida dell'hardware.

1. Introduzione all’ambiente di modellazione, programmazione e simulazione  MATLAB/SIMULINK

2. Variabili scalari e variabili vettoriali

3. Files audio e trattamento dei dati audio

4. Visualizzazione dei suoni nel tempo e in frequenza

5. Sintesi del suono - Generatori

6. Analisi del suono – Analisi frequenziale

7. Modifica del suono –Filtraggio

8. Compressione del suono – Senza perdita e con perdita di informazione

9. Spazializzazione del suono – Eco e riverbero

 10. Introduzione alla piattaforma di sviluppo STMicroelectronics Discovery IoT Node

11.  Introduzione alla piattaforma di sviluppo STMicroelectronic BlueCoin/SensorTile


Prerequisiti                                                                                                                   Top

    Analisi Matematica / Matematica discreta / Fisica


Materiale                                                                                                                       Top

Testo di riferimento:

    M. Malcangi: "Informatica Applicata al Suono per la Comunicazione Musicale – Musical Digital Audio: Teoria e pratica", Maggioli Editore,
    Milano, 2008. Cod. 8838742294.

    Altro materiale in linea nella pagina del corso (lezioni)


Metodi didattici                                                                                                        Top

    Modalitą di esame: scritto;         Frequenza: vivamente consigliata;             Modalitą di erogazione: tradizionale.


Esami                                                                                                                               Top

 Risultati progetto fine corso 2016-2017

New:  Risultati progetto fine corso 2017-2018

Avviso: Chi ha conseguito un voto positivo relativamente alla presentazione del progetto di fine corso, potrą richiedere la registrazione del voto iscrivendosi ad un appello d'esame e comunicando via email al docente la richista di registrazione del voto conseguito.

Risultati test fine corso 2014-2015
 Risultati  fine corso 2015-2016
 Risultati esami


Lezioni                                                                                                                      Top

Nota per gli studenti: Le date riportate di fianco agli argomenti sono quelle in cui viene tenuta la lezione. Gli argomenti riportati sono quelli discussi durante la lezione e trattati nella dispensa. I link attivi sono relativi al materiale aggiuntivo utilizzato durante la lezione per ulteriori approfondimenti e per la dimostrazione pratica della teoria.

-------------------- Lezioni AA 2019/2020 --------------------------------------

04.10 - Introduzione al corso, il suono e la sua natura di informazione di segnale nel dominio fisico acustico e in quello percettivo. Tono puro e sua modellazione matematica.. Progetto

7.10 - L'informazione di ampiezza nel segnale audio continuo (analogico) e sua misura

11.10 - La misura in deciBel (dB). prorietą e derivazione matematica.

14.10 - Modello elettronico del Convertitore Analogico/Digitale (ADC) - Calibrazione della Catena Microfonica

18.10 - Campionamento (Teorema del Campionamento e suoi limiti di applicabilitą)

21.10 - Principio di quantizzazione (e suoi limiti di applicabilitą)

25.10 - Applicazione del teorema del campionamento alla discretizzazione del modello continuo del tono puro

04.11 - Matlab Intruduzione a MATLAB. Modellazione e simulazione  del modello matematico del tono puro.

08.11 - Simulink e Andriod Board Support Package (Android BSP)  Setup  Esempio1 Esempio Mic  AccToScope   MicAndSpeaker   MicGainVisual 

11.11 - Matlab - Modellazione di un generatore di suono

15.11 - Piattaforma di sviluppo embedded STM Iot Node HowToStepByStep

18.11 - Analisi frequenziale - Modello computazionale

22.11 - Piattaforma di interazione gestuale (STM IoT Node) e ambiente di sviluppo (MBED) distanceSound main serial_communication serial_sound_example   STLINKdriver_en.stsw-link009

25.11 - Verifica computazionale della Trasformata Discreta di Fourier (DFT) tramite simulazione in ambiente Matlab (TestDFT) (DFT)

29.11 - Sviluppo in aula del progetto Theremin

02.12 - Sintesi del suono: Additiva, sottrattiva, Modulazione di frequenza

06.12 - Progetto - Comiunicazione via BLE della scheda STM Discovery IoT node con piattaforma Android BLE_Android BLE_Simulink

09.12 - Modifica del segnale audio - Filtraggio - Convoluzione.

13.12 - Progetto - Aggirnamento software BLE-Sintesi audio

16.12 - Filtraggio FIR e filtraggio IIR

20.12 - Sintesi del  suono: modulazione di frequenza

10.01 - Presentazione progetto

13.01 - Presentazione progetto

17.01 - Presentazione progetto


---------------------------------------------------- Fine 2019 - 2020 ----------------------------------------------------------------------------------

gg.mm - Analisi frequenziale di Fourier (modello dell'analisi armonica frequenziale)

gg.mm -  Analisi frequenziale di Fourier (funzioni ortogonali:  seno-coseno, dominio di misura:  reale-complesso,  rappresentazione grafica:  polare-cartesiana)

gg.mm - Modellazione e simulazione dell'analisi frequenziale di Fourier   (TestDFT)

gg.mm - Sviluppo su piattaforme embedded: Matlab-Simulink: Android Board Support Package (BSP)) - Slides Generatore Audio a comando percussivo (Tap)

gg.mm - Convoluzione  e modellazione dei sistemi lineari: risposta all'impulso e risposta in frequenza

gg.mm - Filtraggio  FIR e filtraggio IIR (IIR1)

gg.mm - Sintesi del suono Talbe look-up - wave-table

gg.mm - Sintesi additiva - sintesi sottrattiva

gg.mm Sintesi FM

gg.mm - Simulink e Andriod Board Support Package (Android BSP)  AccToScope   MicAndSpeaker   MicGainVisual







Tesi/Stages                                                                                       Top
  • Interazione tramite interfacce gestuali
  • Metastrumenti musicali
  • Localizzazione e identificazione di sorgenti sonore nello spazio
  • Controllo fuzzy dell'esecuzione musicale
  • Audio-to-Score
  • Ricerca audio di brani musicali
  • Riconoscimento audio di emozioni
  • Riduzione del rumore basato su array microfonico
  • Audio spotting
Per maggiori informazioni contattare il docente
Contatti                                                                                                                          Top

    Prof. Mario Malcangi
    Computer Science Department
    Universitą degli Studi di Milano

    Mail:      Via Celoria 18
                  Dipartimento di Informatica
                  20133 Milano
                  Italy
                  Fax:+39.02.503.16331

    Office:    Via Celoria 18
                  Dipartimento di Informatica
                  20133 Milano
                  Italy
                  Tel:  +39.02.503.16331
                
    Email:     malcangi@di.unimi.it

    Skype:    mario.malcangi

Last update: 1st March 2019
© Mario Malcangi
Universitą degli Studi di Milano