Alpha2026Ideazione, architettura e sviluppo

ASTRO

Un assistente vocale che vive dentro Ableton Live. Capisce cosa chiedi e lo esegue con azioni controllate.

A voce
chiedi ad Ableton Live di fare una cosa, e la fa
Quasi 200 azioni
che l'assistente sa eseguire dentro il programma
Mani sullo strumento
mentre suoni o registri, senza tornare al mouse
L'interfaccia Ponte di ASTRO, con la barra dei comandi vocali sopra una plancia di tastiere.

Il problema

Chi produce musica da solo fa molti mestieri: compone, arrangia, mixa, suona dal vivo. In Ableton Live, uno dei programmi più diffusi per produrre musica, ogni gesto passa da menu, scorciatoie e finestre. Quando le mani sono sullo strumento, fermarsi a cercare un comando spezza il flusso.

Cosa fa

ASTRO è un assistente che vive dentro Ableton Live. Gli chiedi una cosa a voce o per iscritto, anche dal telefono, e lui la esegue: lavora su tracce, strumenti, mixer, clip, scene e automazioni, e conosce quasi 200 azioni diverse. Un pannello discreto sul Mac mostra che cosa sta succedendo e poi sparisce.

È nato dal mio modo di lavorare in studio e dal vivo, per Ableton Live 11 e 12 su macOS.

Le scelte che contano

  • Parla con il programma dall’interno. Invece di simulare mouse e tastiera, che è fragile, usa il canale che Ableton offre per essere comandato dall’interno.
  • Prima le regole, poi l’AI. I comandi semplici vengono riconosciuti ed eseguiti subito, senza AI. L’AI entra in gioco solo quando la richiesta è più complessa.
  • L’AI propone, il programma esegue. L’AI non tocca mai Ableton direttamente. Prepara un piano fatto solo di azioni previste, aspetta la conferma, e ogni azione viene controllata prima e dopo. Si sa sempre che cosa può fare e che cosa ha fatto.
  • Quando qualcosa non va, lo dice. Se il servizio dell’AI fallisce più volte di fila, l’assistente lo mette in pausa per un minuto e lo segnala chiaramente, invece di fingere che vada tutto bene.

Problemi risolti lungo la strada

  • Google ha bloccato gli indirizzi del server che ospitava ASTRO, e l’AI si è fermata finché non ho fatto passare le richieste da un’altra infrastruttura.
  • Misurare sull’uso vero. A giugno le prove automatiche e l’uso reale si mescolavano nelle statistiche, e la quota di successi è oscillata tra il 79% e il 21% in pochi giorni. Da allora le due cose si misurano separatamente.
  • Non tutto si comanda dall’interno. Delle 193 azioni catalogate, 110 passano dal canale diretto. Le altre richiedono scorciatoie o sequenze di passi, più fragili, e un controllo ne ha trovate 41 ancora da verificare.

A che punto è

ASTRO è un’alpha privata per macOS. La mia valutazione di luglio è «circa l’80% funzionale, non ancora commercializzabile». Per andare oltre servono un’app firmata, un account sviluppatore Apple e un periodo di beta. Le ultime funzioni risalgono a luglio 2026, e da allora mi sono dedicato ad altri prodotti.

Cosa ho imparato

  • Un elenco chiuso di azioni rende l’AI spiegabile. Si sa sempre che cosa può fare e che cosa ha fatto.
  • Prima di semplificare, mettere in sicurezza. Prima di togliere le parti vecchie ho aggiunto delle prove automatiche, e così sono emersi due difetti nascosti del metronomo.
  • Le prove automatiche e l’uso reale vanno misurati separatamente.
  • Verificare prima di rifare. Spesso quello che serve esiste già ed è più completo di quanto sembri.

Provalo

Non c’è ancora un video. La pagina per i musicisti è su silvestronelcosmo.com/astro, e posso mostrare ASTRO dal vivo durante una chiamata.

Come si muove l'informazione

Il metodo che uso con i clienti, applicato a questo progetto: si segue l'informazione da dove nasce fino a come si capisce se tutto funziona.

  1. Da dove nasceUna sessione di Ableton Live, con tracce, strumenti e clip, e chi fa musica davanti al Mac o con il telefono in mano.
  2. Come arrivaUna richiesta a voce o scritta. Intanto il programma tiene l'assistente sempre aggiornato su com'è fatta la sessione.
  3. Come viene descrittaOgni richiesta diventa un'intenzione chiara, da scegliere in un elenco chiuso di azioni, ognuna con le sue regole.
  4. Cosa le succedeI comandi semplici si riconoscono subito; per quelli complessi l'AI prepara un piano fatto solo di azioni dell'elenco.
  5. Dove restaIl Mac ricorda il contesto recente; account e statistiche stanno in un servizio online.
  6. Chi decideChi suona conferma il piano, e ogni azione viene controllata e deve rientrare tra quelle permesse.
  7. Cosa succede dopoL'assistente esegue le azioni dentro Ableton Live, dall'interno del programma ogni volta che è possibile.
  8. Come capiamo se funzionaOgni azione dice com'è andata, e un confronto prima-dopo segnala quando non ha avuto effetto.
Per chi vuole i dettagli tecnici

Come è fatto, per chi lavora nel software o vuole sapere cosa c'è sotto. I numeri hanno tutti una fonte.

  • Un servizio Python sul Mac riceve i comandi, a voce, scritti o dal telefono, e li inoltra via TCP, con il protocollo NDJSON astro/v1, a un Remote Script dentro Live.
  • Riconoscimento a regole in 22 moduli in ordine di priorità. Solo se nessuna regola corrisponde interviene Gemini 2.5 Flash, attraverso il backend.
  • Il Mentor propone un piano senza strumenti attivi. Dopo la conferma si eseguono solo skill con schema Pydantic validato (130, di cui 13 ad alto rischio), scelte da un elenco lato server.
  • Backend FastAPI su Render con autenticazione Supabase e pagamenti Stripe; chiamate al modello attraverso un Worker di Cloudflare; modalità locale opzionale con faster-whisper, Ollama e Piper.
  • App iOS con Capacitor, pannello desktop in PySide6, interfaccia in sei lingue. Contratti, token grafici e traduzioni vengono da un'unica fonte, protetta dai test.
  • Sviluppato con più agenti AI di programmazione a turno (Claude, Gemini e Codex), coordinati da un documento di passaggio con regole condivise.
Azioni a disposizione dell'AI
130 skill con schema validatofonte: contratto astro_v2_skills.json
Azioni catalogate su Live
193, di cui 110 con lo script nativofonte: action_kb.json, 15/07/2026
Test automatici
570 nel core e 258 nel backendfonte: HANDOFF.md, 10/07/2026
Commit
428 nel monorepo e 314 nel backendfonte: git log, maggio–settembre 2026
Stato
Alpha privata su macOSfonte: silvestronelcosmo.com/astro

Strumenti usati: Python, PySide6, Ableton Live Remote Script, NDJSON su TCP, FastAPI, Pydantic, Supabase, Stripe, Gemini, Cloudflare Workers, TypeScript, Capacitor, PyInstaller

Hai un progetto in mente?

Raccontamelo in poche righe: che cosa vorresti costruire, per chi, e che cosa ti blocca oggi. Rispondo entro un giorno lavorativo, e la prima chiacchierata è gratuita.

Scrivimi[email protected]