Torna al blog
Produttività
11 min lettura
MC

Miguel Carruego

CPO

Come abbiamo costruito la stima delle attività con l'IA usando i k vicini più prossimi, addestrata solo sullo storico della tua organizzazione

Monton ora suggerisce quanto durerà un'attività cercando le attività più simili che il tuo team ha già completato. Ecco la matematica che c'è dietro: embedding di testo multilingue, similarità del coseno, regressione kNN ponderata per similarità e quantili ponderati, più quello che il metodo ha trovato su 5.090 attività reali di Bewise.

Come abbiamo costruito la stima delle attività con l'IA usando i k vicini più prossimi, addestrata solo sullo storico della tua organizzazione

Ogni piano di progetto poggia su una pila di piccole scommesse: questo ticket sono due ore, quello è una giornata. Le persone sono notoriamente scarse in queste scommesse. Kahneman e Tversky l'hanno chiamata fallacia della pianificazione già nel 1979: ci ancoriamo allo scenario migliore e dimentichiamo quanto ci è voluto l'ultima volta per un lavoro simile.

La soluzione ovvia è chiedere a un'IA. Ma un modello linguistico di grandi dimensioni non ha mai visto il tuo team, i tuoi clienti o il tuo codice, quindi qualsiasi numero ti dia è un'ipotesi ben scritta. L'informazione che predice davvero quanto durerà la tua prossima attività è già nei tuoi timesheet: migliaia di attività completate, ognuna con le ore che qualcuno ci ha dedicato davvero.

Per questo abbiamo costruito la stima dell'effort di Monton al contrario. Invece di un modello che genera una risposta, recupera il lavoro più simile che la tua organizzazione ha già svolto e lascia votare quello storico. Sotto il cofano è un classico metodo non parametrico, la regressione k-nearest neighbours (kNN), applicata a moderni embedding di testo.

Punti chiave:

  • Impara solo dai tuoi dati. Le stime derivano dalle tue attività completate e dalle tue ore registrate, mai da quelle di altre aziende.
  • Non ha una fase di addestramento. kNN è un lazy learner: ogni attività che completi diventa subito un nuovo punto dati.
  • È spiegabile. Ogni stima arriva con le attività simili che l'hanno prodotta, così puoi vedere perché.
  • È quasi brava quanto il team e copre ciò che il team salta. In Bewise ha eguagliato la precisione umana sulle attività stimate dalle persone e ha dato un numero al 60% delle attività che nessuno aveva stimato.

1. Il problema, formalmente

Ogni attività completata ii di un'organizzazione ha una descrizione testuale xix_i e un valore obiettivo yiy_i, il totale delle ore registrate su di essa:

yi=∑a∈Aiday_i = \sum_{a \in A_i} d_a

dove AiA_i è l'insieme delle registrazioni di tempo sull'attività ii e dad_a la durata di ciascuna. Otteniamo così uno storico etichettato

Horg={(xi,yi)}i=1n\mathcal{H}_{\text{org}} = \{(x_i, y_i)\}_{i=1}^{n}

e il compito è un problema di regressione supervisionata: dato il testo xqx_q di una nuova attività qq, prevedere y^q≈yq\hat{y}_q \approx y_q.

Due proprietà di questi dati condizionano tutto il resto. Primo, nn è piccolo per gli standard del machine learning: da qualche centinaio a qualche migliaio di attività per organizzazione, troppo poche per fare fine-tuning di un modello per cliente. Secondo, yy ha una coda pesante: la maggior parte delle attività richiede da una a quattro ore, ma alcune ne richiedono quaranta. Entrambe le cose spingono verso un metodo che non richieda addestramento e sia robusto agli outlier.

2. Dal testo ai vettori: gli embedding

Un kNN ha bisogno di una nozione di distanza, e le distanze hanno bisogno di vettori. Mappiamo ogni attività in un punto di R384\mathbb{R}^{384} con una funzione di embedding ϕ\phi.

Il testo che trasformiamo segue un modello fisso costruito con i campi dell'attività stessa:

query: <nome dell'attività> (<progetto> / <fase> / <tipo>) . <descrizione>

I prefissi dei ticket come TASK-625: vengono rimossi (non dicono nulla sull'effort), l'HTML dell'editor viene ridotto a testo semplice e la descrizione viene limitata a 1.200 caratteri.

L'encoder è multilingual-e5-small, un transformer a 12 strati addestrato con apprendimento contrastivo in modo che testi dal significato simile finiscano vicini, in circa 100 lingue. È importante per i team che scrivono ticket in italiano, inglese e spagnolo nella stessa settimana. L'encoder produce un vettore contestuale hth_t per ciascuno dei TT token; ne facciamo il mean pooling e normalizziamo in L2 il risultato:

hˉ=1T∑t=1Tht,ϕ(x)=hˉ∥hˉ∥2\bar{h} = \frac{1}{T}\sum_{t=1}^{T} h_t, \qquad \phi(x) = \frac{\bar{h}}{\lVert \bar{h} \rVert_2}

Dopo la normalizzazione ogni attività vive sull'ipersfera unitaria S383\mathbb{S}^{383}. Eseguiamo il modello come grafo ONNX quantizzato int8 all'interno dei nostri server: decine di millisecondi per attività una volta caricato, e il testo delle tue attività non va mai a un'API di IA esterna.

Ogni vettore viene salvato accanto all'attività in Postgres con pgvector, insieme a un hash SHA-256 del testo esatto e del modello, così un'attività viene ritrasformata solo quando il suo testo cambia davvero.

3. Similarità: il coseno sulla sfera unitaria

La similarità tra la nuova attività qq e un'attività completata ii è la similarità del coseno:

s(q,i)=cos⁡θqi=ϕq⋅ϕi∥ϕq∥ ∥ϕi∥=ϕq⊤ϕis(q, i) = \cos\theta_{qi} = \frac{\phi_q \cdot \phi_i}{\lVert \phi_q \rVert \, \lVert \phi_i \rVert} = \phi_q^{\top} \phi_i

L'ultimo passaggio è il motivo per cui normalizziamo: con vettori unitari la similarità del coseno è un semplice prodotto scalare, ed è legata direttamente alla distanza euclidea da ∥ϕq−ϕi∥2=2−2 s(q,i)\lVert \phi_q - \phi_i \rVert^2 = 2 - 2\,s(q,i). Ordinare per similarità più alta e ordinare per distanza più breve sono la stessa cosa.

4. Il vicinato

L'insieme dei candidati comprende tutte le attività dell'organizzazione che sono completate, non archiviate, trasformate in vettore e con ore registrate maggiori di zero. L'attività corrente è esclusa, quindi un'attività non può mai "stimare sé stessa". Da quell'insieme teniamo le kk più simili:

Nk(q)=arg top-k⁡i∈Horg  s(q,i),k=10\mathcal{N}_k(q) = \underset{i \in \mathcal{H}_{\text{org}}}{\operatorname{arg\,top\text{-}k}} \; s(q, i), \qquad k = 10

Eseguiamo di proposito una ricerca esatta invece di usare un indice approssimato dei vicini più prossimi (ANN) come HNSW. L'insieme viene filtrato per organizzazione e, con la ricerca ANN filtrata, a un'organizzazione piccola possono restare troppo pochi candidati dopo il filtro, peggiorando il recall senza avvisare. I dati di ogni organizzazione sono abbastanza piccoli perché la ricerca esatta resti veloce, ed è sempre esattamente corretta.

Esempio illustrativo. A sinistra, la nuova attività e le sue 10 attività completate più vicine nello spazio degli embedding, ciascuna con le ore registrate. A destra, la distribuzione cumulativa ponderata di quelle ore, da cui si leggono il 25°, il 50° e il 75° percentile.
Esempio illustrativo. A sinistra, la nuova attività e le sue 10 attività completate più vicine nello spazio degli embedding, ciascuna con le ore registrate. A destra, la distribuzione cumulativa ponderata di quelle ore, da cui si leggono il 25°, il 50° e il 75° percentile.

5. Ponderazione: i vicini più vicini votano più forte

Un kNN semplice dà a ogni vicino lo stesso voto. Noi pesiamo ogni vicino con una potenza della sua similarità:

wi=max⁡ ⁣(s(q,i), 10−6)p,p=4w_i = \max\!\big(s(q,i),\, 10^{-6}\big)^{p}, \qquad p = 4

L'esponente esiste per una proprietà nota degli embedding e5: le similarità sono compresse in una fascia stretta, circa tra 0,75 e 1. Sui dati di Bewise, la corrispondenza più vicina di un'attività ha una similarità mediana di 0,937; un quarto delle attività non ne ha nessuna sopra 0,923, e una su dieci nessuna sopra 0,913. In quella fascia le similarità grezze si distinguono a malapena, quindi elevarle alla quarta potenza allarga il contrasto: un vicino a 0,96 riceve peso 0,849, uno a 0,92 riceve 0,716, e il rapporto tra loro passa da 1,04 a 1,19. È un affinamento leggero, una versione morbida della temperatura di una softmax, che favorisce le corrispondenze più vicine senza lasciare che una sola decida tutto.

6. La stima: quantili ponderati, non una media

Il regressore kNN ingenuo è la media ponderata, y^=∑wiyi/∑wi\hat{y} = \sum w_i y_i / \sum w_i. Con ore a coda pesante è fragile: un'attività da quaranta ore tra nove da due ore trascina la media a quasi sei ore. Per questo usiamo i quantili ponderati.

Ordiniamo i vicini per ore e costruiamo la funzione di distribuzione cumulativa empirica ponderata:

F^q(y)=∑i∈Nk(q)wi 1[ yi≤y ]∑i∈Nk(q)wi\hat{F}_q(y) = \frac{\sum_{i \in \mathcal{N}_k(q)} w_i \,\mathbb{1}[\,y_i \le y\,]}{\sum_{i \in \mathcal{N}_k(q)} w_i}

Il quantile τ\tau è il più piccolo valore osservato in cui il peso cumulato raggiunge τ\tau:

q^τ(q)=min⁡{ yi:F^q(yi)≥τ }\hat{q}_{\tau}(q) = \min\{\, y_i : \hat{F}_q(y_i) \ge \tau \,\}

Monton ne restituisce tre. La mediana ponderata q^0,5\hat{q}_{0{,}5} è la stima puntuale; q^0,25\hat{q}_{0{,}25} e q^0,75\hat{q}_{0{,}75} formano un intervallo interquartile che indica quanto è variato il lavoro simile.

La mediana non è una scelta arbitraria. È il valore che minimizza l'errore assoluto ponderato e, più in generale, ogni quantile minimizza la pinball loss usata nella regressione quantile:

q^τ=arg⁡min⁡c∑i∈Nk(q)wi ρτ(yi−c),ρτ(u)=u (τ−1[u<0])\hat{q}_{\tau} = \arg\min_{c} \sum_{i \in \mathcal{N}_k(q)} w_i \, \rho_{\tau}(y_i - c), \qquad \rho_{\tau}(u) = u\,\big(\tau - \mathbb{1}[u \lt 0]\big)

Con τ=0,5\tau = 0{,}5, ρ0,5(u)=12∣u∣\rho_{0{,}5}(u) = \tfrac{1}{2}|u|: la stima è ottimale rispetto all'errore assoluto, che tratta un errore di tre ore come un errore di tre ore invece di elevarlo al quadrato, e ignora l'occasionale mostro da quaranta ore.

7. Sapere quando non fidarsi

Due salvaguardie mantengono onesta la stima:

  • Avvio a freddo. Sotto n=20n = 20 attività completate con ore registrate non c'è alcuna stima. La finestra dell'attività mostra invece un contatore di avanzamento ("12/20").
  • Bassa affidabilità. Se anche il vicino più prossimo è lontano, max⁡is(q,i)<0,92\max_i s(q,i) \lt 0{,}92, la stima viene segnalata come a bassa affidabilità. La soglia si trova più o meno al quartile inferiore della similarità della corrispondenza più vicina sui dati reali: in quei casi la tua organizzazione semplicemente non ha mai fatto nulla di simile, e il numero va letto come un riferimento approssimativo.

Cosa vedi in Monton

Nella finestra dell'attività, sotto Effort, Monton mostra la stima IA come mediana e intervallo p25–p75, elenca le attività completate simili su cui si basa con ore registrate e similarità, e offre un pulsante Usa X h per applicarla con un clic. Lo stesso stimatore è disponibile per gli assistenti IA tramite il server MCP di Monton, così puoi chiedere a Claude di stimare un intero elenco di attività mentre prepari una proposta.

8. Caso di successo: Bewise

Bewise è un'azienda di sviluppo software che gestisce progetti, ore e allocazione del team su Monton, quindi era il primo dataset naturale. Al momento dell'analisi contava 5.090 attività completate con 31.178 ore registrate.

Cosa fa davvero il team

Prima di stimare qualsiasi cosa, gli stessi embedding rispondono a una domanda più semplice: che tipo di lavoro riempie le ore? Il nuovo report Analisi delle attività di Monton raggruppa i vettori delle attività in temi. Qui conta un dettaglio tecnico. Poiché il nome del progetto fa parte del testo trasformato, i cluster grezzi raggruppano le attività per progetto anziché per tipo di lavoro. Lo correggiamo centrando ogni vettore sul suo progetto, sottraendo una media del progetto con shrinkage:

ϕ~i=ϕi−npnp+5 μp,μp=1np∑j∈pϕj\tilde{\phi}_i = \phi_i - \frac{n_p}{n_p + 5}\,\mu_p, \qquad \mu_p = \frac{1}{n_p}\sum_{j \in p} \phi_j

dove pp è il progetto dell'attività e npn_p il suo numero di attività. Il fattore di shrinkage np/(np+5)n_p/(n_p+5) evita che i progetti piccoli vengano centrati su una media rumorosa. Poi eseguiamo il k-means, minimizzando la somma dei quadrati all'interno dei cluster

min⁡C1,…,CK∑c=1K∑i∈Cc∥ϕ~i−μc∥22\min_{C_1,\dots,C_K} \sum_{c=1}^{K} \sum_{i \in C_c} \lVert \tilde{\phi}_i - \mu_c \rVert_2^2

un modello linguistico propone una tassonomia di categorie a singola attività e dà un nome a ogni cluster, e la mappa viene disegnata con lo scaling multidimensionale (MDS) classico dei centroidi, così i temi vicini sulla mappa sono semanticamente vicini nello spazio degli embedding.

Mappa dei temi dell'Analisi delle attività di Bewise. 13 temi; l'area di ogni bolla è proporzionale alle ore registrate. In testa lo sviluppo backend (27% delle ore) e lo sviluppo frontend (21%), seguiti da correzione di bug (13%), sicurezza e infrastruttura (7%), test funzionali (6%), analisi funzionale (6%) e refactoring del codice (6%).
Mappa dei temi dell'Analisi delle attività di Bewise. 13 temi; l'area di ogni bolla è proporzionale alle ore registrate. In testa lo sviluppo backend (27% delle ore) e lo sviluppo frontend (21%), seguiti da correzione di bug (13%), sicurezza e infrastruttura (7%), test funzionali (6%), analisi funzionale (6%) e refactoring del codice (6%).

Come prevedibile domina lo sviluppo, ma la mappa mostra anche che la sola correzione di bug vale il 13% di tutte le ore, più di analisi funzionale, documentazione e riunioni messe insieme.

Perché un intervallo e non un solo numero

Lo stesso report mostra quanto varia l'effort all'interno di ogni tema. I box qui sotto sono gli intervalli interquartili delle ore registrate per attività:

Intervallo interquartile e mediana delle ore registrate per attività, per tema, in scala logaritmica. La maggior parte dei temi ha una mediana di 2-3 ore, ma i test funzionali vanno da circa mezz'ora a 9,5 ore, e la documentazione da 2 a 11,6 ore. I test automatizzati sono i più compatti, da 1 a 2 ore.
Intervallo interquartile e mediana delle ore registrate per attività, per tema, in scala logaritmica. La maggior parte dei temi ha una mediana di 2-3 ore, ma i test funzionali vanno da circa mezz'ora a 9,5 ore, e la documentazione da 2 a 11,6 ore. I test automatizzati sono i più compatti, da 1 a 2 ore.

I test funzionali hanno una mediana di 2,7 ore, ma un quarto di queste attività supera le 9,5. Qualsiasi metodo che restituisca un solo numero per "un'attività di test" sbaglierà quasi sempre. Il kNN lavora un livello sotto il tema, sulle dieci attività singole più simili, e riporta comunque la dispersione, così vedi quando lo storico è rumoroso.

Precisione rispetto al team

Il confronto con le stime umane nasconde una trappola. Delle attività con una stima umana, 1.077 hanno registrato esattamente le ore stimate: la stima è stata copiata nel timesheet, quindi sembrerebbe perfetta. Le escludiamo e confrontiamo sulle 936 attività in cui una persona ha stimato e le ore registrate sono diverse. Ogni attività viene stimata leave-one-out, a partire da tutte le altre attività completate, esattamente come fa il sistema in produzione.

Contiamo un centro quando la stima è entro un fattore α\alpha dalla realtà, trattando allo stesso modo sovrastima e sottostima:

hitα(y^,y)=1 ⁣[ max⁡ ⁣(y^y,yy^)≤α ]=1 ⁣[ ∣log⁡2y^y∣≤log⁡2α ]\text{hit}_{\alpha}(\hat{y}, y) = \mathbb{1}\!\left[\, \max\!\left(\frac{\hat{y}}{y}, \frac{y}{\hat{y}}\right) \le \alpha \,\right] = \mathbb{1}\!\left[\, \left|\log_2 \frac{\hat{y}}{y}\right| \le \log_2 \alpha \,\right]
Quota di stime entro un fattore dalle ore reali, su 936 attività di Bewise. Entro ×2: persone 66%, kNN 62%. Entro ×1,5: persone 34%, kNN 39%.
Quota di stime entro un fattore dalle ore reali, su 936 attività di Bewise. Entro ×2: persone 66%, kNN 62%. Entro ×1,5: persone 34%, kNN 39%.
Bewise, attività completateAttivitàPersone entro ×2kNN entro ×2
Stimate davvero da una persona93666%62%
… di cui attività87766%62%
… di cui bug5362%62%
Stima copiata nel timesheet1.077escluseescluse
Mai stimate da nessuno3.077nessuna stimastimate

I numeri si leggono in tre modi:

  • Nella stessa categoria del team. Con la consueta tolleranza ×2, il kNN è quattro punti dietro le persone che conoscono il lavoro, senza impiegare tempo umano.
  • Più precisa quando centra. Con ×1,5 batte il team, 39% contro 34%. L'errore assoluto mediano è di 1,5 ore.
  • Copre il punto cieco. 3.077 delle 5.090 attività, il 60%, non avevano mai avuto una stima. Per la pianificazione della capacità sono proprio le attività che fanno male, e ora ricevono un numero basato sui dati.

Nemmeno una bassa precisione su una singola attività è sempre un fallimento. Il report elenca le attività che hanno richiesto almeno il triplo delle loro vicine più prossime (524 in Bewise), oppure un terzo o meno (473). Quegli outlier sono i punti in cui lo scope è cresciuto, un ticket è stato usato come contenitore o un problema si è rivelato più difficile del previsto: esattamente le attività da guardare in una retrospettiva.

9. Perché kNN e non un modello più grande?

Fare fine-tuning di un regressore neurale per cliente, o chiedere un numero a un modello linguistico di grandi dimensioni, erano entrambe opzioni sul tavolo. Il kNN ha vinto per proprietà che contano più di qualche punto di accuratezza in un benchmark:

  • Si basa sui dati della tua organizzazione, e solo su quelli. Il modello di embedding è generico: sa soltanto che "fix login redirect" e "correggere il redirect del login" significano cose simili. Tutto ciò che decide il numero, il tuo stack, i tuoi clienti, la velocità del tuo team e il modo in cui suddividi il lavoro in attività, viene dal tuo storico. Le stime di un'agenzia che realizza siti WordPress e di una che costruisce backend bancari saranno diverse, com'è giusto.
  • Nessuna pipeline di addestramento, nessun drift. Non ci sono pesi da adattare per cliente né riaddestramenti da pianificare. Appena un'attività viene segnata come completata con ore registrate, entra a far parte del modello. La regressione ai vicini più prossimi è uno stimatore consistente ben studiato (Stone, 1977): più storico ha, più vicini sono i vicini che trova, quindi le stime tendono a migliorare da sole con l'uso.
  • Spiegabilità per costruzione. La stima di una rete neurale è funzione di milioni di parametri. Quella di un kNN è funzione di dieci attività su cui puoi cliccare. Se il suggerimento sembra sbagliato, l'elenco dei vicini di solito mostra il perché in pochi secondi.
  • Privacy e isolamento. La ricerca gira all'interno del database con i permessi di chi la richiede, e la sicurezza a livello di riga limita ogni query a una sola organizzazione. Nessuna attività di un'altra azienda può mai essere vicina delle tue, e il modello di embedding gira sulla nostra infrastruttura.
  • Incertezza calibrata a costo zero. Poiché il risultato è una distribuzione e non un punto, l'intervallo p25–p75 non costa nulla in più e si allarga quando il tuo storico è incoerente.
  • Un circolo virtuoso. Le stime valgono quanto le ore registrate. I team che tracciano il tempo con cura ottengono stime più precise, che migliorano la pianificazione, il che rende utile tenere aggiornato il timesheet.

10. Limiti

Il metodo eredita i difetti dei suoi dati. Se le attività si chiamano "Sviluppo" senza descrizione, c'è poco testo da confrontare. Se le ore vengono registrate sull'attività sbagliata, i vicini si portano dietro l'errore. I tipi di lavoro del tutto nuovi non hanno vicini, ed è esattamente ciò che segnala l'indicatore di bassa affidabilità. E il kNN stima quanto è durato un lavoro simile, non quanto dovrebbe durare: se un team è sistematicamente lento in qualcosa, la stima lo riprodurrà fedelmente.

In sintesi

Stimare bene non richiede un modello che sappia tutto. Ne richiede uno che conosca il tuo lavoro. Combinando un encoder multilingue compatto con una delle idee più antiche del machine learning, i vicini più prossimi, Monton trasforma le ore che già registri in stime spiegabili, private e che migliorano ogni volta che un'attività viene completata. Nel caso di Bewise, questo ha significato stime alla pari con quelle del team e un numero per il 60% delle attività che non ne avevano mai avuto uno.

Riferimenti: D. Kahneman e A. Tversky, "Intuitive prediction: biases and corrective procedures" (1979). T. Cover e P. Hart, "Nearest neighbor pattern classification", IEEE Transactions on Information Theory (1967). C. J. Stone, "Consistent nonparametric regression", The Annals of Statistics (1977). L. Wang et al., "Multilingual E5 text embeddings: a technical report" (2024). R. Koenker e G. Bassett, "Regression quantiles", Econometrica (1978).

Domande frequenti

Come stima l'IA di Monton l'effort di un'attività?
Trasforma nome, progetto, fase, tipo e descrizione dell'attività in un vettore a 384 dimensioni con un modello di embedding multilingue, trova le 10 attività completate più simili nella tua organizzazione e restituisce la mediana, ponderata per similarità, delle ore registrate su di esse, insieme all'intervallo tra il 25° e il 75° percentile.
Il modello è addestrato sui dati di altre aziende?
No. Il modello di embedding è un modello linguistico generico che si limita a trasformare il testo in vettori. La stima deriva esclusivamente dalle attività completate e dalle ore registrate della tua organizzazione, e la sicurezza a livello di riga tiene separati i dati di ogni organizzazione.
Quante attività servono prima che compaiano le stime?
Almeno 20 attività completate con ore registrate. Sotto questa soglia, Monton mostra un contatore di avanzamento invece di un numero. Le stime diventano più affidabili man mano che si completano altre attività, senza alcun riaddestramento.
Quanto è precisa?
In Bewise, su 936 attività con una vera stima umana, la stima kNN è rimasta entro un fattore due dalle ore reali nel 62% dei casi, contro il 66% del team, ed è stata più precisa del team con la tolleranza più stretta di ×1,5 (39% contro 34%). Inoltre fornisce una stima per il 60% delle attività che nessuno aveva stimato.
Il testo delle mie attività viene inviato a un fornitore di IA esterno?
No. Il modello di embedding gira all'interno dei server di Monton, quindi il testo delle tue attività non viene inviato a un'API di IA di terze parti per calcolare le stime.
Gratis per sempre

Pronto a trasformare la tua agenzia?

Unisciti a migliaia di agenzie che usano Monton per aumentare la redditività e semplificare le operazioni. Gratis per sempre per team fino a 5 persone.

Prova Monton gratis