Post

I primi test Jalapeño di OpenAI indicano un potenziale cambiamento significativo nell'economia dell'inferenza: da 1,5 a 1,9 volte più throughput per watt e da 1,7 a 3,6 volte minore latenza end-to-end su modelli open. Si dice inoltre che GPT-5.6 Sol abbia utilizzato il 54% in meno di token di output rispetto a un concorrente leader nei compiti di coding. Il giudizio misurato è che i guadagni di efficienza potrebbero migliorare l'economia unitaria, ma i benchmark testati dall'azienda non sono ancora una prova di costi aggregati inferiori. Con 6,7 miliardi di dollari di ricavi nel Q2 contro una perdita operativa di 12,3 miliardi, la distribuzione su larga scala e la crescita del carico di lavoro saranno più importanti delle prestazioni di punta. Non è un consiglio, solo un'analisi. #OpenAIInferenceCostTest