Hatékonyabb nyelvi modellek minimális költséggel: az s1 modell kevesebb mint 50 dollárnyi számítási erőforrással készült

A Stanford Egyetem, a Washingtoni Egyetem és az Allen MI Intézet kutatói egy új módszert fejlesztettek ki a mesterséges intelligencia hatékonyságának növelésére. Az s1 modell, amely kevesebb mint 50 dollárnyi számítási erőforrással készült, olyan teljesítményt ér el, amely korábban csak jelentős költségvetésű projektekben volt lehetséges.

A kutatók eredményeiket 2025. február elején tették közzé, a teljes forráskód pedig nyilvánosan elérhető a GitHub platformon. A megoldás középpontjában a test-time scaling eljárás áll, amely lehetővé teszi, hogy a modell a válaszadás előtt dinamikusan szabályozza a gondolkodási folyamatát. Ha a rendszer túl hamar lezárná a válaszadást, az úgynevezett budget forcing technika beavatkozik: a modell kiegészítő jelzéseket kap, amelyek arra ösztönzik, hogy folytassa a feldolgozást és átgondolja az előzetes következtetéseit. Ezáltal növeli az eredmények pontosságát, különösen matematikai és logikai feladatok esetében.

Az s1 modell mindössze 1000 gondosan válogatott példán keresztül tanult, szemben más nyelvi modellek több százezres vagy milliós adathalmazaival. A kutatók három kritérium – minőség, nehézség és változatosság – alapján választották ki a tanítópéldákat. A modell olyan összetett problémák megoldására is képes, mint az AIME (Amerikai Meghívásos Matematikai Verseny) kérdései vagy PhD-szintű tudományos feladatok.

Az s1 modell teljesítménye tovább javul, ha több időt kap a feldolgozásra, ami azt sugallja, hogy valóban képes mélyebb következtetések levonására. A kutatás jelentősége abban rejlik, hogy igazolja: hatékony nyelvi modellek építhetők minimális erőforrásokkal is. Az Apache 2.0 licenc alatt közzétett forráskód és adatkészlet lehetővé teszi, hogy más kutatók is továbbfejlesszék a módszert és új alkalmazási területeket találjanak számára.

Források:

1. Muennighoff, Niklas, Zitong Yang, Weijia Shi, Xiang Lisa Li, Li Fei-Fei, Hannaneh Hajishirzi, Luke Zettlemoyer, Percy Liang, Emmanuel Candès, and Tatsunori Hashimoto. "s1: Simple test-time scaling." arXiv preprint https://arxiv.org/abs/2501.19393 (2025).

2.

GitHub - simplescaling/s1: s1: Simple test-time scaling

s1: Simple test-time scaling. Contribute to simplescaling/s1 development by creating an account on GitHub.

GitHubsimplescaling

3.

Researchers created an open rival to OpenAI’s o1 ‘reasoning’ model for under $50 | TechCrunch

AI researchers at Stanford and the University of Washington were able to train an AI “reasoning” model for under $50 in cloud compute credits, according

TechCrunchMaxwell Zeff

4.

What is S1 AI model, the OpenAI o1 rival trained in less than $50?

Researchers have developed S1-32B, an open-source advanced language model focused on reasoning tasks, trained for under $50.