Яка (поки) є перевага у людей перед сервісами ШІ?
Обдумування.
(До речі, у геніїв-вчених й не тільки – також).
Дослідницький інженерний тест для задач машинного наввчання RE-Bench (так, це шлях, щоб моделі навчалися й вдосконалювалися самостійно) напряму порівнює граничні моделі Claude 3.5 Sonnet і OpenAI o1-preview, із понад 50 експертами-людьми у 7 складних дослідницьких завданнях.
На відміну від пересічних порівнянь швидкості й якості виконання досить примітивних завдань між моделями – автори створили 7 реалістичних завдань з програмування, для вирішення яких потрібно виконати багато задач різного характеру: формалізації, оптимізації, програмування тощо.
Більше 50 людей-суперників ШІ були з серйозним досвідом у галузі машинного навчання (багато з яких працювали у провідних галузевих лабораторіях або були докторами наук в університетах), тож їхня продуктивність значно відрізняється від базового рівня.
У результаті...
«Найкращі ШІ агенти справляються значно краще, ніж люди, за 2 години, але експерти-люди з часом покращують продуктивність набагато швидше» (на ілюстрації, людська продуктивність – сіреньким).
Але!
Найсучасніші агенти (OpenAI o1-preview) вже також використовують ланцюжки міркувань й...
«…У той час як середня (не найкраща з декількох) спроба ШІ-агента ледь покращує еталонне рішення, агент o1-preview створив рішення, яке перевершує найкраще людське рішення в одному з завдань.»
Тож, ШІ-сервіси вчаться у нас і наздоганяють...
Автор: Юрій Дʼяченко, професор Київської школи економіки.
