«Як ми знаємо, що вони чогось навчилися?»
То, за вашими відчуттями, які масштаби катастрофи? Жартую. Наскільки сильно генеративний штучний інтелект поширився в навчальному процесі?
Я сказав би, що поширення тотальне. Довгий час природна мова була таким бар'єром для використання студентами програм собі в допомогу. Приміром, викладач дає якусь задачу. Якщо вона дуже відома, то студенти могли за ключовими словами знайти її розв’язок у Google. Але достатньо трохи переформулювати завдання — і знайти вже не так легко.
На відміну від пошуку за ключовими словами, велика мовна модель шукає за сенсами. Ви описуєте ситуацію, і вона добирає всі фільми або книжки, які підходять під ситуацію. І це такий, напевно, великий прорив у інтелектуальному пошуку. Проте зворотний бік медалі в тому, що модель може розпізнати і згенерувати дуже багато текстів, що раніше було неможливо.
І цим користуються не тільки студенти, учні або окремі країни. Є така топова конференція з машинного навчання, яка називається NeurIPS. Вони проаналізували рецензії до статей 2021 і 2023 років, коли вже з'явився ChatGPT, і побачили, що використання певних специфічних слів, характерних для штучного інтелекту, різко зросло. Половина робіт мала ознаки генерації. І це дійсно така тотальна історія.
Я зараз беру участь у проєкті навчання шкільних учителів основ штучного інтелекту, STEM, Python, робототехніки. Коли ми проводили співбесіди, аби відібрати учасників, то спілкувалися з вчителями з різних шкіл, різного віку, з різним бекграундом. Але було одне питання, після якого всі ожвавлювалися, починали щось розповідати і проявляти себе.
Це питання: «Як ви боретеся з ChatGPT, який використовують ваші учні?».
І кожен вигадав щось своє. Хтось відключає інтернет, хтось додатково питає, хтось придумує якісь інші завдання. Це така проблема, яка стосувалася фактично всіх.
Схоже на гонку озброєнь...
Ну, у певному сенсі так.
Тобто головний меседж усе ж, як з ним боротися.
Це, мабуть, природно. Бо сам процес навчання полягає в тому, що ми даємо учням завдання, очевидно, що роз’язок відомий, але діти мають дійти до рішення самостійно, інакше в них не утворяться ці зв'язки в мозку.
Пригадую історію, яку колись прочитав. На території сучасного Іраку під час розкопок міста Ніппур археологи виявили старовавилонську школу. Там знайшли глиняні таблички із завданнями — якийсь текст треба було переписати, щось розв’язати. Серед інших була табличка зі слідами від зубів. Як я собі це уявляю: підліток намагався впоратися з вправою, йому це не вдавалося, і з відчаю або зі злості він вкусив табличку. У якомусь сенсі в цьому й полягає робота вчителя — довести учня до такого стану, аби він був змушений розв'язати задачу, щоб не мав іншого виходу (сміється).
Раніше можна було якось більш-менш відділити учнів від розв'язків. А тепер, виходить, кожна дитина чи студент з телефоном може спитати ChatGPT й отримати рішення.
Це один з головних трендів, що мовні моделі використовують саме для імітації навчання.
І переважно я бачу все ж негативні приклади їх застосування в навчальному процесі.
Схоже, в тому є якась неминучість, що люди використовують будь-які доступні способи, аби не напружуватися.
Певною мірою, мабуть, ще працює перевантаження предметами в школі. Тоді, звичайно, є бажання виділити декілька головних, які вивчати, а решту можна скинути на штучний інтелект. І це теж така реакція на поганий дизайн навчання.
Що загалом це означає, ну, крім очевидного, що імітація — це погано?
Фактично вчитель тепер не може зрозуміти, чий перед ним розв'язок.
Мені сподобалося, як ви це сформулювали у своєму дописі: «Як ми знаємо, що вони чогось навчились?». А справді, як ми це маємо знати з появою ШІ? І чи це так важливо?
Припустімо, ми хочемо когось навчити плавати. Спочатку ми показуємо, які рухи треба робити, потім людина повторює їх, спочатку з підтримкою, приміром, з якоюсь дошкою. А далі ми кажемо: «Тепер тобі треба проплисти басейн від цього бортика до протилежного без допомоги». Людина допливла — і ми розуміємо, що вона навчилася.
А тепер уявіть, що людина, аби переплисти, використала якийсь балон, про який ми не знали. І тут виникає питання, чи це наша проблема? Потім вона піде плавати в океані й потоне. У принципі це її вибір. Вона розуміла наслідки, не навчившись плавати, полізла у глибоку воду й втопилася.
Але ж ідея навчання в школі, університеті — ми беремо на себе відповідальність навчити. І, зрештою, видаємо диплом як підтвердження того, що ми навчили. З одного боку — це наша репутація, а з іншого — це означає, що ми створили такі умови всередині інституції, що людина не може вийти, не попливши.
Поява штучного інтелекту розмиває цю конструкцію. Тепер виходить, що студент, використовуючи штучний інтелект, може отримати диплом, але так нічого й не навчитися.
У нас і без штучного інтелекту це трапляється, але це інша історія...
Те, про що я кажу, не проблема конкретно вчителів або учнів, це проблема загалом системи навчання.
Ми можемо сказати: окей, ви хочете використовувати штучний інтелект, можете використовувати що завгодно, але в кінці ми перевіримо ваші знання й не дамо диплома, якщо не впораєтеся. Тоді на початках дуже багатьох доведеться відсіювати або лишати на другий рік, змушувати брати курси по новій. До того ж це вимагатиме певних зусиль, аби в кінці перевірити знання, припустімо, вербально, щоб гарантовано без допомоги штучного інтелекту. Ну або це може бути спеціальна чиста кімната, де немає доступу до гаджетів, де стоїть один захищений ноутбук і студент має виконати завдання. Технологічно це можна реалізувати в різний спосіб.
Або інший варіант. Маємо ретельно перевіряти всі поточні завдання, шукати в них патерни, які свідчать про використання моделі, можливо, навіть з кожним студентом говорити про кожне завдання. А це виливається в те, що треба або більше вчителів, або щоб у класах було менше учнів. Така перебудова вимагає інвестицій, щоб освіта залишалася на тому самому рівні або її якість зростала.
І навіть якщо викладач сам використовує велику мовну модель, щоб зменшити навантаження, то ситуація не стає простішою. Бо це як найняти помічника, від якого не знаєш, чого очікувати. Треба виконувати свою роботу і перевіряти його. Так чи інакше, але поява ШІ вимагатиме від учителів докладати більше зусиль, щоб навчити. Якщо, звісно, наша мета навчити, а не вигнати.
Ну і як варіант — можемо просто ігнорувати шахрайство, і коли людина стикнеться з реальними ситуаціями, де штучний інтелект не зможе допомогти, то будуть її проблеми.
Коли є новий третій гравець у навчальному процесі, як може змінюватися ваша роль викладача?
Як я вже казав і як це не парадоксально звучить, але те, що ШІ з’явився в освіті, означає, що всім учасникам треба працювати більше, а не менше.
Напевно, викладачу доведеться бути вигадливішим.
Є така велика мітівська (МІТ — Массачусетський технологічний інститут. — LB.ua) конференція про генеративний штучний інтелект в освіті. І там хтось сказав, що якщо з вашим завданням може легко впоратися штучний інтелект, то треба міняти завдання.
Мені дуже сподобалася ще одна думка, яка пролунала на тій конференції: якщо хочете використовувати великі мовні моделі для дітей, то найкраще, що можете зробити, — запустити якийсь соціальний проєкт. І вони побачать, що це інструмент, за допомогою якого можна змінити своє життя на краще. Наводили цікаві приклади. Приміром, школярі в Молдові зробили проєкт Apu Pura. У Молдові досить складно з водою, і вони за допомогою великої мовної моделі згенерували мобільний застосунок, який дозволяє кожній людині, яка знайшла струмок, завантажити його опис, фотографію. Так вони зібрали карту водних ресурсів. І це дійсно класний проєкт. А ці великі мовні моделі дозволяють швидко робити проєкти, особливо стандартні, для яких раніше треба було збирати команду програмістів, тестувальників.
Тобто варто змістити фокус, показати можливості генеративного штучного інтелекту в ширшому ключі.
Мені здається, що це шлях, яким можна рухатися. Так, ви можете з його допомогою розв'язувати шкільні задачки, але це нецікаво. Цікавіше взяти його й розв'язати якусь реальну задачу, пов’язану з життям, і, можливо, навіть реалізувати щось у тому містечку, де живете. Тим паче, що людина завжди потребує якогось челенджу.
Але ж для цього вчителю треба чітко розуміти, що може ця модель, що не може, у чому вона здатна допомогти, а де — ні. У будь-якому разі вчитель поки що відповідальний за фінальний процес навчання. Це означає, що він має визначати межі застосування штучного інтелекту й моделі. Для цього повинен сам розібратися, як вона працює, чому може помилятися. І це, мабуть, такий виклик для багатьох, хто не дотичний до сфери машинного навчання й штучного інтелекту, — зрозуміти, що в тій чорній скрині, принаймні чого від неї можна очікувати, а чого не варто. Можливо, треба якийсь час спілкуватися з ним, щоб бачити його можливості й обмеження.
І це те, приміром, що я розповідав на лекціях учителям. А зараз у них завдання придумати проєкт для дітей, у якому вони могли б реально використовувати генерацію картинок або великі мовні моделі. Далі пробуватимемо, щоб вони з дітьми їх реалізували. Мені здається, що це було б дуже цікаво.
Відкриті питання
А як особисто використовуєте ШІ в навчальному процесі?
Іноді використовую для візуалізації даних. Або для того, щоб зрозуміти, наскільки складно розв'язати мої лабораторні чи питання. Фактично тестую, чи зможуть мої студенти впоратися, якщо їм задам ту чи іншу задачу. Для генерації лекцій або презентацій не використовую. Мені зручніше самому. Бо якщо я сам роблю презентацію, то одночасно проговорюю, що планую розповісти, і потім мені набагато легше читати лекцію. Може, ще генерував якісь тести. У кінці лекції ми проводимо короткий інтерактивний квіз, де студенти вибирають одну відповідь і змагаються між собою. Я ставив задачу моделі згенерувати з десяток типових питань на тему й обирав з них ті, що мені підходили. Оце, мабуть, і все.
А студенти?
Наприклад, у нас є таке завдання — написати огляд на статтю. Є публікація, яка стала дуже відомою, і вона описує якийсь важливий крок у розвитку. Студенти мають її прочитати, обдумати й написати на дві сторінки, про що вона. Ті, хто не встигає, просто завантажують її в ChatGPT й отримують головне з тексту, іноді редагують, якщо залишається час (усміхається).
А що ви робите, коли бачите що робота згенерована повністю чи частково? Яка у вас комунікація зі студентом?
Це, в принципі, підпадає під поняття академічного плагіату — використання чужої роботи під виглядом власної. Я можу поставити нульову оцінку, як за невиконане завдання. Але ж мені треба мати досить серйозні підстави, щоб стверджувати, що ця робота згенерована. І це теж, до речі, окрема проблема. Ніхто не може дати гарантію.
Навіть спеціальні програми, які шукають згенеровані тексти?
Ну, наприклад, якщо студент поміняв, скажімо, 20 % тексту, то чи розглядати це як згенероване? Тут є багато відкритих питань, на які ми ще не знаємо відповіді. Зараз я в таких ситуаціях або додатково питаю, а якщо вже дуже помітно згенероване, тоді ставлю нульову оцінку.
А курйозні ситуації траплялися?
Коли ви ставите якусь задачу штучному інтелекту, то він, як правило, генерує спочатку фразу: «Ось ваша відповідь». І далі йде текст. Дехто забуває це прибрати.
Це мені нагадало, як на курсі «Економіка підприємництва» ми мали скласти бізнес-план. Зрештою, багато хто просто скачав його з інтернету. Причому один і той самий. І ніхто не заморочився навіть з тим, щоб поміняти назву компанії. Так у викладача опинився стосик бізнес-планів компанії «Роги і копита». Тепер інструмент інший, а підходи ті самі.
Ну, якось так. Тобто мало використати штучний інтелект, треба ще розуміти, як це скопіювати.
А зі студентами ви обговорювали використання цього інструмента? Чи у вас є якісь домовленості?
Оскільки його можливості постійно міняються, то відповідно треба міняти домовленості. Спочатку була домовленість, що студенти можуть його використовувати, тому що багато чого він не міг розв'язувати. Тому до цього ставилися так: «Ну, пограйтеся, спробуйте, може, у вас щось вийде, може, не вийде». Потім стало зрозуміло, що він на деяку роботу здатен. І це таке сміття, яке забиває час і студента, і вчителя. Студент, припустімо, щось генерує, а вчитель має це читати, перевіряти, казати «ні, перепиши». І це вже інша історія.
Або ось такий приклад. Є задача створити програму — і студент застосовує GitHub copilot (інструмент штучного інтелекту, розроблений GitHub й OpenAI для допомоги користувачам Visual Studio Code. — LB.ua), яка фактично догенеровує код за вашими ідеями. Тобто ви формуєте функцію, кажете, що слід зробити — і воно генерує. Це дуже зручно. І тут тонка грань між імітацією виконання завдання, коли людина зробила щось бездумно, і тим, що вона використала зручний інструмент і цілком розуміє результат, який у неї вийшов. Як до цього ставитися, поки що питання.
«З онлайн-курсами проблема в тому, що вони не можуть захопити всю вашу увагу»
Коли з’являється чергова технологія, то відразу багато розмов про те, як сильно вона все змінить. Зі штучним інтелектом та сама історія. Якщо пофантазувати про майбутнє, то чи справді він здатен суттєво трансформувати освіту?
Яким буде місце штучного інтелекту, ми поки що не знаємо. Люди ніколи не передбачають майбутнього достатньо точно. Ми завжди в нього в'їжджаємо, як у стіну, і потім дивимось, що сталося. І це стосується всього.
Але попри це ми все одно любимо прогнозувати.
Є різні тенденції, я сказав би — різнонаправлені, які так чи інакше сформують майбутнє штучного інтелекту в освіті. Про першу ми вже говорили — це використання його для імітації навчання.
З іншого боку, штучний інтелект дійсно може допомогти навчити велику кількість дітей або навіть дорослих, які до цього не мали доступу до освіти. Скажімо, 100 років тому, якщо ви хотіли стати математиком, обов'язково мали приїхати в математичний центр, наприклад, у Геттінгенський університет у Німеччині, де працював Девід Гільберт і була ціла плеяда потужних математиків. І щоб мати шанс увійти в цю математичну еліту, треба було обов'язково вчитися там. Звісно, є приклад Срініваса Рамануджана, який в Індії досліджував числа й став математиком топового рівня. Його запросили в Кембриджський університет, але це виняток.
Зараз же є, приміром, Khan Academy, яка долучає до навчальних курсів штучний інтелект. І їхня модель не дає рішення, але вона підказує, що робити, оцінює, наскільки правильний хід думок учня, намагається спрямувати його, ставить питання і цим спонукає до розв’язку. І це дає можливість більшій кількості людей отримати освіту. Може, колись буде окремий тьютор — на сто відсотків штучний інтелект, який персоналізовано вчитиме якогось курсу тих, хто захоче.
Чула думку, що лише невеликий відсоток людей здатен до такого фактично самостійного навчання. Бо фундаментально навчання — соціальна штука. До речі, коли з’явилися перші масові онлайн-курси, багато говорили про те, що ера класичних університетів минає. Але хвиля зійшла, MOOCs зайняли свою нішу і все.
З онлайн-курсами історія така. Виявилося, що мати доступ до лекцій мало, треба ще й вчитися. Така ось несподіванка. Якщо ви лежите перед сном або готуєте щось і при цьому слухаєте якісь курси, ви від цього не стаєте суперосвіченим. Процес навчання потребує концентрації та зусиль. Хтось мені казав чи я читав десь, що мозок схожий на м'язи. У тому сенсі, що якщо ви хочете покращити свій тонус, то вам треба довести себе до певного рівня, коли ви вже не можете, а потім зробити ще. Є така історія про людину, яка хотіла накачати м'язи, і вона раз на день піднімала праску. Вона робила це 10 років, але, зрозуміло, нічого не накачала. Таке тренування не має сенсу. І так само з навчанням.
Вам треба довести мозок до того стану, коли ви вже не можете.
Ви сидите над цією задачею, вона вас мучить, але ви маєте її розв'язати. Це той підхід, який дозволяє кожного дня ставати трішки кращим. І коли це трапляється дуже-дуже довго, то в якийсь момент ви переходите на інший рівень.
З онлайн-курсами проблема в тому, що вони не можуть захопити всю увагу. Ви можете навчатися на онлайн-курсах, можете стати кращим, але вам для цього треба все прибрати, тотально сконцентруватися, слухати, розв'язувати, вникати в те, що каже лектор. І це насправді дуже складний шлях. А люди шукають простих. Ось тому й платите гроші, щоб вас замкнули в кімнаті з учителем і не випускали, поки ви певний час не відсидите, і так змушуєте себе вчитися (сміється).
Насправді багато хто зараз каже, що вплив штучного інтелекту на освіту перебільшують. Згадайте калькулятори. До них були спеціалісти, які використовували логарифмічні лінійки для того, щоб проводити обчислення. Це дійсно був такий інструмент, що дозволяв дуже швидко перевести множення і зведення у ступінь через логарифми до суми. І вони за допомогою цих логарифмічних лінійок могли розв'язувати дуже складні задачі, швидко і з прийнятною точністю. Коли з'явилися калькулятори, очевидно, усі ці люди просто зникли, їхні навички виявилися непотрібними. І, мабуть, до калькуляторів теж було таке ставлення: це ж який сенс давати дітям задачі на обчислення, якщо тепер є калькулятори. І, мабуть, теж був певний спротив.
Але, зрештою, це просто інструмент. З ШІ може бути подібна історія?
Я, чесно кажучи, у цьому трохи сумніваюся, оскільки все-таки, на відміну від калькуляторів, оці мовні моделі втручаються в таку сферу, яка пронизує все: мова, спілкування, обмін інформацією. Коли ми її змінюємо, то і впливаємо на все.
Нещодавно була міжнародна олімпіада з математики в Лондоні, у якій брав участь штучний інтелект від DeepMind'а. Він виборов срібло, до золота не вистачило бала. І як на мене, це сигнал, що, мабуть, вплив штучного інтелекту все ж буде сильним. Ну а яким саме, тут, я повторююсь, ніхто не знає напевно. Є тільки різні ідеї.
А що ця срібна медаль означає?
Ну от дехто вважає, що математика — це така гранично-метафорично-абстрактна мова, на якій відбуваються певні вислови, і ці вислови можуть бути, як теореми, правильні або неправильні. І тепер ми просунулися до оцифровування цих доведень-розв'язків ще на крок. І якщо машина може спілкуватися звичайною мовою, то через деякий час вона, по суті, зможе формулювати й розв'язувати теореми самостійно.
Є така штука, як емерджентність. От, приміром, я працюю з архівами. У мене є листок архівної справи з надрукованим текстом, який розмитий, його погано видно, але мовна модель його доволі якісно читає. Тобто раніше це були дуже складні алгоритми Computer Vision, які розпізнавали, виділяли рядки, потім розбивали на слова, виділяли кожну букву, намагалися цю букву розпізнати на основі своїх даних. І якщо ви змінюєте тип тексту, наприклад, рукописний, друкований або друкований розпливчастий, то це все впливало на алгоритми. Тепер виходить, що мовна модель усе це робить усередині себе. Оце і є емерджентність. Коли система стає достатньо великою, у неї виникають властивості, яких не закладали.
Велика мовна модель була розроблена для того, щоб передбачати наступне слово. Ідея така: ми на вхід даємо послідовність слів, вона добирає наступне. І так крок за кроком генерує відповідь, яка була б релевантною запиту й попереднім словам. Але величезна кількість даних плюс величезна кількість параметрів наклались — і виникла величезна модель, яка почала розв'язувати задачі, розпізнавати картинки, генерувати оригінальний текст, відповідати на питання. І цей розвиток ще відбувається, причому так швидко, що немає часу на подумати, на те, щоб зрозуміти, які є можливості, де є обмеження. Розробники випускають усе нові й нові моделі, шукають більше й більше даних.
Але в якийсь момент це має зупинитися, тому що воно не може рости нескінченно, або хоча б уповільнитися. І тоді ми нарешті отримаємо можливість проаналізувати її та своєю чергою дати рекомендації, скажімо, для навчання, що можна застосовувати, а що не можна. Бо велика мовна модель допомагає зробити багато чого нового. Але треба чітко встановити межі її використання. В ідеалі, її мали б залучати до навчального процесу з певного освітнього рівня. Але як її виключити до певного рівня, я не знаю.
А коли модель сягне своєї стелі?
Я сподіваюся, що це станеться тоді, коли всі можливі дані людства, які оцифровані, будуть використані для навчання. Є така експериментальна крива, яка описує оптимальне співвідношення між наявними даними, кількістю параметрів і точністю моделі. Що більше даних, то більше параметрів оптимально, то точнішою вона буде. Тому зараз триває така гонка між виробниками. Але в якийсь момент це упреться в те, що ми використовуємо всі дані, які накопичувало людство за цей час. А на синтетичних даних, які генерують інші мережі, вони вчитися не зможуть, бо це веде до деградації моделі.
Чому?
Є така класична задача — передбачити долю пасажира з «Титаніка», дуже стара, їй більш ніж 15 років, настільки стара, що нею вже навіть перестали займатися. У нас є записи про три тисячі пасажирів. Ми знаємо стать, склад сім'ї, вартість квитка, звідки він їхав, і за допомогою алгоритмів можна зробити прогноз із високою точністю — десь 90 % з гаком. Але якщо ми, скажімо, чогось не знаємо, наприклад, ми не знаємо вік 20 пасажирів, що можемо зробити? Можемо взяти дані аналогічних пасажирів. Тобто беремо розподіл схожих людей, вибираємо з нього випадкові числа й отримуємо синтетичні дані, які заміняють нам прогалини, і це покращує прогноз. Якщо цих синтетичних даних стає дедалі більше, то виходить, що даних у нас багато, але тих, що відображають реальність, тільки відносно невеликий набір. Тобто ми заміняємо реальність імітацією. І коли таких даних стає дуже багато, модель починає втрачати якість.
Та сама історія з картинками. Коли мережу навчали на картинках, які були згенеровані попередньою мережею, то якість дуже сильно падала. Поки вона навчається на картинках людей, її можна використати для генерації нових оригінальних або якихось цікавих зображень. Якщо вона використовує вже згенеровані картинки, то починає створювати щось таке розмите, незрозуміле, якусь кашу.
Ви казали, що в контексті навчання важливо встановити межі використання штучного інтелекту. Якими вони мають бути?
Це теж відкрите питання саме тому, що ми до кінця не знаємо, на що він здатен. Бо як я сказав, його розвиток відбувається от у цей момент, поки ми розмовляємо. Кожного тижня з'являються чотири-п'ять нових топових публікацій, що вже не встигаєш навіть їх заголовки читати. Про те, що щось покращили, щось зробили, десь застосували. Зараз, приміром, намагаються штурмувати генерування осмисленого відео, яке зберігало б сюжет і персонажів.
Тут ще така проблема. ШІ постійно навчається. І, припустімо, я знаходжу задачу логічну або математичну, на якій він валиться, не може її розв'язати. Якщо я задам її декілька разів, ця задача потрапляє в тренувальну вибірку і він починає давати іншу відповідь.
Намагається «вгадати»?
Моє враження, що він «розуміє», що я не задоволений, і починає змінювати відповідь, оскільки для нього насправді немає жодного значення, відповів він правильно чи неправильно.
І це ще один виклик використання штучного інтелекту в освіті — він не має мотивації когось учити.
Він просто відповідає на питання. Якщо результат освіти буде поганим, йому не можна висунути претензії, сказати: що ж ти так погано вчив? Він скаже: я ж просто машина, що ви від мене хочете?
Ви питали, я відповідав.
І те, що відповіді були схожі на правильні, але неправильні, ну, це ваші проблеми. Ви мені повірили.