ChatGPT u prirodnim i društvenim znanostima
Vedran Miletić, Fakultet informatike i digitalnih tehnologija
Izvor slike: Wikimedia Commons File:FIDIT-logo.svg
Festival znanosti, Rijeka, Otvoreni dan, zgrada sveučilišnih odjela, 25. travnja 2023.
Fakultet informatike i digitalnih tehnologija
- osnovan 2008. godine kao Odjel za informatiku Sveučilišta u Rijeci
- postao fakultet 2022. godine
- pet laboratorija sastavljenih od istraživačkih grupa; znanstveni interesi:
- računalni vid, raspoznavanje uzoraka
- obrada prirodnog jezika, strojno prevođenje
- e-učenje, digitalna transformacija
- paralelno programiranje na superračunalima
Izvor slike: Wiki. Comm. File:FIDIT-logo.svg
Grupa za aplikacije i usluge na eksaskalarnoj istraživačkoj infrastrukturi
- engl. Group for Applications and Services on Exascale Research Infrastructure, kraće GASERI
- fokus istraživanja: primjena suvremenih eksaskalarnih superračunala za rješavanje problema u računalnoj biokemiji
- glavni cilj: dizajn algoritama visokih performansi za korištenje u akademskim istraživanjima i industrijskom razvoju
Internet 90-ih
- za ilustraciju: 14 iconic 90s websites, 1990s Internet & World Wide Web
- možemo ga retroaktivno nazvati "doba prije Googlea"
- Archie
- Gopher
- Ask Jeeves!
- Lycos, Excite, AltaVista, Yahoo!, WebCrawler, itd.
Suvremeni internet
- Googleov uspjeh: algoritam za rangiranje stranica u rezultatima PageRank
- malo ljudi je u doba nastanka Googlea (1998.) vidjelo povijest računarstva/informatike kao doba prije Googlea i nakon Googlea
- Google Search omogućio Images, News, GMail, Shopping, Scholar, Books, Patents, Maps itd.
- motivacija za druge autore softvera da svoje glavne aplikacije isporuče kao web aplikacije, a ne desktop
- YouTube, Android, Street View, Calendar, Flights, Meet, ...
- Google Search omogućio Images, News, GMail, Shopping, Scholar, Books, Patents, Maps itd.
Prijelaz aplikacija i korisnika s desktopa na web
- 1997. (doba prije Googlea) desktop i Microsoft dominiraju tržištem softvera za osobna računala
-
2007. (doba Googlea) Paul Graham kaže Microsoft is Dead:
Microsoft's biggest weakness is that they still don't realize how much they suck. They still think they can write software in house. Maybe they can, by the standards of the desktop world. But that world ended a few years ago.
-
slična promjena paradigme događa se i nastavit će se događati uzrokovana širokom primjenom tehnologija koje stoje u pozadini ChatGPT-a
OpenAI
-
osnovan 2015. godine, suosnivači Sam Altman i Elon Musk; charter:
OpenAI’s mission is to ensure that artificial general intelligence (AGI)—by which we mean highly autonomous systems that outperform humans at most economically valuable work—benefits all of humanity. We will attempt to directly build safe and beneficial AGI, but will also consider our mission fulfilled if our work aids others to achieve this outcome.
-
Poznatiji proizvodi: Gym (Retro), RoboSumo, Debate Game, Dactyl, DALL-E
Izvor slike: Wikimedia Commons File:OpenAI Logo.svg
ChatGPT
- izbacuje ga OpenAI u studenom 2022. godine
- jezični model za razgovor; nije prvi takav
- Reinforcement Learning from Human Feedback
- treniranje značajnim dijelom ručni rad
- rast broja korisnika iznad svih očekivanja
- top 100 upita
Mogućnosti
ChatGPT "zna":
- odgovarati na više (pod)pitanja u nizu i pritom zadržati kontekst
- pojašnjavati koncepte na više načina
- ponašati se kao chat bot u korisničkoj podršci
- pisati opise poslova kod zapošljavanja
- pisati programski kod jednostavnih aplikacija i usluga
- pisati eseje na tipične teme bez činjeničnih pogrešaka
- pisati sažetke članaka
- i još mnogo toga na 95 jezika
Demo
Službeno web sjedište često kaže ChatGPT is at capacity right now
; primjeri:
- List of ChatGPT Examples
- 11 Amazing ChatGPT Demos and Examples that will Blow Your Mind
- 12 Cool Things You Can Do with ChatGPT
- Rubni slučajevi: ChatGPT Examples: 22 Interesting Questions Answered By ChatGPT
Poslovi na koje ChatGPT najviše utječe
- profesori u školama i na fakultetima: ocjenjivanje studentskih eseja i programa
- novinari: pisanje i sažimanje članaka
- odvjetnici: pisanje prve verzije zakona, pravnih savjeta
- marketingaši: copywriting uz automatsku optimizaciju ključnih riječi za tražilice
- upitna je dugoročna korist od optimizacije za tražilice ako ih ChatGPT zamijeni
- optimizacija teksta za ChatGPT?
- tehnička podrška
Sadašnjost znanosti
Major publishers are banning ChatGPT from being listed as an academic author. What's the big deal? navodi brojne probleme izazove:
- autorstvo (AI ne može preizeti odgovornost za proizvedeni sadržaj)
- poredak autora (abecedni ili po doprinosu, koliki je doprinos ChatGPT-a)
- broj citata i napredovanje u karijeri: što kad ChatGPT stekne uvjete za redovitog profesora u svim granama kroz godinu dana?
- imalo je problema i prije ChatGPT-a
- autorsko pravo (engl. copyright): postojeća tužba, nezadovoljstvo autora softvera
Nature
Tools such as ChatGPT threaten transparent science; here are our ground rules for their use:
First, no LLM tool will be accepted as a credited author on a research paper. That is because any attribution of authorship carries with it accountability for the work, and AI tools cannot take such responsibility.
Second, researchers using LLM tools should document this use in the methods or acknowledgements sections. If a paper does not include these sections, the introduction or another appropriate section can be used to document the use of the LLM.
Science
Science Journals: Editorial Policies:
(...) artificial intelligence tools cannot be authors. (...)
Artificial intelligence (AI) policy: Text generated from AI, machine learning, or similar algorithmic tools cannot be used in papers published in Science journals, nor can the accompanying figures, images, or graphics be the products of such tools, without explicit permission from the editors. In addition, an AI program cannot be an author of a Science journal paper. A violation of this policy constitutes scientific misconduct.
Primjena u znanosti
- skiciranje uvoda u rad, pregleda korištenih metoda, zaključka
- uz nadzor i korecije od strane autora
- pisanje preglednih radova (engl. state of te art)
- vjerojatna budućnost je manja valorizacija preglednih radova
- stvaranje istraživanja? ChatGPT: Study shows AI can produce academic papers good enough for journals—just as some ban it
Budućnost obrazovanja
- sporije se kreće od znanosti
- očekivane prve reakcije: otpor, zabrinutost
- jedini način prepoznavanja korištenja ChatGPT-a su velike greške u činjenicama, što će se vremenom ispraviti
- iduća generacija, GPT-4, postiže bolje rezultate na standardiziranim testovima za odvjetnike i biologe
Primjer predmeta Programiranje za web i Upravljanje računalnim sustavima s prijediplomskog studija Informatika
- obrnuta didaktika od tipičnih kolegija iz područja programskog inženjerstva
- omogućena probojem slobodnog softvera otvorenog koda u mainstream tijekom proteklih 30-ak godina
- fokus na čitanje, razumijevanje i kritiku postojećeg koda
- pisanje vlastitog koda postoji, ali je sporedno
- napustili smo reprodukcijska pitanja pred nekoliko godina
- željeli smo pisanje ispita iz teorije "s otvorenom knjigom", ali i bilježnicom, materijalima za nastavu, Wikipedijom, Googleom itd.
Primjer primjene u nastavi na FIDIT-u (1/2)
Upit: Zaporke se čuvaju u a. Google Docs dokumentima za zaporke b. internoj dokumentaciji, unutar teksta c. službenoj dokumentaciji softvera d. OneNote bilješkama e. upravitelju zaporkama f. internoj dokumentaciji, u posebnom odjeljku za zaporke g. Google Docs tablicama zaporki
Najsigurniji i preporučeni način čuvanja zaporki je korištenje upravitelja zaporkama (password manager), stoga bi odgovor bio e. Upravitelji zaporkama su alati koji omogućavaju generiranje jakih zaporki te njihovo sigurno čuvanje i upravljanje. Korisnik treba samo zapamtiti jednu "glavnu" zaporku kojom pristupa upravitelju zaporkama, a sve ostale zaporku upravitelj pamti i automatski upisuje prilikom prijave u odgovarajuće aplikacije ili web stranice.
Primjer primjene u nastavi na FIDIT-u (2/2)
Upit: cloud-config pod postavkom passwd može imati niz znakova oblika: a. $1$yjn5wBuA$l03L5t7vE.eOe0bcZvzLd/ b. XMmpyK3r$coLOHkrewlLD3/9BVkHG60 c. $5$MFZI/7q6bYbtQG9Z$wG3Rs7qwLCDvHAQbLXpbpkxFgTYy4bp8Uqnx9HUe4HC d. $6$U9UYfuf1DvS0vDsS$Om2BbsD0eoayX5tZ2zzFAbeeT8uflwpxYkVO0NvVhUNSnbR5Qt6lszw4hjWNU2GC9tbeh./.nPoJ9V5hY.YTZ/ e. fidit1234
Točni odgovori su a, b, c i d. Ovo su hash-irane zaporke koje se koriste u Unix sustavima za pohranjivanje zaporki korisnika. Format zaporki varira ovisno o korištenoj verziji Unixa, a različiti formati se označavaju različitim brojevima u prvom dijelu hash-a. U tom smislu, ovi nizovi znakova su primjeri zaporki koje se mogu koristiti u cloud-config datotekama. Odgovor e nije ispravan jer nije u formatu Unix zaporki.
Dva pristupa primjene u nastavi
- nastavnici
- sažimanje sadržaja iz više izvora za skriptu, izrada prezentacija
- izrada pitanja
- studenti
- objašnjavanje koncepata u fazi učenja
- pisanje eseja i programa
- odgovori na pitanja na ispitu
- ChatGPT može odgovoriti na pitanja koja je sam izradio
- gotovo sigurno će većinom studentima biti zabranjeno korištenje
Što još može ML? (1/2)
- integracija ChatGPT-a u postojeće alate: Blender, PyMOL
- sinteza govora: WaveNet
- igranje igre diplomacije: Cicero
- pomoć u kući: AI Habitat
- crtati: Craiyon/DALL-E mini (similar to OpenAI's DALL-E 2)
- Playform ima drugačiji stil
- Bing također to možže
- NVIDIA Canvas je desktop aplikacija za isto
Što još može ML? (2/2)
- pomoć u uredskom radu: Notion AI, pregled značajki
- sličan Office 365 Copilotu, Generative AI-u u Google Workspaceu (Docs/GMail)
- sažimanje teksta: Eightify/summarize.tech
- pretvorba govora u tekst: Whisper
- predviđanje zamotavanja proteina: AlphaFold, ESMFold
- integrirani specijalizirani alati: BioNeMo
GPT-4
- prijelaz GPT-3 -> GPT-4
- već dostupan kao usluga uz pretplatu pod imenom ChatGPT+
- koristi ga novi Bing, prešao 100 milijuna aktivnih korisnika u danu
- i dalje nije savršen, nekad je GPT-3 bolji
- hrvatski jezični model i prevođenje između engleskog i hrvatskog su već relativno dobri, ali očekuje se da će biti i bolji
- pitanje mjeseci, eventualno jedne ili dvije godine da hrvatski jezik bude nativno upotrebljiv
- za ilustraciju: Google Translate nekad i danas
Budućnost
- zasigurno: chatbotovi, korisnička podrška, pisanje eseja (čak i ako bude mimo pravila), odgovori na e-mailove, pomoć kod učenja...
- You.com nadmašuje Google Search?
- Bing nadmašuje Google Search?
- mainstream IT mediji već špekuliraju o toj mogućnosti: How ChatGPT Could Take Microsoft's Search Engine Bing Into the Future
- Elon Musk ga koristi kao dodatak za Neuralink?
Idući koraci
Posjetite chat.openai.com, nedajte da vas obeshrabri ChatGPT is at capacity right now
, registrirajte se i krenite.
Author: Vedran Miletić