AI može za nekoliko sekundi da pripremi projektni zadatak, predloži WBS, identifikuje rizike, napravi nacrt budžeta ili napiše statusni izveštaj. Odgovor često izgleda jasno, stručno i samouvereno.
Ali da li je tačan?
Možda jeste. A možda je AI upravo izmislio podatak, izvor, pravilo, rok ili pretpostavku koja nikada nije bila deo vašeg projekta.
To je jedan od najvećih rizika nekritičkog korišćenja veštačke inteligencije u projektnom menadžmentu: pogrešan odgovor ne mora da izgleda pogrešno.
Naprotiv, može biti napisan toliko uverljivo da ga prihvatimo bez dodatne provere. Zato svaki projektni menadžer koji koristi AI mora da zna odgovor na dva pitanja:
- Zašto AI daje netačne informacije?
- Kako da prepoznamo da je odgovor nepouzdan pre nego što na osnovu njega donesemo odluku?
Da li AI zaista laže?
Ne u ljudskom smislu te reči. Laganje podrazumeva da neko zna istinu, ali namerno saopštava nešto drugo kako bi drugu osobu doveo u zabludu.
AI nema ljudsku nameru, svest niti lični interes da vas obmane. On generiše odgovor na osnovu obrazaca, konteksta i informacija koje su mu dostupne.
Međutim, može sa velikom sigurnošću da proizvede tvrdnju koja nije tačna.
Takvi odgovori često se nazivaju AI halucinacijama ili konfabulacijama. Google ih definiše kao rezultate koji deluju uverljivo, ali su činjenično pogrešni, dok OpenAI upozorava da jezički modeli mogu samouvereno dati odgovor koji nije istinit.
Dakle, AI možda ne „laže“ namerno, ali posledica za projektnog menadžera može biti ista: dobili smo netačnu informaciju koja izgleda kao činjenica.
Kako izgleda AI halucinacija u projektnom menadžmentu?
Halucinacija nije samo potpuno izmišljena priča. Na projektu se može pojaviti u mnogo suptilnijim oblicima.
AI može da:
- izmisli član zakona, standarda ili procedure;
- navede dokument ili istraživanje koje ne postoji;
- pripiše stakeholderu zahtev koji nikada nije izrečen;
- pretpostavi rok koji mu nismo dali;
- izmisli cenu, trajanje ili produktivnost resursa;
- napravi zavisnost između aktivnosti koja u stvarnosti ne postoji;
- izračuna budžet na osnovu nepoznatih ili pogrešnih pretpostavki;
- predstavi generički rizik kao specifičan rizik vašeg projekta;
- tvrdi da je vremenski plan realan bez podataka o kapacitetu tima;
- napiše statusni izveštaj kao da zna šta se stvarno dogodilo.
Najopasniji odgovori nisu oni koji su potpuno besmisleni. Njih obično lako odbacimo. Najopasniji su odgovori koji su 80% razumni, ali sadrže jednu pogrešnu pretpostavku na kojoj se zasniva važna odluka.
Primer: AI je napravio dobar WBS ili možda nije?
Zamislimo da AI dobije zadatak da napravi WBS za uvođenje novog informacionog sistema. Rezultat može izgledati veoma dobro, sedam faza prikazanih u nastavku:
- analiza potreba;
- izbor rešenja;
- konfiguracija sistema;
- migracija podataka;
- testiranje;
- obuka korisnika;
- puštanje u rad.
Na prvi pogled, struktura deluje logično. Ali možda nedostaju sledeće faze: priprema i čišćenje podataka, bezbednosna provera, integracija sa postojećim sistemima, nabavka licenci, plan povratka na prethodno stanje, podrška tokom prvih nedelja korišćenja ili formalno prihvatanje sistema.
AI nije nužno „slagao“. Napravio je verovatnu strukturu na osnovu ograničenog konteksta. Problem nastaje kada projektni menadžer pretpostavi da je lista kompletna samo zato što izgleda stručno.
Pravo pitanje zato nije:
Da li je AI napravio WBS?
Već:
Na osnovu kojih informacija je napravio WBS, koje je pretpostavke koristio i šta je mogao da izostavi?
Zašto AI izmišlja odgovore?
Postoji više razloga.
1. AI pokušava da napravi uverljiv odgovor
Jezički modeli nisu klasične baze podataka koje jednostavno pronalaze jednu sačuvanu činjenicu.
Oni generišu tekst koji odgovara obrascima iz podataka i kontekstu razgovora. Zbog toga odgovor može biti jezički odličan, a činjenično pogrešan.
OpenAI navodi da standardni načini obučavanja i ocenjivanja modela često više nagrađuju pokušaj odgovora nego priznavanje neizvesnosti. Zbog toga model ponekad „pogodi“ umesto da kaže da nema dovoljno informacija.
2. Nismo dali dovoljno konteksta
Zahtev:
Napravi vremenski plan za uvođenje CRM sistema.
je vrlo štur i ne sadrži precizne informacije o obimu projekta, broju korisnika, da li treba da se integriše sa nekim postojećim sistemom, o kojoj količini podataka se radi, kolika je raspoloživost tima…
Jasno je da sa malo ili nedovoljno podataka AI pokušava praznine da popuni razumnim pretpostavkama. Problem je što „razumna pretpostavka“ za prosečan projekat ne mora biti tačna za taj vaš projekat.
3. Pitanje sadrži pogrešnu pretpostavku
Ako pitamo:
Kako da skratimo kritični put projekta za dve nedelje?
AI može odmah predložiti paralelni rad, dodatne resurse ili promenu zavisnosti. Ali možda mu nikada nismo dali kompletan plan niti dokaz da je prikazani niz aktivnosti zaista kritični put. AI često prihvati pretpostavku sadržanu u pitanju i nastavi da gradi odgovor na njoj.
4. Tražimo činjenice kojima AI nema pristup
Mnoge informacije koje mi znamo pretpostavljamo da i AI zna. Recimo koliko nam projekat kasni ili koliko novca je potrošeno do ovog trenutka ili šta je klijent rekao na poslednjem sastanku.
AI može da radi samo sa podacima koje smo mu dostavili ili sa izvorima kojima alat zaista ima pristup. Ako tih podataka nema, odgovor može biti samo pretpostavka.
5. Izvor koji navodi možda ne postoji
Jedna od najopasnijih situacija nastaje kada AI navede naziv standarda, član zakona, naziv istraživanja, autora, statistički podatak i ostalo gde izvor može zvučati potpuno verodostojno, a da zapravo ne postoji ili ne potvrđuje navedenu tvrdnju. Zato referenca koju je AI napisao nije dokaz da je tvrdnja proverena.
Sedam znakova da AI odgovor treba dodatno proveriti
1. AI je izuzetno siguran, iako nema dovoljno podataka
Samouveren ton nije dokaz tačnosti. AI može veoma precizno napisati:
Projekat će trajati 16 nedelja i zahtevaće budžet od 42.000 evra.
Ali ako nije dobio podatke o obimu, resursima, cenama i ograničenjima, ove brojke nemaju pouzdanu osnovu.
2. Ne navodi pretpostavke
Svaka procena trajanja, troškova i rizika zasniva se na određenim pretpostavkama. Ako AI daje rezultat, ali ne objašnjava na čemu ga zasniva, tražite da navede korišćene podatke, pretpostavke koje je koristio, informacije koje nedostaju, kao i nivo pouzdanosti odgovora.
3. Odgovor je previše uredan
Stvarni projekti su često nejasni, kontradiktorni i puni ograničenja. Ako AI za nekoliko sekundi pripremi savršeno uređen plan bez ijednog otvorenog pitanja, moguće je da je pojednostavio problem ili sam popunio praznine. Kvalitetan odgovor često treba da sadrži i pitanja na koja projektni tim mora da odgovori.
4. Svaki projekat dobija sličan odgovor
Generičke preporuke poput poboljšajte komunikaciju, redovno pratite rizike, uključite stakeholdere, obezbedite dovoljno resursa mogu biti tačne, ali nisu nužno korisne. Isti generički odgovor može da se primeni na deset potpuno različitih projekata, što znači da AI verovatno nije dovoljno razumeo vaš konkretan slučaj, odnosno kontekst Vašeg projekta.
5. Pojavljuju se podaci koje mu niste dali
Kada AI u odgovoru navede bilo koje podatke koje mu niste dali: broj zaposlenih, rok, cenu, naziv dobavljača, ugovor, tehničku karakteristiku ili bilo šta drugo, zapitajte se odakle mu ta informacija. Moguće je da ju je sam pretpostavio.
6. Izvori izgledaju uverljivo, ali nisu proverljivi
Proverite da li izvor zaista postoji, da li dokument ima navedeni naziv, da li je autor stvarno napisao tu tvrdnju i da li link vodi na odgovarajuću stranicu.
7. Odgovor se menja kada isto pitanje postavite ponovo
Različite formulacije pitanja mogu dati različite rezultate. To samo po sebi ne znači da je svaki odgovor pogrešan, ali pokazuje da rezultat nije čvrsta činjenica koju treba automatski prihvatiti. Možete tražiti da AI uporedi dve verzije odgovora, objasni zašto se razlikuju, ako ima tvrdnji koje zahtevaju proveru da ih jasno izdvoji i navede koji zaključak ima najviše smisla na osnovu dostavljenih podataka.
Može li bolji prompt da spreči AI da izmišlja?
Može da smanji rizik, ali ga ne može potpuno ukloniti.
Loš zahtev:
Napiši rizike projekta.
Bolji zahtev:
Na osnovu dostavljenog projektnog zadatka i WBS-a identifikuj moguće rizike. Nemoj uvoditi činjenice koje nisu navedene u dokumentima. Za svaki rizik navedi iz kog dela dokumentacije si ga izveo. Odvoj činjenice, pretpostavke i predloge. Ako nema dovoljno informacija, napiši koje podatke treba prikupiti.
Ovakav zahtev daje AI-ju jasnija pravila. Ipak, čak i tada projektni menadžer mora da proveri rezultat. Činjenica je da dobro napisan zahtev poboljšava kvalitet odgovora ali i dalje ne pretvara AI u nepogrešiv sistem.
Kako proveriti AI odgovor pre nego što ga primenite na projektu?
Korak 1: Odvojite činjenice od pretpostavki
Tražite da AI napravi tabelu sa kolonama:
- tvrdnja;
- podatak na kojem se zasniva;
- izvor;
- pretpostavka;
- šta treba dodatno proveriti.
Ovo pomaže da se neproverene tvrdnje ne predstave kao činjenice.
Korak 2: Tražite da kritikuje sopstveni odgovor
Nakon što AI napravi dokument, postavite dodatna pitanja:
- Šta je najslabiji deo ovog predloga?
- Koje informacije nedostaju?
- Koje pretpostavke mogu biti pogrešne?
- Koji deo plana je najmanje pouzdan?
- Navedi pet razloga zbog kojih ovaj predlog možda nije primenljiv.
- Šta bi iskusan projektni menadžer prvo proverio?
AI odgovor neće zbog toga automatski postati tačan, ali ćete dobiti dodatni ugao analize.
Korak 3: Uporedite dokumente
Dokumenti projekta moraju biti međusobno povezani.
Proverite:
- da li projektni zadatak i WBS imaju isti obim;
- da li gantogram pokriva sve radne pakete;
- da li budžet prati planirane aktivnosti;
- da li svaka važna aktivnost ima odgovornu osobu;
- da li su odgovori na rizike uneti u plan i budžet;
- da li se rokovi u različitim dokumentima poklapaju.
AI može pomoći da pronađete nedoslednosti, ali konačnu potvrdu mora dati projektni tim.
Korak 4: Proverite važne podatke u izvornim dokumentima
Za donošenje odluka koristite:
- ugovor;
- odobren budžet;
- aktuelni projektni plan;
- zapisnik sa sastanka;
- odluke projektnog odbora;
- zvaničnu proceduru;
- relevantni propis ili standard;
- proverenu ponudu dobavljača.
AI odgovor ne treba da ima prednost nad originalnim dokumentom.
Korak 5: Uključite stručnjaka za oblast
AI može predložiti:
- tehničko rešenje;
- pravno tumačenje;
- finansijsku procenu;
- bezbednosnu kontrolu;
- plan nabavke.
Ali predlog treba da potvrdi osoba koja ima odgovarajuće znanje i odgovornost. Projektni menadžer koordinira proces. Ne treba da koristi AI kako bi preskočio stručnu proveru.
Korak 6: Testirajte na malom primeru
Pre nego što novi AI proces primenite na važan projekat, testirajte ga na:
- završenom projektu;
- anonimnoj studiji slučaja;
- manjem radnom paketu;
- dokumentu za koji već znate tačan rezultat.
Tako ćete videti gde AI pomaže, gde greši i koliko kontrole je potrebno.
Najopasnija rečenica koju AI može da izgovori
Najopasnija rečenica nije:
Ne znam.
Najopasnija rečenica je:
Na osnovu analize, ovo je optimalno rešenje.
Reč „optimalno“ ima smisla samo ako su poznati svi relevantni kriterijumi, moguće alternative, ograničenja, rizici, posledice, tačni i potpuni podaci. Na stvarnim projektima retko imamo sve informacije.
Zato AI preporuku ne treba čitati kao odluku, već kao:
Jedan predlog koji treba proveriti prema ciljevima, podacima i okolnostima projekta.
Da li treba koristiti AI ako može da pogreši?
Da. Kalkulacije mogu da budu pogrešne, pa ipak koristimo Excel.
Plan može da sadrži loše zavisnosti, pa ipak koristimo MS Project.
Izveštaj može da sadrži netačne podatke, pa ipak ne prestajemo da pravimo izveštaje.
Rešenje nije da odbacimo alat, već da razumemo gde nam može pomoći, gde su mu ograničenja, kako da kontrolišemo i proveravamo predloge. I da znamo da je naša odgovornost za konačan rezultat.
NIST konfabulaciju, odnosno generisanje pouzdano izrečenog ali pogrešnog sadržaja, prepoznaje kao jedan od karakterističnih rizika generativne veštačke inteligencije i preporučuje upravljanje tim rizikom kroz testiranje, praćenje, dokumentovanje i ljudsku proveru.
AI je naročito koristan za:
- pripremu prvog nacrta;
- strukturiranje informacija;
- razmatranje dodatnih opcija;
- identifikovanje mogućih nedostataka;
- prilagođavanje sadržaja različitim korisnicima;
- ubrzavanje administrativnog rada.
Ali konačnu odluku mora da donese osoba koja razume projekat i odgovara za njegove rezultate.
AI ne zamenjuje znanje projektnog menadžmenta
Zamislite da AI napravi vremenski plan projekta. Kako ćete proveriti da li je dobar ako ne razumete WBS, koje aktivnosti čine projekat, koliko traju, kako su međusobno povezane, ko je odgovoran za njihovu realizaciju, šta je kritičan put.
Isto važi za budžet, RACI matricu i registar rizika.
Bez osnovnog projektnog znanja možete da dobijete dokument koji izgleda profesionalno, ali ne možete pouzdano da procenite njegov kvalitet i primenljivost na Vašem projektu.
AI zato ne umanjuje važnost projektnog menadžera. Naprotiv, razdvaja one koji samo mogu da generišu dokument od onih koji znaju da ga provere, prilagode i pretvore u realan plan.
Praktičan test: da li možete da verujete AI odgovoru?
Pre nego što AI rezultat unesete u projektnu dokumentaciju, odgovorite na sledeća pitanja:
- Da li je AI dobio dovoljno informacija?
- Da li je jasno naveo šta zna, a šta pretpostavlja?
- Da li su svi brojevi povezani sa proverenim izvorom?
- Da li su navedeni izvori stvarni i relevantni?
- Da li je rezultat usklađen sa ostalim projektnim dokumentima?
- Da li je odgovor proverio član tima koji poznaje oblast?
- Da li razumemo posledice ako je preporuka pogrešna?
- Da li odluku možemo da obrazložimo bez pozivanja na rečenicu „AI je tako rekao“?
Ako je odgovor na neko važno pitanje „ne“, rezultat još nije spreman za primenu.
Naučite da koristite AI bez prepuštanja projekta AI-ju
Najveća greška nije to što AI ponekad daje pogrešan odgovor. Najveća greška je kada projektni menadžer prihvati taj odgovor bez provere.
Na praktičnoj obuci AI u projektnom menadžmentu ne učite samo kako da od AI-ja dobijete projektni zadatak, WBS, gantogram i početni budžet.
Učite i kako da:
- date AI-ju potreban kontekst;
- prepoznate izmišljene pretpostavke;
- proverite kompletnost dokumenta;
- pronađete nedoslednosti;
- poboljšate prvi nacrt;
- prilagodite dokument realnom projektu;
- zadržite kontrolu nad projektnim odlukama.
Tokom 8 školskih časova prolazite put od početne ideje do prvog strukturiranog plana projekta.
Obuka predstavlja i prvi modul kompletne obuke za upravljanje projektima. Nakon uvodnih 8 časova možete završiti program ili nastaviti dalje bez ponavljanja sadržaja.
Česta pitanja
Kako se zove pojava kada AI izmišlja informacije?
Najčešće se koristi izraz „AI halucinacija“. NIST u svojim dokumentima koristi i izraz „konfabulacija“ za uverljivo predstavljen, ali pogrešan ili izmišljen sadržaj generativnog AI sistema.
Da li AI zna da je njegov odgovor pogrešan?
Ne treba pretpostaviti da AI ima ljudsko razumevanje istine ili sopstvenog znanja. Može da generiše siguran odgovor i kada nema dovoljno informacija za pouzdan zaključak.
Zato samouveren ton ne treba tumačiti kao dokaz tačnosti.
Da li će AI priznati da nešto ne zna?
Može, naročito ako mu jasno kažete da ne nagađa i da navede kada nema dovoljno informacija.
Ipak, takva instrukcija smanjuje rizik, ali ne garantuje da svaki odgovor mora biti tačan. OpenAI zbog toga preporučuje kritički odnos prema odgovorima i proveru važnih informacija iz pouzdanih izvora.
Kako mogu da smanjim broj netačnih odgovora?
Dajte AI-ju:
- jasan kontekst;
- proverene ulazne podatke;
- originalne dokumente;
- precizan zadatak;
- dozvolu da kaže da nema dovoljno informacija;
- zahtev da navede pretpostavke i izvore.
Nakon toga rezultat proverite u izvornoj dokumentaciji i sa stručnim članovima tima.
Da li AI odgovor može da se koristi kao zvanična projektna odluka?
Ne bez odgovarajuće provere i odobrenja.
AI može da pomogne u pripremi analize, scenarija i preporuke, ali odluku mora doneti osoba sa odgovarajućim ovlašćenjem i odgovornošću.
Ko odgovara ako je AI dao pogrešan predlog?
U projektnom radu odgovornost ostaje na ljudima i organizaciji koja koristi alat.
Rečenica „AI je tako predložio“ nije odgovarajuće obrazloženje za odluku čije posledice utiču na rokove, troškove, kvalitet, bezbednost ili ugovorne obaveze projekta.