{"id":2264,"date":"2024-12-18T00:51:40","date_gmt":"2024-12-18T00:51:40","guid":{"rendered":"https:\/\/crnaknjiga.com\/?page_id=2264"},"modified":"2024-12-18T01:22:47","modified_gmt":"2024-12-18T01:22:47","slug":"koristeci-vertex-ai","status":"publish","type":"page","link":"https:\/\/crnaknjiga.com\/en\/koristeci-vertex-ai\/","title":{"rendered":"Koriste\u0107i Vertex AI"},"content":{"rendered":"
\n\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t
\n\t\t\t
<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\r\n

Kombinuju\u0107i snagu Vertex AI sa tehnikama upravljanja i analize podataka:<\/p>\r\n\r\n\r\n\r\n

1. Unos i predobrada podataka:<\/strong><\/p>\r\n\r\n\r\n\r\n

    \r\n
  • Razli\u010diti izvori podataka:<\/strong> Platforma mora da unosi podatke iz razli\u010ditih izvora:\r\n
      \r\n
    • CV-jevi\/Biografije:<\/strong> Verovatno u PDF ili DOC formatima. Informacije kao \u0161to su obrazovanje, radna istorija, ve\u0161tine i veze i ostale informacije bitne za istrage.<\/li>\r\n\r\n\r\n\r\n
    • Dosijei osoba:<\/strong> Mogu biti u bazama podataka, tabelama ili dokumentima. Oni mogu uklju\u010divati li\u010dne podatke, krivi\u010dne evidencije, finansijske evidencije, vlasni\u0161tvo nad imovinom itd.<\/li>\r\n\r\n\r\n\r\n
    • Doga\u0111aji:<\/strong> Vesti, saop\u0161tenja za javnost, objave na dru\u0161tvenim medijima, zapisnici sa sastanaka. Zabele\u017eite datum, vreme, lokaciju, uklju\u010dene osobe i prirodu doga\u0111aja.<\/li>\r\n\r\n\r\n\r\n
    • Datumi:<\/strong> Relevantni datumi kao \u0161to su izborne kampanje, dodele ugovora, rokovi projekata, finansijske transakcije.<\/li>\r\n\r\n\r\n\r\n
    • Drugi faktori:<\/strong> Registracije preduze\u0107a, pravni dokumenti, evidencije lobiranja, putne evidencije itd.<\/li>\r\n<\/ul>\r\n<\/li>\r\n\r\n\r\n\r\n
    • \u010ci\u0161\u0107enje i standardizacija podataka:<\/strong>\r\n
        \r\n
      • OCR (Opti\u010dko prepoznavanje znakova):<\/strong> Koristite Vertex AI Document AI ili sli\u010dnu uslugu za izdvajanje teksta iz slika i skeniranih dokumenata (npr. PDF-ovi, skenirane slike CV-jeva).<\/li>\r\n\r\n\r\n\r\n
      • \u010ci\u0161\u0107enje podataka:<\/strong> Re\u0161avanje nedoslednosti, nedostaju\u0107e vrednosti i gre\u0161ke u podacima.<\/li>\r\n\r\n\r\n\r\n
      • Standardizacija:<\/strong> Pretvorite podatke u konzistentan format (npr. datumi, imena, adrese).<\/li>\r\n<\/ul>\r\n<\/li>\r\n\r\n\r\n\r\n
      • Izdvajanje entiteta i prepoznavanje imenovanih entiteta (NER):<\/strong>\r\n
          \r\n
        • Vertex AI Natural Language API:<\/strong> Koristite NER da biste identifikovali klju\u010dne entitete kao \u0161to su imena osoba, organizacije, lokacije, datumi, nov\u010dani iznosi itd.<\/li>\r\n\r\n\r\n\r\n
        • Prilago\u0111eni NER modeli:<\/strong> Obu\u010dite prilago\u0111ene NER modele na Vertex AI AutoML ako va\u0161 domen zahteva specifi\u010dne entitete koji nisu pokriveni unapred obu\u010denim modelima (npr. specifi\u010dni tipovi korupcije, pravni termini, sleng povezan sa va\u0161om temom).<\/li>\r\n<\/ul>\r\n<\/li>\r\n<\/ul>\r\n\r\n\r\n\r\n

          2. Skladi\u0161tenje i upravljanje podacima:<\/strong><\/p>\r\n\r\n\r\n\r\n

            \r\n
          • Skladi\u0161te u oblaku:<\/strong> Google Cloud Storage za skladi\u0161tenje sirovih podataka (PDF-ovi, slike, dokumenti) i obra\u0111enih podataka.<\/li>\r\n\r\n\r\n\r\n
          • Strukturirana baza podataka:<\/strong>\r\n
              \r\n
            • Cloud SQL ili Cloud Spanner:<\/strong> Za strukturirane podatke kao \u0161to su izdvojeni entiteti, odnosi i metapodaci, izaberite relacionu bazu podataka kao \u0161to je Cloud SQL (za manje skupove podataka) ili Cloud Spanner (za velike, globalno distribuirane podatke).<\/li>\r\n\r\n\r\n\r\n
            • BigQuery:<\/strong> Za velike skupove podataka koji zahtevaju analiti\u010dke upite, razmotrite kori\u0161\u0107enje BigQuery-ja kao skladi\u0161ta podataka.<\/li>\r\n<\/ul>\r\n<\/li>\r\n\r\n\r\n\r\n
            • Grafovska baza podataka (opciono):<\/strong>\r\n
                \r\n
              • Neo4j, JanusGraph ili Amazon Neptune:<\/strong> Razmotrite grafovsku bazu podataka za skladi\u0161tenje odnosa izme\u0111u entiteta (npr. „Osoba A radi u kompaniji B“, „Osoba A je povezana sa osobom C“). Grafovske baze podataka su odli\u010dne za otkrivanje skrivenih veza i obrazaca, koji su klju\u010dni u istragama korupcije.<\/li>\r\n<\/ul>\r\n<\/li>\r\n<\/ul>\r\n\r\n\r\n\r\n

                3. In\u017eenjering obele\u017eja i modelovanje odnosa:<\/strong><\/p>\r\n\r\n\r\n\r\n

                  \r\n
                • Izdvajanje obele\u017eja:<\/strong> Kreirajte smislena obele\u017eja iz sirovih podataka:\r\n
                    \r\n
                  • Mre\u017ena obele\u017eja (ako se koristi grafovska baza podataka):<\/strong> Izra\u010dunajte mere mre\u017ene centralnosti (stepen, posredovanje, bliskost) da biste identifikovali uticajne pojedince.<\/li>\r\n\r\n\r\n\r\n
                  • Vremenska obele\u017eja:<\/strong> Analizirajte obrasce u datumima i doga\u0111ajima (npr. u\u010destalost sastanaka, anomalije u vremenu transakcija).<\/li>\r\n\r\n\r\n\r\n
                  • Finansijska obele\u017eja:<\/strong> Crvene zastavice kao \u0161to su neobi\u010dno velike transakcije, \u010desta podizanja gotovine ili transakcije sa fiktivnim kompanijama.<\/li>\r\n\r\n\r\n\r\n
                  • Geografska obele\u017eja:<\/strong> Analizirajte lokacije pojedinaca, kompanija i doga\u0111aja.<\/li>\r\n\r\n\r\n\r\n
                  • Tekstualna obele\u017eja:<\/strong> Koristite NLP tehnike kao \u0161to su TF-IDF ili ugradnja re\u010di (word embeddings) da biste predstavili sadr\u017eaj dokumenata i identifikovali sumnjiv jezik ili klju\u010dne re\u010di povezane sa korupcijom.<\/li>\r\n<\/ul>\r\n<\/li>\r\n\r\n\r\n\r\n
                  • Modelovanje odnosa:<\/strong>\r\n
                      \r\n
                    • Defini\u0161ite odnose:<\/strong> Jasno defini\u0161ite tipove odnosa koje \u017eelite da pratite (npr. porodi\u010dne veze, poslovna partnerstva, finansijske transakcije, politi\u010dke veze).<\/li>\r\n\r\n\r\n\r\n
                    • Pove\u017eite entitete:<\/strong> Uspostavite veze izme\u0111u entiteta u va\u0161oj bazi podataka na osnovu izdvojenih informacija (npr. pove\u017eite osobu sa njenim poslodavcem, pove\u017eite kompaniju sa njenim direktorima, pove\u017eite transakcije sa pojedincima).<\/li>\r\n<\/ul>\r\n<\/li>\r\n<\/ul>\r\n\r\n\r\n\r\n

                      4. Modeli ma\u0161inskog u\u010denja (Vertex AI):<\/strong><\/p>\r\n\r\n\r\n\r\n

                        \r\n
                      • Otkrivanje anomalija:<\/strong>\r\n
                          \r\n
                        • Vertex AI AutoML ili prilago\u0111eni modeli:<\/strong> Obu\u010dite modele za otkrivanje neobi\u010dnih obrazaca u finansijskim transakcijama, mre\u017enim vezama ili nizovima doga\u0111aja koji bi mogli ukazivati na korupciju.<\/li>\r\n\r\n\r\n\r\n
                        • Koristite tehnike:<\/strong> Isolation Forest, One-Class SVM ili Autoenkoderi za otkrivanje anomalija.<\/li>\r\n<\/ul>\r\n<\/li>\r\n\r\n\r\n\r\n
                        • Predvi\u0111anje veza (ako se koristi grafovska baza podataka):<\/strong>\r\n
                            \r\n
                          • Predvidite skrivene veze:<\/strong> Obu\u010dite modele za predvi\u0111anje verovatnih, ali neopa\u017eenih odnosa izme\u0111u pojedinaca ili organizacija, potencijalno otkrivaju\u0107i skrivene mre\u017ee uticaja.<\/li>\r\n<\/ul>\r\n<\/li>\r\n\r\n\r\n\r\n
                          • Bodovanje rizika:<\/strong>\r\n
                              \r\n
                            • Razvijte modele:<\/strong> Kreirajte modele koji dodeljuju ocenu rizika pojedincima, kompanijama ili transakcijama na osnovu njihovih obele\u017eja i odnosa, ukazuju\u0107i na verovatno\u0107u ume\u0161anosti u koruptivne aktivnosti.<\/li>\r\n<\/ul>\r\n<\/li>\r\n\r\n\r\n\r\n
                            • Klasifikacija:<\/strong>\r\n
                                \r\n
                              • Kategorizujte slu\u010dajeve:<\/strong> Obu\u010dite modele za klasifikaciju slu\u010dajeva u razli\u010dite vrste korupcije (npr. mito, pronevera, nepotizam) na osnovu obrazaca u podacima.<\/li>\r\n<\/ul>\r\n<\/li>\r\n<\/ul>\r\n\r\n\r\n\r\n

                                5. Vertex AI Pipeline i orkestracija toka posla:<\/strong><\/p>\r\n\r\n\r\n\r\n

                                  \r\n
                                • Vertex AI Pipelines:<\/strong> Koristite Vertex AI Pipelines za kreiranje automatizovanih tokova posla koji orkestriraju ceo proces: unos podataka, predobradu, in\u017eenjering obele\u017eja, obuku modela, evaluaciju i implementaciju.<\/li>\r\n\r\n\r\n\r\n
                                • Cloud Functions ili Cloud Run:<\/strong> Pokrenite specifi\u010dne radnje unutar pipeline-a koriste\u0107i funkcije bez servera (npr. pokrenite OCR na novo postavljenim dokumentima, ponovo obu\u010dite modele kada stignu novi podaci).<\/li>\r\n<\/ul>\r\n\r\n\r\n\r\n

                                  6. Korisni\u010dki interfejs i vizuelizacija:<\/strong><\/p>\r\n\r\n\r\n\r\n

                                    \r\n
                                  • Veb aplikacija:<\/strong> Izgradite veb aplikaciju prilago\u0111enu korisnicima koja omogu\u0107ava istra\u017eiteljima da:\r\n
                                      \r\n
                                    • Pretra\u017euju podatke:<\/strong> Tra\u017ee pojedince, kompanije, doga\u0111aje ili specifi\u010dne klju\u010dne re\u010di.<\/li>\r\n\r\n\r\n\r\n
                                    • Vizualizuju mre\u017ee:<\/strong> Koriste biblioteke za vizuelizaciju grafova (npr. D3.js, Cytoscape.js) za prikaz odnosa izme\u0111u entiteta.<\/li>\r\n\r\n\r\n\r\n
                                    • Pregledaju vremenske linije:<\/strong> Prikazuju doga\u0111aje i transakcije hronolo\u0161ki.<\/li>\r\n\r\n\r\n\r\n
                                    • Istra\u017euju anomalije:<\/strong> Isti\u010du potencijalno sumnjive obrasce koje su identifikovali modeli ma\u0161inskog u\u010denja.<\/li>\r\n\r\n\r\n\r\n
                                    • Generi\u0161u izve\u0161taje:<\/strong> Kreiraju izve\u0161taje koji sumiraju nalaze i dokaze.<\/li>\r\n<\/ul>\r\n<\/li>\r\n\r\n\r\n\r\n
                                    • Looker Studio ili Tableau (opciono):<\/strong> Za naprednu analitiku i kontrolne table, integri\u0161ite se sa Looker Studio ili Tableau da biste kreirali interaktivne vizuelizacije i izve\u0161taje.<\/li>\r\n<\/ul>\r\n\r\n\r\n\r\n

                                      7. Bezbednost i uskla\u0111enost:<\/strong><\/p>\r\n\r\n\r\n\r\n

                                        \r\n
                                      • IAM (Upravljanje identitetom i pristupom):<\/strong> Implementirajte stroge kontrole pristupa koriste\u0107i Google Cloud IAM da biste ograni\u010dili pristup osetljivim podacima i funkcionalnostima platforme.<\/li>\r\n\r\n\r\n\r\n
                                      • \u0160ifrovanje podataka:<\/strong> \u0160ifrujte podatke u mirovanju i u tranzitu.<\/li>\r\n\r\n\r\n\r\n
                                      • Evidencija revizije:<\/strong> Omogu\u0107ite evidencije revizije da biste pratili sve aktivnosti unutar platforme.<\/li>\r\n\r\n\r\n\r\n
                                      • Uskla\u0111enost:<\/strong> Obezbedite uskla\u0111enost sa relevantnim propisima o privatnosti podataka (npr. GDPR, CCPA).<\/li>\r\n<\/ul>\r\n\r\n\r\n\r\n

                                        Primer toka posla pomo\u0107u Vertex AI Pipelines:<\/strong><\/p>\r\n\r\n\r\n\r\n

                                          \r\n
                                        1. Unos podataka:<\/strong> Novi CV (PDF) se postavlja na Cloud Storage.<\/li>\r\n\r\n\r\n\r\n
                                        2. Pokretanje Cloud Function:<\/strong> Postavljanje pokre\u0107e Cloud Function.<\/li>\r\n\r\n\r\n\r\n
                                        3. Document AI:<\/strong> Cloud Function poziva Document AI da izvu\u010de tekst i entitete iz CV-ja.<\/li>\r\n\r\n\r\n\r\n
                                        4. \u010ci\u0161\u0107enje i standardizacija podataka:<\/strong> Izdvojeni podaci se \u010diste i standardizuju.<\/li>\r\n\r\n\r\n\r\n
                                        5. Skladi\u0161tenje u Cloud SQL\/BigQuery:<\/strong> Strukturirani podaci (ime, obrazovanje, radna istorija itd.) se skladi\u0161te u Cloud SQL ili BigQuery.<\/li>\r\n\r\n\r\n\r\n
                                        6. NER na vestima:<\/strong> Vesti povezane sa kompanijom pojedinca se obra\u0111uju pomo\u0107u Vertex AI Natural Language API za NER.<\/li>\r\n\r\n\r\n\r\n
                                        7. Povezivanje entiteta:<\/strong> Uspostavljaju se odnosi (npr. „Osoba X je radila u kompaniji Y od datuma1 do datuma2“).<\/li>\r\n\r\n\r\n\r\n
                                        8. In\u017eenjering obele\u017eja:<\/strong> Izra\u010dunavaju se obele\u017eja (npr. mre\u017ena centralnost ako se koristi grafovska baza podataka).<\/li>\r\n\r\n\r\n\r\n
                                        9. Zaklju\u010divanje modela za otkrivanje anomalija:<\/strong> Model za otkrivanje anomalija (prethodno obu\u010den na Vertex AI) se koristi za bodovanje novih podataka.<\/li>\r\n\r\n\r\n\r\n
                                        10. Upozorenje:<\/strong> Ako ocena anomalije prema\u0161i prag, generi\u0161e se upozorenje i \u0161alje istra\u017eiteljima.<\/li>\r\n\r\n\r\n\r\n
                                        11. Vizuelizacija:<\/strong> Istra\u017eitelj tada mo\u017ee koristiti veb aplikaciju da istra\u017ei profil pojedinca, veze i povezane doga\u0111aje, sa istaknutim anomalijama.<\/li>\r\n<\/ol>\r\n\r\n\r\n\r\n

                                          Va\u017ena razmatranja:<\/strong><\/p>\r\n\r\n\r\n\r\n

                                            \r\n
                                          • Stru\u010dnost u domenu:<\/strong> Uklju\u010dite stru\u010dnjake za istrage korupcije tokom celog procesa razvoja. Njihovo znanje je klju\u010dno za definisanje relevantnih obele\u017eja, odnosa i tuma\u010denje rezultata modela.<\/li>\r\n\r\n\r\n\r\n
                                          • Eti\u010dka upotreba:<\/strong> Razvijte smernice za eti\u010dku upotrebu platforme, osiguravaju\u0107i pravednost, transparentnost i odgovornost. Re\u0161ite potencijalne pristrasnosti u podacima i modelima.<\/li>\r\n\r\n\r\n\r\n
                                          • Skalabilnost:<\/strong> Dizajnirajte platformu da upravlja velikim koli\u010dinama podataka i rastu\u0107om potra\u017enjom korisnika.<\/li>\r\n\r\n\r\n\r\n
                                          • Kontinuirano pobolj\u0161anje:<\/strong> Redovno procenjujte i a\u017eurirajte modele kako novi podaci postaju dostupni i pojavljuju se novi obrasci korupcije.<\/li>\r\n<\/ul>\r\n\r\n\r\n\r\n

                                            Kombinovanjem snage Vertex AI sa pa\u017eljivim upravljanjem podacima, in\u017eenjeringom obele\u017eja i korisni\u010dkim interfejsom, mo\u017eete izgraditi mo\u0107nu platformu za pomo\u0107 u otkrivanju i borbi protiv korupcije. Zapamtite da je ovo slo\u017een poduhvat, ali je potencijalni uticaj zna\u010dajan!<\/p>\r\n\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>","protected":false},"excerpt":{"rendered":"

                                            Kombinuju\u0107i snagu Vertex AI sa tehnikama upravljanja i analize podataka: 1. Unos i predobrada podataka: 2. Skladi\u0161tenje i upravljanje podacima: 3. In\u017eenjering obele\u017eja i modelovanje odnosa: 4. Modeli ma\u0161inskog u\u010denja (Vertex AI): 5. Vertex AI Pipeline i orkestracija toka posla: 6. Korisni\u010dki interfejs i vizuelizacija: 7. Bezbednost i uskla\u0111enost: Primer toka posla pomo\u0107u Vertex AI […]<\/p>\n","protected":false},"author":1,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"elementor_canvas","meta":{"_acf_changed":false,"footnotes":""},"class_list":["post-2264","page","type-page","status-publish","hentry"],"acf":[],"_links":{"self":[{"href":"https:\/\/crnaknjiga.com\/en\/wp-json\/wp\/v2\/pages\/2264","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/crnaknjiga.com\/en\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/crnaknjiga.com\/en\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/crnaknjiga.com\/en\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/crnaknjiga.com\/en\/wp-json\/wp\/v2\/comments?post=2264"}],"version-history":[{"count":5,"href":"https:\/\/crnaknjiga.com\/en\/wp-json\/wp\/v2\/pages\/2264\/revisions"}],"predecessor-version":[{"id":2269,"href":"https:\/\/crnaknjiga.com\/en\/wp-json\/wp\/v2\/pages\/2264\/revisions\/2269"}],"wp:attachment":[{"href":"https:\/\/crnaknjiga.com\/en\/wp-json\/wp\/v2\/media?parent=2264"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}