full-keynote_-introducing-copilot-pcs-5-0-screenshot

Microsoft představil Copilot+PC další AI novinky

Začala vývojářská konference Microsoft Build. Na její keynote představili novou „kategorii“ počítačů, které budou těžit právě z možností AI. A ukázali i nové AI vychytávky ve Windows.

Uveřejněno

Rubrika

Autor

Dnes začala konference vývojářská konference Microsoft Build 2024, včera v noci tuto příležitost Microsoft využil pro svou keynote, kde představil novinky, které si nachystali.

Byla to kombinace nových notebooků nejen přímo od Microsoftu, ale i ostatních hlavních výrobců, vybavených AI čipy a umožňujících provádění spousty AI činností přímo na počítači, a zároveň představení i nových možností a schopností, které AI integrované přímo v počítači bude umožňovat.

Moc se mi líbila hláška na začátku – odteď budou počítače rozumět lidem, ne že se budou muset lidi učit rozumět počítačům.

Celá Copilot+PC keynote

Celá keynote byla hodně stavěná proti Apple, který AI novinky ukazoval před pár dny bylo vidět, jak to má Microsoft mnohem lépe dopracované.

Omluva: v posledních 3 týdnech jsem byl na dovolené a dalších akcích a tak jsem nemohl publikovat o novinkách od OpenAI, Google, Apple, Claude… – zkusím to dohnat v následujících dnech. Zároveň v souvislosti se všemi změnami zcela přepracovávám a aktualizuji své AI školení, takže další termíny budou až někdy v červnu. Klidně se předběžně přihlaste, dám vám pak vědět.

Právě teď probíhá první den vývojářské konference, souhrn a rozhovory s partnery a klíčovými lidmi z MS můžete sledovat zde. Zajímavý je rozhovor se Samem Altmanem (OpenAI) na začátku, jinak se tam nic moc nového nedovíte.

Následující část článku jsem nechal zpracovat AI, na konci přidám informace doplněné v různých konferenčních místnostech dnes a svůj pohled.


Platforma Windows pro novou éru AI

Na včerejší keynote v kampusu v Redmondu představil Microsoft svou vizi pro novou éru počítačů, které nás budou skutečně „chápat“ místo toho, abychom se my museli přizpůsobovat jim. Satya Nadella, výkonný ředitel Microsoftu, nastínil revoluci umělé inteligence (AI), která zvýší produktivitu, kreativitu a znalosti lidí na celém světě.

AI školení – nové termíny a místa (Praha, Brno…)

Chcete dostávat tyto články na e-mail, aby vám nic neuteklo?

Hlavním tahounem této „vlny AI“ jsou podle Nadellyho tzv. „škálovací zákony“ – podobně jako Moorův zákon umožnil informační revoluci, tyto zákony hlubokých neuronových sítí mají být hnací silou nadcházející „inteligentní revoluce“. Microsoft je přesvědčen, že počítání bude distribuované mezi cloudem a koncovými zařízeními (edge), aby se odstranila omezení výkonu a latence a zajistila se soukromí.

Představení nové kategorie zařízení „Copilot+PC“

V rámci této vize Microsoft ohlásil novou kategorii zařízení – „Copilot+PC“. Jedná se o zcela novou třídu Windows PC, navržených pro maximální využití distribuované AI na hraničních zařízeních a v cloudu.

Aby zařízení mohlo být certifikováno jako Copilot+PC, musí splňovat tyto minimální požadavky:

  • Neural Processing Unit (NPU) s teoretickým výkonem alespoň 40 trilionů operací za sekundu (TOPS)
  • Minimálně 16 GB operační paměti RAM
  • Minimálně 256 GB úložného prostoru

Jak vysvětlil Satya Nadella, myšlenka je zcela přepracovat architekturu PC – od křemíku přes systémy až po uživatelské rozhraní. Součástí je nový systémový čip a kompletně modernizovaný operační systém Windows 11, aby mohly plně využít potenciál AI a poskytovat nové aplikace, modely a zážitky, které nejsou v dnešních PC možné.

Maximální výkon díky AI architektuře

Podle Youssefa Mehdiho, lídra Windows a zařízení v Microsoftu, budou Copilot+PC nejrychlejšími Windows PC doteď vyrobenými. Kombinují CPU, GPU a novou AI akcelerační jednotku (NPU) s teoretickým výkonem až 40 trilionů operací za sekundu.

Kromě špičkového hardwaru Windows 11 dostal architekturu optimalizovanou pro maximální výkon a výdrž baterie na těchto nových zařízeních. Ve výsledku budou Copilot+PC o 58% rychlejší než současné špičkové MacBooky Air s procesorem M3.

Vylepšený Copilot pro snadnou interakci s AI

Microsoft také aktualizoval svého stávajícího AI asistenta Copilota, aby ještě lépe fungoval v tomto novém prostředí. Copilot bude přístupný jedním kliknutím z postranní lišty Windows, s možností změny velikosti, oddělání nebo rozšíření do celé obrazovky.

Uživatelé budou moci přirozeně komunikovat s Copilotem pomocí hlasu nebo interaktivně s gesty. Na ukázce výše vidíte, jak může Copilot v reálném čase analyzovat obsah na obrazovce (například ve hře Minecraft) a poskytovat užitečné rady dle aktuálního kontextu. Poznámka: kdo jste viděl minulý týden keynote od OpenAI, pak jde o obdobnou funkci, kterou ukázali v OpenAI aplikaci pro MacOS.

Nadcházející aktualizace navíc přinese model GPT-4o od OpenAI, který zlepší možnosti komunikace v textu, řeči i zpracování obrazu. Copilot se také začne objevovat na více místech v systému Windows 11 – v Nastavení, Průzkumníku souborů nebo přímo v oznámeních – aby pomáhal s každodenními úkoly přímo při používání počítače.

Nové modely Surface jako první Copilot+PC

Microsoft odhalil nové modely Surface, které budou patřit mezi první certified zařízení Copilot+PC:

  • Surface Laptop – Tenčí rámečky, čipset Qualcomm Snapdragon X Elite. Dostupný ve 13,8″ a 15″ variantě. Údajně o 86% rychlejší než Surface Laptop 5, až 32GB RAM a 1TB SSD. Cena od $999, dostupnost od 18.6.
  • Surface Pro – Poprvé s opcí OLED displeje, údajně o 90% rychlejší než předchozí generace. Výdrž na jedno nabití až 14 hodin při přehrávání videa. Pouze 2x USB-C porty. Verze s LCD od $1000, s OLED od $1500. Klávesnice Flex za $350, Pen za $450.

Další výrobci představují Copilot+PC notebooky

Do nové kategorie Copilot+PC se kromě Microsoftu zapojili také další výrobci jako Samsung, ASUS, Lenovo, Acer, Dell a HP:

  • HP Omnibook X – Snapdragon X Elite, až 26 hodin výdrže na video. Cena od $1200 za 1TB verzi.
  • HP Elitebook Ultra – Začíná na $1700.

Oba modely HP budou k dispozici od 18.6. Společnost navíc oznámila přejmenování svých notebooků pod jednotnou značku Omni.

Windows 11 přepracovaný pro ARM

Protože mnoho Copilot+PC poběží na ARM architektuře, Microsoft výrazně upravil Windows 11 speciálně pro tyto čipy:

  • Nové jádro a kompilátor pro Windows 11
  • Emulátor Prism pro běh x86/x64 aplikací (údajně o 20% rychlejší)
  • Nativní podpora aplikací jako Chrome, Spotify, Adobe apod.

Má to umožnit lepší efektivitu, nižší náklady a delší výdrž ARM zařízení oproti minulým pokusům.

Zážitky nové generace: Vše na dosah s funkcí „Recall“

image-7264228

Jednou z vlajkových lodí Copilot+PC je nová funkce „Recall“ (Připomenutí, vybavení si). Cílem je vyřešit problém vyhledávání starších souborů, e-mailů, webových stránek nebo jiného obsahu na vašem počítači pomocí přirozené řeči nebo textu.

Díky výkonu na hraničních zařízeních, integraci hlubokého učení přímo do Windows 11 a sémantické lokální indexaci může Recall okamžitě a intuitivně vyhledat prakticky cokoli, na co jste kdy narazili. Stačí použít popis jako „modrý kalhotový kostým se třpytkami a krajkami od babičky“ nebo „fialový graf s fialovým textem“ a Recall najde přesnou diskusi či snímek v prezentaci.

Microsoft slibuje, že veškeré obsahy a indexy Recallu zůstanou na vašem zařízení a nebudou použity pro trénování AI modelů. Budete mít možnost upravit či odstranit cokoli, co nechcete v indexu mít. Bezpečnost a zodpovědné využití AI je pro Microsoft zásadní prioritou.

Poznámka: tohle je trochu kontroverzní a na sociálních sítích diskutovaná funkce – vlastně neustále snímá co je na vaší obrazovce a ukládá si to do vektorové databáze. Jenže samozřejmě každého při tom napadlo – a co když se koukám třeba na porno nebo si píšu s milenkou? Nebo co když tam někde píšu své číslo kreditky. Samozřejmě málokdo bude vše detailně nastavovat a tak se nejspíš dočkáme mnoha příběhů zneužití této funkce. Každopádně o důvod víc nepouštět ke svému PC nikoho nepovolaného.

Další zážitky s AI v aplikacích a hrách

microsoft-copilot-ai-pc-_-artificial-intelligence-keynote-event-11-17-screenshot-5742053

Běžně používané aplikace pro Windows jako Fotky, Paint nebo Xbox Game Bar také dostanou vylepšení umělou inteligencí:

  • AI editor fotek bude umět ve vysokém rozlišení zrekonstruovat staré fotografie nebo automaticky tvořit popisky ke koláži vašich fotografií.
  • Microsoft Paint dostane plnohodnotnou funkci Cocreator pro generování obrazů pomocí AI. Bude mít i „kreativní posuvník“ pro nastavení míry zásahu AI do vaší původní kresby.
  • Živé titulky (Live Captions) budou umět v reálném čase překládat desítky jazyků do angličtiny, a to u přednahraných i živě vysílaných videí (Poznámka: aktuálně je podporováno 40 jazyků, není ale zřejmé, jestli je tam čeština. Zjistím).
full-keynote_-introducing-copilot-pcs-48-38-screenshot-7509554
Živé titulky

Ve hrách zase Copilot+PC zvládne renderovat AI herní postavy v reálném čase a poskytovat zcela nové zážitky pro hráče i vývojáře. Nová funkce Auto Super Resolution využije AI pro zvýšení rozlišení a obnovovací frekvence bez dopadu na výkon.

full-keynote_-introducing-copilot-pcs-56-41-screenshot-8030826
Cocreator v MS Paint

Vše bude možné díky obrovskému výkonu a zpracování přímo na hraničním zařízení za využití dedikovaného NPU akcelerátoru.

Partnerství s výrobci čipů a notebooků

Aby Microsoft dodal slíbenou revoluci AI, velmi úzce spolupracuje s předními výrobci procesorů AMD, Intelem a Qualcommem. Ti všichni vyvinuli zcela novou generaci super-výkonných SoC pro Copilot+PC, integrující špičkové NPU optimalizované pro AI výpočty.

Microsoft zároveň oznámil širokou podporu Copilot+PC od všech významných výrobců notebooků ve své ekosystému Windows, kteří přinesou revoluční inovace založené na této nové hardwarové a softwarové platformě.

Podle všech představených informací se zdá, že Copilot+PC a další ohlášené novinky opravdu naznačují zásadní posun, kdy se umělá inteligence propojí přímo do našeho počítačového prostředí a změní způsob, jakým interagujeme se softwarem a zpracováváme data. Microsoft se zjevně pečlivě připravuje na novou AI éru.


Microsoft Copilot Studio

Dnes ukázal Microsoft své nové Copilot Studio – nástroj, který umožňuje vytvářet a spravovat Copiloty – obdobu GPTs od OpenAI. Copilot Studio je postaven na technologiích jako Power Virtual Agents a je interoperabilní s Azure AI Studio a dalšími. S Copilot Studiem můžete vytvářet vlastní Copilot agenty, kteří mohou nezávisle orchestrace úkolů na základě konkrétních rolí a funkcí. Tímto způsobem můžete použít Copilota k automatizaci dlouhodobých obchodních procesů.

Microsoft také přidává Copilot konektory, které umožňují jednodušší propojení podnikových dat a partnerských služeb s Copiloty. Tyto agenti mohou automatizovat obchodní procesy, uvažovat nad akcemi a uživatelskými vstupy, využívat paměť pro kontext a učit se na základě uživatelské zpětné vazby,

Co jsem koukal na náhledy, tak jsou k dispozici třeba konektory na SAP, Mailchimp či Docusign, takže si dokážu představit třeba agenta, který zvládne nějakou mailovou komunikační kampaň, kde se pak budou klienti podepisovat atp. Ale propojíte to v podstatě na cokoliv co má nějaké API, stejně jako GPTs.

Team Copilot

Pro firemní licence Microsoft 365 později v roce přibude i možnost vytvářet „týmové kopiloty“ – v podstatě AI kolegy, které si budete moci nadefinovat, budou mít přístup k vašim firemním datům a budete moci s nimi interagovat v různých aplikacích jako je Teams, Loop, Planner atd.

Představte si třeba role:

  1. Facilitátor schůzí: Copilot umožňuje produktivnější diskusi na schůzkách tím, že spravuje program jednání a poznámky, které mohou sdílet všichni účastníci schůzky.
  2. Spolupracovník ve skupině: Copilot pomáhá všem získat více z chatů tím, že zvýrazňuje nejdůležitější informace, sleduje úkoly a řeší nerozřešené problémy.
  3. Projektový manažer: Copilot zajistí plynulý průběh každého projektu tím, že vytváří a přiřazuje úkoly, sleduje termíny a upozorňuje členy týmu, když je potřeba jejich přínos.

Github Copilot Extensions

github-copilot-extensions-8987407

GitHub Copilot Extensions umožňují integraci s nástroji jako je Azure, Docker a dalšími přímo v IDE nebo na GitHubu. Tyto rozšíření umožňují vývojářům psát kód v jejich přirozeném jazyce a používat preferované nástroje a služby, aniž by museli opustit své vývojové prostředí. Díky Copilot Extensions mohou vývojáři zůstat ve svém pracovním toku déle, zdokonalit své dovednosti a inovovat rychleji

Mezi první partnery pro Copilot Extensions patří:

  • DataStax
  • Docker
  • LambdaTest
  • LaunchDarkly
  • McKinsey & Company

Organizace také mohou vytvářet soukromá rozšíření pro interní vývojářské nástroje, což umožňuje přizpůsobit integraci specifickým potřebám. Tyto rozšíření zlepšují pracovní postupy tím, že poskytují snadný přístup k externím službám a nástrojům přímo v rámci GitHub Copilot Chat.

Můj pohled

Hardware: Copilot+PC

Počítače a zejména tedy Windows svět v posledních 25 letech byly vlastně dost nudné. To se ale právě letos díky AI výrazně mění.

Z technologického pohledu je zajímavý ten odklon od x86 směrem k ARM – Applu se tohle dokonale podařilo před pár lety s uvedením M1 procesorů a letos už mají komplet celou svou nabídku – desktopy, notebooky, mobily, tablety, TV box… vše jede na ARM architektuře a dokonce na jejich vlastních procesorech.

Problém ARM vs. x86

ARM (či také „mobilní“) a x86 (nebo taky Intel) procesory jsou dvě rozdílné platformy, s jinou tzv. instrukční sadou a nejsou vzájemně kompatibilní, tj. aplikace psané pro jednu platformu nefungují na té druhé. Někdy stačí je jen tzv. „překompilovat“, tj. jejich vývojář musí v podstatě kliknout na jedno tlačítko.

Jenže některé aplikace jsou staré a dávno svými vývojáři neudržované, nebo vývojář použil v aplikaci pro nějakou funkcionalitu už kompilovaný kód někoho jiného, nemá k tomu zdrojové kódy, aby to mohl překompilovat a musel by část funkcí přepsat atd. V takovém případě někdy pomůže emulátor, kdy se systém pro aplikaci tváří, že běží na Intel platformě, ale veškerá volání funkcí za běhu přepisuje na odpovídající ARM volání.

ARM platforma resp. její redukovaná instrukční sada byla vždy jednodušší, ale méně výkonná, ale v posledních letech se karty obrátily a ARM procesory mohou být menší, levnější, spotřebovávat méně energie (méně topit a více vydržet na baterie)… a zároveň mít ve většině aplikací stejný či lepší výkon.

Microsoft to zkoušel s ARM platformou dvakrát – v roce 2012 se svým Microsoft RT, v roce 2017 se svým Microsoft 10S. V obou případech ale pohořel. K tomu navíc fiasko s jejich Windows mobily.

Ve všech těchto případech ztroskotal na tom, že nebyl schopen přimět vývojáře přizpůsobit aplikace pro ARM platformu a zároveň neměl dostatečně spolehlivý a výkonný emulátor.

Jenže časy se mění – dnes většina aplikací které lidi používají jsou online nebo nějaké obalené online stránky, které budou nejspíš fungovat i bez úprav, nejpoužívanější desktop aplikace jako je MS Office nebo Adobe aplikace si Microsoft podchytil a počítám, že si podchytil i funkčnost her resp. hlavní herní enginy typu Unity či Unreal (a asi jim při tom prošlapal cestičku právě Apple).

Zároveň má teď Microsoft díky OpenAI prodejní tahák v podobě AI, kde právě mohou ARM procesory vybavené NPU excelovat a být násobně výkonnější než x86 PC.

Jsem strašně moc zvědav, jak se tentokrát podařilo Microsoftu vyřešit problém s kompatibilitou – například já jsem dříve do ARM počítačů nešel, protože nepodporovaly aplikace pro 3D vývoj a tisk, které jsem používal. Chci dostat na testy nějaké ty nové Copilot+PC notebooky s ARMem (jestli máte ve svých kruzích nějaké zástupce jejich značek, dovozce či PR agentury, propojte mě plz).

Neznamená to ale (zatím???) konec Intel x86 platformy a popravdě si nedokážu zatím moc představit, že by blázni do počítačů co mají teď ty své vodou chlazené neonově svítící nadupané stroje je nahradili za nějaký ARM od tradičně „mobilového“ Qualcommu.

Už za pár měsíců se dočkáme nových x86 procesorů řady AMD Strix Point a Intel Lunar Lake, na konci roku pak i ještě výkonnějších desktopových Intel Arrow Lake. Ty všechny budou vybavené NPU jednotkou a tedy certifikovatelné/kompatibilní s Copilot+PC.

Tedy jestli chcete kupovat teď nový Windows počítač, co bude zvládat AI a nechcete ARM, počkejte si do podzimu.

Software: Copilot ve Windows

Copilot ve Windows a všech těch aplikacích co ukazovali je boží. Jsem zvědavý na toho hlasového asistenta – lidé, co jej už mohli zkoušet tvrdí, že je to neuvěřitelně užitečný pomocník. Pomáhá vám totiž zůstat tzv. ve „flow“ – tedy vykonávat nějakou konkrétní činnost a být na ni plně soustředěni.

Určitě totiž znáte tu situaci, kdy něco řešíte, děláte nějakou prezentaci, a potřebujete si tam nějaký detail na internetu, tak dnes jdete do prohlížeče, že tam něco začnete hledat, jenže to vás vytrhne ze soustředění, vy si tam otevřete třeba Facebook a najednou třeba desítky minut ztracené a další půlhodina než se zas dostanete do flow.

Takhle máte místo toho puštěného permanentně toho hlasového asistenta (nebo si kliknete na novou Copilot klávesu) a ptáte se jej na to co řešíte a on vám odpovídá, tak jako byste se na to zeptali kolegy (ale aniž byste přitom vytrhávali z flow i jeho) a zůstáváte plně soustředění.

Jak to všechno pobrat?

Jen za poslední 2 týdny bylo tolik novinek od všech firem, že nepochybně i zkušenější lidi ztrácí přehled. Mám rozpracovaných několik článků, které se budou detailně věnovat novinkám, zejména OpenAI, Google a Midjourney a zcela přepracovávám svá školení. Takže se určitě přihlaste k odběru nových článků a zaregistrujte se na školení (a ještě jednou se omlouvám všem, kterým jsem v posledních týdnech nereagoval).

Nové články sem přidávám porůznu, tak jestli nechcete, aby vám něco uniklo, přidejte si můj feed do RSS čtečky, sledujte můj Twitter, Facebook a LinkedIn, případně si nechte nové příspěvky posílat mailem (žádný spam!)