В края на тази глава можеш честно да видиш къде цялата тази сила се чупи в голям мащаб, защо повече модели и цикли влошават някои проблеми, вместо да ги решават, и какво никога не можеш да прехвърлиш на инструмент, колкото и да напредваш.
AVATAR OPENER · ~90s
Виж впечатляващата система и провалите, които тя криеше, преди да тръгне в реални условия
HeyGen avatar · generated, consistent presenter
Курсът за начинаещи завърши с една честна глава за това къде AI се чупи и какво не може да прави. Това е същата глава в нивото за напреднали и точно тя не бива да се пропуска, защото всичко, което току-що научи, прави провалите по-големи, а не по-малки. Повече сила не означава по-малко проблеми. Означава същите проблеми в голям мащаб и с повече места, където да се скрият.
Версията за начинаещи казваше, че демото е лесната част, а надеждното отнема най-много работа. Това още важи, но сега е по-зле, защото вече не пускаш резултата на един модел. Пускаш цяла система от няколко модела, цикли, подагенти и хостнати агенти. Всяко от тези неща може тихо да се провали, а една система се чупи по много повече начини от един отговор.
Впечатляващата система
В демото всичко мина перфектно от начало до край. Съветът стигна до съгласие, цикълът приключи, агентът си свърши работата. Пет движещи се части се държаха послушно, докато ги гледаш.
Резултат: вълнуващо демо. Но още не е нещо, което ще издържи.
VS
Същата система, но наистина
Сега тя работи без надзор, с хаотични данни и в голям обем. Един модел се отклонява, цикълът натрупва малка грешка, един агент се проваля тихо, а останалите му се доверяват. Пет части и пет начина всичко да се счупи.
Резултат: провали, които се откриват много по-трудно, отколкото в един-единствен отговор.
Повече модели и повече цикли не намаляват риска. Те просто го преместват и го правят по-труден за забелязване.
Един грешен отговор се вижда веднага. Но грешен отговор, изпран през пет модела, цикъл и хостнат агент, изглежда като напълно готов резултат. Мащабът просто крие провала.
КЪДЕ СИЛАТА ВЛОШАВА НЕЩАТА
Всяка стъпка за напреднали, която научи, има своя тъмна страна, която се появява само в мащаб. Не ги изброяваме, за да те откажем от тях. Правим го, за да ги използваш с широко отворени очи.
Съветът може да постигне съгласие и пак да греши
Пет модела, обучени на сходни данни, могат да имат едно и също сляпо петно и да го засилят. Съгласието намалява риска, но никога не го маха напълно. Уверен съвет още не е доказателство.
Цикълът натрупва малките грешки
Малка грешка в началото на цикъла захранва следващата стъпка, а после и по-следващата. Това, което на ръка би било просто грешка при закръгляне, се превръща в уверена и напълно грешна система, която работи цяла нощ.
Хостнатият агент се проваля тихо
Остави нещо да работи без надзор и тихият провал става най-лошият възможен. Никой не е гледал, останалите части са се доверили на резултата му, а ти разбираш твърде късно, чак някъде по веригата.
Автоматизацията скрива шевовете
Колкото повече автоматизираш, толкова по-малко виждаш хаотичната среда, където живеят проблемите. Чистото резюме на един счупен процес пак изглежда чисто.
Основната идея е, че мащабът изпира провалите. Когато пускаше един модел на ръка, грешният отговор беше точно пред очите ти. Но когато една грешка мине през съвет, който случайно е стигнал до съгласие, влезе в цикъл, който надгражда върху нея, и мине през агент, който отчита успех, тя пристига при теб и изглежда точно като правилен резултат. Честният играч, който създава сложни системи, е по-подозрителен към гладката работа, а не по-малко. Точно защото в тази гладкост се крият провалите.
КАКВО НИКОГА НЕ СЕ ПРЕХВЪРЛЯ
Курсът за начинаещи посочи четири неща, които AI не може да направи вместо теб. Те не се менят и на това ниво. Колкото и модели, цикли или инфраструктура да добавиш, те няма да свалят тези задачи от бюрото ти. Струва си да ги повторим ясно, защото колкото по-мощни стават инструментите ти, толкова по-лесно е да се заблудиш, че си прехвърлил и тях.
Истината
Сто агента не могат да проверят реалността вместо теб. Фактите, числата и твърденията са твоя отговорност и ти заставаш зад тях. Уверена система не значи вярна система.
Преценката
Никоя система няма личен интерес от твоя краен резултат. Кой проблем си струва да се реши и кой риск си струва да се поеме са въпроси на лична преценка, а тя не се делегира.
Вкусът
Всеки инструмент тук произвежда средното ниво. Гледната точка, онзи оправдан риск и отказът да пуснеш боклук на пазара са въпрос на вкус. Вкусът е твой и точно той е дефицитната стока.
Отговорността
Когато нещо излезе под твоето име, то си е твое, колкото и агенти да са го пипали. Отговорността не се разпределя по системата. Тя пада изцяло върху теб.
Тези четири неща не са ограничение, което трябва да заобиколиш. Те са самата работа. Всичко, на което те научи този курс, им служи. Съветът пази преценката ти, като отказва да приеме само един отговор, циклите за проверка пазят истината, филтрите срещу боклука пазят вкуса ти, а Founder Mode те държи отговорен за това какво правиш и защо. Инструментите станаха по-мощни точно за да могат тези четири части, които са си изцяло твои, да получават повече от вниманието ти, а не по-малко.
КАК ДА ГОВОРИШ ЗА ТОВА, КОЕТО СЪЗДАВАШ
На това ниво има едно специфично изкушение и си струва да го назовем, за да можеш да му откажеш. Когато вече можеш да създаваш наистина впечатляващи системи, изкушението да раздуваш нещата става силно. Появява се онзи пост, който показва демото и крие последната трудна част, или екранната снимка на едно чисто изпълнение, продадено като завършена империя, и намекът, че си отключил нещо, което публиката не е. Прекара целия този курс в това да се научиш да не вярваш на такива ходове. Не се превръщай в човека, който ги прави.
Честният начин да говориш за сложни системи е същият като при начинаещите, просто тук имаш повече поводи за смирение. Покажи какво работи и какво се е счупило. Твърди само това, което лично си проверил и пуснал в реални условия, а не просто си гледал в демо. Дай кредит за идеите, които си заел, точно както този курс даде кредит на Karpathy, Pocock и Graham. И остави работата да говори вместо рекламните думи, защото на това ниво хората, които си струва да впечатлиш, различават система, която наистина работи, от екранна снимка на нещо, което е проработило само веднъж.
Честното описание на една сложна система
Искам да пиша публично за една напреднала система, която създадох:
[опиши я: включените модели, цикли или агенти].
Предизвикай ме като остър, но честен колега, който е създавал реални системи. Попитай:
- Кои части наистина работиха надеждно и реално, а не само веднъж в демо?
- Къде се счупи всичко и честен ли съм за това в текста си?
- Какво твърдя, без да съм го проверил лично от начало до край?
- Върху чии идеи стъпвам, за които трябва да дам кредит?
- Къде текстът залита към излишен шум и показва впечатляващата система като
доказателство, че съм крачка пред читателя?
След това ми помогни да го напиша така, че да бъде истина, да цитира източниците си, да показва
провалите и пак да стои като истинска работа. По-малкото и честното
винаги бие шумното и надутото.
Надуто: "Създадох автономна мултиагентна система, която управлява
целия ми бизнес, докато спя."
Честно: "Създадох структура със съвет и цикъл, която ми подготвя сутрешния
брифинг през нощта. Работи добре през повечето дни. Вече два пъти
уверено резюмира нищото като нещо, така че още я чета със
скептично око, преди да ѝ се доверя. Ето какво се счупи и как го
хванах."
NOW YOU TRY · ОЦЕНИ
Напиши честния разбор на една напреднала система
Вземи едно сложно нещо, което си създал или създаваш в момента, дори да е малко. Напиши честната версия. Какво наистина издържа в реални условия, какво проработи само в демото, къде се счупи и кое от четирите непрехвърляеми неща като истина, преценка, вкус или отговорност трябваше да осигуриш сам. Пусни го през промпта за честност. Крайният резултат е текст, който с гордост би публикувал с всички провали в него и без никакъв излишен шум.
Right if имаш честен публичен разказ за една напреднала система, който показва провалите, цитира източниците си, твърди само това, което си проверил, и все пак звучи като реална и сериозна работа.
Show the worked solution
Упражнението работи, когато честната версия е по-впечатляваща, отколкото би била надутата, и това изненадва хората всеки път. Да кажем, че си създал съвет от няколко модела, който ти помага при решения за наемане на хора. Текстът, пълен с излишен шум, е лесен и кух. Той звучи така: "Създадох AI система, която взема по-добри решения за наемане от повечето мениджъри." Пусни честната версия и всичко си идва на мястото. Какво наистина издържа: съветът надеждно изважда на повърхността съображения, които би пропуснал, а несъгласието между моделите наистина те насочва към трудната част на едно решение. Какво проработи само в демото: моментът, в който системата "препоръча" кандидат, което всъщност беше просто победа на най-дългия и най-уверен отговор, а това е известна слабост на съветите. Къде се счупи: два пъти съветът постигна силно съгласие и беше напълно в грешка, защото всички модели споделяха едно и също сляпо петно за нестандартния опит на кандидата. И накрая идва непрехвърляемата част, която трябваше да осигуриш ти: самото решение и отговорността за него си останаха изцяло твои, защото наемането на хора иска преценка, а тя не се делегира. Напиши го честно, дай кредит на Karpathy за идеята за съвета, покажи двата провала и ще имаш нещо много по-достоверно от надутата версия. Всеки, който е създавал реални системи, ще разпознае честността като знак за човек, който наистина е пуснал нещата в действие. Тази достоверност е от тихия вид, който идва, когато покажеш шевовете, и е основната причина този курс да отказва шумната версия. Това е и последното и най-трайно нещо, което той може да ти даде.
WATCH FOR
✗Вярваш на една система, защото е впечатляваща. Мащабът крие провалите. Гладката система, която изпира един грешен отговор, изглежда точно като правилна. Бъди по-подозрителен към излъскания резултат, а не по-малко.
✗Мислиш, че повече модели значат повече безопасност. Един съвет може да постигне съгласие и пак да греши, а един цикъл натрупва малките грешки. Повече части значат повече начини за тих провал. Проверявай нещата, вместо просто да добавяш мощност.
✗Предполагаш, че истината, преценката, вкусът или отговорността са прехвърлени. Те никога не се прехвърлят, на което и да е ниво. Колкото по-мощни са инструментите, толкова по-лесно е да се заблудиш. Тези четири неща остават твои и те са самата работа.
✗Посягаш към излишния шум, защото вече можеш да създаваш реални неща. Това е точно ходът, който този курс категорично отказва. Покажи провалите, цитирай източниците си и твърди само това, което си проверил. Честното надживява шумното.
WHAT YOU LEARNED
The takeaways
Повече мощност не намалява риска, а просто го премества. Система от модели, цикли и агенти се чупи по повече начини от един отговор, а мащабът просто крие провала.
Всеки напреднал ход има своя сянка. Съветите могат да постигнат съгласие и да грешат, циклите натрупват малки грешки, хостнатите агенти се провалят тихо, а автоматизацията крие хаотичната среда.
Четирите неща, които никога не се прехвърлят на нито едно ниво, са истината, преценката, вкусът и отговорността. Всичко, което научи, съществува, за да им отделиш повече внимание, а не по-малко.
Излишният шум става все по-изкушаващ, колкото повече неща можеш да създаваш. Откажи го. Покажи какво се е счупило, твърди само това, което си проверил в реалността, и дай кредит за идеите, които си заел.
Най-трайното нещо, което една сложна система може да ти спечели, е тихата достоверност да покажеш шевовете. Хората, които си струва да впечатлиш, винаги я различават от едно просто демо.
Your project · честният финал
Напиши честния разказ за една сложна система в твоя проект, включи провалите и кредитите за идеите, и забележи, че звучи като по-силна работа, а не по-слаба. Това е краят на курса. Дойде тук, за да управляваш добре един модел. Тръгваш си с умението да създаваш и управляваш системи от модели и, което е по-важно, все още държиш истината, преценката, вкуса и отговорността, които никоя система никога няма да вземе от ръцете ти. Това не е утешителна награда. Това е целият смисъл.
Вече можеш да създаваш много повече неща, отколкото когато започна, и разликата е огромна. Честната версия на тази сила не е по-шумно твърдение, а една по-тиха увереност. Знаеш точно къде всичко се чупи, показваш шевовете и никога не се преструваш, че инструментът носи истината, преценката, вкуса или отговорността. Не ги носи. Ти ги носиш. Това е нещото, което все още е твое. И точно то е всичко.