AI съветът
Задаваш реален въпрос на някой добър модел и той ти връща един изчистен, уверен и чудесно написан отговор. Прочиташ го, звучи ти логично и направо действаш по него. Точно това е най-скъпият навик на напредналия потребител, а почти никой не усеща, че го има.
Проблемът не е, че отговорът е грешен, защото често си е съвсем наред. Проблемът е, че няма как да видиш какво е пропуснал. Едно минаване ти дава само един път през въпроса, през един глас и с един набор слепи петна, а ти го поднася със същата желязна увереност, независимо дали е уцелил десетката, или е пропуснал детайла, който щеше да те провали. Реално ти не четеш отговора, а просто първия отговор, и нямаш второ мнение, с което да го сравниш.
Целият курс за начинаещи те учеше как да насочваш добре един модел, но точно това се променя първо при напредналите: спираш да се доверяваш на един-единствен опит. Новият ти ход е да свикаш съвет. Ще прекараш същия въпрос през няколко гледни точки, които наистина не са съгласни една с друга, и чак тогава ще свършиш единствената работа, която си остава изцяло твоя, а именно да прецениш разминаванията.
Тази идея не е моя, а идва от Karpathy, който направи малък инструмент и го нарече llm-council: той изпраща въпроса ти до няколко различни модела, кара ги да се оценяват взаимно напълно анонимно и накрая вади един финален отговор от цялата група. Ние ще заемем неговата структура и ще я преподадем по два начина, като единия можеш да пуснеш още днес напълно безплатно, а към другия ще надграждаме постепенно. (Да отдадем заслуженото: llm-council на Karpathy можеш да намериш на github.com/karpathy/llm-council.)
Съветът не е просто да зададеш един и същ въпрос пет пъти, защото това ще ти даде само пет версии на едно и също сляпо петно. Точно структурата го кара да работи и тя винаги има три етапа.
Сляпата оценка по средата е частта, която върши истинската работа. Когато един модел не знае кой отговор е неговият, той спира да му бъде лоялен и веднага ще посочи слабото предположение, което иначе би защитавал със зъби и нокти, ако името му стоеше отгоре. Оттам идва истинската критика и точно затова редакторът със свеж поглед хваща онова, което умореният автор вече не вижда. Ще срещнеш абсолютно същата идея отново в главата за преглед с два цикъла.
Можеш да свикаш съвет още днес и то безплатно, в инструмента, който вече използваш, без сложни настройки и без да отваряш терминал. Трикът тук е, че един силен модел може да поеме няколко роли, ако го накараш да ги играе една по една и му забраниш категорично да ги смесва. Все още не получаваш различни модели, а по-скоро един модел, който е принуден да погледне едно и също нещо през четири различни лупи, вместо автоматично да ти върне осреднената им версия.
Четири роли покриват повечето реални решения, като всяка е различен тип човек, когото определено би искал да имаш на масата:
Ето го и промпта, който ще накара един модел да отговори последователно във всяка роля, да ги запази напълно разделени и после да излезе от тях, за да ти даде разминаванията, вместо просто една спретната и смесена присъда. Копирай го и сложи своето реално решение най-отгоре.
Това, което ще получиш обратно, не са просто четири мнения за осредняване, а цяла карта. Местата, които и четиримата са оградили, са частите от решението, за които можеш спокойно да спреш да се тревожиш. Местата обаче, в които те дърпат в различни посоки, са точно частите, за които все още не си помислил достатъчно дълбоко, и те излизат на повърхността точно сега, когато промяната на решението още не ти струва нищо.
Обърни внимание какво точно направи съветът тук. Един-единствен отговор щеше да ти каже, че идеята е страхотна, да ти даде стъпки как да я пуснеш, и ти просто щеше да я реализираш. Разминаването между Създателя и Адвоката на потребителя обаче обръща цялата картина, а то се появи само защото позволихме на две роли да изразят несъгласието си на глас.
Първото стъпало си има таван, защото един модел, който играе четири роли, си остава просто един модел със своето обучение и своите слепи петна. Той може да спори със себе си, но не може да се изненада така, както би го изненадал един напълно различен модел. Следващото стъпало е вече истински съвет, при който същият въпрос се изпраща до няколко различни фамилии модели от различни лаборатории, като всеки от тях е различен ум, а после всичко се оценява и синтезира по същия метод в три етапа.
Това е структурата, която следващата глава ще изгради с една услуга, която ти дава достъп до много модели зад един-единствен ключ. Причината да си направиш този труд е много конкретна, защото различните лаборатории обучават моделите си на различни данни и с различни приоритети, така че те се провалят по различен начин. Когато пет наистина различни модела стигнат до един и същи отговор, това съгласие струва много повече от един модел, който ти повтаря едно и също нещо пет пъти. Съгласието обаче не е абсолютно доказателство. Моделите, обучени на сходни данни, споделят и сходни слепи петна, така че ако пет от тях стигнат до един и същи грешен отговор, това просто кара една обща грешка да звучи напълно сигурно. Приемай съгласието им просто като разрешение да спреш да се тревожиш за лесните части, но никога като извинение да пропуснеш проверката на твърдението, което наистина има значение. А когато мненията им се разминат, това разминаване е съвсем реален сигнал къде всъщност се крие трудната част от твоя въпрос. Готовите скриптове и за двете стъпала, включително промпта с четирите роли отгоре и версията за много модели, те чакат в придружаващото хранилище в папка council/ и са напълно свободни за копиране.
Имам едно честно предупреждение, преди да се въодушевиш твърде много. Истинският съвет струва реални пари и реално време, като отнема грубо по две пускания на член плюс председателя, така че определено не е за обикновено търсене на информация. Запази го само за онези решения, които наистина си струват един час от твоята лична преценка, а за всичко останало просто използвай безплатната версия с един модел.
Вземи едно реално решение, над което умуваш точно сега и за което тайно вече си попитал някой AI и си приел отговора му. Постави го в промпта за съвет с един модел и му дай достатъчно контекст, за да има за какво да се спори. Прочети и четирите роли, а после изчети и разминаванията, които председателят е извадил. Целта тук не е някой да ти каже какво точно да направиш, а да откриеш онова специфично нещо, което един-единствен отговор е скрил от теб.
Show the worked solution
- Едно минаване ти дава един уверен отговор и никакъв начин да видиш какво е пропуснал, така че ходът на напредналите е просто да спрат да му се доверяват сляпо.
- Един съвет прекарва същия въпрос през гледни точки, които спорят помежду си: те първо отговарят, после се оценяват взаимно на сляпо, а накрая председателят синтезира всички разминавания.
- Първото стъпало е напълно безплатно и не изисква никакви настройки: един модел играе Скептика, Създателя, Адвоката на потребителя и Обектива на риска един по един, след което докладва къде точно са се съгласили и къде мненията им са се разминали.
- Второто стъпало включва наистина различни модели от различни лаборатории, които се провалят по различен начин, така че тяхното съгласие означава много повече, а несъгласието им сочи право към реалния риск.
- Съгласието е ясен сигнал, несъгласието е карта, а крайната преценка винаги си остава твоя. Съветът само подхранва преценката ти, но в никакъв случай не взима решението вместо теб.
Избери реално решение, което стои пред теб и наистина си струва един час от твоето време за преценка, и го прекарай през безплатния съвет с един модел още тази седмица. Запази промпта с четирите роли някъде под ръка. Следващата глава ще свърже истинската версия с много модели, така че същият този навик да заработи през няколко различни ума, вместо през един, който играе четири роли.
Увереният единичен отговор е най-удобното нещо, което AI може да ти даде, но същевременно е и най-опасното. Накарай го първо да поспори със себе си, защото точно в несъгласието твоята преценка най-после има истинска работа за вършене.