AI Without the Hype.
Глава 2 от 21
Част Едно · Нов поглед · Глава 02

OpenRouter и
работа с много модели

В края на тази глава разбираш какво ти дава един ключ за много модели и можеш да избереш най-евтиния модел, чийто резултат реално би пратил нататък, вместо по навик да посягаш към най-големия.
AVATAR OPENER · ~90s
Гледай: един ключ, много модели и как да избираш между тях
HeyGen avatar · generated, consistent presenter

Миналата глава завърши с обещание: за истински съвет ти трябват коренно различни модели от различни лаборатории, които спорят по една и съща тема. В тази глава ще видиш как да ги събереш. Накратко, няма нужда да си правиш пет отделни акаунта и да плащаш пет сметки. Взимаш един ключ, който отключва почти всички.

Този ключ е OpenRouter. Един акаунт с едно API, което насочва заявката ти към всеки модел, който поискаш, от повечето големи лаборатории през един удобен интерфейс. Зареждаш малко кредит, получаваш ключ и оттам нататък смяната на модел от една лаборатория с такъв от друга става с една дума. Това е разковничето и точно то превръща съвета от модели в миналата глава в нещо, което реално можеш да ползваш, а не просто да му се възхищаваш.

Но ключът е лесната част. Истинското умение тук не е техническото свързване, а преценката: да знаеш към кой модел да посегнеш и да устоиш на изкушението винаги да избираш най-големия.

Лоялност към един модел
Избираш си любимец и прекарваш всичко през него. И простите, и сложните задачи минават през един и същ скъп мозък, а ти никога не разбираш как друг модел би се провалил по различен начин.
Резултат: една сметка, едно сляпо петно и обикновено излишни разходи.
VS
Правилният модел за всяка задача
Един ключ отключва всички. Насочваш масовата и лесна работа към евтин модел и пазиш скъпия мозък за задачите, които наистина го изискват. А накрая можеш да свикаш и истински съвет.
Резултат: по-ниски разходи, повече гледни точки и избор, който можеш да защитиш с аргументи.
Правилният модел е най-евтиният, чийто резултат реално би пратил нататък. По-големият модел не е стратегия. Той е спасителният пояс за хората, които не са измислили начин да проверят дали и по-малкият не би свършил чудесна работа.

Струва си да помислиш върху това изречение, защото е пълната противоположност на начина, по който повечето хора избират. Инстинктът е винаги да ползваш най-мощния модел с идеята, че повече сила значи повече сигурност. Но по-голямата част от нещата, които пращаш на един модел, изобщо не са сложни. Говорим за категоризиране, извличане на данни, подреждане или писане на първа чернова. Да повериш всичко това на най-големия, най-бавния и най-скъпия модел е като да пращаш всяко писмо с такси. Да, работи, но тихичко ти струва цяло състояние и в същото време е много по-бавно, отколкото би могло да бъде.

СТЪЛБАТА

Всяка лаборатория продава горе-долу едни и същи три стъпала под различни имена: малко и бързо, балансирано средно, голямо и задълбочено. Имената се сменят постоянно и не си струва да ги помниш. Важна е самата структура и как се катериш по нея.

Започни от най-евтиното
Първо пусни задачата на малкия, бърз и евтин модел. За голяма част от реалната работа отговорът му вече е напълно готов за употреба.
Оцени резултата
Въпросът не е "впечатляващо ли е", а "наистина ли бих изпратил това". Ако отговорът е да, значи си готов и току-що си спестил пари и време.
Качи се нагоре само при нужда
Едва когато евтиният отговор наистина не се справя, минаваш към средния модел, а чак след това и към най-горния.

Катериш стълбата отдолу нагоре, а не отгоре надолу. Започни с най-евтиния модел, който има шанс да свърши работата. Ако резултатът е нещо, под което реално би сложил името си, просто спри. Готов си, а почти нищо не си похарчил. Едва когато евтиният отговор наистина не става, се качваш едно стъпало нагоре. Повечето хора правят това наопаки: тръгват от върха от чиста несигурност и никога не слизат, защото така и не проверяват дали изобщо е имало нужда да са толкова високо.

КАК ДА РАЗБЕРЕШ: ЕДИН МАЛЪК ТЕСТ

Ето го ходът, който превръща тази дисциплина от добро пожелание в нещо реално. Преди да се обвържеш с даден модел за повтаряща се задача, си правиш един малък тест. Не някакъв сложен бенчмарк, нищо официално. Просто взимаш двайсет или трийсет реални примера от самата задача, пускаш ги през два-три модела и слагаш отговорите един до друг. Така изборът вече не е налучкване. Ясно виждаш кой модел е достатъчно добър и прибираш разликата в цената в джоба си.

Не е нужно да пишеш код, за да обмислиш всичко това. Ето един промпт, който ще ти помогне да създадеш теста за някоя от твоите реални повтарящи се задачи. Работещата версия, която действително извиква няколко модела през твоя OpenRouter ключ и ги оценява, се намира в придружаващото хранилище в папката council/. Ще клонираш това хранилище в главата за терминала малко по-късно, но засега това е начинът да решиш какво изобщо си струва да тестваш.

Създай тест за модели
Правя тази задача отново и отново: [опиши повтарящата се задача, напр. "превърни разхвърляна гласова бележка в чисто резюме от три реда"]. Помогни ми да създам малък и честен тест, за да избера най-евтиния модел, който е достатъчно добър за нея. 1. Поискай от мен 20 до 30 реални стари примера за тази задача или ми помогни да ги събера. 2. Кажи ми кои са двете или трите неща, които правят един резултат "готов за предаване" за тази конкретна задача, с прости думи, които мога да проверя. 3. Опиши как да пусна същите примери през евтин, среден и топ модел и да ги сравня, така че решението да се базира на доказателства, а не на налучкване. Не ми казвай просто да използвам най-големия модел. Целта е да намерим пода, а не тавана.
Try it in Claude

Това, което ще получиш обратно, е система за оценяване, която реално можеш да приложиш. Пускаш я веднъж и вече имаш истински отговор за момента: тази работа става идеално на евтиния модел, а онази наистина има нужда от най-високия клас. Това е моментна снимка, а не вечна присъда, така че за всяка задача, където дори една грешка струва скъпо, прави проверки от време на време и пускай теста отново, когато входните ти данни или самите модели се променят. Умножи това по десетте задачи, които правиш най-често, и вече имаш карта за насочване, в която евтините модели вършат по-голямата част от работата, а скъпият мозък е запазен за малкото неща, които наистина си заслужават.

Как изглежда една карта за насочване
Изчистване на гласови бележки: евтин модел. Неразличим от топ модела при 28 от 30 примера. Писане на чернови за отговори до клиенти: среден модел. Евтиният сбърка тона два пъти по начин, който не бих изпратил. Финалното решение да/не за даден договор: топ модел, като после го преглеждам и с очите си. Точно за това си струва да се плаща.
ИСТИНСКИТЕ РАЗХОДИ

Има две неща, които една по-въодушевена версия на тази глава би пропуснала, затова тук ще ги кажа съвсем директно.

Скоростта е реален разход
По-големите модели са по-бавни. За всичко интерактивно или в голям обем забавянето не е дребен детайл. Фактът, че евтиният модел е три пъти по-бърз, често тежи много повече от лекото предимство в качеството.
Плащаш колкото ползваш
Няма абонамент, просто купуваш кредит и го харчиш на заявка. Това дава свобода, но означава, че един зле написан цикъл може много бързо да изгори реални пари. Следи внимателно колко ти струват автоматизираните задачи.
Доверието излиза навън
Твоят промпт вече напуска акаунта ти в Claude, отива при трета страна и оттам към някоя лаборатория. Това е съвсем различна територия за поверителността. OpenRouter ти позволява да ограничиш кои доставчици изобщо могат да виждат данните ти, затова използвай тази функция.
Имената остаряват всяка седмица
Точните идентификатори на моделите и цените им се променят постоянно. Никога не си набивай в главата името на "най-добрия модел". Запази навика да тестваш и да проверяваш отново актуалния списък, когато залогът е голям.

Темата с поверителността заслужава малко повече внимание, защото е много лесно да се опариш. При платен план на Claude твоите промптове попадат под условията на една компания, които вече си приел. Ако минеш през OpenRouter, същият промпт може да мине през няколко лаборатории и всяка от тях има свои правила. На практика ще пращаш реалната си работа през тези инструменти, всички го правят и би било нечестно да се преструваме на обратното. Правилният ход не е да се спираш, а да знаеш какво се случва и да използваш единствения контрол, който има значение: настройката, която ограничава до кои доставчици може да стигне промптът ти. Питай Claude къде се намира тази настройка в днешната версия, насочи я към доставчиците, на които си склонен да се довериш, и продължавай с работата.

NOW YOU TRY · АНАЛИЗИРАЙ
Вземи решение за насочване на една реална задача

Вземи задача, която вече редовно възлагаш на Claude или друг модел, от тези, които правиш почти всяка седмица. Използвай промпта за създаване на тест по-горе. Бъди честен със себе си какво означава "готов за предаване" за тази конкретна задача и го опиши с измерими критерии. След това, на базата на събраните доказателства, реши кое стъпало от стълбата реално ти трябва. Голямата победа е да хванеш задача, за която си плащал твърде много, или пък такава, на която си давал твърде малко ресурс.

Right if можеш да посочиш задача, при която най-евтиният достатъчно добър модел не е този, който си ползвал досега, и можеш да кажеш как би го доказал с реални примери.
Show the worked solution
Упражнението си идва на мястото, когато се хванеш, че плащаш излишно. Да кажем, че повтарящата се задача е "резюмирай клиентските имейли всяка сутрин в кратък списък с нещата, които изискват отговор днес". Инстинктът ти, а вероятно и навикът ти, е да пуснеш това през модел от най-висок клас, защото е важно. Ако обаче създадеш теста честно, ще видиш, че "готов за предаване" всъщност означава три неща: моделът никога не пропуска имейл, който реално изисква действие, не си измисля спешност там, където я няма, и самото резюме е кратко. Това са неща, които могат да се проверят. Събери двайсетина реални минали сутрини, пусни ги през евтин и през топ модел и сравни резултатите с това, което реално си свършил в съответния ден. Много често евтиният модел се изравнява със скъпия точно по тези три показателя, защото сортирането по важност не е сложна логическа задача, а просто подреждане. Ако е така, преместваш тази ежедневна работа към евтиния модел и спираш да плащаш премиум цени за нея всяка божа сутрин, и то завинаги. Точно това е смисълът на стълбата: задачата, която се усеща като важна, и скъпата задача не винаги са едно и също нещо, а единственият начин да разбереш разликата е да гледаш реални примери вместо да налучкваш. Сравни това с онова единствено истинско и важно решение в седмицата ти, когато трябва да прецениш дали да поемеш труден клиент. Там тестът със сигурност ще покаже, че топ моделът си заслужава всяка стотинка. Един и същ човек, един и същ ключ, две различни стъпала, и всяко от тях е избрано въз основа на доказателства.
WATCH FOR
✗Винаги посягаш към най-големия модел. Това е несигурност, а не стратегия. Започни от дъното на стълбата и се качвай нагоре само когато реален пример докаже, че имаш нужда.
✗Избираш модел заради репутацията му или шума около пускането му. Репутацията не върши твоята работа. Двайсет твои собствени реални примера бият всяка класация, когато трябва да решиш кое работи най-добре за теб.
✗Забравяш, че промптът вече напуска доверения ти инструмент. Насочването към много лаборатории означава много различни условия за поверителност. Изпращай само това, което задачата изисква, и ограничавай доставчиците за всичко чувствително.
✗Набиваш си в главата името на "най-добрия модел". Имената и цените се въртят всяка седмица. Вместо това запази навика да тестваш и да проверяваш отново актуалните модели, когато залогът е голям.
WHAT YOU LEARNED
The takeaways
  • OpenRouter е един акаунт и един ключ, който достига до повечето големи модели от повечето лаборатории, а точно това прави истинския съвет от различни модели практически възможен.
  • Основната дисциплина: правилният модел е най-евтиният, чийто резултат реално би пратил нататък, а не най-големият, до който имаш достъп.
  • Катери стълбата отдолу нагоре. Започни с евтиния и бърз модел, оцени реалния резултат и се качи стъпало нагоре едва когато той наистина не се справя.
  • Един малък тест с двайсет или трийсет твои собствени реални примера, пуснати през няколко модела, превръща избора на модел от налучкване в доказателство, което можеш да покажеш.
  • Истинските разходи: по-големите модели са по-бавни, плащаш колкото ползваш, затова циклите могат бързо да изгорят пари, а данните ти вече минават към трети страни, така че използвай контролите за доставчиците.
Your project · картата за насочване

Вземи тази повтаряща се задача, която правиш най-често, и създай нейния тест с промпта по-горе. Все още не е нужно да го пускаш реално, това ще почака до главата за терминала и придружаващото хранилище. Но реши още сега на кое стъпало трябва да се намира тази задача и започни да правиш картата за насочване за твоята реална работа. Следващата глава превръща навика за проверка в истинска дисциплина: два цикъла на преглед и обяснение защо вторият проверяващ хваща това, което първият е изпуснал.

Да посягаш към най-големия модел всеки път се усеща като отговорно поведение, но обикновено е просто излишно скъпо. Ходът на истинския професионалист е по-тих: намираш най-евтиния модел, който покрива твоите стандарти, доказваш го със собствените си примери и харчиш спестеното за решенията, които наистина заслужават най-доброто.

← Глава 1: Ти даваш посока, не изпълняваш Напред → Глава 3: Твоите лични правила