Category: в хозяйстве пригодится

Игра­юсь с боль­шы­ми язы­ко­вы­ми моде­ля­ми, запус­ка­е­мы­ми локаль­но через ollama под WSL2. Их нам мно­го раз­ных, LlaVa, llama2, mistral, и т.д. Немно­го ресур­сов, кста­ти, жрёт — я аж уди­вил­ся. WSL2 зани­ма­ет при рабо­те толь­ко два гига памя­ти.

Но язы­ко­вые моде­ли, конеч­но, име­ют огра­ни­че­ния. Одна, напри­мер, нао­труб отка­за­лась рас­ска­зы­вать о том, как пра­виль­но обо­га­щать уран. А вто­рая — врёт как Жюль Верн в кни­ге «Таин­ствен­ный ост­ров». То-есть, рас­ска­зы­ва­ет о про­из­вод­стве, напри­мер, взрыв­ча­тых веществ с ошиб­ка­ми — пред­по­ло­жи­тель­но, спе­ци­аль­но, дабы кто-то не впе­чат­лил­ся, и не сде­лал бы их на самом деле.

Вот, напри­мер, ответ на вопрос о про­из­вод­стве чёр­но­го поро­ха:

Сде­лан­ный таким обра­зом дым­ный порох гореть, навер­ное, будет. Но гореть он будет лишь немно­го побод­рее, чем дре­вес­ный уголь. Даже совет­ские маль­чиш­ки зна­ли, что это селит­ры в порох надо сыпать 75%, а не угля — это, если что, в Совет­ской Энцик­ло­пе­дии было напе­ча­та­но. И про­пор­ции для серы и угля пере­пу­та­ны задом напе­рёд.

Надо будет где-то нецен­зу­ри­ро­ван­ные вер­сии моде­лей най­ти, я знаю, что они есть. Не то, что­бы я и без них не знал, как сде­лать Боль­шую Бон­бу. Это, вон, даже чечен­ским под­рост­кам-тер­ро­ри­стам было доступ­но, бла­го ИГИ­Лов­ские мето­дич­ки гуг­лят­ся лег­ко. Да и вооб­ще, они не изго­тав­ли­ва­ли ВВ сами, а взя­ли китай­ских фей­ер­вер­ков и рас­па­тро­ни­ли их.

А мне про­сто так. Шоб было. Мало ли ещё чего инте­рес­но­го мож­но узнать.

Созда­ние любой бре­дя­ти­ны на ваш заказ!

Нако­нец-то я накре­а­ти­вил и узрел ста­рый айтиш­ный мем/байку про экс­ка­ва­тор мар­ки «Cablefinder» (ищу­щий кабе­ли).

Гуг­лов­ский ImageFX на дан­ный момент — абсо­лют­ный лидер в гене­ра­ции кар­ти­нок. Каче­ство офи­ген­ное, нуж­ный текст не пере­ви­ра­ет, и даже гене­рит нор­маль­но выгля­дя­щие руки, в отли­чие от того же Адо­бе Фаер­флай. Кере­мен­дую изо всех сил.

По навод­ке ув. ny-quant. На видео­кар­те я запу­стить не смог, пото­му что у меня лап­ки. С фор­ком GPT4AllGPU поче­му-то надо при­став­лять отдель­ную модель LLaMa, кото­рую надо ска­чи­вать само­му, и я не смог разо­брать­ся, какую. Поэто­му запу­стил на про­цес­со­ре.

С тру­дом, надо ска­зать, запу­стил. У меня восемь пень­ков i7 деся­то­го поко­ле­ния и 64 гек­та­ра памя­ти:

Ответ на про­стой вопрос (как луч­ше все­го гла­дить кош­ку) зани­ма­ет мину­ту-две. А вот кре­а­тив­ная дея­тель­ность (напи­ши мне поэ­му про сисад­ми­на) уже йок, может пили­кать минут десять и боль­ше.

Запус­каю через тре­тий питон внут­ри WSL2.

Уста­но­вить:

pip3 install nomic

Потом в интер­ак­тив­ном python3:

from nomic.gpt4all import GPT4All (в пер­вый раз зани­ма­ет очень мно­го вре­ме­ни, ска­чи­ва­ет натре­ни­ро­ван­ную модель)
m = GPT4All()
m.open()
m.prompt(«Write me a short story about a kitten»)

Я нари­со­вал про­стей­ший код что­бы общать­ся. Увы, грё­ба­ное фор­ма­ти­ро­ва­ние навер­ня­ка похо­ро­нит отсту­пы:

#!/usr/bin/python3
from nomic.gpt4all import GPT4All
m=GPT4All()
m.open()
while(True):
prompt = input("Please ask me something or say STOP to quit: ")
if (prompt == "STOP"):
break
else:
response = m.prompt(prompt)
print(response)

Поиг­ра­юсь, но ресур­со­ём­кость, конеч­но, ахо­вая.

Update: барах­ло пол­ное. ЧатЖПТ хотя бы пра­виль­но на про­стые вопро­сы отве­чал. Этот даже не зна­ет, как запу­стить внеш­нюю про­грам­му с ука­за­ни­ем пара­мет­ров из скрип­та на Пау­эр­Шел­ле.