Карманный Скайнет

По навод­ке ув. ny-quant. На видео­кар­те я запу­стить не смог, пото­му что у меня лап­ки. С фор­ком GPT4AllGPU поче­му-то надо при­став­лять отдель­ную модель LLaMa, кото­рую надо ска­чи­вать само­му, и я не смог разо­брать­ся, какую. Поэто­му запу­стил на про­цес­со­ре.

С тру­дом, надо ска­зать, запу­стил. У меня восемь пень­ков i7 деся­то­го поко­ле­ния и 64 гек­та­ра памя­ти:

Ответ на про­стой вопрос (как луч­ше все­го гла­дить кош­ку) зани­ма­ет мину­ту-две. А вот кре­а­тив­ная дея­тель­ность (напи­ши мне поэ­му про сисад­ми­на) уже йок, может пили­кать минут десять и боль­ше.

Запус­каю через тре­тий питон внут­ри WSL2.

Уста­но­вить:

pip3 install nomic

Потом в интер­ак­тив­ном python3:

from nomic.gpt4all import GPT4All (в пер­вый раз зани­ма­ет очень мно­го вре­ме­ни, ска­чи­ва­ет натре­ни­ро­ван­ную модель)
m = GPT4All()
m.open()
m.prompt(«Write me a short story about a kitten»)

Я нари­со­вал про­стей­ший код что­бы общать­ся. Увы, грё­ба­ное фор­ма­ти­ро­ва­ние навер­ня­ка похо­ро­нит отсту­пы:

#!/usr/bin/python3
from nomic.gpt4all import GPT4All
m=GPT4All()
m.open()
while(True):
prompt = input("Please ask me something or say STOP to quit: ")
if (prompt == "STOP"):
break
else:
response = m.prompt(prompt)
print(response)

Поиг­ра­юсь, но ресур­со­ём­кость, конеч­но, ахо­вая.

Update: барах­ло пол­ное. ЧатЖПТ хотя бы пра­виль­но на про­стые вопро­сы отве­чал. Этот даже не зна­ет, как запу­стить внеш­нюю про­грам­му с ука­за­ни­ем пара­мет­ров из скрип­та на Пау­эр­Шел­ле.