Карманный Скайнет

По наводке ув. ny-quant. На видеокарте я запустить не смог, потому что у меня лапки. С форком GPT4AllGPU почему-то надо приставлять отдельную модель LLaMa, которую надо скачивать самому, и я не смог разобраться, какую. Поэтому запустил на процессоре.

С трудом, надо сказать, запустил. У меня восемь пеньков i7 десятого поколения и 64 гектара памяти:

Ответ на простой вопрос (как лучше всего гладить кошку) занимает минуту-две. А вот креативная деятельность (напиши мне поэму про сисадмина) уже йок, может пиликать минут десять и больше.

Запускаю через третий питон внутри WSL2.

Установить:

pip3 install nomic

Потом в интерактивном python3:

from nomic.gpt4all import GPT4All (в первый раз занимает очень много времени, скачивает натренированную модель)
m = GPT4All()
m.open()
m.prompt(“Write me a short story about a kitten”)

Я нарисовал простейший код чтобы общаться. Увы, грёбаное форматирование наверняка похоронит отступы:

#!/usr/bin/python3
from nomic.gpt4all import GPT4All
m=GPT4All()
m.open()
while(True):
prompt = input("Please ask me something or say STOP to quit: ")
if (prompt == "STOP"):
break
else:
response = m.prompt(prompt)
print(response)

Поиграюсь, но ресурсоёмкость, конечно, аховая.

Update: барахло полное. ЧатЖПТ хотя бы правильно на простые вопросы отвечал. Этот даже не знает, как запустить внешнюю программу с указанием параметров из скрипта на ПауэрШелле.