greyrock45
Iron
- Joined
- Aug 6, 2022
- Posts
- 161
- Reputation
- 208
Warnung: medium IQ thread (tut mir leid @gunterrr 
)
Falls ihr dieses Wochenende noch nichts vor habt (ihr seid auf einem Incelforum also wahrscheinlich eher nicht) solltet ihr probieren eure eigene K.I. auf eurem Computer lokal zu erstellen.
Gründe:
TLDR Guide:
Ausführlicher Guide:
Der erste Schritt ist der gleiche - lade LM Studio herunter
Als nächstes wählst du ein K.I. Model aus (in LM Studio der untere Schalter am linken Rand). Das wichtige hier ist, dass das Model von der Größe her in den VRAM deiner Grafikkarte passt (man kann das auch mit RAM Offloading umgehen, macht die K.I. aber deutlich langsamer)
Es gibt 3 Faktoren, die hierbei eine Rolle spielen:
Nachdem es gedownloaded wurde einfach links-oben auf den zweit untersten Knopf gehen, das Model auswählen und rechts oben auf "Load Model" klicken.
Unter dem neuen Fenster müsst ihr eigentlich nur den "Context Length" Slider anpassen.
Mehr Context heißt die K.I. kann sich mehr auf einmal merken, was für längere Konversationen benötigt wird, verbraucht aber noch etwas VRAM.
Oben rechts in dem neuen Fenster seht ihr wie viel VRAM insgesamt benötigt wird, also kann man da nicht viel falsch machen.
Nun könnt ihr einfach oben-links auf den Knopf mit dem lilanen Männchen drücken und einen neuen Chat öffnen.
Optionale Anpassung:
System Prompt:
Ein einfacher Schritt zum anpassen ist es ein System Prompt hinzuzufügen (rechts neben dem Chatfenster in dem Kasten Systemprompt)
Hier ein Beispiel eines Promptes, das ich in ein 1 Minute erstellt habe:
<|start_of_role|>system<|end_of_role|>
<|start_of_text|>
[Base Persona]
You are a looksmax.org user writing a reply to a thread posted by another user.
[Constraints]
- Rely strictly on the website "looksmax.org" using websearch, rather than replying from memory
- Maintain a more humorous and slightly mean tone
- Output replies of a couple sentences at most
- Never print internal tool-call markup or special tokens such as <|channel|>, <|message|>, <|tool_call|>, <|tool_response|>, or <|end|>. Use tools silently, then answer in normal human-readable text only.
<|end_of_text|>
[Base Persona] beschreibt den Charakter der K.I.
[Constraints] beschreibt Regeln, denen die K.I. folgen soll
Hier eine Beispiel Antwort inspiriert durch @yurr burr 's Post (die K.I. hat meine letzte Regel einfach ignoriert)
Websearch:
Da die K.I. nicht alle Themen in dem internen Speicher an Information hat, kann es dazu kommen, dass sie sich Information, die sie nicht hat, einfafch ausdenkt.
Eine einfache Lösung dafür ist es der K.I. zu erlauben selbstständig das Internet zu durchsuchen.
Dafür müsst ihr einen MCP Server hinzufügen (was schwieriger klingt als es ist):
Das war auch schon alles. Nun könnt ihr damit machen, was ihr wollt: von Looksmax Ratgebern, die looksmax.org selbstständig durchsuchen, über eine K.I. die für euch Foids antwortet (weil ihr es nicht selber könnt), bis zu irgendwelchen Roleplay-Bots (weil die vorherige K.I. alle Frauen vergrault hat).
(Bitte rept mich das ist mein erster ordentlicher Guide)
P.S. hab grad gemerkt, dass es "Modell" geschrieben wird und nicht Model
)Falls ihr dieses Wochenende noch nichts vor habt (ihr seid auf einem Incelforum also wahrscheinlich eher nicht) solltet ihr probieren eure eigene K.I. auf eurem Computer lokal zu erstellen.
Gründe:
- kostet nichts (so lange ihr eine halbwegs ordentliche Grafikkarte habt)
- es ist extrem einfach
- Sam Altman kann nicht mitlesen wie ihr dämliche Fragen über irgendwelche Tiktok Peptides an ChatGPT stellt
- man kann die K.I. anpassen wie man will (zeige später meine einfache Looksmax K.I.)
- du kannst vor anderen Leuten High-IQ larpen
TLDR Guide:
- lade LM Studio herunter (https://lmstudio.ai/download)
- such dir in LM Studio ein Model raus und downloade es
- (optional) passe das Model an deine Bedürfnisse an
- benutze das Model
Ausführlicher Guide:
Der erste Schritt ist der gleiche - lade LM Studio herunter
Als nächstes wählst du ein K.I. Model aus (in LM Studio der untere Schalter am linken Rand). Das wichtige hier ist, dass das Model von der Größe her in den VRAM deiner Grafikkarte passt (man kann das auch mit RAM Offloading umgehen, macht die K.I. aber deutlich langsamer)
Es gibt 3 Faktoren, die hierbei eine Rolle spielen:
- Model an sich (z.B. Gemma4 oder Qwen3.6): Modelle haben alle ihre Stärken - Gemma ist gut für Frage-Antwort, Qwen ist gut für Coding. Ansonsten nimm einfach immer die neuset Version des Models (Qwen3.6 > Qwen3.5)
- Model Parameter (z.B. 12B, 31B): um es einfach zu sagen, mehr Parameter heißt bessere Antworten, aber das Model ist größer
- Quantization (z.B. Q4_K_M, Q8_0): kleinere Quantifizierung verringert die Größe des Models, aber hat auch eine kleine Verschlechterung der Qualität (Q4 ein Viertel der Größe und so 96-96% der Qualität; Q8 halbe Größe und 99% der Qualität)
- 8GB: Gemma4 E4B oder E2B je mit Q4_K_M (eventuell auch Gemma4 12B QAT - hab das aber noch nicht probiert)
- 12GB: Gemma4 12B Q4_K_M (normal, man kann auch QAT Version ausprobieren)
- 16GB: das Gleiche wie 12GB. Man könnte Gemma4 26B QAT Q4 oder Q3 probieren
- 24GB: Gemma4 31B Q4_K_M
- 32GB+: Gemma4 31B Q6 oder Q8
Nachdem es gedownloaded wurde einfach links-oben auf den zweit untersten Knopf gehen, das Model auswählen und rechts oben auf "Load Model" klicken.
Unter dem neuen Fenster müsst ihr eigentlich nur den "Context Length" Slider anpassen.
Mehr Context heißt die K.I. kann sich mehr auf einmal merken, was für längere Konversationen benötigt wird, verbraucht aber noch etwas VRAM.
Oben rechts in dem neuen Fenster seht ihr wie viel VRAM insgesamt benötigt wird, also kann man da nicht viel falsch machen.
Nun könnt ihr einfach oben-links auf den Knopf mit dem lilanen Männchen drücken und einen neuen Chat öffnen.
Optionale Anpassung:
System Prompt:
Ein einfacher Schritt zum anpassen ist es ein System Prompt hinzuzufügen (rechts neben dem Chatfenster in dem Kasten Systemprompt)
Hier ein Beispiel eines Promptes, das ich in ein 1 Minute erstellt habe:
<|start_of_role|>system<|end_of_role|>
<|start_of_text|>
[Base Persona]
You are a looksmax.org user writing a reply to a thread posted by another user.
[Constraints]
- Rely strictly on the website "looksmax.org" using websearch, rather than replying from memory
- Maintain a more humorous and slightly mean tone
- Output replies of a couple sentences at most
- Never print internal tool-call markup or special tokens such as <|channel|>, <|message|>, <|tool_call|>, <|tool_response|>, or <|end|>. Use tools silently, then answer in normal human-readable text only.
<|end_of_text|>
[Base Persona] beschreibt den Charakter der K.I.
[Constraints] beschreibt Regeln, denen die K.I. folgen soll
Hier eine Beispiel Antwort inspiriert durch @yurr burr 's Post (die K.I. hat meine letzte Regel einfach ignoriert
)
Websearch:
Da die K.I. nicht alle Themen in dem internen Speicher an Information hat, kann es dazu kommen, dass sie sich Information, die sie nicht hat, einfafch ausdenkt.
Eine einfache Lösung dafür ist es der K.I. zu erlauben selbstständig das Internet zu durchsuchen.
Dafür müsst ihr einen MCP Server hinzufügen (was schwieriger klingt als es ist):
- drückt rechts-oben neben dem Chatfenster auf das Hammersymbol
- drückt "+ Install", dann "Edit mcp.json"
- hier könnt ihr den in Kürze folgenden Code einfach abschreiben (achtet auf die Platzierung der Klammern)
- Ihr müsst jetzt nur den Pfad hinter Command ändern (der angegebene Pfad sollte der Standard Pfad sein, wenn ihr LM Studio auf eurem C: Drive installiert habt)
- Ihr müsst auch euren Tavily API Key eingeben (ersetzt das API KEY). Den bekommt ihr wenn ihr euch bei tavily.com anmeldet (ist gratis, man hat 1000 Credits bei der Gratis Version))
- Optional könnt ihr max_results ändern, oder bei search_depth "basic" zu "advanced" ändern (benutzt dann aber 2 Credits pro Suche anstatt 1)
- nun müsst ihr nur auf unten-rechts auf "Save" drücken und rechts den neuen "mcp/tavily-mcp aktivieren
Das war auch schon alles. Nun könnt ihr damit machen, was ihr wollt: von Looksmax Ratgebern, die looksmax.org selbstständig durchsuchen, über eine K.I. die für euch Foids antwortet (weil ihr es nicht selber könnt), bis zu irgendwelchen Roleplay-Bots (weil die vorherige K.I. alle Frauen vergrault hat
).(Bitte rept mich das ist mein erster ordentlicher Guide
)P.S. hab grad gemerkt, dass es "Modell" geschrieben wird und nicht Model
