Please enable JavaScript.

Coggle requires JavaScript to display documents.

MAST Topic, PDFs, Standard-LLM-Modus: Für allgemeine Fragen, die das LLM…

- - - - Resultiert in Produktivitäsverlusten
  - - - Integration einer Unternehmens UI
      - Also Allen Mitarbeitern zur Verfügung stellen
- - - - OpenAI text-embedding-ada-002
      - all-MiniLM-L6-v2
  - - - Inwiefern übertrifft die RAG-gestützte Suche die herkömmliche Volltextsuche in Bezug auf Effizienz und Effektivität?
        
        Inwiefern übertrifft die RAG-gestützte Suche die herkömmliche Volltextsuche in Bezug auf Effizienz (Zeitersparnis) und Effektivität (Precision/Recall)?
        
        Nach 1. Themenbesprechung
        
        technisch-wirtschaftliche Bewertung
        
        technische Infrastruktur
        
        Just Nodes For Arbeit
        
        Analysis of Requirements bezieht sich auf den zu entwickelten Prototypen
        
        Und da wärs nice, wenn man die einmal durchführt und man dann das gesamte Konzept dafür nutzt
        
        Conclusions Already Thinking About
        
        lokale LLMs machen Sinn, wenn es einen spezifischen Engpass abdeckt, also Data privacy, ansonsten schwierig
        
        Standardisierte LLM-Aufgaben ohne hohe Sensibilität oder tiefe Integration ausreichen (APIs sind oft effizienter).
        
        Das Anfragevolumen gering bis moderat ist.
        
        Datenhoheit und Sicherheit: Gibt es strenge Anforderungen an Datenschutz und Datensicherheit, die das Senden von Daten an externe APIs verbieten oder erschweren? Lokale Verarbeitung kann hier die einzige konforme Lösung sein.
        
        Topics der Frage
        
        Frage
        
        Technische Infrastruktur
        
        F1: Wie lässt sich ein Large Language Model kosteneffizient in eine LAMP-basierte Infrastruktur integrieren – lokal oder API-basiert?
        
        2 more items...
        
        Matrixauswertung
        
        Frage
        
        Funktionale Machbarkeit
        
        F2: Inwieweit ist es mit einem LLM möglich, strukturierte Daten (z. B. aus einem Personalausweisbild) automatisiert und zuverlässig zu extrahieren?
        
        1 more item...
        
        3.Frage
        
        Qualität
        
        Wie exakt ist die Qualität der vom LLM erzeugten Antworten?
    - - Der Kernbeitrag: "Unser wesentlicher wissenschaftlicher Beitrag ist die empirische Evaluierung und quantitative Messung des Mehrwerts, den ein RAG-basiertes Wissenssystem im Vergleich zu traditionellen Methoden der Informationsfindung in Unternehmen erzielen kann."
- - - - Phi-4
      - Llama 3.x
      - gemma3
        
        Ist das ein Vision model?
    - - Wahrscheinlich die Tokenzahl viel zu groß
    - - wird genutzt um strukturierte Ausgaben zu bekommen
      - sehr nice
        
        https://medium.com/@alejandro7899871776/fastapi-ollama-pydantic-local-llm-apis-bf6b0464ad96
- - - - Also die Wissensbasis
  - - - Onboarding neuer Mitarbeiter erleichtern
        
        Beim Onboarding neuer Mitarbeiter könnte das System Fragen zu internen Prozessen, Organigrammen oder Richtlinien beantworten und so die Einarbeitung erleichtern.
    - - Eigenes Wissen restliche 2 Wochen dokumentieren lassen, dass Wissen dann in das RAG-System integrieren
- - - - Toggle
        
        Kann der user umschalten auf normaler LLM Gebrauch z.B. GPT 4o
    - - Welche Embedinggs müssen integriert wrden?
      - Welches LLM wird verwendet?
      - Welche Vektordatenbank wird verwendet?
      - Wie wird die Architektur generisch und dynamisch für den Unternehmensalltag erstellt?
      - Wie realisieren wir die vektorbasierte Suche?
    - - Abb. 1: Architekturübersicht des geplanten RAG-gestützten Systems. Links stellt der Benutzer über die UI (z.B. eine Streamlit-Weboberfläche) eine Frage. Das Backend (z.B. ein Python-Server mit FastAPI) empfängt die Anfrage. Für normale LLM-Abfragen schickt das Backend die Frage direkt (gestrichelter Pfeil) an das LLM API (z.B. GPT-4 über OpenAI oder AWS Bedrock) und erhält eine Antwort. Für RAG-Abfragen hingegen wandelt das Backend die Frage zunächst in einen Embedding-Vektor um und führt eine Ähnlichkeitssuche in der Vektor-Datenbank (z.B. ChromaDB) durch. Die Datenbank liefert relevante Textpassagen aus den eingebetteten PDF-Dokumenten zurück, die das Backend als Kontext der LLM-Anfrage beifügt. Das LLM generiert daraufhin eine fundierte Antwort unter Einbezug dieser Dokumenteninformation. Abschließend wird die Antwort an die UI zurückgegeben und dem Nutzer angezeigt. Rechts ist außerdem der vorgelagerte Ingestionsprozess dargestellt: Interne PDF-Dokumente werden zunächst geladen, in sinnvolle Abschnitte zerlegt und über ein Embedding-Modul in Vektorrepräsentationen umgewandelt, welche dann in der Vektor-DB gespeichert werden.
      - zwei Betriebsmodi angeboten: (1) Standard-LLM-Modus – der Nutzer erhält eine Antwort ausschließlich basierend auf dem vortrainierten Wissen des Modells (ähnlich einer üblichen ChatGPT-Session, jedoch ohne interne Firmendaten). (2) RAG-Modus – das LLM erhält zusätzlich zum Nutzerprompt noch relevante Auszüge aus den Unternehmens-PDFs als Kontext. Im zweiten Modus kann das System auch sehr spezifische Fragen beantworten, die nur mit internem Wissen lösbar sind, und es minimiert das Risiko, dass das LLM falsche oder allgemein gehaltene Antworten gibt
        
        Wichtig ist, dass beide Modi über dasselbe UI zugänglich sind, sodass der Endanwender nahtlos entweder allgemeine Fragen stellen kann oder – falls erwünscht – gezielt die internen Dokumente mit einbeziehen kann.
        
        Die Entscheidung für eine Webarchitektur (ähnlich der klassischen LAMP-Aufteilung) ermöglicht es, den Prototyp flexibel zu entwickeln und ggf. zu erweitern. Das Frontend wird voraussichtlich mit Streamlit realisiert (eine Python-basierte Web-UI, die schnelles Prototyping erlaubt), was dem Muster entspricht, das im LAMP-Stack z.B. PHP übernehmen würde – also die Generierung der Benutzeroberfläche. Als Backend fungiert ein FastAPI-Server in Python, der die Rolle der Anwendungslogik (analog zum „A“ in LAMP, hier jedoch nicht Apache/PHP, sondern ein Python-Webserver) übernimmt. Die Datenpersistenz – anstelle einer MySQL-Datenbank – wird durch eine spezialisierte Vektorendatenbank (ChromaDB) realisiert, die semantische Vektoren speichert und abfragt. Diese Analogie zur LAMP-Architektur (Frontend <-> Backend <-> Datenbank) macht es einfach, die Architektur einem Webentwicklung-Professor zu vermitteln, da Konzept und Schichten dem bekannten Modell entsprechen, nur dass die Datenbank hier nicht klassisch relational ist, sondern eine auf KI-Zwecke optimierte Vektor-DB.
- - - - Bewahrung von Wissen von unabhängigen Wissensträgern, erstmalig möglich, Anleitung zur Erstellung xyz
        
        Wissensbewahrung
- - - - Zeitmessung bei der Informationssuche
    - - Traditionelle Volltext-Suchfunktionen oder das manuelle Durchforsten von Ordnerstrukturen