Please enable JavaScript.

Coggle requires JavaScript to display documents.

Dynamische Ressourcenallokation in der Stromverarbeitung (OrientStream:…

- - - - inkrimentelle machine learning - Techniken
        
        inkrementelles Lernen: Lernen mit wiederholten Lerndurchgängen, um die assoziative Verbindung zwischen Reiz und Response zu festigen (Akkumulationslernen).
      - Vorgehensweise:
        
        Einführung des 4-stufigen Extraktionsfunktionsmechanismus (Echtzeit Prognosenmodell) mithilfe der Werkzeugsammlungen MOA und Weka auf
        
        Datenebene
        
        Abfrageplanebene
        
        Operatorebene
        
        Clusterebene
        
        Es werden die verschiedenen Abfragearbeitsauslastungen als Trainingssätze verwendet, um die Ressourcennutzung von DDSMS vorherzusagen. Dann wird die optimale Ressourcenkonfiguration zwischen den Kandidateneinstellungen basierend auf den aktuellen Anfrageanforderungen und Strom-Eigenschaften gewählt.
        
        Abschließend wird der Ansatz auf der Open Source SPS-Strom validiert.
        
        Außerdem wird Ensemble Different Kinds of Regressions (kurz EDKR)-Algorithmus und Ausreißerausführungsmechanismus (für die zweite gilt noch: auch um die anomalen Ausführungen zu überwachen), zur Verbesserung der Vorhersagengenauigkeit und zur Überprüfung der Gültigkeit unserer Methode eingesetzt.
        
        Open Source SPS-Strom
        
        Es wird noch Open-Source-SPS S4 genannt.
        
        validieren:
        
        feststellen, dass eine bestimmte Methode für einen bestimmten Zweck geeignet und gültig ist.
        
        (Datenverarbeitung) entstehende Daten bereits während des Eingabeprozesses mit einem hinterlegten Strukturmodell vergleichen.
        
        Experimente zeigen: dass OrientStream die CPU-Auslastung von 8% - 15% und die Speicherauslastung von 38% - 48% reduzieren kann.
        
        Zukünftige Arbeit: Es wird geplant einen Status-Operator aufzubauen zum Speichern der Statusinformationen zur Laufzeit.In diesem Fall können wir die willkürliche Anpassung der verschiedenen Konfigurationen ohne eine neue Topologie erzielen.
  - - - kurz DDSMS
        
        bestehen üblicherweise aus der oberen Schicht RQS und unteren Schicht SPS
        
        RQS: relationale Abfragesysteme
        
        SPS: Stromverarbeitungssysteme
        
        Was passiert, wenn ein Benutzer neue Abfragen an RQS sendet? Es muss ein Abfrageplaner in ein gerichtetes zyklisches Diagramm (DAG) konvertiert werden, die auf SPS ausgeführt werden.
        
        Da es unterschiedliche Abfrageanforderungen und Datenstromeigenschaften gibt, muss SPS verschiedene Bereitstellungsstrategien konfigurieren.
        
        Herausforderung für SPS: Dynamisches Prognostizieren von Bereitstellungskonfigurationen von SPS, um den Verarbeitungsdurchsatz und die geringe Ressourcennutzung sicherzustellen.
        
        RQS: Zur Verbesserung der Benutzerfreundlichkeit und Verarbeitungsfähigkeit wurden einige RQS entwickelt, die Abfragesprachen enthalten, wie bspw. Squall.
        
        DDSMS muss den hohen Durchsatz und die geringe Latenz der Stromverarbeitung gewährleisten, um die von Benutzern innerhalb der angegebenen Latenz gestellten Anfragen zu erfüllen. Dies erfordert häufig, dass Benutzer die relevanten Konfigurationen im Voraus festlegen, z. B. die Operatorparallelität und die Speichernutzung von Prozessen.
        
        Herausforderndes Problem: Gemäß Datenstromeigenschaften (z. B. Ankunftsrate und Wertverteilung) und der Differenz von Abfrageaufgaben ist jedoch die vernünftige Einstellung von Konfigurationen zum Sicherstellen sowohl der Verarbeitung in Echtzeit als auch einer geringen Ressourcennutzung ein sehr herausforderndes Problem.
  - - - Für die kontinuierlichen Abfragen werden viele Open-Source-SPS wie S4 und Strom eingesetzt.
    - - Eine Anwendung, die die GPS-Verkehrsdaten aus Steuern und Bussen in Echtzeit verarbeitet und analysiert.
        Annahme: Traffic-Monitoring und Strom als SPS-Beispiel
        
        Das Szenario ist eine typische Anwendung der Stromausführung.
        
        Es wird GeoLife GPS Trajectories für diese Arbeitslast verwendet, die GPS-Trajektorien-Daten von 182 Benutzern in einem Zeitraum von über 5 Jahren gesammelt wurden, enthält.
        Das Verkehrsüberwachungssystem wird simuliert.
        
        Sie enthält eine Kartenabgleich-Verarbeitungslogik, die Trajektoriedaten von GPS-Loggern oder GPS-Telefonen einschließlich Höhe, Breite und Länge akzeptiert und die Position dieses Objekts in Form einer Straßen-ID bestimmt.
        
        Die Geschwindigkeitsberechnungs-Verarbeitungslogik akzeptiert das Straßen-ID-Ergebnis von der Anpassungsverarbeitungslogik und berechnet die Durchschnittsgeschwindigkeit gemäß der Straßen-ID.
        
        Traffic Monitoring
        
        GeoLife GPS Trajectories
        
        Die Ausführungsaufgaben in Strom können als DAG ausgedrückt werden
        
        Knoten (Spouts) = Datenquellen
        
        Verarbeitungslogik (Bolts), diese laufen in verschiedenen Prozessen (Workern)
        
        Für die Echtzeitberechnung sollte zunächst die Topologie erstellt werden.
        
        Vor der Bereitstellung der Topologie für den Strom-Cluster sollte der Benutzer verschiedene Topologieparameter angeben (z. B. die Anzahl der Yorker, die Auslaufparallelität und die Bolzenparallelität) - je nach Erfahrung oder Maschinenkonfigurationen
        
        Schließlich erhält der Strom-Cluster einen kontinuierlichen Datenstrom und verarbeitet sie in Echtzeit.
        
        Den Topologieparametern ist kein dynamischer Datenstrom bekannt.
        
        Beschreibung der Figur 1:
        
        1a: Einige Verarbeitungsverzögerungen liegen aufgrund der festen Parameter über dem Schwellenwert des Benutzers mit der Änderung der Datenstromrate. In der Zwischenzeit führt dies auch zu einer höheren Auslastung der Cluster-Ressourcen.
        
        1b: Die durchschnittliche CPU-Nutzung beträgt etwa 40% und die durchschnittliche Speicherauslastung beträgt mehr als 90 %.
        
        Da DDSMS immer in der Cloud-Umgebung eingesetzt werden, führt das Problem der festen Konfigurationen nicht nur zu einer hohen Ressourcennutzung, reduziert den Return-on-Investment (ROI) des Anwenders und verursacht sogar den Systemengpass.
        
        Cloud Umgebung
        
        Return-on-Investment (ROI)
- - - - Die Ergebnisse der Experimente belegen, dass PR-Prune die Produktion der kritischsten Ergebnisse im Vergleich zum Stand der Technik erhöht. Darüber hinaus verkürzt PR-Prune die Optimierungssuchzeit im Vergleich zur PR deutlich.
  - - - Ambulante Gesundheitsversorgung: Datenstromsysteme werden verwendet, um Menschen mit Demenz zu verfolgen [3]. In diesen Systemen ist das Überwachen von Personen weg von ihrem richtigen Standort für eine längere Zeit (d. H. Wahrscheinlich verloren) kritisch. Während das Überwachen von Personen, die alleine leben (d. H. Hilfe benötigen), kann basierend darauf, ob Ressourcen nach der Verarbeitung von kritischeren Tupeln verbleiben, d.h. Tupeln von Personen, die wahrscheinlich verloren gehen, reduziert werden. Periodisch, wenn Ressourcen verschreckt sind, könnte das Überwachen von Tupeln von anderen Personen vorübergehend übersprungen werden. In diesen Systemen wurden Überbelastungen festgestellt [4].
      - Strafverfolgung: Datenstromsysteme werden zur Überwachung von Hausangestellten eingesetzt [5]. Stellen Sie sich ein System vor, das jeden Gefangenen an einem unangemessenen Ort meldet, der sich innerhalb von 3 Meilen von einem Offizier befindet. Auf höchster Dringlichkeitsstufe müssen entflohene gewalttätige Gefangene (d. H. Sie können Schaden verursachen) überwacht werden. Als nächstes werden Gefangene an einem ungeeigneten Ort überwacht (d. H., Die wahrscheinlich in Verletzung sind). Schließlich sollten Gefangene, von denen bekannt ist, dass sie Flugrisiken sind, überwacht werden, wenn die Ressourcen ausreichen. Diese Systeme werden überlastet, z. B. im Oktober 2010 eine Anwendung, die freigelassene Sexualstraftäter in 49 Staaten überwacht, die für 12 Stunden abgeschaltet sind [6].
- - - - API: Eine Programmierschnittstelle, genauer Schnittstelle zur Anwendungsprogrammierung, häufig nur kurz API genannt (englisch application programming interface, wörtlich ‚Anwendungsprogrammierschnittstelle‘), ist ein Programmteil, der von einem Softwaresystem anderen Programmen zur Anbindung an das System zur Verfügung gestellt wird. Im Gegensatz zu einer Binärschnittstelle (ABI) definiert eine Programmierschnittstelle nur die Programmanbindung auf Quelltext-Ebene.[1] Zur Bereitstellung solch einer Schnittstelle gehört meist die detaillierte Dokumentation der Schnittstellen-Funktionen mit ihren Parametern auf Papier oder als elektronisches Dokument.Neben dem Zugriff auf Datenbanken oder Hardware wie Festplatte oder Grafikkarte kann eine Programmierschnittstelle auch das Erstellen von Komponenten der grafischen Benutzeroberfläche ermöglichen oder vereinfachen. Zum Beispiel ermöglicht die Programmierschnittstelle Windows Application Programming Interface des bekannten Computer-Betriebssystems Windows, dass externe Firmen überhaupt erst Software für dieses Betriebssystem entwickeln können.Heutzutage stellen auch viele Online-Dienste Programmierschnittstellen zur Verfügung; diese heißen dann Webservice. Im weiteren Sinne wird die Schnittstelle jeder Bibliothek (engl. library) als Programmierschnittstelle bezeichnet. Zu unterscheiden ist diese Art funktionaler Programmierschnittstellen von den vielen anderen Schnittstellen, die in der Programmierung angewendet werden – zum Beispiel die Parameter, die beim Aufruf von Unterprogrammen vereinbart und übergeben werden.
      - WebRTC (Web Real-Time Communication, deutsch „Web-Echtzeitkommunikation“) ist ein offener Standard, der eine Sammlung von Kommunikationsprotokollen und Programmierschnittstellen (API) definiert, die Echtzeitkommunikation über Rechner-Rechner-Verbindungen ermöglichen. Damit können Webbrowser nicht mehr nur Datenressourcen von Backend-Servern abrufen, sondern auch Echtzeitinformationen von Browsern anderer Benutzer.Dies ermöglicht Anwendungen wie Videokonferenz, Dateitransfer bzw. Datenübertragung, Chat und Desktopsharing. Für die Herstellung einer Verbindung zwischen den beteiligten Clients ist ein Webserver (mit oder ohne Benutzerverwaltung) erforderlich sowie im Fall von Clients in privaten IPv4-Adressbereichen hinter NAPT-Routern auch die Feststellung von deren öffentlichen IP-Adressen und Portnummern (zum Beispiel durch einen STUN-Server).WebRTC wird beim World Wide Web Consortium (W3C) als offener Standard standardisiert. Die Standardisierung wird maßgeblich betrieben und unterstützt von Google Inc., Mozilla Foundation und Opera Software ASA.[1]
    - - Peer-to-Peer (P2P) Connection (von englisch peer „Gleichgestellter“, „Ebenbürtiger“) und Rechner-Rechner-Verbindung sind synonyme Bezeichnungen für eine Kommunikation unter Gleichen, hier bezogen auf ein Rechnernetz. In einigen Kontexten spricht man auch von Querkommunikation.
    - - Filme, die man im Internet schaut, werden gestreamt.
        Es ist nicht unbedingt legal.
        Es gibt das Live-Streaming und das On-Demond-Streaming.
        Live-Streaming ist die Echtzeitübertragung, ein Streaming-Media-Angebot, Video oder Audio, das in Echtzeit (live) bereitgestellt wird.
        Dabei wird oft mittels einer Encoder-Software das Signal digital gewandelt und kann so über einen digitalen Übertragungskanal (z. B. das Internet) übertragen werden. Dabei kommen je nach Komprimierungsgrad und Übertragungsqualität verschiedene Streaming-Codecs zum Einsatz.
        Live-Streaming ist nicht gleichzusetzen mit der Übertragung von Live-Webcam-Bildern auf einer Webseite. Bei letzterer wird lediglich in einem bestimmten Abstand ein Standbild, beispielsweise einer Webcam, via FTP auf einen Webserver geladen.
        Beim On-Demand-Streaming werden auf einem Server gespeicherte Daten über das Netz an einen Client übertragen. Der Client kann die Wiedergabe anhalten, vor- und zurückspulen. Die Daten werden auf Client-Seite in einem Medienpuffer vorgespeichert.
  - - - Angesichts der Heterogenität der Implementierungsumgebung und der Volatilität von Webbrowsern haben wir eine Steuerungsinfrastruktur implementiert, mit der Entscheidungen zur Betreibermigration getroffen werden können, wobei die Einschränkungen bei der Bereitstellung und die unvorhersehbare Arbeitslast berücksichtigt werden.