Connect with us

Künstliche Intelligenz

Vision Language Model: Wie FastVLM hochauflösende Bilder im Browser analysiert


Vision Language Models (VLMs) verbinden visuelle Wahrnehmung mit natürlichen Sprachfähigkeiten und erlauben es, komplexe Aufgaben wie Bildbeschreibung, das Beantworten natürlichsprachiger Anfragen zu Bildern oder multimodale Suche zu erledigen. In den vergangenen Jahren hat sich gezeigt, dass höhere Eingabeauflösungen die Leistungsfähigkeit dieser Modelle deutlich steigern, vor allem bei textintensiven Bildern. Gleichzeitig wächst mit jeder zusätzlichen Bildzeile die Sequenzlänge des Vision-Encoders, wodurch etwa die Zahl der Vision-Token zunimmt und das Sprachmodell eine längere Eingabesequenz verarbeiten muss, was die Inferenzzeit erhöht. Diese Latenz ist für Anwendungen problematisch, die interaktiv und responsiv sein sollen, etwa in Webbrowsern oder auf mobilen Geräten mit begrenzter Rechenleistung.

Klassische VLMs basieren auf Vision-Encoder-Decoder-Architekturen. Als Vision-Encoder dienen vielfach rein Transformer-basierte Modelle wie ViT-B/16 oder Hybridvarianten mit einem Convolutional Neural Network (CNN) als Backbone. Diese Modelle teilen das Bild in Patches, beispielsweise 16 × 16 Pixel groß, projizieren jeden Patch in einen Embedding-Vektor und verarbeiten die Sequenz durch mehrere Self-Attention-Layer. Die Komplexität der Schichten wächst quadratisch mit der Anzahl der Patches (PDF), sodass eine erhöhte Bildauflösung die Latenz schnell in die Höhe treibt. Um diese Latenz zu reduzieren, haben Wissenschaftler Methoden wie Token Pruning oder Token Merging vorgeschlagen, die weniger wichtige Patches verwerfen oder zusammenfassen. Alternativ gibt es kachelbasierte Ansätze, die ein Bild in mehrere Teile zerlegen und separat verarbeiten. All diese Techniken reduzieren die Tokenanzahl, benötigen aber zusätzliche Verarbeitungsschritte oder führen zu Genauigkeitsverlusten.

  • In herkömmlichen Vision Language Models führt eine erhöhte Bildauflösung zu weniger performanten Sprachmodellen.
  • Durch die hohen Anforderungen an Speicher und Rechenleistung passen die Modelle für den Einsatz im Browser oder auf mobilen Geräten nicht.
  • Das von Apple entwickelte Bildverarbeitungsmodell FastVLM läuft lokal im Browser und verfolgt einen anderen Ansatz: Über den hybriden Vision-Encoder FastViTHD reduziert es die Tokenanzahl bereits während der visuellen Codierung, ohne Genauigkeit einzubüßen.

Durch die hohen Anforderungen an Speicher und Rechenleistung sind herkömmliche VLMs für den Einsatz im Browser oder auf mobilen Geräten ungeeignet. Selbst wenn das Modell auf einem Server läuft, verursachen GPU-Infrastruktur und Energieverbrauch hohe Kosten. Gleichzeitig nimmt die Latenz zu, wenn eine Anwendung zwischen Client und Server Bilder übertragen muss. Diese Hürde motivierte die Entwicklung von FastVLM: einem VLM, das lokal und ressourcensparend arbeitet, ohne auf aufwendige Token-Pruning-Heuristiken zurückzugreifen, und dennoch konkurrenzfähige Genauigkeit bietet.


Das war die Leseprobe unseres heise-Plus-Artikels „Vision Language Model: Wie FastVLM hochauflösende Bilder im Browser analysiert“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.



Source link

Verwandte Themen:
Weiterlesen

Künstliche Intelligenz

Gegen Überwachung: Android-App spürt nahe Smart Glasses auf


Die Android-App „Nearby Glasses“ scannt nach Bluetooth-Signalen in der Umgebung. Erkennt sie in diesen Signalen eine Herstellerkennung von Smart Glasses der Marke Ray-Ban, Oakley und Snap, werden Nutzer darüber benachrichtigt. Der Soziologe und Gelegenheitsentwickler Yves Jeanrenaud hat die App programmiert, weil er Smart Glasses als „unzumutbaren Eingriff“ in die Privatsphäre betrachtet, wie er auf GitHub schreibt.

Weiterlesen nach der Anzeige

Jeanrenaud weist auf GitHub darauf hin, dass seine App nicht perfekt sei. Fehlalarme seien wahrscheinlich, weil die Kennung nur den Hersteller verrät, nicht das konkrete Produkt. So könne auch eine VR-Brille erkannt werden, während umgekehrt längst nicht alle Smart Glasses erfasst würden. Jeanrenaud ruft daher zu einem besonnenen Umgang mit der App auf

Wachsende Verbreitung, offene Fragen zum Datenschutz

Viele Smart Glasses sind heute oft nur aus der Nähe als solche zu erkennen. Bei Metas Modell signalisiert eine LED Außenstehenden, dass gefilmt wird. Bei hellem Tageslicht ist sie jedoch kaum wahrnehmbar. Gegen einfache Manipulationen wie das Abkleben der LED sind die Brillen allerdings geschützt und blockieren in diesem Fall die Aufnahmefunktion.

Aufgrund ihrer geringen Verbreitung spielen Smart Glasses in der öffentlichen Debatte bislang kaum eine Rolle. Das könnte sich in den nächsten Jahren ändern. Marktführer Meta und EssilorLuxottica haben im vergangenen Jahr sieben Millionen Geräte verkauft, und mit dem Markteintritt von Google und Apple in diesem und nächsten Jahr könnte die Kategorie rasch an Verbreitung gewinnen. Zudem arbeitet Meta laut einem Bericht der New York Times an einer begrenzten Gesichtserkennungsfunktion für seine Smart Glasses.

heise online XR-Briefing abonnieren

Jeden zweiten Montag, liefern wir Ihnen die wichtigsten Entwicklungen der XR-Branche. Damit Sie alles im Blick behalten.

E-Mail-Adresse

Ausführliche Informationen zum Versandverfahren und zu Ihren Widerrufsmöglichkeiten erhalten Sie in unserer Datenschutzerklärung.

„Ich möchte weder Techniklösungen als Allheilmittel darstellen, noch ein falsches Sicherheitsgefühl vermitteln“, schreibt Jeanrenaud auf Github. „Wir brauchen bessere Lösungen, um Überwachungstechnologien und Eingriffe in die Privatsphäre einzudämmen.“

Weiterlesen nach der Anzeige

„Nearby Glasses“ ist im Google Play Store erhältlich. Alternativ ist sie auch bei GitHub verfügbar, wo es weitere Hinweise zu Funktionsweise und Einrichtung gibt. Dort nennt Jeanrenaud auch potenzielle Ausbauschritte wie die Erkennung weiterer Smart Glasses und eine iOS-App. Für Letztere fehlten ihm allerdings noch die nötigen Entwicklungskenntnisse.


(tobe)



Source link

Weiterlesen

Künstliche Intelligenz

ARD: KI findet Einzug in öffentlich-rechtliche Radiosendungen


Die ARD führt KI-Stimmen für Teile ihres Radioangebotes ein. Ab dem 3. März sollen die Verkehrs- und Wettermeldungen in den gemeinschaftlichen Sendungen „Pop – Die Abendshow“ und „Popnacht“ demnach von einer KI vorgetragen werden. Akute Gefahrenmeldungen übernehme weiterhin die Live-Redaktion.

Weiterlesen nach der Anzeige

Die Abend- und Nachtprogramme werden auf den öffentlich-rechtlichen Sendern hr3, rbb 88.8, MDR JUMP, NDR 2, Bremen Vier, SR 1, SWR3 und WDR 2 gesendet. Die beiden Gemeinschaftsprogramme sind Anfang 2025 entstanden und haben bisher bundesweit einheitliche Verkehrs- und Wettermeldungen gesendet. Die KI soll nun je nach Sendegebiet regionalisierte Meldungen ermöglichen. Das Sounddesign der einzelnen Sender sowie regionale Nachrichten waren schon von Beginn an individuell. Produziert werden die Gemeinschaftsprogramme von SWR3.

Die KI trage dabei lediglich Texte vor, die von den entsprechenden Redaktionen geschrieben und überprüft worden seien. Eigene Meldungen formulieren oder Geschriebenes ändern dürfe sie hingegen nicht. Die ARD gibt an, das System solle keine menschlichen Mitarbeitenden ersetzen.

Die ARD erklärt zudem, dass von der KI vertonte Meldungen nur in Kombination mit einem entsprechenden Transparenzhinweis gesendet würden. Die Stimmen der KI sollen auf denen des echten Moderationsteams beruhen. „Entwickelt und konfiguriert wurde das KI-gestützte Datenverarbeitungs- und Sprachausgabesystem in enger Kooperation von SWR und WDR“, teilte die ARD mit. Dabei stünden Datenschutz und Sicherheit im Vordergrund.

Bei heise kommt im Podcast „Kurz informiert“ bereits seit 2022 eine KI-generierte Stimme der Moderatorin Isabel Grünewald zum Einsatz.

KI-Anteil in Radios nimmt zu

Bereits Anfang des Jahres haben ARD, ZDF, Deutschlandradio und Deutsche Welle einen gemeinsamen Grundsatzkatalog für die Nutzung von KI in redaktionellen Prozessen und in der Berichterstattung veröffentlicht. Der Einsatz von KI wird dabei nicht ausgeschlossen, jedoch an einen journalistischen Mehrwert, Nachhaltigkeit und Transparenz geknüpft.

Weiterlesen nach der Anzeige

In privaten Radios ist der Einsatz von KI weiter verbreitet, wie eine Recherche von heise zeigt. Besonders in der Nacht spielen einige private Radiosender hauptsächlich KI-generierte Lieder. Dahinter stecken vor allem kommerzielle Gründe, da für KI-generierte Musik keine Abgaben an die Gesellschaft für musikalische Aufführungs- und mechanische Vervielfältigungsrechte (GEMA) anfallen.


(mho)



Source link

Weiterlesen

Künstliche Intelligenz

iPhone 17e: Ausstattungslücke beseitigt, Preis bleibt hoch


Zu iPhone 17 und 17 Pro gesellt sich das neue 17e: Apple hat das Einstiegsmodell am Montag neu aufgelegt. Es reiht sich damit in den typischen Jahresrhythmus ein, in dem der Hersteller seine anderen Smartphone-Modelle bereits aktualisiert. Äußerlich unterscheidet sich das 17e nicht vom 16e: Es basiert weiterhin auf dem Design des iPhone 13/14 mit einem 6,1-Zoll-OLED. Neu als Farbe ist neben Schwarz und Weiß nun Pink im Programm. Gängige Elemente der teureren Modelle fehlen weiterhin, darunter die Always-On-Funktion, das „Dynamic Island“ zur Anzeige von Hintergrundfunktionen und eine bis 120 Hz reichende Bildwiederholrate.

Weiterlesen nach der Anzeige

Meldung wird weiter aktualisiert.


(lbe)



Source link

Weiterlesen

Beliebt