Apples Vorstoß in den Bereich der künstlichen Intelligenz geht weiter, denn der iPhone-Hersteller bereitet Entwickler auf neue Tools wie die Siri-Bildschirmwahrnehmungsfunktionen vor.
Diese Funktionen werden Teil von Apple Intelligence sein, und man hofft, dass sie die Fähigkeiten des digitalen Assistenten zum Verstehen von Kontexten deutlich verbessern werden.
Die neuen Entwickler-Tools des Unternehmens werden allmählich zu Apple Developer hinzugefügt, einschließlich der neuen „App Intent APIs“, die es ermöglichen werden, dass die Bildschirminhalte von Apps für Siri und Apple Intelligence zugänglich sind.
Apple hat die Onscreen-Intelligenz im Juni 2024 vorgestellt, was ein guter Hinweis darauf ist, dass sie sich noch in der Entwicklung befindet.
In der Erklärung der Funktion schreibt Apple: „Wenn ein Nutzer eine Frage zu Bildschirminhalten stellt oder eine Aktion ausführen möchte, können Siri und Apple Intelligence die Inhalte abrufen, um die Frage zu beantworten und die Aktion auszuführen.
„Wenn der Benutzer dies ausdrücklich wünscht, können Siri und Apple Intelligence Inhalte an unterstützte Drittanbieterdienste senden. Zum Beispiel könnte jemand eine Website aufrufen und Siri verwenden, um eine Zusammenfassung zu liefern, indem er einen Satz wie ‘Hey Siri, worum geht es in diesem Dokument?’ sagt oder eintippt.“
Zu diesem Zweck wurde ein Update vom November 2024 hinzugefügt, das besagt, dass Entwickler Bildschirminhalte für Siri und Apple Intelligence verfügbar machen können, indem sie sie als App-Entität beschreiben und ein Assistentenschema übernehmen.
Die vollständigen Details zu dieser Funktion wurden noch nicht bekannt gegeben, aber es war in iOS 18.2 Beta 1, wo ChatGPT mit Siri integriert wurde.
Apple kündigt iOS 18.2 Beta 2 an und gibt Entwicklern neue Einblicke in Siri AI
Dies geschieht nur wenige Tage, nachdem Apple iOS 18.2 Beta 2 für Entwickler veröffentlicht hat, die mehrere Änderungen für die Nutzer des Geräts mit sich bringen wird.
Während in der vorherigen Variante ChatGPT in Siri integriert wurde, können Nutzer in der zweiten Ausgabe die Plus-Version direkt in den Einstellungen abonnieren.
Apple Intelligence wird auch in der Lage sein, ein Bild aus Notizen zu erstellen, wobei diese Option zum Popup-Menü hinzugefügt wird, wenn Text hervorgehoben wird.
Das Tool „Find My“ wird ebenfalls ein Upgrade erfahren, da der Standort eines verlorenen Gegenstandes bald an eine andere Person weitergegeben werden kann, wobei ein Link generiert werden kann. Der Empfänger muss kein iPhone besitzen, um den Link zu sehen, da er im Internet geöffnet werden kann.
Kleinere Änderungen finden sich in der Mail-App mit ihren Benachrichtigungs-Badges sowie den Symbolen in den Einstellungen und den Aktualisierungen der Kamerasteuerung.
Featured Image: AI-generiert über Ideogram