Alexa, pimatic und SSL

Alter_Knochen

Hallo alle miteinander,

ein blutiger Anfänger winselt um Hilfe!

Auf meine alten Tage kam ich auf die seltsame Idee, mit dem Programmieren anzufangen; und zwar in Python.
Da ich einen recht gut funktionierenden Raspberry Pi mit einem stabil laufenden Pimatic-System und darüberhinaus einen Amazon Dot hier stehen habe, dachte ich mir, man könne Alexa auch dazu bringen, in pimatic integrierte Sensoren auslesen und dann die ermittelten Informationen ansagen zu lassen.

Also nach dem Motto: “Alexa, sage zimmertemperatur im Wohnzimmer.” Woraufhin der entsprechende DS18B20-Temperatursensor abgefragt und die Temperatur dann von der netten Dame Alexa ausgequatscht werden soll.

Das Auslesen der Werte über z.B. http://192.168.178.xxx/api/variables/wohnzimmer.temperature klappte lokal mit einer Python-Funktion schon mal ganz gut.
Also richtete ich mir nach der Anleitung auf pimatic.org eine gesicherte SSL-Verbindung ein, sorgte für eine Portfreigabe in meiner Fritzbox für den Port 443 und nutzte meine MyFritz-Adresse für den Zugriff auf die pimatic-API.

Versuche ich nun das Auslesen über https://xxx.myfritz.net/api/variables/wohnzimmer.temperature nach dem Hochladen der Skill in die Amazon-Welt, bekomme ich die Fehlermeldung “There was an error calling the remote endpoint, which returned HTTP 500 : Internal Server Error”.

Hier mal der (sicher umständlich zusammengehackte) Sourcecode der Zugriffsfunktion:

def getTemperature(sensorID):

buffer = StringIO()

url = 'https://xxx.myfritz.net/api/variables/' + sensorID
c = pycurl.Curl()
c.setopt(c.URL, url)
c.setopt(pycurl.USERPWD, "%s:%s" % ('Username', 'myPassword'))

c.setopt(c.WRITEDATA, buffer)
c.perform()
c.close

pimaticJSON = json.loads(buffer.getvalue())

return  pimaticJSON['variable']['value']

Ich vermute, ich kapiere den Umgang mit den SSL-Zertifikaten nicht so richtig, die ich im Development-Bereich von Amazon bei der Konfiguration der Skill hochladen kann - und ich vermute, ich muss ein Zertifikat einrichten?

Nutze ich das erstellte “public certificate ca/pimatic-ssl/public/cert.pem” aus pimatic, bekomme ich eine Fehlermeldung
Nutze ich ein selbst erstelltes x509-Zertikat nach dem Rezept auf
https://developer.amazon.com/public/solutions/alexa/alexa-skills-kit/docs/testing-an-alexa-skill#h2_sslcert
bekomme ich ebenso eine Fehlermeldung.

Alexa will einfach nix mit meinem pimatic zu tun haben schnief (wobei das Auslesen der Sensorenwerte sicher auch ohne pimatic gehen würde, das Problem, Alexa Zugriff auf den Pi zu geben, aber weiterhin für mich bestehen bleibt).

Wisst ihr Rat und könnt einem unwissenden Idioten wie mir Step-by-Step mit einfachen Worten unter die Arme greifen, damit es mir gelingt, dass Alexa mit einer in Python (und mit Hilfe des Frameworks Flask-Ask) geschriebenen Skill auf mein Pimatic zugreifen kann? Hochgeladen wird die Skill übrigens nach dieser Anleitung:
https://developer.amazon.com/de/blogs/post/8e8ad73a-99e9-4c0f-a7b3-60f92287b0bf/new-alexa-tutorial-deploy-flask-ask-skills-to-aws-lambda-with-zappa

Vielen Dank im Voraus für eure Hilfe!

Gruß,
Alter_Knochen

tehmilcho

@Alter_Knochen ggf geht es mit einem LetzEncrypt Zertifikat, aber es gibt bereits ein Alexa Plugin (echo plugin) aber des unterschützt nur das Schalten nicht werte ausgeben, weiterhin denke nicht das der Zugriff allgemein über " https://xxx.myfritz.net/api/variables/wohnzimmer.temperature" geht hier wäre es vllt bessere eine DynDNS über einen Vorgeschalten Nignx Website mit LetzEncrypt Zertifikat zu machen! LetzEncrypt Zertifikate sind für privat Personen kostenfrei und sind trusted also Browser können es normal öffnen und das “Schloss-Icon” im Browser ist grün!

Kannst du https://xxx.myfritz.net/api/variables/wohnzimmer.temperature über dein Smartphone via UMTS aufrufen? Weil eigentlich nutzt du da jetzt das SSL Zertifikat von “myfritz.net” weil deine Anfrage geht über den Website von “myfritz.de” und von dort dann weiter an deine Fritzbox und von dort vielleicht weiter an den PI, ich denke aber eher das die Anfrage auf der Fritzbox hängen bleibt, weil da ist auch noch ein Webserver drauf. Allgemein kannst du nicht eine Verbindung über mehrere Unterschiedliche SSL-Zertifikate machen, weil das Zertifikat verschlüsselt ja eigentlich von Quelle zu Ziel.

Ich persönlich nutze ein Synology NAS und habe bei meiner Fritzbox das “Myfritz” komplett aus, dann Port 80 und 443 weitergeleitet zum NAS, der Niginx Webserver auf den NAS nimmt alle Http-Anfragen an und wandelt sie in Https um und wenn jmd über "pimatic.MEINEDOMAIN.NET (ist Prem. Domain von No-IP.com) eine Anfrage sendet leitet der Niginx Webserver die Anfrage via Http an den Raspberry(über IP http://192.178.X.X:PORT) bzw. durch den angebenden Port bei z.b. 1337 (kannste nehmen was du willst) weiter ans Pimatic. NAS nutzt auch LetzEncrypt daher ist die Verbindung vom Client über das Internet bis zum NAS verschlüsselt und nur die Verbindung vom NAS zum PI im Lokalen Netzwerk unverschlüsselt

Das ganze geht natürlich auch über ein Niginx Server der auf deinen PI Installiert ist, so kannst du auch mit SubDomains oder mehrfachen DynDNS Adressen verschiedene Webanwendung auf deinem PI via Internet reichen, weil nur der Niginx dann auf den Port 443 antwortet und es auf die Custom Ports deiner Anwendung intern weiterleitet. Wenn du das nur mit 443 (https) machst hast du den nachteil das dann “http” Anfragen ins leere laufen, weil diese über Port 80 gehen.

https://forum.pimatic.org/topic/1998/pimatic-nginx-http-2-let-s-encrypt

michbeck100

BTW: pimatic-echo funktioniert nicht mit Sensoren, weil das ohne AWS Skill nicht geht. Das plugin schaltet aber alle Geräte ohne über die AWS Cloud zu gehen (abgesehen von der Sprachanalyse). Solange Amazon das auslesen von Sensoren nicht in die API einbaut, wird auch pimatic-echo sowas nicht unterstützen.

Alter_Knochen

Vielen Dank für eure Antworten!

@tehmilcho:

Echo Plugin:
Dieses grandiose Plugin habe ich installiert und schaltet meine Funksteckdosen auch hervorragend. Aber wie du und @michbeck100 schon schreibt: das Auslesen unterstützt das Plugin leider nicht. Deshalb ja auch der bislang vergebliche Versuch, selbst eine Skill zu schreiben.
myfritz-Adresse:
Der Zugriff auf pimatic über meine Myfritz-Adresse und auf die API-Variablen klappt wunderbar. Grundvoraussetzung ist aber die vorhergehende Einrichtung/Registrierung des pimatic-Zertifikats “ca/certs/cacert.crt”, das ich nach der pimatic.org-Anleitung (-> https://pimatic.org/guide/getting-started/remote-ssl/) für den SSL-Zugriff auf pimatic erstellt habe, auf jedem Gerät, das auf pimatic zugreifen darf. Nach meinem naiven Grundverständnis müsste dann doch eigentlich ein Zugriff aus der Amazon-Cloud mit eben diesem Zertifikat auch auf pimatic möglich sein - sofern ich denn das Zertifikat in die Amazon-Cloud installiert bekomme. Ich habe bei der Konfiguration der Skill zwar die Möglichkeit, selbst erstellte SSL-Zertifikate - und dazu zähle ich auch das pimatic-Zertifikat - als x509 reinzukopieren, aber anscheinend unterliegt die Datei “cacert.crt” nicht diesem Format? Zumindest akzeptiert Amazon nur Zertifikatsdaten, die mit “-----BEGIN CERTIFICATE-----” beginnen und mit “-----END CERTIFICATE-----” aufhören. Dies ist bei cacert.crt nicht der Fall, wohl aber beim “The public certificate ca/pimatic-ssl/public/cert.pem”, mit dem Amazon aber anscheinend nichts anfangen kann. Liegt es an der zu hohen Verschlüsselung? Das pimatic-Zertifikat wird mit 4096 Bit verschlüsselt, Amazon gibt in der Anleitung, Zertifikate mit openssl selbst zu erstellen, eine Verschlüsselung nur mit 2048 Bit an.
LetzEncrypt:
Wäre eine Option zum Ausprobieren. Erstellt LetzEncrypt denn auch x509-Zertifikate, die ich dann bei der Skill-Konfiguration einbinden kann?

-Webserver:
Auch das wäre eine Möglichkeit zum Testen, auch wenn ich diese eigentlich umgehen wollte. Die Installation von z.B. nginx hätte vielleicht sogar den Vorteil, dass ich mir die das Hochladen der Skill in die Amazon-Cloud sparen könnte, weil diese auch vom eigenen Webserver geladen werden kann?

Alles kompliziert, warum suche ich mir auch so ein “Hello World”-Beispiel aus …

tehmilcho

@Alter_Knochen
"aber es gibt bereits ein Alexa Plugin (echo plugin) aber des unterschützt nur das Schalten nicht werte ausgeben" Sagte ich doch

Ich bin fest davon überzeugt das wenn du “myfritz” nutzt du das SSL Zertifikat von “myfritz” nutzt weil die haben bereits eins.

Wenn Chrome benutzt geh mal bitte auf die Seite und mach F12 -> Sicherheit da steht welches Zertifikat benutzt wird.

Und wegen deiner Frage zu x509 guck mal hier:

"X509 File Extensions

The first thing we have to understand is what each type of file extension is. There is a lot of confusion about what DER, PEM, CRT, and CER are and many have incorrectly said that they are all interchangeable. While in certain cases some can be interchanged the best practice is to identify how your certificate is encoded and then label it correctly. Correctly labeled certificates will be much easier to manipulat

https://support.ssl.com/Knowledgebase/Article/View/19/0/der-vs-crt-vs-cer-vs-pem-certificates-and-how-to-convert-them
"
Nach dem ist das alles X509

“Der Zugriff auf pimatic über meine Myfritz-Adresse und auf die API-Variablen klappt wunderbar. Grundvoraussetzung ist aber die vorhergehende Einrichtung/Registrierung des pimatic-Zertifikats “ca/certs/cacert.crt”, das ich nach der pimatic.org-Anleitung (-> https://pimatic.org/guide/getting-started/remote-ssl/) für den SSL-Zugriff auf pimatic erstellt habe, auf jedem Gerät, das auf pimatic zugreifen darf.”

Wie genau meinst du “auf jedem Gerät, das auf pimatic zugreifen darf” ?

Ich würde wie gesagt mal versuchen direkt eine No-IP.com Domain (gibt auch kostenfrei) auf deinen Raspberry einzurichten, damit du die Fritzbox bzw den Service Myfritz einfach aus dieser Gleichung entfernst.

Hier die Anleitung um den Client von NoIP zu installieren.

http://www.noip.com/support/knowledgebase/installing-the-linux-dynamic-update-client/

Dieser meldet dann immer an “No-IP” deine Aktuelle externe IP und dadurch kannst du dann direkt über eine Domain darauf zugreifen. So macht es am Ende auch Myfritz aber diese Verschlüsseln die Verbindung. No-IP tut das nicht, der ihr Service ist nur das sie der Domain die IP zuweisen.

Du musst dich jedoch auch bei No-IP.com registieren (kostenlos) und eine Domain anlegen es gibt dort viele Domain-Endungen die Kostenfrei sind (z.b. WUNSCHNAME.DDNS.net)

Ich habe den persönlich auch bereits auf einem PI gehabt, die Einrichtung und Funktion geht ohne Probleme mit der Anleitung.

Alter_Knochen

“… auf jedem Gerät, das auf pimatic zugreifen darf.”

Ja, eine unglückliche Formulierung. Damit meine ich Geräte, auf denen cacert.crt für pimatic eingerichtet wurde: "A authority certificate ca/certs/cacert.crt, that should be imported to all your devices (smartphone, desktop, …)"
Ohne dieses Zertifikat ist kein Zugriff über https auf pimatic möglich.

myfritz:

Das genutzte Zertifikat beim Aufrufen von pimatic ist das von mir generierte pimatic-Zertifikat - das sagt mir zumindest mein Browser.

tehmilcho

@Alter_Knochen du hast nur das Zertifikat für deine Geräte vertrauensvoll gemacht…das heißt ohne das kommt eine Warnung das es ein selbst erstelltes Zertifikat is und ob du die Website dennoch besuchen willst…mehr macht das nicht…das kommt immer wenn man kein Zertifikat von einer offiziellen stelle hat. Verschlüsselt is die Verbindung dennoch. Das dient nur zum Schutz vor betrug, sonst könntest ja Zertifikat machen wo du sagst du bist zB Google und baust denn ne fake Website um login Daten zu klauen.

Daher gibt es letsencrypt damit privat Leute ein kostenfreies Zertifikat bekommen können wo nicht die nervige Warnung kommt. Weil jetzt kann weiterhin jeder auf deine seite mit ssl zugreifen aber bekommt die warnung, das ist kein zugriffsschutz. Sonst kosten die Zertifikate nämlich richtig Geld …man bezahlt auch dafür das im Browser die Adresszeile dann grün ist wie zB beim online banking.

Warum machst du nicht einfach das amazon Zertifikat dann bekommst du ne pem-datei die kannst dann einfach statt der pimatic Datei einfügen in der config.

"httpsServer": {
  "enabled": true,
  "port": 443,
  "hostname": "",
  "keyFile": "ca/pimatic-ssl/private/privkey.pem",
  "certFile": "ca/pimatic-ssl/public/cert.pem",
  "rootCertFile": "ca/certs/cacert.crt"
},

du kannst jedes Zertifikat eintragen was du willst…pimatic hat au ein Webserver im Hintergrund laufen und die Angabe sagt nur wo das Zertifikat liegt. Es muss nicht das von pimatic sein.

Ich weis nur nicht welche pem amazon dann in dem Text Feld will aber ich denke das siehst du am Inhalt die sagen ja (siehe dein link oben) von welcher stelle bis zur welcher die das wollen

Alter_Knochen

Die Mission, eine Skill in Python zu schreiben, um damit auf Pimatic zuzugreifen, ist gescheitert: Alexa bekommt einfach keinen Zugriff. Auch nicht nach Installation/Konfiguration von nginx und der Erstellung eines Lets encrypt-Zertifikats / DDNS. Insofern habe ich einen anderen Weg beschritten, um Alexa zum Quatschen zu bringen, und die Skill schnell in PHP zusammengehackt. Bot sich wegen des eh installierten Webservers auch an und hat zudem den Vorteil, nicht auf Amazons Lambda angewiesen zu sein. Änderungen am PHP-Script können darüberhinaus schneller durchgeführt werden. Klappt jetzt alles so, wie ich es für meinen Hausgebrauch haben wollte: Alexa gibt mir die Zimmertemperatur des angefragten Raumes wieder.

V1per

Klingt interessant, kannst du uns das Setup und das PHP-Skript genauer erklären?

Alter_Knochen

Gerne. Vorweg aber: Ich habe herzlich wenig Ahnung von PHP und pimatic. Insofern dient dieses Skript lediglich der Inspiration mit viel (Entwicklungs)Luft nach oben (Fehlerbehandlung, allgemeingültigeres Programmdesign etc.pp.). Aber: Es läuft sehr gut

Grundvoraussetzung ist ein mit vertrauenswürdigem Zertifikat abgesicherter Webspace (also mit SSL, sonst wird Alexa zickig) auf dem PHP ausführbar ist. Bei mir wird dies durch einen Raspberry Pi realisiert, der eh nonstop läuft. tehmilcho wies mir bei meiner Anfrage für meinen Python-Versuch den Weg, wie dies prinzipiell eingerichtet werden kann.

D.h. in Kurzform: nginx installieren, eine DDNS-Adresse besorgen (ich nutze DDNSS), entsprechende Routerfreigaben einrichten, Zertifikat für die DDNS bei Lets encrypt erstellen lassen, Zertifikat in nginx einbinden und nginx SSL-tauglich machen. Natürlich sollte auch PHP heruntergeladen und mit den den entsprechenden Einstellungen in der Konfiguration installiert worden sein.

Wenn alles läuft, sollten auf einer gesicherten Verbindung PHP-Scripts über ngninx ausführbar sein.

Das Programm ist relativ simpwl:

getTemperature holt sich aus der pimatic-API den Wert des angegebenen Sensors (hier: $RoomID, also der Variablenname, den ihr bei der Einrichtung des Sensors in pimatic vergeben habt). Dazu verwende ich die PHP-Funktion curl, das hat bei meinem Python-Versuch schon recht gut geklappt. Angepasst werden müssen natürlich die Adresse, username und password für den pimatic-Zugang. Aus dem Rückgabewert von curl wird dann nur noch der gewünschte Wert herausextrahiert und als gerundeter Wert ohne Nachkommastellen zurückgegeben.

Der Rest des Programm ist letztendlich nur “Alexa-Handling”. Da mir der Umgang mit dem ganzen JSON-Krams a la zum Beispiel

$responseArray = [
            'version' => '1.0',
            'response' => [
                  'outputSpeech' => [
                        'type' => 'PlainText',
                        'text' => 'Die Zimmertemperatur in der Stube betraegt ',
                        'ssml' => null
                  ],
                  'shouldEndSession' => true
            ]
      ];

zu umständlich und unübersichtlich war, habe ich im Netz nach einer Library Ausschau gehalten, die ähnlich einfach im Umgang wie Flask-Ask für Python sein sollte.

Hier bin ich fündig geworden (Beispiele und Docs inklusive): https://github.com/MayBeTall/Alexa-PHP-Endpoint

Insofern galt es nur noch die benötigten Intents (also bei mir StubeIntent, FlurIntent usw.) einzurichten und in diesen getTemperature mit den passenden Parametern zu versorgen. Das war’s programmtechnisch.

Der Rest ist nur Formularbearbeitung auf der Developer Console von Amazon beim Einrichten der Skill - natürlich inklusive dem Erstellen des Intent-Modells und den Utterances. Bei “configuration” ist lediglich zu beachten, dass https und nicht Lambda ausgewählt wird, und bei “Default” direkt darunter wird die https-Adresse des php-Skripts eingegeben. Beim nächsten Konfigurationsschritt unter “SSL” wird der obere Punkt (“My development endpoint has a certificate from a trusted certificate authority”) ausgewählt. Das war’s letztendlich im Amazon-Development-Bereich, die Skill kann nun dort noch getestet oder auf dem eigenen Echo (hoffentlich erfolgreich) aufgerufen werden.

<?php

// Include the library
require __DIR__ . '/alexa-endpoint/autoload.php';

/**
 * Import classes
 * Note, if there is already a class named 'User' in your scripts, use this:
 * use MayBeTall\Alexa\Endpoint\User as AlexaUser;
 * Then use 'AlexaUser' instead of 'User'.
 */
use MayBeTall\Alexa\Endpoint\Alexa;
use MayBeTall\Alexa\Endpoint\User;

function getTemperature($RoomID)
{
	$curl = curl_init();
	curl_setopt($curl, CURLOPT_URL, "http://192.168.178.xxx:PORT/api/variables/" . $RoomID);
	curl_setopt($curl, CURLOPT_HTTPAUTH, CURLAUTH_ANY);
	curl_setopt($curl, CURLOPT_USERPWD, "user:password");
	curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
	$result = curl_exec($curl); // Rückgabewert von curl 
	curl_close($curl);

	$result = json_decode($result, true); // JSON bearbeiten
	$result = $result['variable']['value']; // gewünschten Wert (hier: Temperatur) heraussuchen ...
	
	return (round($result)); // ... und als kaufmännisch gerundeten Wert zurückgeben
}

// Sets everything up.
Alexa::init();

// User launched the skill.
Alexa::enters(function() {
    Alexa::say('Du musst mir noch verraten, von welchem Raum du die Temperatur wissen moechtest. Zur Auswahl stehen momentan blabla. Sage zum Beispiel: Alexa, sage Zimmertemperatur in der Stube.');
});

// User triggered the 'NameIntent' intent from the Skill Builder
User::triggered('StubeIntent', function() {
	$temperature = round(getTemperature("xxx1.temperature"));
	Alexa::say("Die Zimmertemperatur in der Stube betraegt " . $temperature . " Grad Celsius.");
});

User::triggered('FlurIntent', function() {
	$temperature = round(getTemperature("xxx2.temperature"));
	Alexa::say("Die Zimmertemperatur im Flur betraegt " . $temperature . " Grad Celsius.");
});


// User exited the skill.
Alexa::exits(function() {
	/**
	 * Alexa will not say anything you send in reply, but it is important
	 * to have this here because she will give an error message if we
	 * don't acknowledge the skill's exit.
	 */
});

?>

Letztendlich sollte es kein Problem sein, auch andere Sensoren abfragen und irgendwie mit Alexa in Verbindung bringen zu können, wie zum Beispiel den Status eines Bewegungssensors abzufragen. Sollte es irgendwann mal möglich sein, dass sich Alexa bei einem ausgelösten Ereignis auch von selbst zu Wort meldet, könnte dies mehr oder weniger nützliche Anwendungsfälle schaffen (Person X kommt die Treppe runter, schalte bitte die Kaffeemaschine ein oder so ähnlich).