ZFX + Developia

Biolunar hat geschrieben:http://www.utf8everywhere.org/

• Benutze intern UTF-8
• Konvertiere an allen Anknüpfungspunkten in die jeweilige Zieldarstellung (Windows-API: UTF-16, Linux-API: UTF-8)
• Braucht mehr Konvertierungen, als man eventuell bei der internen Benutzung von UTF-16 unter Windows, UTF-8 unter Linux bräuchte

• Benutze intern die Darstellung, die von den Anknüpfungspunkten benötigt wird (Windows: UTF-16, Linux: UTF-8)
• Konvertiere garnicht
• Was ist, wenn unterschiedliche APIs unterschiedliche Darstellungen brauchen, wie beispielsweise die WinAPI und Netzwerk-Kommunikation?

eXile hat geschrieben:

Biolunar hat geschrieben:http://www.utf8everywhere.org/

Widerspricht dies nicht genau dem, was Krishty gesagt hat?

Krishty hat geschrieben:Ich würde es aber nicht empfehlen weil vielleicht irgendwann mal ein Funktionsaufruf oder eine Konvertierung nötig sein könnte, und nachträglich kriegt ihr keine Klammern mehr um den String.

Krishty hat geschrieben:Noch was zu Dateien: Wenn ihr die Strings binär wegschreibt, sind die Dateien natürlich nicht unter den Plattformen austauschbar. Das wären sie aber sowieso nicht, weil sich ja z.B. Endianness und Ausrichtung von Plattform zu Plattform unterscheiden.

Niki hat geschrieben:Ich will das Projekt aber irgendwann mal auf andere Plattformen porten.

Krishty hat geschrieben:Noch was zu Dateien: Wenn ihr die Strings binär wegschreibt, sind die Dateien natürlich nicht unter den Plattformen austauschbar. Das wären sie aber sowieso nicht, weil sich ja z.B. Endianness und Ausrichtung von Plattform zu Plattform unterscheiden.

eXile hat geschrieben:

Biolunar hat geschrieben:http://www.utf8everywhere.org/

Widerspricht dies nicht genau dem, was Krishty gesagt hat?

Niki hat geschrieben:Eins ist jedenfalls klar... ich schreibe keinen UTF-8 Lexer!

enum class UTF8State
{
    Initial,

    Range2,

    Range3,
    Range3_1,

    Range4,
    Range4_1,
    Range4_2
};

string utf8encode(const vector<int> &v)
{
    ostringstream str;
    for (int c: v)
    {
        if ( c == -1 ) continue;
        if ( c < (1 << (7)) ) str << (char)c;
        else if ( c < (1 << (6+5)) )
        {
            str << (char)(192 + (31 & (c >> 6)));
            str << (char)(128 + (63 & (c >> 0)));
        }
        else if ( c < (1 << (6+6+4)) )
        {
            str << (char)(224 + (15 & (c >> 12)));
            str << (char)(128 + (63 & (c >> 6)));
            str << (char)(128 + (63 & (c >> 0)));
        }
        else if ( c < (1 << (6+6+6+3)) )
        {
            str << (char)(240 + (7 & (c >> 18)));
            str << (char)(128 + (63 & (c >> 12)));
            str << (char)(128 + (63 & (c >> 6)));
            str << (char)(128 + (63 & (c >> 0)));
        }
        else throw logic_error("Error encoding");
    }
    return str.str();
}
vector<int> utf8decode(const string &data)
{
    UTF8State utf8 = UTF8State::Initial;
    vector<int> v;
    for (char c : data)
    {
        static int utf8Char = 0;

        // UTF-8 decode
        switch(utf8)
        {
        case UTF8State::Initial:
            if ( (c & 128) == 0 ) v.push_back(c);
            else if ( ( c & 224 ) == 192 ) { utf8Char = (c & 31) << 6; utf8 = UTF8State::Range2; }
            else if ( ( c & 240 ) == 224 ) { utf8Char = (c & 15) << 12; utf8 = UTF8State::Range3; }
            else if ( ( c & 248 ) == 240 ) { utf8Char = (c & 7) << 18; utf8 = UTF8State::Range4; }
            else throw logic_error("UTF8 Decoding failed in state Initial");
            break;

        case UTF8State::Range2:
            if ( (c & 192 ) != 128 ) throw logic_error("UTF8 Decoding failed in state Range2");
            utf8Char += ( c & 63 );
            utf8 = UTF8State::Initial;
            v.push_back(utf8Char);
            break;

        case UTF8State::Range3:
            if ( (c & 192 ) != 128 ) throw logic_error("UTF8 Decoding failed in state Range3");
            utf8Char += ( c & 63 ) << (6);
            utf8 = UTF8State::Range3_1;
            break;
        case UTF8State::Range3_1:
            if ( (c & 192 ) != 128 ) throw logic_error("UTF8 Decoding failed in state Range3_1");
            utf8Char += ( c & 63 );
            utf8 = UTF8State::Initial;
            v.push_back(utf8Char);
            break;

        case UTF8State::Range4:
            if ( (c & 192 ) != 128 ) throw logic_error("UTF8 Decoding failed in state Range4");
            utf8Char += ( c & 63 ) << (6+6) ;
            utf8 = UTF8State::Range4_1;
            break;
        case UTF8State::Range4_1:
            if ( (c & 192 ) != 128 ) throw logic_error("UTF8 Decoding failed in state Range4_1");
            utf8Char += ( c & 63 ) << ( 6);
            utf8 = UTF8State::Range4_2;
            break;
        case UTF8State::Range4_2:
            if ( (c & 192 ) != 128 ) throw logic_error("UTF8 Decoding failed in state Range4_2");
            utf8Char += ( c & 63 );
            utf8 = UTF8State::Initial;
            v.push_back(utf8Char);
            break;
        }
    }
    return v;
}

vector<char16_t> utf16encode(const vector<int> &v)
{
    vector<char16_t> str;
    for (int c : v)
    {
        if ( c < 0x10000 )
            str.push_back(c);
        else
        {
            int u = c - 0x10000;
            str.push_back((54 << 10) + ((u & (1023 << 10)) >> 10));
            str.push_back((55 << 10) + ((u & (1023 <<  0)) >>  0));
        }
    }
    return str;
}
vector<int> utf16decode(const vector<char16_t> &v)
{
    vector<int> str;
    for (unsigned int i = 0; i < v.size(); ++i)
    {
        char16_t c = v[i];

        if ( c < 0xD800 || c > 0xDFFF )
            str.push_back(c);
        else
        {
            if ( c < 0xD800 || c > 0xDBFF ) throw logic_error("Invalid UTF16");
            if ( i+1 >= v.size() ) throw logic_error("Invalid UTF16 (eos)");

            ++i;
            char16_t c2 = v[i];

            int u = ((c & 1023) << 10) + (c2 & 1023);
            str.push_back(u + 0x10000);
        }
    }
    return str;
}

Krishty hat geschrieben:Ich finde es auch immer lustig, wie ich hier als realitätsfremd und radikal hingestellt werde

Schrompf hat geschrieben:Dafür habe ich Gewissheit, was ich bekomme, wenn ich Dateinamen aus Dateien lese. Und schlagt mich, aber bei mir ist das normal.

Krishty hat geschrieben:Kannst du mir erklären, was die Größe meiner Textdateien damit zu tun hat, ob ich irgendwo einen Dateipfad in eine andere Kodierung konvertiere?!

Hier vollkommen belanglose Generalisierungen mit aus der Luft gegriffenen Extrembeispielen zu verschwurbeln bringt doch keinem was. Niki arbeitet hier nicht an einem portablen Notepad 2015 mit Leerlauf-Datei-öffnen-Schleife. Wann man welche Datei wie kodiert ist ein hochspezielles Problem und hat nichts damit zu tun, ob ich CreateFile() nun für UTF-8 oder UTF-16 kapsle.

Krishty hat geschrieben:Ich finde es auch immer lustig, wie ich hier als realitätsfremd und radikal hingestellt werde wenn ich keine STL benutzen will, aber Leute davon überzeugt sind, dass man die komplette WinAPI nach UTF-8 „kapseln“ muss damit man irgendwann mal irgendeinen nicht näher genannten Dateiinhalt schneller schreiben kann.

Schrompf hat geschrieben:Binärdateien, die ich lesen will, habe ich entweder selbst geschrieben und damit habe ich die volle Kontrolle und die verdammte Pflicht, mir vorher eine Kodierung zu überlegen.

Schrompf hat geschrieben:Auf die Gefahr, für religiös gehalten zu werden: boost::filesystem macht das eigentlich wie Krishty - es bevorzugt native Kodierung. Allerdings bietet es auch Konvertierungen an.

Niki hat geschrieben:Eins verstehe ich allerdings nicht... wieso hast du das als Antwort auf "Eins ist jedenfalls klar... ich schreibe keinen UTF-8 Lexer!" genutzt? :o

Artificial Mind hat geschrieben:

Niki hat geschrieben:Eins verstehe ich allerdings nicht... wieso hast du das als Antwort auf "Eins ist jedenfalls klar... ich schreibe keinen UTF-8 Lexer!" genutzt? :o

Ach ich wollte nur ausdrücken dass UTF-8 und UTF-16 gar nicht so schlimm sind wenn man sich kurz einliest. Du klangst so als wenn "UTF-8 Lexer schreiben" out-of-question ist und eine total absurde Idee wäre ;) (Vielleicht hast du auch was anderes gemeint und ich habe dich nur missverstanden)

Niki hat geschrieben:

Artificial Mind hat geschrieben:

Niki hat geschrieben:Eins verstehe ich allerdings nicht... wieso hast du das als Antwort auf "Eins ist jedenfalls klar... ich schreibe keinen UTF-8 Lexer!" genutzt? :o

Ach ich wollte nur ausdrücken dass UTF-8 und UTF-16 gar nicht so schlimm sind wenn man sich kurz einliest. Du klangst so als wenn "UTF-8 Lexer schreiben" out-of-question ist und eine total absurde Idee wäre ;) (Vielleicht hast du auch was anderes gemeint und ich habe dich nur missverstanden)

Nur um sicher zu gehen, dass wir vom selben reden: Lexer = Lexical Analyzer, die Vorstufe eines Parsers. Für viele in Form von Lex und Flex bekannt.