Hadoop Veteran Ted Dunning: Wenn Open Source ist alles andere als offen

MapR Chief Application Architekt Ted Dunning: Jetzt haben wir Open Source, geschlossene Community

Unter heutigen Ernte von Open-Source-Projekte sind Technologien von den wesentlichen bis hin zu den dunklen. Aber ein Open-Source-Veteran und führende Hadoop-Experte glaubt, dass trotz aller Anstrengungen und Innovationen ein paar Projekte aus dem Ethos des offenen Produkts und offene Gemeinschaft verirrt haben.

Ted Dunning, Chef-Anwendungsarchitekt der Hadoop-Vertriebsfirma MapR und Committer und PMC-Mitglied der Apache Mahout-, ZooKeeper- und Drill-Projekte sowie Mentor für Apache Storm, DataFu, Flink und Optiq, glaubt, dass Open Source fast eine moderne Form von proprietärer Software ist.

“Es ist absolut wahr. Es ist nicht ganz so geschlossen wie geschlossen war. Aber Closed-Source war nicht so geschlossen wie es scheint geschlossen. Wenn Sie wieder in den Tag gehen, bei Digital Equipment und sogar IBM, jeder Zugriff auf die hatte Source-Code, der es brauchte.Und Sie könnten zurückdrücken Änderungen in Hasp oder VMS.Es gab sehr viel ein kommunales Gefühl über dann – aber es war in einem einzigen Anbieter “, sagte er.

“Sie waren nicht offiziell offen, aber sie waren wirksam offen, sie waren geschlossene Quelle, offene Gemeinschaft auf eine bizarre Art. Jetzt haben wir Open Source, geschlossene Gemeinschaft.”

Marketing-Leute sind nur Muddying die Gewässer durch Missbrauch der “Daten-Wissenschaftler” Job-Titel, nach dem ehemaligen CERN-Physiker Dr. Paul Schaack.

Diese Art von Projekten, die den Community-Aspekt der Open Source nicht berücksichtigen, sind sogar in der verwirrend großen Zahl von Initiativen im Ökosystem rund um das Big-Data-Framework Apache Hadoop nach Dunning präsent.

“Ich sagte mir:” Okay, ich bin ein großer Zeit Apache Kerl. Ich darüber Bescheid wissen müssen. Es 15 oder 20 Hadoop-Projekte sein müssen. “So ging ich und zählte sie. Ich ging durch die ganze 200 -plus Apache-Projekte und alle Inkubatoren und ich kam mit fast 40 “, sagte er.

“Ich bin angeblich in der wissen und ich verschätzte um zwei bis man dort waren doppelt so viele wie ich dachte, waren da, nur in Apache -. Und dann gibt es Dinge draußen, die unzählbar sind also es gibt eine Menge, und es ist klar verwirrend.. Wenn Sie nicht einen Vollzeitjob machen, es zu verfolgen, gibt es keine Chance, dass Sie alle Projekte aufzählen können. ”

Aber das Niveau der Innovation ist eine gute Sache. Es ist nur natürlich für Menschen mit guten Ideen, sie in der Gemeinde ausprobieren wollen.

“Das ist die Art von Schaum, die dort sein sollte, aber wir sollten abschöpfen, dass Schaum aus ein wenig, wenn Präsentation für Menschen, die Dinge zu erledigen haben”, sagte Dunning.

“Eine zweite Art der Quelle des Schaums, die nicht so gut ist, ist, wenn Menschen nicht wirklich Open Source zu umarmen. Es ist schwer, [Open Open Source], weil als Unternehmen müssen Sie einen Wert, den Sie bringen Das Spiel, und als Open-Source müssen Sie sehr glücklich sein, dass die Menschen nehmen einige Ihrer Arbeit ohne Bonität.Diese beiden Dinge sind grundsätzlich unvereinbar in der gleichen Zeit.

Die heutige Fülle von NoSQL-Datenbanken gibt Unternehmen Wahl mit einer Hand, aber Doles aus Management-Komplexität mit dem anderen, nach Basho CTO Dave McCrory.

Mahnen argumentieren, dass Unternehmen, denen die technologischen oder geistigen Eigentums-Kernwerte fehlen, eine viel schwierigere Zeit haben, ihre Beziehung zu einem Projekt festzulegen.

“Sie versuchen, ein Apache-Projekt zu besitzen, das sollten sie nicht tun, aber wenn Sie diesen Konflikt haben zwischen” Ich möchte einen Kernwert haben “und” Ich möchte offen sein “, dann sind Sie am Ende Diese widersprüchlichen Situationen, in denen Sie sich nicht klar sein können, ob Sie offen oder geschlossen sind “, sagte er.

Mehr zu Hadoop und Open Source

Google Cloud Platform gesamte Big Data Suite ab sofort verfügbar; Der Versuch, die Differenzierung in Hadoop Suppe zu finden; virtualisierte Hadoop: Ein kurzer Blick auf die Möglichkeit, Apache Atlas, Fortschritt Parkett, Whirr im Ruhestand; Hadoop Business-Intelligence-Firma AtScale Dichtungen Finanzierung Injektion für die Expansion; Hadoop und Funken: Eine Geschichte von zwei Städten, MapR, Pentaho Neuheiten auf Hadoop Summit bekannt geben, SQL und Hadoop: es ist kompliziert, warum Hadoop hart ist, und wie es zu erleichtern; Hadoop Annahme hinkt – so vielleicht große Daten nicht So eine große Sache?

Social Data LinkedIn stellt seine neue Blogging-Plattform, Big Data Analytics, ist das Alter von Big OLAP, Big Data Analytics, DataRobot zielt auf die Automatisierung von Low-hanging Obst der Datenwissenschaft, Big Data Analytics, MapR Gründer John Schroeder Schritte, COO zu ersetzen

“Am Ende haben Sie Open Source, aber geschlossene Gemeinschaft: die” Es tut mir leid, wir sind die einzige Entwickler Art der Sache Das geschieht nicht mit Hadoop per se, sondern auch andere Projekte Apache 90 Prozent des Kernkomitee von einem Hadoop haben. Dass es nicht ein Gemeinschaftsprojekt ist, es ist nicht wirklich eine geschlossene Gemeinschaft, aber es ist nicht wirklich eine offene Gemeinschaft entweder.Ich sehe, dass eine Katastrophe.

Er argumentiert, dass dieser Mangel an Offenheit zu Problemen mit der Schaffung eines echten Konsens über Standards für das Open-Source-Projekt führt.

“Es ist wichtig, völlig klar zu sein, wenn Sie etwas tun: Ist es offen oder ist es geschlossen? Es ist sehr schwer, eine mittlere Linie zu treten”, sagte Dunning.

Einige Projekte können am Ende wird von einer einzigen Firma monopolisiert, nur weil sie andere ausschließen, weil sie den Markt in diesem Bereich des Fachwissens in die Enge getrieben haben oder weil sonst niemand interessiert ist.

“Es gibt definitiv Projekte, bei denen Leute versuchen, es zu schieben, aber niemand kümmert sich. Das ist eine Option. Ein weiterer ist, wo sie versuchen, es zu monopolisieren und sie sagen Dinge wie:” Wir tun, um dieses Projekt mit der Implikation, dass sie sind, dass Projekt, das ist nicht der Weg, um Gemeinschaft zu bauen.Bau Gemeinde ist der Punkt der Open-Source “, sagte er.

Dunning’s Verein mit Open-Source-Software erstreckt sich über Jahrzehnte, mit März dieses Jahres eine 40-jährige Beteiligung.

Vom Atlas-Sicherheitsprojekt bis zum Ambari 2.0 und SequenceIQ diskutieren Hadoop-Veteran und Hortonworks-Mitbegründer Arun Murthy einige der großen Daten-Themen des Augenblicks.

“Es ist viel verändert, aber ich habe immer wieder gesehen, was am wichtigsten ist, und ich bin so glücklich, Apache zu sehen, weil Apache genau zu dem Schluss kommt, dass Gemeinschaft wichtiger ist als Code”, sagte er.

“Eine gute Gemeinschaft kann den Code sehr schnell wieder aufbauen Code – Entschuldigung mein Französisch – tut nicht s ** t.Es ist die Menschen, die es leben und die Menschen sind die Gemeinschaft.So, wenn Sie sagen, Sie besitzen eine Gemeinschaft, Gut, indentured Service ging aus dem Gesetz vor langer Zeit. ”

Die Art und Weise, wie einige dieser Projekte durchgeführt werden, schließt die dominierende Kraft in der Entwicklung einfach andere davon ab, wesentliche Beiträge zu leisten.

“Wenn ich ein Projekt starten und es auf GitHub setzen und sagen, dass ich alle Änderungen genehmigt habe, was werden Sie dagegen tun? Sie können meine Software kopieren, wenn es Open Source ist, können Sie selbst erstellen, aber Sie können nicht Wenn Sie etwas haben, das Ihnen wichtig ist, aber es ist nicht wichtig für mich, hartes Glück “, sagte Dunning.

Er rechnet aus der 40 oder so Hadoop-Projekte, wahrscheinlich zwischen einem halben Dutzend und ein Dutzend sind wirklich Kern und wichtig. Von denen, die weniger wichtig sind, können viele einfach neu sein und haben noch keine Chance, ihren Wert zu beweisen.

Das ist nicht pejorativ, sie sind einfach nicht wichtig. Oft sind die effektiv geschlossenen Gemeinschaften, weil sie immer noch wachsen – das ist in Ordnung. Zum Beispiel hat Pivotal gerade ein Projekt namens Geode gespendet, welches die Datenbank unterhalb von GemFire ​​[NoSQL In-Memory-Datenbank] ist. Das ist wirklich eine Ein-Unternehmen-Show “, sagte Dunning.

“Sie können Fehler sie nicht für das. Sie sie ab sofort, wenn 3 Jahre bemängeln könnte es hohe Akzeptanz hat und es ist immer noch ein Unternehmen. Die Jungs laufen, dass verstehen, dass und in die richtige Richtung gehen. Es gibt andere, die unwichtig sind. Sie haben keine Gemeinschaft gebaut, weil sie keine Gemeinschaft aufbauen wollten, sie wollten es zu eng halten. ”

LinkedIn stellt seine neue Blogging-Plattform vor

Ist dies das Alter von Big OLAP?

DataRobot zielt auf die Automatisierung von tiefgreifenden Datenwissenschaften ab

MapR-Gründer John Schroeder geht nach unten, COO zu ersetzen