Clojure store persistent data structures gotcha – load-file size limit

In clojure – the data structure and their default representation are suited as readable and portable format to persist data. But there is a small pitfall in using it.

Data Structure example:

{
  :request-time 2636,
  :status 200,
  :headers
  {
    "server" "Server",
    "content-encoding" "gzip",
  }
}

Be aware that this function is intended to load code only. If your data structures or a string in them grow bigger than around 65,535 it crashes.

Exception similar to:

java.lang.ClassFormatError: Unknown constant tag 49 in class file parse$eval13

Please use read-string instead.

Example: (read-string (slurp "data.clj"))

Source: Rich Hickey on google groups Google Groups

Advertisements

Clojure example from „The Joy Of Clojure“ parallelized

I am currently reading „The Joy Of Clojure“ by Michael Fogus and Chris Houser – a great book to see the „why“ behind the clojure way. You should have had a look into clojure before and be willing to read a lot of docs besides the book.

In the book there is a simple example program to display a nice graphic, created by applying xor to the pixel coordinates and using them as grayscale color value. The chapter is „Using the REPL to experiment“.
While reading this part, I thought it would be nice to have that algorithm for parallel processing and experimented a little bit.

The following listing is the result, it modified the original and uses simple threading and the „locking“ macro. It is also interesting to see what happens if you leave out the synchronizing between setting the color and drawing the pixel, as you can see in the screenshots. I hope the original author is okay with using his examples.

Simply paste it to your REPL and try it out.

(defn
  ^{:doc "Calculate the color for a coordinate x and y by applying the given
function. Offset and max values can be specified as input." }
  f-valueso [f xoffset xmax yoffset ymax]
  (for [x (range xoffset xmax) y (range yoffset ymax)
          :let [v (rem (f x y) 256)]]
    [x y (if (< v 0) (* -1 v) v)]
  )
)

(defn
  ^{:doc "Devides the given value in 'parts' equal parts. For
example 200 2 will become [[0 100] [100 200]]"}
  from-to-parts [value parts]
  (loop [
    steps (conj (vec (range 0 value (int (/ value parts)))) value)
    result []
    ]
    (if (seq (rest steps))
      (recur (rest steps) (conj result [(first steps) (second steps)]))
      result
    )
  )
)

; Initialize the frame
(def frame (java.awt.Frame.))
(.setVisible frame true)
(.setSize frame (java.awt.Dimension. 256 256))
(.setLocation frame 300 300)
; Graphics size is only as big as the frame was at getGraphics times
; (that had cost me some time ...)
(def gfx (.getGraphics frame))

(defn clear
  ([g] (.clearRect g 0 0 256 256))
  ([g x y] (.clearRect g 0 0 x y))
)

(defn
  ^{:doc "Draw the picture in a specified area using the color function."}
  draw-part [gfx f xoffset xmax yoffset ymax]
  (doseq [[x y v] (f-valueso f xoffset xmax yoffset ymax)]
;    (Thread/sleep 1) Uncomment this if it draws too fast
    (locking gfx
      (.setColor gfx (java.awt.Color. v v v))
      (.fillRect gfx x y 1 1)
    )
  )
)

(defn
    ^{:doc "Draw a picture to 'gfx' that is created by using the
given color function. Use 'n' threads to create the picture from
0 to x/y max"}
  draw-valuesp [f xmax ymax n]
  (clear gfx)
  (.setSize frame (java.awt.Dimension. xmax ymax))
  (def gfx (.getGraphics frame))
  (clear gfx xmax ymax)
  (doseq [
    [xoffset xmax] (from-to-parts xmax n)
    [yoffset ymax] (from-to-parts ymax n)
  ]
    (.start (Thread. 
      #(draw-part gfx f xoffset xmax yoffset ymax)
    ))
  )
)

(draw-valuesp bit-xor 256 256 3)

The result:

Multithreaded version during processing:

Result without synchronization:

I am aware that there is not much concurrency in the problem and it is not the greatest example to show the power of clojure’s capabilities. But that wasn’t the point of it.

GWT – Google-Web-Toolkit, Einführung und Meinung dazu

Ich möchte hier kurz auf einen Artikel eines Kollegen über GWT hinweisen. Dieser befasst sich sehr oberflächlich mit GWT, gibt aber vielleicht eine Motivation sich, ein wenig näher damit zu befassen.

http://blog.seibert-media.net/2010/12/08/gwt-evolution-der-internet-anwendung/

Ich finde es auch sehr angenehm mit GWT zu arbeiten.

Man kommt kaum noch in Berührung mit den syntaktischen Unzulänglichkeiten von Javaskript und kann auf angenehme Weise mächtige und performante “RIA” Anwendungen entwickeln.

Ein Punkt den ich persönlich jedoch wichtig finde ist, dass sich GWT am besten eignet, wenn man tatsächlich Anwendungen entwickelt. Das heißt, anstatt zu versuchen klassische voll designte und dynamische Webseiten damit zu bauen.
Die mitgebrachten Widgets und Layouts kommen nun einmal aus der AWT/Swing Ecke und gliedern sich auch am natürlichsten in solch eine Art Anwendung ein.
Eine voll designte Anwendung, in der man auf das look and feel von Standardelementen zwecks Individualismus verzichtet, ist zwar möglich, bedeutet hier aber etwas mehr Aufwand als bei klassisch Server-Seitig erzeugten HTML Seiten.

Dass solche eine GWT Anwendung dennoch gut aussehen kann, beweist meiner Meinung nach der PostgreSQL GWT Client aus dem GWT Showcase http://demo.teampostgresql.com/

Sehr schön sieht natürlich auch https://www.twentyfeet.com/app/ aus, auch wenn es hier viele klassische Webseiten Elemente gibt, deren Umsetzung aufwändiger ist als bei Server generierten Seiten.

Eclipse Copy / Cut und Paste einer ganzen Zeile

Jeder vim Nutzer, den es irgendwann doch zu Eclipse verschlagen hat, wird sicherlich die elegante und einfache Art, eine ganze Zeile mittels „yy“ und „p“ zu kopieren, vermissen.

Nach einer kurzen Suche bin ich dann auf eine kleine Erweiterung gestoßen, die dies ermöglicht. copycutcurrentline (google code)

What is it?

1. Press Ctrl-C to copy or Ctrl-X to cut the whole line in an editor if you select nothing. (It works as usual if you select some text.)
2. Put the caret on any line on any position.
3. Press Ctrl-V to paste the line above.

Works on Windows and Linux. Should work on Mac but not tested. Tested on Eclipse 3.4, 3.5 and 3.6 on Java 6.

Unter meinem Eclipse Helios und JEE Developer hat es wunderbar funktioniert. Dank an den Entwickler!

Am Rande: Wer es noch nicht kennt, MoreUnit (sf.net) ist ein Tool zum einfachen Wechsel zwischen Klassen und Unit-Tests. Zudem markiert es Klassen, die über Tests verfügen und gibt die Möglichkeit Test-Methoden-Stubs anzulegen.

Annoyme milestone 0.1.0 erreicht

Ich hatte endlich mal wieder ein wenig Zeit und habe beschlossen, dass annoyme den im Wiki definierten milestone 0.1.0 erreicht hat.

Die Änderungen belaufen sich allerdings hauptsächlich auf organisatorische und Paketier-Themen. So war der Milestone definiert als Packaging, documentation, source-forge setup, womit als nächstes dem Ausbau neuer Features nichts mehr im Wege steht.
Die Anwendung ist nun mittels cpack paketierbar und das Ergebnis auch auf der SF Seite verfügbar. Die Projektseite ist https://sourceforge.net/projects/annoyme/ und der Link zum Binary https://sourceforge.net/projects/annoyme/files/

Der Code ist in Github unter dem Tag milestone-0.1.0 oder auf der SF Seite als snapshot verfügbar.

So Wahr: Whatever Happened To Programming

Programmieren ist nicht mehr das was es einmal war, in Zeiten der Frameworks und großen Bibliotheken fühlt es sich mehr wie ein Konfigurieren an. Wenn man damit umgehen kann, kommt man zwar schneller zu einem Ergebnis aber für viele ist das Ergebnis nicht das wichtigste sondern der Spaß am Programmieren. Der folgende Artikel handelt davon.

http://bit.ly/wordpress_reprog_whatever_happened_to_programming

Sicherlich ist es nicht sinnvoll und auch nicht interessant immer die selben Methoden zu implementieren. So kommt man auch nicht vorwärts. Aber da muss noch etwas zwischen dem Rad-Neu-Erfinden und dem Herum-ärgern mit Frameworks, was zu einer Trial-And-Error Aktion ausarten kann, sein.

Übersicht über Java Collections

Ein Kollege hat heute einen Link zu einer schönen Übersicht über die Standard Java Collections herumgeschickt.

http://www.torsten-horn.de/techdocs/java-collections.htm