index f26285f..2a4586a 100644 (file)
@@ -1,16 +1,45 @@
[[!toc]]

-Types, OCAML
-------------
+Polymorphic Types and System F
+------------------------------

-OCAML has type inference: the system can often infer what the type of
+[Notes still to be added. Hope you paid attention during seminar.]
+
+<!--
+
+8.     The simply-typed lambda calculus<p>
+9.     Parametric polymorphism, System F, "type inference"<p>
+
+1.     Product or record types, e.g. pairs and triples
+2.     Sum or variant types; tagged or "disjoint" unions
+3.     Maybe/option types; representing "out-of-band" values
+10.    [Phil/ling application] inner/outer domain semantics for positive free logic
+       <http://philosophy.ucdavis.edu/antonelli/papers/pegasus-JPL.pdf>
+11.    [Phil/ling application] King vs Schiffer in King 2007, pp 103ff. [which paper?](http://rci.rutgers.edu/~jeffreck/pub.php)
+12. [Phil/ling application] King and Pryor on that clauses, predicates vs singular property-designators
+       Russell On Denoting / Kaplan on plexy
+
+6.     Inductive types (numbers, lists)
+
+5.     Unit type
+4.     Zero/bottom types
+7.     "Pattern-matching" or type unpacking<p>
+
+-->
+
+
+Types in OCaml
+--------------
+
+OCaml has type inference: the system can often infer what the type of
an expression must be, based on the type of other known expressions.

-For instance, if we type
+For instance, if we type

# let f x = x + 3;;

-The system replies with
+The system replies with

val f : int -> int = <fun>

@@ -32,7 +61,7 @@ element:
# (3) = 3;;
- : bool = true

-though OCAML, like many systems, refuses to try to prove whether two
+though OCaml, like many systems, refuses to try to prove whether two
functional objects may be identical:

# (f) = f;;
@@ -40,13 +69,27 @@ functional objects may be identical:

Oh well.

+[Note: There is a limited way you can compare functions, using the
+`==` operator instead of the `=` operator. Later when we discuss mutation,
+we'll discuss the difference between these two equality operations.
+Scheme has a similar pair, which they name `eq?` and `equal?`. In Python,
+these are `is` and `==` respectively. It's unfortunate that OCaml uses `==` for the opposite operation that Python and many other languages use it for. In any case, OCaml will accept `(f) == f` even though it doesn't accept
+`(f) = f`. However, don't expect it to figure out in general when two functions
+are equivalent. (That question is not Turing computable.)

-Booleans in OCAML, and simple pattern matching
+       # (f) == (fun x -> x + 3);;
+       - : bool = false
+
+Here OCaml says (correctly) that the two functions don't stand in the `==` relation, which basically means they're not represented in the same chunk of memory. However as the programmer can see, the functions are extensionally equivalent. The meaning of `==` is rather weird.]
+
+
+
+Booleans in OCaml, and simple pattern matching
----------------------------------------------

Where we would write `true 1 2` in our pure lambda calculus and expect
-it to evaluate to `1`, in OCAML boolean types are not functions
-(equivalently, are functions that take zero arguments).  Selection is
+it to evaluate to `1`, in OCaml boolean types are not functions
+(equivalently, they're functions that take zero arguments). Instead, selection is
accomplished as follows:

# if true then 1 else 2;;
@@ -65,7 +108,7 @@ That is,
# match true with true -> 1 | false -> 2;;
- : int = 1

-Compare with
+Compare with

# match 3 with 1 -> 1 | 2 -> 4 | 3 -> 9;;
- : int = 9
@@ -73,7 +116,7 @@ Compare with
Unit and thunks
---------------

-All functions in OCAML take exactly one argument.  Even this one:
+All functions in OCaml take exactly one argument.  Even this one:

# let f x y = x + y;;
# f 2 3;;
@@ -87,7 +130,7 @@ Here's how to tell that `f` has been curry'd:
After we've given our `f` one argument, it returns a function that is
still waiting for another argument.

-There is a special type in OCAML called `unit`.  There is exactly one
+There is a special type in OCaml called `unit`.  There is exactly one
object in this type, written `()`.  So

# ();;
@@ -110,25 +153,45 @@ correct type is the unit:
# f ();;
- : int = 3

-Let's have some fn: think of `rec` as our `Y` combinator.  Then
+Now why would that be useful?

-    # let rec f n = if (0 = n) then 1 else (n * (f (n - 1)));;
+Let's have some fun: think of `rec` as our `Y` combinator.  Then
+
+    # let rec f n = if (0 = n) then 1 else (n * (f (n - 1)));;
val f : int -> int = <fun>
# f 5;;
- : int = 120

We can't define a function that is exactly analogous to our &omega;.
-We could try `let rec omega x = x x;;` what happens?  However, we can
-do this:
+We could try `let rec omega x = x x;;` what happens?
+
+[Note: if you want to learn more OCaml, you might come back here someday and try:
+
+       # let id x = x;;
+       val id : 'a -> 'a = <fun>
+       # let unwrap (`Wrap a) = a;;
+       val unwrap : [< `Wrap of 'a ] -> 'a = <fun>
+       # let omega ((`Wrap x) as y) = x y;;
+       val omega : [< `Wrap of [> `Wrap of 'a ] -> 'b as 'a ] -> 'b = <fun>
+       # unwrap (omega (`Wrap id)) == id;;
+       - : bool = true
+       # unwrap (omega (`Wrap omega));;
+    <Infinite loop, need to control-c to interrupt>
+
+But we won't try to explain this now.]

-    # let rec omega x = omega x;;
+
+Even if we can't (easily) express omega in OCaml, we can do this:
+
+    # let rec blackhole x = blackhole x;;

By the way, what's the type of this function?
-If you then apply this omega to an argument,

-    # omega 3;;
+If you then apply this `blackhole` function to an argument,
+
+    # blackhole 3;;

-the interpreter goes into an infinite loop, and you have to control-C
+the interpreter goes into an infinite loop, and you have to type control-c
to break the loop.

Oh, one more thing: lambda expressions look like this:
@@ -140,176 +203,101 @@ Oh, one more thing: lambda expressions look like this:

(But `(fun x -> x x)` still won't work.)

-So we can try our usual tricks:
+You may also see this:
+
+       # (function x -> x);;
+       - : 'a -> 'a = <fun>
+
+This works the same as `fun` in simple cases like this, and slightly differently in more complex cases. If you learn more OCaml, you'll read about the difference between them.

-    # (fun x -> true) omega;;
+We can try our usual tricks:
+
+    # (fun x -> true) blackhole;;
- : bool = true

-OCAML declined to try to evaluate the argument before applying the
-functor.  But remember that `omega` is a function too, so we can
+OCaml declined to try to fully reduce the argument before applying the
+lambda function. Question: Why is that? Didn't we say that OCaml is a call-by-value/eager language?
+
+Remember that `blackhole` is a function too, so we can
reverse the order of the arguments:

-    # omega (fun x -> true);;
+    # blackhole (fun x -> true);;

Infinite loop.

Now consider the following variations in behavior:

-    # let test = omega omega;;
-    [Infinite loop, need to control c out]
+    # let test = blackhole blackhole;;
+    <Infinite loop, need to control-c to interrupt>

-    # let test () = omega omega;;
+    # let test () = blackhole blackhole;;
val test : unit -> 'a = <fun>

# test;;
- : unit -> 'a = <fun>

# test ();;
-    [Infinite loop, need to control c out]
+    <Infinite loop, need to control-c to interrupt>

-We can use functions that take arguments of type unit to control
-execution.  In Scheme parlance, functions on the unit type are called
+We can use functions that take arguments of type `unit` to control
+execution.  In Scheme parlance, functions on the `unit` type are called
*thunks* (which I've always assumed was a blend of "think" and "chunk").

-Curry-Howard, take 1
---------------------
-
-We will return to the Curry-Howard correspondence a number of times
-during this course.  It expresses a deep connection between logic,
-types, and computation.  Today we'll discuss how the simply-typed
-lambda calculus corresponds to intuitionistic logic.  This naturally
-give rise to the question of what sort of computation classical logic
-corresponds to---as we'll see later, the answer involves continuations.
-
-So at this point we have the simply-typed lambda calculus: a set of
-ground types, a set of functional types, and some typing rules, given
-roughly as follows:
-
-If a variable `x` has type &sigma; and term `M` has type &tau;, then
-the abstract `\xM` has type &sigma; `-->` &tau;.
-
-If a term `M` has type &sigma; `-->` &tau;, and a term `N` has type
-&sigma;, then the application `MN` has type &tau;.
-
-These rules are clearly obverses of one another: the functional types
-that abstract builds up are taken apart by application.
-
-The next step in making sense out of the Curry-Howard corresponence is
-to present a logic.  It will be a part of intuitionistic logic.  We'll
-start with the implicational fragment (that is, the part of
-intuitionistic logic that only involves axioms and implications):
-
-<pre>
-Axiom: ---------
-        A |- A
-
-Structural Rules:
-
-          &Gamma;, A, B, &Delta; |- C
-Exchange: ---------------------------
-          &Gamma;, B, A, &Delta; |- C
-
-             &Gamma;, A, A |- B
-Contraction: -------------------
-             &Gamma;, A |- B
-
-           &Gamma; |- B
-Weakening: -----------------
-           &Gamma;, A |- B
+Question: why do thunks work? We know that `blackhole ()` doesn't terminate, so why do expressions like:

-Logical Rules:
+       let f = fun () -> blackhole ()
+       in true

-         &Gamma;, A |- B
---> I:   -------------------
-         &Gamma; |- A --> B
+terminate?

-         &Gamma; |- A --> B         &Gamma; |- A
---> E:   -----------------------------------
-         &Gamma; |- B
-</pre>
+Bottom type, divergence
+-----------------------

-`A`, `B`, etc. are variables over formulas.
-&Gamma;, &Delta;, etc. are variables over (possibly empty) sequences
-of formulas.  &Gamma; `|- A` is a sequent, and is interpreted as
-claiming that if each of the formulas in &Gamma; is true, then `A`
-must also be true.
+Expressions that don't terminate all belong to the **bottom type**. This is a subtype of every other type. That is, anything of bottom type belongs to every other type as well. More advanced type systems have more examples of subtyping: for example, they might make `int` a subtype of `real`. But the core type system of OCaml doesn't have any general subtyping relations. (Neither does System F.) Just this one: that expressions of the bottom type also belong to every other type. It's as if every type definition in OCaml, even the built in ones, had an implicit extra clause:

-This logic allows derivations of theorems like the following:
+       type 'a option = None | Some of 'a;;
+       type 'a option = None | Some of 'a | bottom;;

-<pre>
--------  Id
-A |- A
----------- Weak
-A, B |- A
-------------- --> I
-A |- B --> A
------------------ --> I
-|- A --> B --> A
-</pre>
+Here are some exercises that may help better understand this. Figure out what is the type of each of the following:

-Should remind you of simple types.  (What was `A --> B --> A` the type
-of again?)
+       fun x y -> y;;

-The easy way to grasp the Curry-Howard correspondence is to *label*
-the proofs.  Since we wish to establish a correspondence between this
-logic and the lambda calculus, the labels will all be terms from the
-simply-typed lambda calculus.  Here are the labeling rules:
+       fun x (y:int) -> y;;

-<pre>
-Axiom: -----------
-       x:A |- x:A
+       fun x y : int -> y;;

-Structural Rules:
+       let rec blackhole x = blackhole x in blackhole;;

-          &Gamma;, x:A, y:B, &Delta; |- R:C
-Exchange: -------------------------------
-          &Gamma;, y:B, x:A, &Delta; |- R:C
+       let rec blackhole x = blackhole x in blackhole 1;;

-             &Gamma;, x:A, x:A |- R:B
-Contraction: --------------------------
-             &Gamma;, x:A |- R:B
+       let rec blackhole x = blackhole x in fun (y:int) -> blackhole y y y;;

-           &Gamma; |- R:B
-Weakening: ---------------------
-           &Gamma;, x:A |- R:B     [x chosen fresh]
+       let rec blackhole x = blackhole x in (blackhole 1) + 2;;

-Logical Rules:
+       let rec blackhole x = blackhole x in (blackhole 1) || false;;

-         &Gamma;, x:A |- R:B
---> I:   -------------------------
-         &Gamma; |- \xM:A --> B
+       let rec blackhole x = blackhole x in 2 :: (blackhole 1);;

-         &Gamma; |- f:(A --> B)      &Gamma; |- x:A
---> E:   -------------------------------------
-         &Gamma; |- (fx):B
-</pre>
+By the way, what's the type of this:

-In these labeling rules, if a sequence &Gamma; in a premise contains
-labeled formulas, those labels remain unchanged in the conclusion.
+       let rec blackhole (x:'a) : 'a = blackhole x in blackhole

-What is means for a variable `x` to be chosen *fresh* is that
-`x` must be distinct from any other variable in any of the labels
-used in the proof.

-Using these labeling rules, we can label the proof
-just given:
+Back to thunks: the reason you'd want to control evaluation with thunks is to
+manipulate when "effects" happen. In a strongly normalizing system, like the
+simply-typed lambda calculus or System F, there are no "effects." In Scheme and
+OCaml, on the other hand, we can write programs that have effects. One sort of
+effect is printing (think of the [[damn]] example at the start of term).
+Another sort of effect is mutation, which we'll be looking at soon.
+Continuations are yet another sort of effect. None of these are yet on the
+table though. The only sort of effect we've got so far is *divergence* or
+non-termination. So the only thing thunks are useful for yet is controlling
+whether an expression that would diverge if we tried to fully evaluate it does
+diverge. As we consider richer languages, thunks will become more useful.

-<pre>
-------------  Id
-x:A |- x:A
----------------- Weak
-x:A, y:B |- x:A
-------------------------- --> I
-x:A |- (\y.x):(B --> A)
----------------------------- --> I
-|- (\x y. x):A --> B --> A
-</pre>

-We have derived the *K* combinator, and typed it at the same time!
{"ft_lang_label":"__label__en","ft_lang_prob":0.8157542,"math_prob":0.7228609,"size":13523,"snap":"2020-34-2020-40","text_gpt3_token_len":3747,"char_repetition_ratio":0.14290997,"word_repetition_ratio":0.10706988,"special_character_ratio":0.34267545,"punctuation_ratio":0.16913159,"nsfw_num_words":0,"has_unicode_error":false,"math_prob_llama3":0.99272674,"pos_list":[0],"im_url_duplicate_count":[null],"WARC_HEADER":"{\"WARC-Type\":\"response\",\"WARC-Date\":\"2020-08-07T18:17:51Z\",\"WARC-Record-ID\":\"<urn:uuid:0d63b191-b92e-425b-bfaa-9b0187c5d631>\",\"Content-Length\":\"51673\",\"Content-Type\":\"application/http; msgtype=response\",\"WARC-Warcinfo-ID\":\"<urn:uuid:f7f8ef33-fbe2-417b-bab9-d8b8740501bf>\",\"WARC-Concurrent-To\":\"<urn:uuid:b6a2dcc0-e741-4a3c-b09d-ee02687f4523>\",\"WARC-IP-Address\":\"45.79.164.50\",\"WARC-Target-URI\":\"http://lambda.jimpryor.net/git/gitweb.cgi?p=lambda.git;a=blobdiff;f=week6.mdwn;h=2a4586a01c9b36c546e3aeacbb599a14c3e581d8;hp=f26285f3b9cb92768b509c3e93768166a3729a6a;hb=323b2661061ae22ca28b4bf79564e1d1bc9bc446;hpb=0bdafef1c31c5372b1b7d5a960e2a016754d5388\",\"WARC-Payload-Digest\":\"sha1:U63ANIFQG7F4SOLUEZZLQ4T3SDCJFPHK\",\"WARC-Block-Digest\":\"sha1:2XFU7DUR5QJMIIJQ2IXM3N64HD6EPZ4B\",\"WARC-Identified-Payload-Type\":\"application/xhtml+xml\",\"warc_filename\":\"/cc_download/warc_2020/CC-MAIN-2020-34/CC-MAIN-2020-34_segments_1596439737206.16_warc_CC-MAIN-20200807172851-20200807202851-00085.warc.gz\"}"}