Artifact
bd3cc20def4841629acf514fb00275889f98d632:
Ticket change
[bd3cc20def]
- New ticket
[03c9f4deef] Disable built-in robots.txt file.
by
anonymous
2010-01-15 17:21:45.
0000: 44 20 32 30 31 30 2d 30 31 2d 31 35 54 31 37 3a D 2010-01-15T17:
0010: 32 31 3a 34 35 0a 4a 20 63 6f 6d 6d 65 6e 74 20 21:45.J comment
0020: 50 65 72 5c 73 5b 68 74 74 70 3a 2f 2f 74 68 72 Per\s[http://thr
0030: 65 61 64 2e 67 6d 61 6e 65 2e 6f 72 67 2f 67 6d ead.gmane.org/gm
0040: 61 6e 65 2e 63 6f 6d 70 2e 76 65 72 73 69 6f 6e ane.comp.version
0050: 2d 63 6f 6e 74 72 6f 6c 2e 66 6f 73 73 69 6c 2d -control.fossil-
0060: 73 63 6d 2e 75 73 65 72 2f 31 34 38 39 5d 3a 5c scm.user/1489]:\
0070: 72 5c 6e 5c 72 5c 6e 3c 76 65 72 62 61 74 69 6d r\n\r\n<verbatim
0080: 3e 5c 72 5c 6e 4f 6e 5c 73 44 65 63 5c 73 32 2c >\r\nOn\sDec\s2,
0090: 5c 73 32 30 30 39 2c 5c 73 61 74 5c 73 31 30 3a \s2009,\sat\s10:
00a0: 35 32 5c 73 41 4d 2c 5c 73 44 61 6e 69 65 6c 5c 52\sAM,\sDaniel\
00b0: 73 43 6c 61 72 6b 5c 73 77 72 6f 74 65 3a 5c 72 sClark\swrote:\r
00c0: 5c 6e 5c 72 5c 6e 3e 5c 73 46 6f 72 5c 73 61 5c \n\r\n>\sFor\sa\
00d0: 73 77 68 69 6c 65 5c 73 69 74 27 73 5c 73 73 65 swhile\sit's\sse
00e0: 65 6d 65 64 5c 73 6f 64 64 5c 73 74 6f 5c 73 6d emed\sodd\sto\sm
00f0: 65 5c 73 74 68 61 74 5c 73 67 6f 6f 67 6c 65 5c e\sthat\sgoogle\
0100: 73 68 61 64 6e 27 74 5c 73 75 70 64 61 74 65 64 shadn't\supdated
0110: 5c 73 69 74 73 5c 73 5c 73 5c 72 5c 6e 3e 5c 73 \sits\s\s\r\n>\s
0120: 69 6e 64 65 78 65 73 5c 73 6f 66 5c 73 61 5c 73 indexes\sof\sa\s
0130: 66 65 77 5c 73 73 69 74 65 73 2c 5c 73 73 6f 5c few\ssites,\sso\
0140: 73 49 5c 73 74 6f 6f 6b 5c 73 61 5c 73 6c 6f 6f sI\stook\sa\sloo
0150: 6b 5c 73 61 6e 64 5c 73 6e 6f 74 69 63 65 64 5c k\sand\snoticed\
0160: 73 74 68 65 5c 73 6f 62 76 69 6f 75 73 5c 73 2d sthe\sobvious\s-
0170: 5c 72 5c 6e 3e 5c 73 72 6f 62 6f 74 73 2e 74 78 \r\n>\srobots.tx
0180: 74 5c 73 77 61 73 5c 73 64 69 73 61 6c 6c 6f 77 t\swas\sdisallow
0190: 69 6e 67 5c 73 61 6c 6c 5c 73 63 72 61 77 6c 65 ing\sall\scrawle
01a0: 72 73 3a 5c 72 5c 6e 3e 5c 72 5c 6e 3e 5c 73 28 rs:\r\n>\r\n>\s(
01b0: 66 72 6f 6d 5c 73 6d 61 69 6e 2e 63 29 5c 72 5c from\smain.c)\r\
01c0: 6e 3e 5c 72 5c 6e 3e 5c 73 5c 73 2f 2a 5c 73 50 n>\r\n>\s\s/*\sP
01d0: 72 65 76 65 6e 74 5c 73 72 6f 62 6f 74 73 5c 73 revent\srobots\s
01e0: 66 72 6f 6d 5c 73 69 6e 64 65 78 69 6e 67 5c 73 from\sindexing\s
01f0: 74 68 69 73 5c 73 73 69 74 65 2e 5c 72 5c 6e 3e this\ssite.\r\n>
0200: 5c 73 5c 73 2a 2f 5c 72 5c 6e 3e 5c 73 5c 73 69 \s\s*/\r\n>\s\si
0210: 66 28 5c 73 73 74 72 63 6d 70 28 67 2e 7a 50 61 f(\sstrcmp(g.zPa
0220: 74 68 2c 5c 73 22 72 6f 62 6f 74 73 2e 74 78 74 th,\s"robots.txt
0230: 22 29 3d 3d 30 5c 73 29 7b 5c 72 5c 6e 3e 5c 73 ")==0\s){\r\n>\s
0240: 5c 73 5c 73 5c 73 63 67 69 5f 73 65 74 5f 63 6f \s\s\scgi_set_co
0250: 6e 74 65 6e 74 5f 74 79 70 65 28 22 74 65 78 74 ntent_type("text
0260: 2f 70 6c 61 69 6e 22 29 3b 5c 72 5c 6e 3e 5c 73 /plain");\r\n>\s
0270: 5c 73 5c 73 5c 73 40 5c 73 55 73 65 72 2d 61 67 \s\s\s@\sUser-ag
0280: 65 6e 74 3a 5c 73 2a 5c 72 5c 6e 3e 5c 73 5c 73 ent:\s*\r\n>\s\s
0290: 5c 73 5c 73 40 5c 73 44 69 73 61 6c 6c 6f 77 3a \s\s@\sDisallow:
02a0: 5c 73 2f 5c 72 5c 6e 3e 5c 73 5c 73 5c 73 5c 73 \s/\r\n>\s\s\s\s
02b0: 63 67 69 5f 72 65 70 6c 79 28 29 3b 5c 72 5c 6e cgi_reply();\r\n
02c0: 3e 5c 73 5c 73 5c 73 5c 73 65 78 69 74 28 30 29 >\s\s\s\sexit(0)
02d0: 3b 5c 72 5c 6e 3e 5c 73 5c 73 7d 5c 72 5c 6e 3e ;\r\n>\s\s}\r\n>
02e0: 5c 72 5c 6e 3e 5c 73 41 73 5c 73 66 61 72 5c 73 \r\n>\sAs\sfar\s
02f0: 61 73 5c 73 49 5c 73 63 61 6e 5c 73 74 65 6c 6c as\sI\scan\stell
0300: 5c 73 74 68 65 72 65 5c 73 69 73 6e 27 74 5c 73 \sthere\sisn't\s
0310: 61 5c 73 77 61 79 5c 73 74 6f 5c 73 64 69 73 61 a\sway\sto\sdisa
0320: 62 6c 65 5c 73 6f 72 5c 73 74 75 6e 65 5c 73 74 ble\sor\stune\st
0330: 68 69 73 5c 73 66 72 6f 6d 5c 73 5c 73 5c 72 5c his\sfrom\s\s\r\
0340: 6e 3e 5c 73 74 68 65 5c 73 66 6f 73 73 69 6c 5c n>\sthe\sfossil\
0350: 73 6c 65 76 65 6c 3b 5c 73 69 66 5c 73 74 68 65 slevel;\sif\sthe
0360: 72 65 5c 73 69 73 6e 27 74 5c 73 69 6e 74 65 72 re\sisn't\sinter
0370: 65 73 74 5c 73 69 6e 5c 73 63 68 61 6e 67 69 6e est\sin\schangin
0380: 67 5c 73 74 68 69 73 5c 73 49 27 6d 5c 73 73 75 g\sthis\sI'm\ssu
0390: 72 65 5c 73 49 5c 72 5c 6e 3e 5c 73 63 61 6e 5c re\sI\r\n>\scan\
03a0: 73 6a 75 73 74 5c 73 72 65 64 69 72 65 63 74 5c sjust\sredirect\
03b0: 73 76 69 61 5c 73 61 70 61 63 68 65 5c 73 74 6f svia\sapache\sto
03c0: 5c 73 73 6f 6d 65 5c 73 61 63 74 75 61 6c 5c 73 \ssome\sactual\s
03d0: 66 69 6c 65 2c 5c 73 62 75 74 5c 73 49 4d 48 4f file,\sbut\sIMHO
03e0: 5c 73 69 74 5c 73 77 6f 75 6c 64 5c 73 62 65 5c \sit\swould\sbe\
03f0: 73 5c 73 5c 72 5c 6e 3e 5c 73 67 6f 6f 64 5c 73 s\s\r\n>\sgood\s
0400: 74 6f 5c 73 62 65 5c 73 61 62 6c 65 5c 73 74 6f to\sbe\sable\sto
0410: 5c 73 65 61 73 69 6c 79 5c 73 6d 61 6b 65 5c 73 \seasily\smake\s
0420: 66 6f 73 73 69 6c 5c 73 70 72 6f 6a 65 63 74 73 fossil\sprojects
0430: 5c 73 73 65 61 72 63 68 61 62 6c 65 5c 73 28 70 \ssearchable\s(p
0440: 65 72 68 61 70 73 5c 73 65 76 65 6e 5c 73 5c 73 erhaps\seven\s\s
0450: 5c 72 5c 6e 3e 5c 73 68 61 76 65 5c 73 74 68 69 \r\n>\shave\sthi
0460: 73 5c 73 62 65 5c 73 74 68 65 5c 73 64 65 66 61 s\sbe\sthe\sdefa
0470: 75 6c 74 29 2c 5c 73 65 73 70 2e 5c 73 73 69 6e ult),\sesp.\ssin
0480: 63 65 5c 73 61 74 5c 73 74 68 65 5c 73 6d 6f 6d ce\sat\sthe\smom
0490: 65 6e 74 5c 73 74 68 65 5c 73 6f 6e 6c 79 5c 73 ent\sthe\sonly\s
04a0: 72 65 61 73 6f 6e 5c 73 74 68 61 74 5c 73 5c 73 reason\sthat\s\s
04b0: 5c 72 5c 6e 3e 5c 73 73 61 79 5c 73 66 6f 73 73 \r\n>\ssay\sfoss
04c0: 69 6c 2d 73 63 6d 2e 6f 72 67 5c 73 69 73 5c 73 il-scm.org\sis\s
04d0: 73 65 61 72 63 68 61 62 6c 65 5c 73 69 73 5c 73 searchable\sis\s
04e0: 62 65 63 61 75 73 65 5c 73 74 68 65 5c 73 72 6f because\sthe\sro
04f0: 62 6f 74 73 2e 74 78 74 5c 73 66 69 6c 65 5c 73 bots.txt\sfile\s
0500: 68 61 70 70 65 6e 73 5c 72 5c 6e 3e 5c 73 74 6f happens\r\n>\sto
0510: 5c 73 62 65 5c 73 61 74 3a 5c 72 5c 6e 3e 5c 72 \sbe\sat:\r\n>\r
0520: 5c 6e 3e 5c 73 68 74 74 70 3a 2f 2f 66 6f 73 73 \n>\shttp://foss
0530: 69 6c 2d 73 63 6d 2e 6f 72 67 2f 69 6e 64 65 78 il-scm.org/index
0540: 2e 68 74 6d 6c 2f 72 6f 62 6f 74 73 2e 74 78 74 .html/robots.txt
0550: 5c 72 5c 6e 3e 5c 72 5c 6e 3e 5c 73 28 65 67 5c \r\n>\r\n>\s(eg\
0560: 73 61 5c 73 72 61 6e 64 6f 6d 5c 73 61 70 61 63 sa\srandom\sapac
0570: 68 65 5c 73 63 6f 6e 66 69 67 75 72 61 74 69 6f he\sconfiguratio
0580: 6e 5c 73 63 68 6f 69 63 65 5c 73 74 6f 5c 73 68 n\schoice\sto\sh
0590: 61 76 65 5c 73 72 61 74 68 65 72 5c 73 75 67 6c ave\srather\sugl
05a0: 79 5c 73 55 52 4c 73 5c 73 77 69 74 68 5c 72 5c y\sURLs\swith\r\
05b0: 6e 3e 5c 73 22 69 6e 64 65 78 2e 68 74 6d 6c 22 n>\s"index.html"
05c0: 5c 73 69 6e 5c 73 61 6c 6c 5c 73 6f 66 5c 73 74 \sin\sall\sof\st
05d0: 68 65 6d 2e 29 5c 72 5c 6e 5c 72 5c 6e 4e 6f 74 hem.)\r\n\r\nNot
05e0: 65 5c 73 74 68 61 74 5c 73 68 74 74 70 3a 2f 2f e\sthat\shttp://
05f0: 77 77 77 2e 66 6f 73 73 69 6c 2d 73 63 6d 2e 6f www.fossil-scm.o
0600: 72 67 2f 5c 73 64 6f 65 73 5c 73 6e 6f 74 5c 73 rg/\sdoes\snot\s
0610: 75 73 65 5c 73 61 70 61 63 68 65 2e 5c 73 5c 73 use\sapache.\s\s
0620: 54 68 65 5c 73 5c 73 5c 72 5c 6e 72 65 64 69 72 The\s\s\r\nredir
0630: 65 63 74 5c 73 6f 63 63 75 72 73 5c 73 77 69 74 ect\soccurs\swit
0640: 68 69 6e 5c 73 66 6f 73 73 69 6c 5c 73 69 74 73 hin\sfossil\sits
0650: 65 6c 66 2e 5c 72 5c 6e 5c 72 5c 6e 49 5c 73 73 elf.\r\n\r\nI\ss
0660: 75 70 70 6f 73 65 5c 73 74 68 61 74 5c 73 73 69 uppose\sthat\ssi
0670: 6e 63 65 5c 73 74 68 65 5c 73 65 78 69 73 74 69 nce\sthe\sexisti
0680: 6e 67 5c 73 22 72 6f 62 6f 74 73 2e 74 78 74 22 ng\s"robots.txt"
0690: 5c 73 69 73 5c 73 65 73 73 65 6e 74 69 61 6c 6c \sis\sessentiall
06a0: 79 5c 73 61 5c 73 6e 6f 2d 6f 70 2c 5c 73 5c 73 y\sa\sno-op,\s\s
06b0: 5c 72 5c 6e 77 65 5c 73 6d 69 67 68 74 5c 73 61 \r\nwe\smight\sa
06c0: 73 5c 73 77 65 6c 6c 5c 73 72 65 6d 6f 76 65 5c s\swell\sremove\
06d0: 73 69 74 2e 5c 72 5c 6e 3c 2f 76 65 72 62 61 74 sit.\r\n</verbat
06e0: 69 6d 3e 0a 4a 20 66 6f 75 6e 64 69 6e 20 32 30 im>.J foundin 20
06f0: 31 30 30 31 31 32 31 34 31 30 31 33 0a 4a 20 70 100112141013.J p
0700: 72 69 76 61 74 65 5f 63 6f 6e 74 61 63 74 20 61 rivate_contact a
0710: 63 65 32 61 34 33 38 66 62 32 35 34 65 35 64 32 ce2a438fb254e5d2
0720: 31 62 61 32 65 64 31 32 39 35 62 32 64 61 38 33 1ba2ed1295b2da83
0730: 39 32 64 32 37 31 63 0a 4a 20 73 65 76 65 72 69 92d271c.J severi
0740: 74 79 20 4d 69 6e 6f 72 0a 4a 20 73 74 61 74 75 ty Minor.J statu
0750: 73 20 4f 70 65 6e 0a 4a 20 74 69 74 6c 65 20 44 s Open.J title D
0760: 69 73 61 62 6c 65 5c 73 62 75 69 6c 74 2d 69 6e isable\sbuilt-in
0770: 5c 73 72 6f 62 6f 74 73 2e 74 78 74 5c 73 66 69 \srobots.txt\sfi
0780: 6c 65 0a 4a 20 74 79 70 65 20 43 6f 64 65 5f 44 le.J type Code_D
0790: 65 66 65 63 74 0a 4b 20 30 33 63 39 66 34 64 65 efect.K 03c9f4de
07a0: 65 66 32 64 31 39 66 35 35 39 34 35 34 31 35 63 ef2d19f55945415c
07b0: 64 31 64 30 34 38 62 34 64 37 33 30 63 66 38 63 d1d048b4d730cf8c
07c0: 0a 55 20 61 6e 6f 6e 79 6d 6f 75 73 0a 5a 20 34 .U anonymous.Z 4
07d0: 38 33 30 63 38 39 37 37 63 64 31 62 39 33 63 30 830c8977cd1b93c0
07e0: 65 62 32 32 39 35 30 33 36 37 37 66 64 65 64 0a eb229503677fded.